Les LLM ne font pas que deviner le mot qui vient après, ils puisent dans leur (immense) contexte pour générer une réponse globale
Tu décris les chaînes de Markov.
La différence est la manière dont les probabilités sont représentées et calculées.
Je ne vois pas le problème de dire que les LLM sont des chaînes. de Markov sophistiquées. L'attention fait partie de cette sophistication.
Ils se sont beaucoup éloignés du simple perroquet ou de chercher le mot d'après à partir d'une fenêtre glissante de n mots (chaîne de Markov)
Le fenêtre glissante est juste une implémentation particulière des chaînes de Markov. Les LLM fonctionnement comme ça aussi de toute façon, avec n étant la taille de leur contexte.
[^] # Re: bof
Posté par Gof (site web personnel) . En réponse au journal [HS] La comédie Grok versus Musk/MAGA. Évalué à 5.
Tu décris les chaînes de Markov.
La différence est la manière dont les probabilités sont représentées et calculées.
Je ne vois pas le problème de dire que les LLM sont des chaînes. de Markov sophistiquées. L'attention fait partie de cette sophistication.
Le fenêtre glissante est juste une implémentation particulière des chaînes de Markov. Les LLM fonctionnement comme ça aussi de toute façon, avec n étant la taille de leur contexte.