Comme je ne suis pas (je l'ai dit) un sachant, je vais juste reprendre les mots de ceux du métier :
While both Markov Models and Transformer models like GPT can predict the next character in a sequence, they differ significantly in their underlying mechanisms and capabilities. Markov Models, with their fixed context length, are limited in their ability to capture long-term dependencies. Transformer models, with their self-attention mechanism, can consider the entire context of a sequence, allowing them to capture long-term dependencies and make more accurate predictions.
Si on considère qu'un programme qui génère des mots, quelque soit la méthode, est un type de chaîne de Markov, alors ouais on pourrait dire que « l'attention fait partie de cette sophistication. » Mais selon moi c'est un peu comme dire qu'un A320 est un deltaplane sophistiqué parce que les 2 volent. Et quand on rajoute le principe de Chain Of Thought, qui permet au modèle de décomposer (seul) un problème complexe en tâches plus petites, on continue de s'éloigner, le deltaplane est un drone furtif.
[^] # Re: bof
Posté par Faya . En réponse au journal [HS] La comédie Grok versus Musk/MAGA. Évalué à 2.
Comme je ne suis pas (je l'ai dit) un sachant, je vais juste reprendre les mots de ceux du métier :
Si on considère qu'un programme qui génère des mots, quelque soit la méthode, est un type de chaîne de Markov, alors ouais on pourrait dire que « l'attention fait partie de cette sophistication. » Mais selon moi c'est un peu comme dire qu'un A320 est un deltaplane sophistiqué parce que les 2 volent. Et quand on rajoute le principe de Chain Of Thought, qui permet au modèle de décomposer (seul) un problème complexe en tâches plus petites, on continue de s'éloigner, le deltaplane est un drone furtif.