Je ne sais pas trop ce que tu veux dire par là mais en gros, si.
La partie importante était après "et ne fait donc"
Mon propos est de dire qu'un LLM est plus proche d'une chaîne de Markov que d'un cerveaux humain.
Quel est ton critère, quelle est ta "distance" pour dire "l’un est plus proche de l’autre" ?
Un dauphin est-il plus proche d’un requin ou d’un macaque ?
La réponse non-éduquée est "d’un requin, les deux vivent dans l’océan". La réponse semi-habile de celui qui vient de voir un reportage animalier est "un macaque, c’est tous les deux un mammifère". Pour moi la question est... pourquoi tu poses la question ? Quel problème tu essaies de résoudre ?
Si tu étudies l’évolution des espèces, la seconde réponse est correcte. Si tu es le directeur d’un zoo et que tu te poses la question "quel genre d’installation je dois prévoir", la première est correcte. Si tu es un biologiste qui étudie les maladies des dauphins... tu es entre les deux. Tu auras des adaptations communes entre le requin et le dauphin du fait de la similarité de l’environnement, tu auras des adaptations communes entre le macaque et le dauphin du fait qu’ils soient plus proche génétiquement. Il n’y a pas une réponse correcte.
"Un LLM est-il plus proche d’un humain ou d’une chaine de Markov" ?
Sur la procédure d’entraînement, clairement plus proche d’une chaîne de Markov
Sur l’architecture (construire un modèle interne vs tabuler et réutiliser de manière brute des statistiques), clairement plus proche d’un humain
Sur les capacités, clairement plus proche d’un humain (un LLM a des capacités de généralisation qu’une chaîne de Markov n’a tout simplement pas et ne peut pas avoir, cf in-context learning)
Personnellement je pense que dans 90% du temps ce sont les capacités le critère important. D’où ma réaction à "un LLM c’est juste un chaîne de Markov plus sophistiquée".
[^] # Re: bof
Posté par Moonz . En réponse au journal [HS] La comédie Grok versus Musk/MAGA. Évalué à 3.
La partie importante était après "et ne fait donc"
Quel est ton critère, quelle est ta "distance" pour dire "l’un est plus proche de l’autre" ?
Un dauphin est-il plus proche d’un requin ou d’un macaque ?
La réponse non-éduquée est "d’un requin, les deux vivent dans l’océan". La réponse semi-habile de celui qui vient de voir un reportage animalier est "un macaque, c’est tous les deux un mammifère". Pour moi la question est... pourquoi tu poses la question ? Quel problème tu essaies de résoudre ?
Si tu étudies l’évolution des espèces, la seconde réponse est correcte. Si tu es le directeur d’un zoo et que tu te poses la question "quel genre d’installation je dois prévoir", la première est correcte. Si tu es un biologiste qui étudie les maladies des dauphins... tu es entre les deux. Tu auras des adaptations communes entre le requin et le dauphin du fait de la similarité de l’environnement, tu auras des adaptations communes entre le macaque et le dauphin du fait qu’ils soient plus proche génétiquement. Il n’y a pas une réponse correcte.
"Un LLM est-il plus proche d’un humain ou d’une chaine de Markov" ?
Personnellement je pense que dans 90% du temps ce sont les capacités le critère important. D’où ma réaction à "un LLM c’est juste un chaîne de Markov plus sophistiquée".