D'ailleurs si tu lui demandes si la force existe il te dira probablement que la force n'existe pas.
Probablement, si ton corpus d'apprentissage est à 95% hors de star wars et décrit star wars comme une oeuvre de fiction. Mais tu as plein d'exemples où ça n'est pas forcément le cas. Par exemple, quelle part du corpus décrit la mythologie monothéiste comme une oeuvre de fiction? De facto, une part substantielle des humains ne la considèrent pas comme de la fiction, qu'est-ce qu'une IA devrait répondre là-dessus?
Et puis ça ne change pas vraiment la logique, juste les lois de la physique en l'occurrence.
Certes, mais ça n'est quand même pas facile de lui demander d'avoir un sens de la "vérité" quand le corpus contient de gros blocs cohérents dans lesquels les lois de la physique sont fausses. Pour le coup, être capable de classifier un corpus en "fiction" vs "réalité", ça c'est quand même un signe d'intelligence, non? Par exemple, si ton IA lit "L'histoire de Quiddich à travers les âges", jamais le livre ne s'identifie comme une oeuvre de fiction qui fait partir de l'univers de Harry Potter. Nous, on est cablés pour faire très facilement la différence; à 2 ans un gamin fait la différence entre une histoire fictionnelle et une histoire vraie. Mais un LLM doit faire émerger ça à partir de son corpus, ça n'a pas l'air facile. Surtout s'il faut évaluer si la biographie de Trump est une oeuvre de fiction, par exemple.
"Est-ce qu'il y a besoin de "raisonner" (dans le sens d'encoder des règles de déduction valides) pour bien prédire"
Les LLM prouvent que non; ils manipulent les syllogismes et se trompent rarement sur les raisonnement piégeux (du style "combien de temps faut-il à 9 femmes pour faire un enfant"). En fait, c'est assez facile de montrer qu'ils ne raisonnement pas; ils arrivent fréquemment à te donner la bonne réponse sans être capables de te donner un raisonnement correct quand tu leur demandes; ça ressemble plus à une intuition très efficace (du fait de la taille du corpus ingurgité), et une sorte de rationalisation a posteriori quand tu lui demandes explicitement.
Mais encore une fois, est-ce bien grave? Imagine que tu fournisses un service de diagnostic en ligne de pannes de bagnole. Tes experts donnent le bon diagnostic dans 90% des cas, à partir des informations fournies dans un chat. Ils vont raisonner, du style "C'est une 206 de 2010, on sait qu'il y a souvent des pannes dûes aux faisceaux sur ces modèles", etc. À côté, chatGPT ne sait même pas ce qu'est une bagnole, mais donne un résultat probabiliste basé sur autant d'indices qu'il peut percevoir (l'orthographe du client, la rapidité des réponses dans le chat...). S'il est précis à 95%, quel est le problème à lui laisser donner des réponses intuitives? Dans la plupart des applications, ce que tu souhaites, c'est avoir la bonne réponse à ton problème, et pas de t'assurer que cette réponse est construite sur un raisonnement solide.
[^] # Re: Wow
Posté par arnaudus . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 3.
Probablement, si ton corpus d'apprentissage est à 95% hors de star wars et décrit star wars comme une oeuvre de fiction. Mais tu as plein d'exemples où ça n'est pas forcément le cas. Par exemple, quelle part du corpus décrit la mythologie monothéiste comme une oeuvre de fiction? De facto, une part substantielle des humains ne la considèrent pas comme de la fiction, qu'est-ce qu'une IA devrait répondre là-dessus?
Certes, mais ça n'est quand même pas facile de lui demander d'avoir un sens de la "vérité" quand le corpus contient de gros blocs cohérents dans lesquels les lois de la physique sont fausses. Pour le coup, être capable de classifier un corpus en "fiction" vs "réalité", ça c'est quand même un signe d'intelligence, non? Par exemple, si ton IA lit "L'histoire de Quiddich à travers les âges", jamais le livre ne s'identifie comme une oeuvre de fiction qui fait partir de l'univers de Harry Potter. Nous, on est cablés pour faire très facilement la différence; à 2 ans un gamin fait la différence entre une histoire fictionnelle et une histoire vraie. Mais un LLM doit faire émerger ça à partir de son corpus, ça n'a pas l'air facile. Surtout s'il faut évaluer si la biographie de Trump est une oeuvre de fiction, par exemple.
Les LLM prouvent que non; ils manipulent les syllogismes et se trompent rarement sur les raisonnement piégeux (du style "combien de temps faut-il à 9 femmes pour faire un enfant"). En fait, c'est assez facile de montrer qu'ils ne raisonnement pas; ils arrivent fréquemment à te donner la bonne réponse sans être capables de te donner un raisonnement correct quand tu leur demandes; ça ressemble plus à une intuition très efficace (du fait de la taille du corpus ingurgité), et une sorte de rationalisation a posteriori quand tu lui demandes explicitement.
Mais encore une fois, est-ce bien grave? Imagine que tu fournisses un service de diagnostic en ligne de pannes de bagnole. Tes experts donnent le bon diagnostic dans 90% des cas, à partir des informations fournies dans un chat. Ils vont raisonner, du style "C'est une 206 de 2010, on sait qu'il y a souvent des pannes dûes aux faisceaux sur ces modèles", etc. À côté, chatGPT ne sait même pas ce qu'est une bagnole, mais donne un résultat probabiliste basé sur autant d'indices qu'il peut percevoir (l'orthographe du client, la rapidité des réponses dans le chat...). S'il est précis à 95%, quel est le problème à lui laisser donner des réponses intuitives? Dans la plupart des applications, ce que tu souhaites, c'est avoir la bonne réponse à ton problème, et pas de t'assurer que cette réponse est construite sur un raisonnement solide.