De toutes manières, essayer de faire "raisonner" un modèle de langage est absurde. Ça démontre en effet pas mal le genre de fantasmes que les gens peuvent avoir, mais on est d'accord que ça n'a aucun intérêt? Au mieux, tu peux espérer avoir une réponse correcte que le problème est suffisamment connu pour qu'il soit largement représenté dans les données d'entrainement.
Je pense que ça illustre aussi pas mal la mauvaise foi avec la quelle la question est traitée parmi la communauté qui s'intéresse à ces technologies. Les gens qui ont conduit ces études savent pertinemment que rien dans un modèle de langage ne lui permet de suivre un raisonnement mathématique. Tu peux conclure que "ah ah cette AI est stupide", mais celui qui est stupide est celui qui a conçu ce test idiot.
Pour tester un LLM, fais-lui écrire une lettre, raconter une courte histoire, résumer un texte... Regarde par exemple, je viens de faire le test : "écris un sonnet sur une panne d'embrayage". Voici le résultat:
*Sur la route déserte, un triste présage,
L'embrayage soudain décide de céder,
Et mon voyageur se voit tout arrêter,
Dans un silence lourd, pesant comme un orage.
Je cherche en vain un secours, un visage,
Le moteur agonise, prêt à m'abandonner,
Et sous le capot chaud, je commence à douter,
Qu'un miracle survienne dans ce sombre paysage.
Mais voilà qu'arrive un vieil artisan,
Aux mains tachées d'huile, au geste précis,
Qui d'un tour de clé redonne vie au moteur.
L'embrayage renaît, brillant artisan,
Je repars enfin, le cœur allégé,
Reprenant la route, loin de toute frayeur.*
Bon, il y a des problèmes mineurs sur certaines rimes, mais honnêtement, il faut être blasé pour ne pas être amusé par la performance du truc, non? Évidemment que ça n'est pas du Hugo, mais là encore tu as un résultat meilleur que quoi, 90% des gens?
Bref ... "intelligence" est un terme qui veut dire bien des choses, mais sans raisonnement il me semble qu'on manque d'un ingrédient essentiel
Ouais c'est ça, les gens intelligents c'est ceux qui savent mener un raisonnement mathématique. On se demande bien pourquoi tant de livres ont été écrits sur le sujets alors que c'est tellement facile.
Plus prosaïquement, quand tu mets un humain à un poste de travail par exemple, tu te fous un peu de savoir comment il mène les raisonnements qui le conduisent à prendre les bonnes décisions. Personne ne s'est jamais demandé si Dédé de la compta, il pensait vraiment ou il simulait la pensée. Et heureusement, parce qu'à part mener à des situations débiles et inconfortables, je ne vois pas où ça peut te mener. Bah voila, c'est pareil avec les LLM: ils se comportent dans la plupart des situations comme un humain qui raisonne, avec ses limites, ses erreurs, ses biais, ses imperfections. C'est donc une IA dans la mesure où elle peut simuler l'intelligence, donner les mêmes réponses qu'un humain qu'on présume intelligent. Chercher plus loin, c'est de l'escroquerie, parce qu'on sait très bien que les LLM ne raisonnent pas, ils ne sont pas conçus pour raisonner, et quelle que soit la complexité de la question qu'on leur pose, on finira toujours par pouvoir montrer qu'ils "simulent" le raisonnement.
[^] # Re: Wow
Posté par arnaudus . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 3.
De toutes manières, essayer de faire "raisonner" un modèle de langage est absurde. Ça démontre en effet pas mal le genre de fantasmes que les gens peuvent avoir, mais on est d'accord que ça n'a aucun intérêt? Au mieux, tu peux espérer avoir une réponse correcte que le problème est suffisamment connu pour qu'il soit largement représenté dans les données d'entrainement.
Je pense que ça illustre aussi pas mal la mauvaise foi avec la quelle la question est traitée parmi la communauté qui s'intéresse à ces technologies. Les gens qui ont conduit ces études savent pertinemment que rien dans un modèle de langage ne lui permet de suivre un raisonnement mathématique. Tu peux conclure que "ah ah cette AI est stupide", mais celui qui est stupide est celui qui a conçu ce test idiot.
Pour tester un LLM, fais-lui écrire une lettre, raconter une courte histoire, résumer un texte... Regarde par exemple, je viens de faire le test : "écris un sonnet sur une panne d'embrayage". Voici le résultat:
*Sur la route déserte, un triste présage,
L'embrayage soudain décide de céder,
Et mon voyageur se voit tout arrêter,
Dans un silence lourd, pesant comme un orage.
Je cherche en vain un secours, un visage,
Le moteur agonise, prêt à m'abandonner,
Et sous le capot chaud, je commence à douter,
Qu'un miracle survienne dans ce sombre paysage.
Mais voilà qu'arrive un vieil artisan,
Aux mains tachées d'huile, au geste précis,
Qui d'un tour de clé redonne vie au moteur.
L'embrayage renaît, brillant artisan,
Je repars enfin, le cœur allégé,
Reprenant la route, loin de toute frayeur.*
Bon, il y a des problèmes mineurs sur certaines rimes, mais honnêtement, il faut être blasé pour ne pas être amusé par la performance du truc, non? Évidemment que ça n'est pas du Hugo, mais là encore tu as un résultat meilleur que quoi, 90% des gens?
Ouais c'est ça, les gens intelligents c'est ceux qui savent mener un raisonnement mathématique. On se demande bien pourquoi tant de livres ont été écrits sur le sujets alors que c'est tellement facile.
Plus prosaïquement, quand tu mets un humain à un poste de travail par exemple, tu te fous un peu de savoir comment il mène les raisonnements qui le conduisent à prendre les bonnes décisions. Personne ne s'est jamais demandé si Dédé de la compta, il pensait vraiment ou il simulait la pensée. Et heureusement, parce qu'à part mener à des situations débiles et inconfortables, je ne vois pas où ça peut te mener. Bah voila, c'est pareil avec les LLM: ils se comportent dans la plupart des situations comme un humain qui raisonne, avec ses limites, ses erreurs, ses biais, ses imperfections. C'est donc une IA dans la mesure où elle peut simuler l'intelligence, donner les mêmes réponses qu'un humain qu'on présume intelligent. Chercher plus loin, c'est de l'escroquerie, parce qu'on sait très bien que les LLM ne raisonnent pas, ils ne sont pas conçus pour raisonner, et quelle que soit la complexité de la question qu'on leur pose, on finira toujours par pouvoir montrer qu'ils "simulent" le raisonnement.