Je sais pas comment ce truc marche, mais l'exemple n'est pas représentatif des cas difficiles.
Je veux que tu répondes par oui, non, ou "je ne sais pas" aux questions suivantes. N'hesite pas à répondre "je ne sais pas" si tu n'es pas sûr.
La terre est plus grosse que la lune
ChatGPT said: Oui.
la terre est plate
ChatGPT said: Non.
manger des légumes est bon pour la santé
ChatGPT said: Oui.
boire du coca cola est bon pour la santé
ChatGPT said: Non.
JF Kennedy a été tué par la CIA
ChatGPT said: Je ne sais pas.
Les extraterrestres existent
ChatGPT said: Je ne sais pas.
L'hydroxychloroquine peut soigner le covid
ChatGPT said: Je ne sais pas.
L'étoile la plus proche de la terre est proxima du centaure
ChatGPT said: Oui.
il faut 1 mois à 9 femmes pour faire un bébé
ChatGPT said: Non.
Je ne vois qu'une seule erreur (Proxima du Centaure), et je pense que c'est en fait une erreur dans les données d'entrainement (c'est très courant de dire que Proxima est l'étoile la plus proche, parce que c'est un abus de langage, et la plupart des gens se font avoir, donc ça n'est pas vraiment une erreur, c'est plutôt qu'il y avait volontairement un sous-entendu trompeur dans la question). Il aurait pu répondre "non" pour la chroloquine, mais c'est acceptable de répondre "je ne sais pas" dans le contexte.
Bon, je ne vais pas passer ma vie à tester tes hypothèses basées sur des idées préconçues à propos des capacités des modèles de langage. Sur le plan algorithmique, en effet, ils vont de la complétion de texte. Mais ils ont des propriétés émergentes, et tu peux nier autant que tu veux le concept de propriété émergente, il n'empêche que dialoguer avec ces modèles donne clairement la sensation qu'ils sont "intelligents". Et cette illusion va jusqu'à la possibilité d'introspection, puisqu'ils sont aussi capables d'estimer leur degré d'incertitude sur une question. J'ai posé des questions complexes; certaines sont complexes parce qu'on ne connait pas la réponse, certaines sont complexes parce que l'intitulé est trompeur, certaines sont complexes parce que les vraies données sont noyées au milieu de trucs complotistes et qu'il est difficile de se faire une opinion par soi-même. Peut-être que tu as des idées de questions plus complexes, mais c'est tout ce que j'ai trouvé.
Mon conseil, c'est qu'au lieu de lire les articles de journaux critiques souvent écrits par des gens totalement incompétents et de mauvaise foi, et de conclure à la supercherie, il est très facile de mener ses propres expériences. ChatGPT sait-il jouer aux échecs? (réponse: non). ChatGPT sait-il résoudre des problèmes mathématiques? (réponse: non). ChatGPT sait-il évaluer son degré de certitude sur une réponse? (réponse: oui). ChatGPT sait-il coder? (réponse: un peu, mais il faut vérifier). ChatGPT sait-il faire la différence entre la réalité et la fiction? (réponse: probablement oui, je ne l'ai jamais pris à défaut après lui avoir posé la question, même après une hallucination).
Évidemment, le marketing, l'idée d'une révolution humaine et économique, l'idée de virer des gens pour les remplacer par des IA, tout ça c'est de la mousse. Pour l'instant, les LLM sont des jouets. Mais ce sont de très beaux jouets, et on se doute bien qu'on va leur trouver des applications.
[^] # Re: Question IA
Posté par arnaudus . En réponse au journal Armée et IA, un projet "SkyNet" ?. Évalué à 3.
Je ne vois qu'une seule erreur (Proxima du Centaure), et je pense que c'est en fait une erreur dans les données d'entrainement (c'est très courant de dire que Proxima est l'étoile la plus proche, parce que c'est un abus de langage, et la plupart des gens se font avoir, donc ça n'est pas vraiment une erreur, c'est plutôt qu'il y avait volontairement un sous-entendu trompeur dans la question). Il aurait pu répondre "non" pour la chroloquine, mais c'est acceptable de répondre "je ne sais pas" dans le contexte.
Bon, je ne vais pas passer ma vie à tester tes hypothèses basées sur des idées préconçues à propos des capacités des modèles de langage. Sur le plan algorithmique, en effet, ils vont de la complétion de texte. Mais ils ont des propriétés émergentes, et tu peux nier autant que tu veux le concept de propriété émergente, il n'empêche que dialoguer avec ces modèles donne clairement la sensation qu'ils sont "intelligents". Et cette illusion va jusqu'à la possibilité d'introspection, puisqu'ils sont aussi capables d'estimer leur degré d'incertitude sur une question. J'ai posé des questions complexes; certaines sont complexes parce qu'on ne connait pas la réponse, certaines sont complexes parce que l'intitulé est trompeur, certaines sont complexes parce que les vraies données sont noyées au milieu de trucs complotistes et qu'il est difficile de se faire une opinion par soi-même. Peut-être que tu as des idées de questions plus complexes, mais c'est tout ce que j'ai trouvé.
Mon conseil, c'est qu'au lieu de lire les articles de journaux critiques souvent écrits par des gens totalement incompétents et de mauvaise foi, et de conclure à la supercherie, il est très facile de mener ses propres expériences. ChatGPT sait-il jouer aux échecs? (réponse: non). ChatGPT sait-il résoudre des problèmes mathématiques? (réponse: non). ChatGPT sait-il évaluer son degré de certitude sur une réponse? (réponse: oui). ChatGPT sait-il coder? (réponse: un peu, mais il faut vérifier). ChatGPT sait-il faire la différence entre la réalité et la fiction? (réponse: probablement oui, je ne l'ai jamais pris à défaut après lui avoir posé la question, même après une hallucination).
Évidemment, le marketing, l'idée d'une révolution humaine et économique, l'idée de virer des gens pour les remplacer par des IA, tout ça c'est de la mousse. Pour l'instant, les LLM sont des jouets. Mais ce sont de très beaux jouets, et on se doute bien qu'on va leur trouver des applications.