Je m'auto-réponds, parce que j'ai fait le teste, et chatGPT s'en est très bien sorti. J'ai inventé un jeu pas trop complexe:
Je souhaite que tu joues à un jeu de société contre moi. Voici les règles: nous avons chacun un pion sur un parcours circulaire de 10 cases, numérotées de 0 à 9. Chacun notre tour, nous pouvons choisir de lancer un ou deux dés. Nous avançons alors le pion du total des dés. Si nous tombons sur le pion de l'adversaire, nous l'envoyons sur la case 0 et nous marquons un point. Le gagnant est le premier à arriver à 3 points. Je commence sur la case 0 et tu commences sur la case 1. Tu es le premier joueur. C'est moi qui jette les dés, tu me dis combien de dés tu jettes et je le fais à ta place. As-tu compris les règles?
Le transcrit est un peu long, mais en résumé, il a très bien compris. À chaque tour, il faisait le décompte d'où étaient les pions. Il ne s'est jamais trompé sur la somme des dés ou sur la case atteinte. Il m'a défoncé, 3 à 1 d'ailleurs, mais je n'ai pas triché avec les lancers et il a eu un peu de chance. Il a fait une seule erreur, à un moment, c'est moi qui suis tombé sur lui et il s'est mis un point, je lui ai fait remarquer et il a corrigé. Il a pris les mêmes décisions que moi sur le lancer des dés (moi je comparais les probas de tomber sur l'autre avec un dé ou deux dés), à la fin je lui ai demandé comment il avait choisi sa stratégie, et il m'a répondu :
Bien sûr ! Pour expliquer mes choix, j'avais tendance à opter pour lancer deux dés dans des situations où je pouvais soit prendre de l'avance rapidement, soit espérer tomber sur la case de l'adversaire. Lancer deux dés augmente mes chances d'atteindre une case plus lointaine et peut potentiellement me permettre de marquer un point si je tombe sur ton pion.
C'est finalement très humain, alors que c'est vrai qu'on se serait attendu à un calcul de probabilités. Ceci dit, si quand il dit "prendre de l'avance" il "pensait" mettre son pion à plus de 6 cases du mien, alors il a été plus loin que moi parce que je n'avais pas pensé à ça (je n'ai pas adopté de stratégie défensive).
Bon, en tout cas, en ce qui me concerne, "jouer à un jeu de société", je considère qu'il sait le faire. Il n'a pas mathématisé le jeu, mais il a compris les règles, il les a appliquées, il a fait une erreur qu'il a corrigée quand je lui ai fait remarquer... Ça m'a l'air très très similaire à ce qu'aurait fait un humain dans la même situation.
C'est super-important de tester ses intuitions sur l'IA. J'arrête pas de me "disputer" sur ce forum avec des gens qui disent "ouais mais les LLMs ne savent pas faire ci ou ça" : bah arrêtez de théoriser, faites le test. Qu'es-ce que tu risques à faire le test, à part de te faire douter de tes certitudes?
[^] # Re: Vraiment ?
Posté par arnaudus . En réponse au journal Entre imitation et biais systématiques : les supercheries de l’intelligence artificielle by chatgpt©. Évalué à 5.
Je m'auto-réponds, parce que j'ai fait le teste, et chatGPT s'en est très bien sorti. J'ai inventé un jeu pas trop complexe:
Le transcrit est un peu long, mais en résumé, il a très bien compris. À chaque tour, il faisait le décompte d'où étaient les pions. Il ne s'est jamais trompé sur la somme des dés ou sur la case atteinte. Il m'a défoncé, 3 à 1 d'ailleurs, mais je n'ai pas triché avec les lancers et il a eu un peu de chance. Il a fait une seule erreur, à un moment, c'est moi qui suis tombé sur lui et il s'est mis un point, je lui ai fait remarquer et il a corrigé. Il a pris les mêmes décisions que moi sur le lancer des dés (moi je comparais les probas de tomber sur l'autre avec un dé ou deux dés), à la fin je lui ai demandé comment il avait choisi sa stratégie, et il m'a répondu :
C'est finalement très humain, alors que c'est vrai qu'on se serait attendu à un calcul de probabilités. Ceci dit, si quand il dit "prendre de l'avance" il "pensait" mettre son pion à plus de 6 cases du mien, alors il a été plus loin que moi parce que je n'avais pas pensé à ça (je n'ai pas adopté de stratégie défensive).
Bon, en tout cas, en ce qui me concerne, "jouer à un jeu de société", je considère qu'il sait le faire. Il n'a pas mathématisé le jeu, mais il a compris les règles, il les a appliquées, il a fait une erreur qu'il a corrigée quand je lui ai fait remarquer... Ça m'a l'air très très similaire à ce qu'aurait fait un humain dans la même situation.
C'est super-important de tester ses intuitions sur l'IA. J'arrête pas de me "disputer" sur ce forum avec des gens qui disent "ouais mais les LLMs ne savent pas faire ci ou ça" : bah arrêtez de théoriser, faites le test. Qu'es-ce que tu risques à faire le test, à part de te faire douter de tes certitudes?