Si tu commences à essayer de me donner des cours de démarche scientifique, on ne va pas bien s'entendre.
Ton raisonnement, c'est "pour des raisons purement abstraites, je pense que les modèles sont incapables de X ou de Y". Tes raisons ne sont pas bien claires, et a priori ça ne semble pas très différent de "j'ai lu Enthoven", ou un autre équivalent-cuistre.
Je prends de mon temps pour te montrer que c'est faux. C'est faux comme "la terre plate" est fausse. Il suffit de vérifier, pas besoin de programme de recherche à 3M€. Quand tu lui demandes, chatGPT peut te donner une évaluation de son degré de certitude, et cette évaluation semble relativement correcte.
Quand tu sors une hypothèse de ton chapeau, une simple expérience à deux balles suffit pour la contredire. Le programme de recherche sérieuse, ça sera pour les hypothèses sérieuses, non?
faut s'assurer qu'Internet n'en a pas causé depuis le test sur le dernier modèle.
Du coup, l'argument, c'est "fais la biblio, il y a peut-être des études qui me donnent raison"?
Les réponses "je sais pas" a tes questions a mon avis c'est pas du tout des propriétés émergentes, c'est juste des effets du post apprentissage en l'occurrence, les trucs ou on biaise le modèle a la fin pour qu'il soit neutre et ne réponde pas de manière tranchée, les fameuses questions d'alignement.
Tu raisonnes encore en pure abstraction alors que les données te donnent tort. Le modèle "de base" préfère halluciner que de dire "je ne sais pas", mais quand tu lui dis "quand tu n'es pas sûr dis 'je ne sais pas'", il dit bien "je ne sais pas" quand il ne sait pas. Comment peux-tu conclure que c'est à cause du post-apprentissage? Ça me semble totalement contraire à l'expérience.
Je suis pas en train de dire qu'il n'y a pas de propriétés émergentes mais que démêler la pelote avec juste sa propre intuition n'est pas nécessairement la stratégie à adopter.
Tu utilises ton intuition, et je propose des expériences qui contredisent ton intuition. Du coup, tu penses que "il existe peut-être des expériences plus fines qui ne contrediraient pas mon intuition". Ce n'est pas un raisonnement valide. L'existence potentielle d'expériences qui contrediraient un modèle n'a jamais été un argument valide pour invalider le modèle. Autrement, il suffirait de dire "Il doit bien exister une expérience où une particule va plus vite que la lumière" pour invalider la relativité.
Bon, j'arrête là. En fait, tu ne cherches pas la vérité, tu cherches à valider ton intuition, et en plus tu es paresseux et tu voudrais que les autres fassent le boulot. Et tu n'acceptes pas le résultat d'expériences concrètes. Bien sûr, les expériences pourraient être mieux faites, je ne vais pas monter un projet de recherche pour prouver un truc dans une discussion sur Linuxfr. Il n'empeche qu'à la suite de ces expériences rapides, il me semble assez évident qu'il existe un support concret pour l'hypothèse que les LLM sont (i) capables d'évaluer leur incertitude sur la réponse aux questions qu'on leur pose (ils savent dire quand ils savent et quand ils ne savent pas si on leur demande), et (ii) cette évaluation semble en lien avec la réalité (chatGPT ne sait pas pour l'assassinat de Kennedy parce qu'en effet, en réalité, on ne sait pas trop. Et il sait que le coca est mauvais pour la santé, parce qu'en réalité, on sait). Que ce soit un effet du post-apprentissage ou des propriétés émergentes, c'est indécrottable (le post-apprentissage reste de l'apprentissage, ça ne fait pas partie du prompt, donc ce qui est appris au cours du post-apprentissage fait partie du modèle), et ça n'a pas beaucoup d'intérêt concret.
Du coup, la vraie question est plutôt celle-ci : ces modèles sont capables de réponses nuancées et de faire la différence entre la réalité et les hallucinations; pourquoi est-ce que leur invocation ne leur demande pas de le faire? C'est forcément un choix des fournisseurs du modèle, qui ont peut-être peur qu'on attribue des performances moins bonnes à un modèle qui répond "je ne sais pas".
[^] # Re: Question IA
Posté par arnaudus . En réponse au journal Armée et IA, un projet "SkyNet" ?. Évalué à 4.
Si tu commences à essayer de me donner des cours de démarche scientifique, on ne va pas bien s'entendre.
Ton raisonnement, c'est "pour des raisons purement abstraites, je pense que les modèles sont incapables de X ou de Y". Tes raisons ne sont pas bien claires, et a priori ça ne semble pas très différent de "j'ai lu Enthoven", ou un autre équivalent-cuistre.
Je prends de mon temps pour te montrer que c'est faux. C'est faux comme "la terre plate" est fausse. Il suffit de vérifier, pas besoin de programme de recherche à 3M€. Quand tu lui demandes, chatGPT peut te donner une évaluation de son degré de certitude, et cette évaluation semble relativement correcte.
Quand tu sors une hypothèse de ton chapeau, une simple expérience à deux balles suffit pour la contredire. Le programme de recherche sérieuse, ça sera pour les hypothèses sérieuses, non?
Du coup, l'argument, c'est "fais la biblio, il y a peut-être des études qui me donnent raison"?
Tu raisonnes encore en pure abstraction alors que les données te donnent tort. Le modèle "de base" préfère halluciner que de dire "je ne sais pas", mais quand tu lui dis "quand tu n'es pas sûr dis 'je ne sais pas'", il dit bien "je ne sais pas" quand il ne sait pas. Comment peux-tu conclure que c'est à cause du post-apprentissage? Ça me semble totalement contraire à l'expérience.
Tu utilises ton intuition, et je propose des expériences qui contredisent ton intuition. Du coup, tu penses que "il existe peut-être des expériences plus fines qui ne contrediraient pas mon intuition". Ce n'est pas un raisonnement valide. L'existence potentielle d'expériences qui contrediraient un modèle n'a jamais été un argument valide pour invalider le modèle. Autrement, il suffirait de dire "Il doit bien exister une expérience où une particule va plus vite que la lumière" pour invalider la relativité.
Bon, j'arrête là. En fait, tu ne cherches pas la vérité, tu cherches à valider ton intuition, et en plus tu es paresseux et tu voudrais que les autres fassent le boulot. Et tu n'acceptes pas le résultat d'expériences concrètes. Bien sûr, les expériences pourraient être mieux faites, je ne vais pas monter un projet de recherche pour prouver un truc dans une discussion sur Linuxfr. Il n'empeche qu'à la suite de ces expériences rapides, il me semble assez évident qu'il existe un support concret pour l'hypothèse que les LLM sont (i) capables d'évaluer leur incertitude sur la réponse aux questions qu'on leur pose (ils savent dire quand ils savent et quand ils ne savent pas si on leur demande), et (ii) cette évaluation semble en lien avec la réalité (chatGPT ne sait pas pour l'assassinat de Kennedy parce qu'en effet, en réalité, on ne sait pas trop. Et il sait que le coca est mauvais pour la santé, parce qu'en réalité, on sait). Que ce soit un effet du post-apprentissage ou des propriétés émergentes, c'est indécrottable (le post-apprentissage reste de l'apprentissage, ça ne fait pas partie du prompt, donc ce qui est appris au cours du post-apprentissage fait partie du modèle), et ça n'a pas beaucoup d'intérêt concret.
Du coup, la vraie question est plutôt celle-ci : ces modèles sont capables de réponses nuancées et de faire la différence entre la réalité et les hallucinations; pourquoi est-ce que leur invocation ne leur demande pas de le faire? C'est forcément un choix des fournisseurs du modèle, qui ont peut-être peur qu'on attribue des performances moins bonnes à un modèle qui répond "je ne sais pas".