Est-ce que le LLM en question sait expliquer comment il parvient à ce résultat ?
Ça dépend ce que signifie la question.
Si la question est : «comment je sais que le résultat énoncé par le LLM est vrai ?», la réponse est : parce que j'ai lu la démonstration donnée par le LLM, et elle est correcte.
Si la question est «Quel cheminement mental il a suivi pour découvrir la démonstration ?», alors la réponse est comme pour n'importe quel mathématicien qui donne une démonstration d'un fait connu : «parce que je la connais» ou «parce que je connais plein de démonstrations dans des cas similaires, et j'ai pu adapter».
Cela dit, «adapter» dans le cas d'un LLM a une signification très différente de «adapter» dans le cas d'un humain.
Le cheminement fait par le LLM pour faire une simple addition est assez impressionnant.
TL;DR de la vidéo :
- Si on demande 14+18, il répond 32 (correct)
- Si on lui demande comment il y est arrivé, il dit qu'il a fait 4+8 (=12 c'est à dire 2 avec un report de 1) puis il a fait 1+1 (=2) et le report.
- Mais si on regarde quels sont les neurones effectivement activés lorsqu'il répons 14+18=32, à aucun moment il n'a effectivement activé les neurones correspondant à 12. Ni à aucune des étapes intermédiaires de report ou de quoi que ce soit de ce genre.
[^] # Re: Je me demande
Posté par LaurentClaessens (site web personnel) . En réponse au journal npm et badaboum. Évalué à 3.
Ça dépend ce que signifie la question.
Si la question est : «comment je sais que le résultat énoncé par le LLM est vrai ?», la réponse est : parce que j'ai lu la démonstration donnée par le LLM, et elle est correcte.
Si la question est «Quel cheminement mental il a suivi pour découvrir la démonstration ?», alors la réponse est comme pour n'importe quel mathématicien qui donne une démonstration d'un fait connu : «parce que je la connais» ou «parce que je connais plein de démonstrations dans des cas similaires, et j'ai pu adapter».
Cela dit, «adapter» dans le cas d'un LLM a une signification très différente de «adapter» dans le cas d'un humain.
Le cheminement fait par le LLM pour faire une simple addition est assez impressionnant.
TL;DR de la vidéo :
- Si on demande 14+18, il répond 32 (correct)
- Si on lui demande comment il y est arrivé, il dit qu'il a fait 4+8 (=12 c'est à dire 2 avec un report de 1) puis il a fait 1+1 (=2) et le report.
- Mais si on regarde quels sont les neurones effectivement activés lorsqu'il répons 14+18=32, à aucun moment il n'a effectivement activé les neurones correspondant à 12. Ni à aucune des étapes intermédiaires de report ou de quoi que ce soit de ce genre.