Une hallucination par un modèle de langage c'est une information en sortie qui n'est ni présente dans son corpus d'apprentissage ni même logiquement déductible d'informations présentes dans son corpus d'apprentissage.
Souvent c'est sorti de manière parfaitement identique à une information qui au contraire serait bien présente de nature similaire.
Ça se produit par exemple souvent justement parce que, contrairement à ce qu'on a pu lire ici ou là, ce n'est pas une base de donnée. La base de donnée est éventuellement un corpus d'apprentissage. Si le réseau "mémorise" des truc il les mémorise de manière statistique, en faisant pas forcément la différence entre le général et le particulier. Si "Machin" est un chercheur de médecine qui travaille sur les bactéries, il se "souviendra" peut-être de machin, peut-être vaguement que c'est un chercheur en médecine par association des "tokens", mais il pourra facile halluciner qu'il travaille sur les virus parce que c'est des machins proches des bactéries et que d'autres chercheurs proches travaillent sur les virus.
C'est principalement le cas quand on demande une information factuelle. Si on demande un texte d'imagination c'est différent vu qu'on veut des inventions, ou là on est pas garanti que le résultat soit cohérent par contre.
[^] # Re: toutes les IA n'hallucinent pas
Posté par thoasm . En réponse au lien À quand des drones tueurs qui hallucinent dans l'armée française ? Partenariat avec Mistral AI. Évalué à 8. Dernière modification le 22 janvier 2025 à 20:01.
Une hallucination par un modèle de langage c'est une information en sortie qui n'est ni présente dans son corpus d'apprentissage ni même logiquement déductible d'informations présentes dans son corpus d'apprentissage.
Souvent c'est sorti de manière parfaitement identique à une information qui au contraire serait bien présente de nature similaire.
Ça se produit par exemple souvent justement parce que, contrairement à ce qu'on a pu lire ici ou là, ce n'est pas une base de donnée. La base de donnée est éventuellement un corpus d'apprentissage. Si le réseau "mémorise" des truc il les mémorise de manière statistique, en faisant pas forcément la différence entre le général et le particulier. Si "Machin" est un chercheur de médecine qui travaille sur les bactéries, il se "souviendra" peut-être de machin, peut-être vaguement que c'est un chercheur en médecine par association des "tokens", mais il pourra facile halluciner qu'il travaille sur les virus parce que c'est des machins proches des bactéries et que d'autres chercheurs proches travaillent sur les virus.
C'est principalement le cas quand on demande une information factuelle. Si on demande un texte d'imagination c'est différent vu qu'on veut des inventions, ou là on est pas garanti que le résultat soit cohérent par contre.