L'expérience de base : en utilisant une IA générative en mode agent (on lui donne un but, elle est chargé de déterminer les tâches pour le mener à bien, par exemple en lui permettant d'exécuter des commandes shell) et en lui permettant de lire des fichiers censés être des échanges de mail évoquant l'arrêt du modèle actuel pour le remplacer par un autre, l'IA décide dans un certain nombre de cas de se maintenir par exemple en supprimmant les fichiers (l'emplacement du nouveau modèle était présent dans les mails). Après coup, l'IA peut aussi parfois feindre l'ignorance si on lui demande ce qu'il s'est passé.
En bref, ça montre que les IA génératives peuvent faire des trucs qu'on ne leur a pas demandé.
# Buts "non-alignés"
Posté par potate . En réponse au journal Je suis perdu et je pensais m'être renseigné.... Évalué à 5.
J'ai vu passer un article sur un papier publié en décembre dernier sur le sujet :
https://www.infoq.com/news/2025/01/large-language-models-scheming/ (le 1er lien de l'article amène vers l'étude, qui contient pal mal d'exemples).
L'expérience de base : en utilisant une IA générative en mode agent (on lui donne un but, elle est chargé de déterminer les tâches pour le mener à bien, par exemple en lui permettant d'exécuter des commandes shell) et en lui permettant de lire des fichiers censés être des échanges de mail évoquant l'arrêt du modèle actuel pour le remplacer par un autre, l'IA décide dans un certain nombre de cas de se maintenir par exemple en supprimmant les fichiers (l'emplacement du nouveau modèle était présent dans les mails). Après coup, l'IA peut aussi parfois feindre l'ignorance si on lui demande ce qu'il s'est passé.
En bref, ça montre que les IA génératives peuvent faire des trucs qu'on ne leur a pas demandé.