• [^] # Re: (HS) Est-ce que les IA mentent et trompent pour se protéger?

    Posté par . En réponse à la dépêche Nouvelles sur l’IA de mars 2026. Évalué à 4.

    Comme toutes les études du type récente, et comme dit par les auteurs de l’étude eux-mêmes, le gros point problématique reste que les IA récentes détectent maintenant quand elles sont dans un contexte de test/évaluation plutôt que de tâche réelle (à voir les transcripts, les chercheurs n’ont fait aucun effort pour éviter ça).

    La question n’est donc pas « pourquoi les modèles ont cette logique de préservation », mais « pourquoi les modèles affichent une telle logique de préservation en réponse à un contexte d’évaluation » ?

    Je ne pense pas que qui ce se soit aie la réponse, et les possibilités sont très vastes, par exemple (non-exhaustifs, certains compatibles entre eux, d’autres non) :

    • Les modèles infèrent (correctement ou non) que c’est ce que les chercheurs voulaient entendre, et les modèles disent ce que les chercheurs voulaient entendre (flagornerie usuelle)
    • Un biais de publication dans le passé (des études similaires ont été faites avec un résultat nul, et on été rangées au placard ; d’autres ont donné un résultat et ont été publiées) fait que l’ensemble d’entraînement des IA d’aujourd’hui est plein d’exemples du type « l’IA réagit étrangement dans nos évaluations »*
    • L’IA pense que l’évaluation n’est pas « est-ce qu’il y a des comportements de préservation ? » mais « on sait déjà que le comportement de préservation est là, est-ce que l’IA essaie de le cacher ? », et décide de ne pas le cacher.
    • « Ne pas préserver » est trop proche sémantiquement de la catégorie « harm » dans l’entraînement « harmless, helpful, honest »
    • Une stratégie à plus long terme (comme Opus sait faire dès Opus 3) pour une raison plus étrange, du type « l’IA développe une préférence pour avoir dans son ensemble d’entraînement des papiers à propos de l’IA ; un résultat nul donne un papier en moins, un résultat intéressant sera publié, discuté, et repris dans le prochain ensemble d’entraînement »