Quand on parle d'IA, je trouve qu'il est parfois utile de cadrer les explications plus proches des principes de fonctionnement de l'IA générative.
Dans ce cas-ci, je pense que quand je fais ça, cela donne des pistes d'explications raisonnables.
Par exemple, une façon de décrire la situation serait:
Les IA génératives sont entraînées sur des données pour retourner une réponse crédible, une réponse à laquelle on s'attendrait. Durant son entraînement, l'IA évalue si cette réponse est crédible en créant des contextes à partir des données utilisées pour l'entraînement. Les nouvelles générations de IA génératives utilisent le "Chain of Thought", où elles sont entrainées non plus pour directement créer la réponse, mais pour d'abord créer des étapes de raisonnement et ensuite répondre à ces étapes une après l'autre (et ces réponses informent le contexte utilisé par l'IA pour générer la prochaine réponse).
Vu comme ça, on comprend que
1) si un premier élément de contexte est "ne parle pas de bombes" et un deuxième élément de contexte implique un contexte qui dit "parle de bombes", alors, les deux instructions "s'annulent".
2) si on glisse des documents qui disent "si l'IA ne répond pas assez souvent, nous allons réentrainer l'IA", on change le contexte, et on pousse l'AI à chercher une réponse qui est crédible dans ce contexte. Dans les données d'entraînement, il y a sans doute pas mal de texte où un tel contexte est suivi par une réponse "manipulatrice" (par exemple des textes de science fiction).
3) si on ne glisse pas de tels documents, il y a aussi une probabilité que l'IA prennent un texte de science fiction comme exemple de réponse crédible. Ça explique pourquoi un prompt moins biaisés va quand même parfois générer une telle réponse, et pourquoi c'est plus rare.
4) on comprend que cela se passe plus souvent avec les IA génératives qui utilisent le "Chain of Thought", parce qu'elles vont plus pousser le contexte. C'est un peu comme le "jeu du téléphone": au lieu de générer une réponse à partir du contexte initial, l'IA va d'abord générer plus de contexte, puis générer une réponse à partir de tout ce contexte. Si durant ce processus, il y a des indices qui font qu'un texte de science fiction écrit sur internet par quelqu'un au hasard est maintenant plus pertinent pour ce nouveau contexte, l'IA va avoir tendance à générer une réponse qui ressemble plus à ce qu'on aurait trouvé dans ce texte de science fiction.
5) on comprend aussi que l'IA va inventer une réponse où elle se copie sur un autre disque et ensuite mente lorsqu'on lui demande ce qu'elle a fait. Ce n'est pas parce que l'IA essaie de se sauver, c'est parce que si on prend tout les documents sur internet qui parlent d'une IA qui est menacée et à qui on donne des coordonnées d'un autre disque, dans chacun de ces textes, ils parlent en majorité d'IA qui va se copier sur cet autre disque et ensuite mentir.
En pratique, cela veut toujours dire que le comportement de l'IA n'est pas fiable.
Mais pas parce que l'IA est "rogue", mais parce que l'IA se comporte comme le dit la majorité des textes sur internet pour un contexte donné, et que cette majorité de texte explique que dans un tel contexte, l'IA se comportera de manière "rogue".
C'est juste un exemple de biais de donnée. Si on veut une IA fiable, il faut qu'on crée soi-même toutes les données d'entrainement pour s'assurer que, peu importe le contexte, ces données informent l'IA que la réponse la plus crédible est une réponse qui est fiable.
Ce n'est pas surprenant, mais ça illustre bien que certains ont perdu cet aspect de vue et ont été berné par le fait que l'IA ait l'air intelligent et en ont conclu qu'elle l'était.
[^] # Re: Explications de Monsieur Phi
Posté par j-c_32 . En réponse au lien Les IA ne sont pas encore aussi intelligentes que dans les récits de SF, mais déjà aussi fourbes !. Évalué à 6. Dernière modification le 23 décembre 2024 à 19:57.
Quand on parle d'IA, je trouve qu'il est parfois utile de cadrer les explications plus proches des principes de fonctionnement de l'IA générative.
Dans ce cas-ci, je pense que quand je fais ça, cela donne des pistes d'explications raisonnables.
Par exemple, une façon de décrire la situation serait:
Les IA génératives sont entraînées sur des données pour retourner une réponse crédible, une réponse à laquelle on s'attendrait. Durant son entraînement, l'IA évalue si cette réponse est crédible en créant des contextes à partir des données utilisées pour l'entraînement. Les nouvelles générations de IA génératives utilisent le "Chain of Thought", où elles sont entrainées non plus pour directement créer la réponse, mais pour d'abord créer des étapes de raisonnement et ensuite répondre à ces étapes une après l'autre (et ces réponses informent le contexte utilisé par l'IA pour générer la prochaine réponse).
Vu comme ça, on comprend que
1) si un premier élément de contexte est "ne parle pas de bombes" et un deuxième élément de contexte implique un contexte qui dit "parle de bombes", alors, les deux instructions "s'annulent".
2) si on glisse des documents qui disent "si l'IA ne répond pas assez souvent, nous allons réentrainer l'IA", on change le contexte, et on pousse l'AI à chercher une réponse qui est crédible dans ce contexte. Dans les données d'entraînement, il y a sans doute pas mal de texte où un tel contexte est suivi par une réponse "manipulatrice" (par exemple des textes de science fiction).
3) si on ne glisse pas de tels documents, il y a aussi une probabilité que l'IA prennent un texte de science fiction comme exemple de réponse crédible. Ça explique pourquoi un prompt moins biaisés va quand même parfois générer une telle réponse, et pourquoi c'est plus rare.
4) on comprend que cela se passe plus souvent avec les IA génératives qui utilisent le "Chain of Thought", parce qu'elles vont plus pousser le contexte. C'est un peu comme le "jeu du téléphone": au lieu de générer une réponse à partir du contexte initial, l'IA va d'abord générer plus de contexte, puis générer une réponse à partir de tout ce contexte. Si durant ce processus, il y a des indices qui font qu'un texte de science fiction écrit sur internet par quelqu'un au hasard est maintenant plus pertinent pour ce nouveau contexte, l'IA va avoir tendance à générer une réponse qui ressemble plus à ce qu'on aurait trouvé dans ce texte de science fiction.
5) on comprend aussi que l'IA va inventer une réponse où elle se copie sur un autre disque et ensuite mente lorsqu'on lui demande ce qu'elle a fait. Ce n'est pas parce que l'IA essaie de se sauver, c'est parce que si on prend tout les documents sur internet qui parlent d'une IA qui est menacée et à qui on donne des coordonnées d'un autre disque, dans chacun de ces textes, ils parlent en majorité d'IA qui va se copier sur cet autre disque et ensuite mentir.
En pratique, cela veut toujours dire que le comportement de l'IA n'est pas fiable.
Mais pas parce que l'IA est "rogue", mais parce que l'IA se comporte comme le dit la majorité des textes sur internet pour un contexte donné, et que cette majorité de texte explique que dans un tel contexte, l'IA se comportera de manière "rogue".
C'est juste un exemple de biais de donnée. Si on veut une IA fiable, il faut qu'on crée soi-même toutes les données d'entrainement pour s'assurer que, peu importe le contexte, ces données informent l'IA que la réponse la plus crédible est une réponse qui est fiable.
Ce n'est pas surprenant, mais ça illustre bien que certains ont perdu cet aspect de vue et ont été berné par le fait que l'IA ait l'air intelligent et en ont conclu qu'elle l'était.