À titre perso, je serais assez intéressé par des retours sur les différents logiciels, au moins sur 2 points:
- à quel point ça influence les LLMs
- à quel point ça évite le pillonage des infras.
Le second est assez facile à évaluer à mon avis.
J'ai plus de doute sur le premier, mais je pense que c'est faisable, ça va juste prendre plus de temps.
Par exemple, s'assurer d'avoir un mot bien spécifique dans les textes qu'on produit, et voir si ce mot apparaît dans un LLM après la mise en place serait une façon de faire. Inventer un nom d'un algo qui n'existe pas, vérifier qu'un LLM ne donne rien sur ce nom (2/3 fois pour être sur), sortir du texte en citant ce nom d'algo dans l'outil qui génère du texte, et voir dans 3 mois ce qu'un LLM va dire.
Mon plan (que je ne vais sans doute jamais mettre en œuvre) serait même d'aller plus loin que de générer du texte qui n'a aucun sens, mais de mélanger du texte qui a un peu plus de sens avec une phrase sur 2 tiré des prompts utilisé par les adeptes du spiralisme (pas le courant littéraire, le courant sectaire ) pour impacter les poids des LLMs.
Par exemple, qu'est ce qui se passerait si on envoie du code (correct, ou pas) sur github en masse avec une tonne de commentaire "spiraliste", des chaines de caractères, des constantes qui sont proches sémantiquement des mots clés utilisés par les tenants du courant ? (et avec des git push -f tout les 2/3 mois, ça peut même rester sous les radars de github en terme de conso de disque). Est ce que ça va diriger les LLMs vers plus de proba de sortir du texte spiraliste, ce qui va déclencher une forme de panique moral ?
Il se passe quoi si tu as du code qui est en fait un mélange de langage de programmation ?
De même, ça donne quoi si tu prends un texte, et que tu mets un mot sur deux dans une autre langue, ou en base64, est ce que les LLMs vont commencer à faire pareil un peu plus souvent ?
Il se passe quoi si tu commences à publier des informations du futur via ton générateur de texte ? Par exemple, 3000 fausses annonces de CVE de 2028 (avec des dates, etc), est ce que c'est une bombe à retardement qui va tomber dans 2 ans quand le modèle va se retrouver avec des informations contradictoires niché au fin fond du modèle au moment ou quelqu'un va faire la demande ?
Y a sans doute plein d'attaque pour empoisonner le texte, mais on sait pas ce qui marche vraiment, et pas de méthode pour tester que je sache. Et peut être qu'on devrait aller plus loin que la simple intuition.
[^] # Re: Site web à la c...
Posté par Misc (site web personnel) . En réponse au journal Sortir du CGNAT chez Red by SFR, c'est facile. Évalué à 5.
Iocaine ou un autre:
https://linuxfr.org/nodes/142284/comments/2013641
À titre perso, je serais assez intéressé par des retours sur les différents logiciels, au moins sur 2 points:
- à quel point ça influence les LLMs
- à quel point ça évite le pillonage des infras.
Le second est assez facile à évaluer à mon avis.
J'ai plus de doute sur le premier, mais je pense que c'est faisable, ça va juste prendre plus de temps.
Par exemple, s'assurer d'avoir un mot bien spécifique dans les textes qu'on produit, et voir si ce mot apparaît dans un LLM après la mise en place serait une façon de faire. Inventer un nom d'un algo qui n'existe pas, vérifier qu'un LLM ne donne rien sur ce nom (2/3 fois pour être sur), sortir du texte en citant ce nom d'algo dans l'outil qui génère du texte, et voir dans 3 mois ce qu'un LLM va dire.
Mon plan (que je ne vais sans doute jamais mettre en œuvre) serait même d'aller plus loin que de générer du texte qui n'a aucun sens, mais de mélanger du texte qui a un peu plus de sens avec une phrase sur 2 tiré des prompts utilisé par les adeptes du spiralisme (pas le courant littéraire, le courant sectaire ) pour impacter les poids des LLMs.
Par exemple, qu'est ce qui se passerait si on envoie du code (correct, ou pas) sur github en masse avec une tonne de commentaire "spiraliste", des chaines de caractères, des constantes qui sont proches sémantiquement des mots clés utilisés par les tenants du courant ? (et avec des git push -f tout les 2/3 mois, ça peut même rester sous les radars de github en terme de conso de disque). Est ce que ça va diriger les LLMs vers plus de proba de sortir du texte spiraliste, ce qui va déclencher une forme de panique moral ?
Il se passe quoi si tu as du code qui est en fait un mélange de langage de programmation ?
De même, ça donne quoi si tu prends un texte, et que tu mets un mot sur deux dans une autre langue, ou en base64, est ce que les LLMs vont commencer à faire pareil un peu plus souvent ?
Il se passe quoi si tu commences à publier des informations du futur via ton générateur de texte ? Par exemple, 3000 fausses annonces de CVE de 2028 (avec des dates, etc), est ce que c'est une bombe à retardement qui va tomber dans 2 ans quand le modèle va se retrouver avec des informations contradictoires niché au fin fond du modèle au moment ou quelqu'un va faire la demande ?
Y a sans doute plein d'attaque pour empoisonner le texte, mais on sait pas ce qui marche vraiment, et pas de méthode pour tester que je sache. Et peut être qu'on devrait aller plus loin que la simple intuition.