Parce que perso, maintenant que je vois clairement comment ça marche, c'est évident que quand on voit un titre "une IA s'est barrée de son cloisonnement par attaquer tout Internet", désolé, mais c'est vraiment la faute de l'agent, pas de l'IA. Un LLM ça pisse du texte c'est tout. Ça n'exécute rien.
Le "ça n’exécute rien" me parait discutable. Qu’il lance des commandes sur un shell ou des fonctions/outils que tu lui donne ça reste de l’exécution de mon point de vu. Et si avec quelques outils tu garde ça sous un contrôle fort. L’augmentation du nombre de fonctions et leur complexité arrive fatalement à des failles exploitables.
C’est un peu comme les capabilities historiques une partie d’entre elles permettent une escalation de privilèges.
Imaginons tes 3 outils : read_file, write_file et shell command. Et tu en a marre de valider des write_file et shell command, donc tu l’autorise automatiquement que dans un certain fs ou dossier. S’il se met à exploiter des failles, du type utilisation de liens symboliques pour outre passer tes sécurités. Tu dira encore que c’est un défaut de sécurisation ? S’il atteins un niveau de raffinement au point où il trouve et utilise une 0-day ? S’il te pousse discrètement à downgrade ta machine pour qu’il ai accès à une faille ?
J’exagère évidement mais la question de c’est pas le modèle c’est le client ne me parait pas très pertinent. Au cas part cas tu peut dire que c’est un défaut dans le client ou dans l’apprentissage.
[^] # Re: Gégé award
Posté par barmic 🦦 . En réponse au journal Auto-héberger ses LLM (IA) : Interfaces utilisateur. Évalué à 3 (+1/-0).
Je comprends mais du coup :
Le "ça n’exécute rien" me parait discutable. Qu’il lance des commandes sur un shell ou des fonctions/outils que tu lui donne ça reste de l’exécution de mon point de vu. Et si avec quelques outils tu garde ça sous un contrôle fort. L’augmentation du nombre de fonctions et leur complexité arrive fatalement à des failles exploitables.
C’est un peu comme les capabilities historiques une partie d’entre elles permettent une escalation de privilèges.
Imaginons tes 3 outils :
read_file,write_fileetshell command. Et tu en a marre de valider deswrite_fileetshell command, donc tu l’autorise automatiquement que dans un certain fs ou dossier. S’il se met à exploiter des failles, du type utilisation de liens symboliques pour outre passer tes sécurités. Tu dira encore que c’est un défaut de sécurisation ? S’il atteins un niveau de raffinement au point où il trouve et utilise une 0-day ? S’il te pousse discrètement à downgrade ta machine pour qu’il ai accès à une faille ?J’exagère évidement mais la question de c’est pas le modèle c’est le client ne me parait pas très pertinent. Au cas part cas tu peut dire que c’est un défaut dans le client ou dans l’apprentissage.
https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll