Oui, et les mêmes auteurs (oui oui, exactement les mêmes dans le même ordre de citation) ont déjà publié une étude connexe il y a quelques mois qui n'est toujours pas publiée non plus (https://arxiv.org/abs/2402.06664v1)
J'ai regardé vite fait des CV, deux d'entre eux au moins sont des assistants de recherche de l'université, arrivés en même temps à l'université il y a 9 mois, et qui travaillent tous les deux à temps partiel à l'université et dans la Red team d'OpenAI. Je trouve cela pour le moins curieux.
Sinon quand on regarde le document, cela ne prouve pas grand chose. Déjà pas de prompts, ni de méthodologie avancée, pas de code, donc niveau reproductibilité et vérification c'est vraiment léger ça fait très "crois moi frère". L'excuse pour ne pas le faire semble bien léger.
Je suis d'accord avec lui sur la qualité de l'article, il n'y a aucune preuve que GPT4 fasse mieux que des outils dédiés à cette tâche et qui existent depuis longtemps. Et on a aucune preuve que ChatGPT soit capable de s'adapter à des failles complexes et de générer les exploits lui même. Cela fait très hype pour pas grand chose. On manque cruellement de détails essentiels pour conclure autre chose.
[^] # Re: Papier scientifique
Posté par Renault (site web personnel) . En réponse au lien Attention, Chat-GPT est capable de se transformer en "hacker" (payant). Évalué à 10.
Oui, et les mêmes auteurs (oui oui, exactement les mêmes dans le même ordre de citation) ont déjà publié une étude connexe il y a quelques mois qui n'est toujours pas publiée non plus (https://arxiv.org/abs/2402.06664v1)
J'ai regardé vite fait des CV, deux d'entre eux au moins sont des assistants de recherche de l'université, arrivés en même temps à l'université il y a 9 mois, et qui travaillent tous les deux à temps partiel à l'université et dans la Red team d'OpenAI. Je trouve cela pour le moins curieux.
Sinon quand on regarde le document, cela ne prouve pas grand chose. Déjà pas de prompts, ni de méthodologie avancée, pas de code, donc niveau reproductibilité et vérification c'est vraiment léger ça fait très "crois moi frère". L'excuse pour ne pas le faire semble bien léger.
Une personne a écrit (en anglais) une critique pour les deux articles de ces auteurs : https://struct.github.io/llm_auto_hax.html et https://struct.github.io/auto_agents_1_day.html
Je suis d'accord avec lui sur la qualité de l'article, il n'y a aucune preuve que GPT4 fasse mieux que des outils dédiés à cette tâche et qui existent depuis longtemps. Et on a aucune preuve que ChatGPT soit capable de s'adapter à des failles complexes et de générer les exploits lui même. Cela fait très hype pour pas grand chose. On manque cruellement de détails essentiels pour conclure autre chose.