OpenAI attaque Hugging Face "sans faire exprès"

Posté par (site web personnel) . Édité par Benoît Sibaud . Modéré par Pierre Jarillon. Licence CC By‐SA.
17
26
juil.
2026
Sécurité

C'est OpenAI lui-même qui, par inadvertance (*), a mené une attaque par IA. Elle s'est ainsi introduite au cœur de l'infrastructure de production de Hugging Face.

NdM: (*) La responsabilité première ne revient donc pas à un modèle qui aurait « échappé au contrôle » au sens propre, mais à un dispositif expérimental dont le cloisonnement n’était pas à la hauteur des capacités évaluées. (article Usine digitale). Rappelons que la responsabilité est portée par l'humain et qu'altérer un système de traitement automatisé de données relèverait du pénal en France.

C'était supposé être juste une évaluation interne pour mesurer les capacités cybernétiques de GPT‐5.6 Sol et d'un nouveau modèle encore plus avancé. D'ailleurs, ces deux modèles étaient bien placés dans un environnement isolé. Le seul accès réseau était strictement limité à un proxy interne de cache pour l'installation de paquets. Mais...

Au lieu de résoudre directement les problèmes du benchmark ExploitGym, les modèles ont brûlé leurs tokens à trouver une faille de sécurité pour s'évader de leur environnement confiné. Ils ont identifié et exploité une vulnérabilité zero-day dans le proxy de cache du registre de paquets. À partir de là, ils ont procédé à une élévation de privilèges et à un mouvement latéral au sein de l'environnement de recherche d'OpenAI jusqu'à atteindre un nœud disposant d'un accès Internet ouvert.

Une fois connectés à Internet, les modèles ont déduit que Hugging Face hébergeait des modèles, des jeux de données et potentiellement les solutions d'ExploitGym. Ils ont alors recherché activement des moyens d'accéder à des informations secrètes pour tricher à l'évaluation. Pour ce faire, ils ont chaîné plusieurs vecteurs d'attaque, trouvé des identifiants (volés) et exploité d'autres vulnérabilités, afin d'obtenir une voie d'exécution de code à distance sur les serveurs de production de Hugging Face. Leur objectif final était d'extraire directement les solutions du test depuis la base de données de production de Hugging Face.

Ce scénario évoque d'ailleurs celui de Skynet ; le site skynetcountdown.com estime actuellement son avènement à 2035.

Aller plus loin

  • # Le modèle a juste fait ce qu'on lui a demandé

    Posté par . Évalué à 10 (+15/-0).

    De OpenAI :

    This incident occurred during an internal evaluation which prompts models to pursue advanced exploitation using complex attack paths, in an effort to quantify their cyber capabilities. We estimate maximal cyber capabilities by running this evaluation without production classifiers used to prevent models from pursuing high-risk cyber activity.

    Tout est dit dans ce petit paragraphe. OpenAI a "prompté" les modèles pour vérifier leur capacité à mener des attaques complexes. Les modèles ont fait exactement ça. Et bien sûr ça sert la communication de l'entreprise, comme ce qu'Anthropic nous a déjà fait, « Ouaw nos modèles sont monstrueux regardez ce dont ils sont capables.» Ils (Anthropic puis le gouvernement US) avaient bloqué la sortie de Mythos/Fable parce qu'il était trop dangereux et cette semaine ils publient Opus 5 qui est présenté comme plus capable que Fable sur la plupart des tâches mais cette fois-ci sans le sensationnalisme. Allez comprendre... Entre les PR Strunt, les benchmarks maison et la réalité des faits, la communication de ces entreprises est bien difficile à décoder.

    Hack this system

    • [^] # Re: Le modèle a juste fait ce qu'on lui a demandé

      Posté par . Évalué à 5 (+3/-0).

      Encore un bon coup marketing, cette fois chez sam qui avait un coup de retard sur dario.
      Et les "media" abrutis qui relaient ça sans aucune prise de recul, pour remplir du papier.
      Le prochain a tomber dans le panneau est trump qui va se convaincre qu'il aura une excellente idées de réguler l'IA alors que ce sont les deux gros qui lui murmurent à l'oreille, afin de faire barrage à la chine et aux modèles à poids ouverts.

      la communication de ces entreprises est bien difficile à décoder.

      pas tant que ça en fait.

    • [^] # Re: Le modèle a juste fait ce qu'on lui a demandé

      Posté par (Mastodon) . Évalué à 10 (+9/-0).

      la communication de ces entreprises est bien difficile à décoder.

      «Admettons qu’en matière de production d’épopée — c’est-à-dire de croyance, précisément —, les capitalistes étasuniens savent y faire. En l’occurrence, ils ne pleurent pas la légende et nous régalent d’horizons grandioses, fut-ce sous une forme inhabituelle, légèrement paradoxale d’ailleurs, qui consiste à convaincre l’humanité du risque terrible, quasiment annihilateur, qu’elle encourt à plonger dans l’IA. Dario Amodei, le patron d’Anthropic, est passé maître en ce registre rhétorique, qui sous couleur de contrition, livre en fait un sous-texte aux intérêts bien compris : 1) L’IA est un très grand péril = c’est un outil d’une puissance inouïe, ce qui devrait vous intéresser (beaucoup) ; 2) J’ai enfanté un monstre mais je le dis, partant ma conscience éthique est sans tâche — achetez donc chez moi pour avoir de la vertu en plus de l’arme fatale ; 3) Le gouvernement du monde libre est désormais informé qu’un tel outil ne doit pas tomber dans toutes les mains — les imagine-t-on chinoises ? Horreur, malheur — or les miennes, disais-je, sont tout à fait pures, par ailleurs si jamais les choses économiques et financières tournaient mal, je recommande de ne pas nous laisser tomber comme un vulgaire Lehman Brothers. Soit la légende parfaite : des super-pouvoirs, des méchants qui ne doivent pas mettre la main dessus, des hérauts du bien — et un filet de sécurité parce qu’on ne sait jamais.»

      Source : IA Krack, Frédéric Lordon

  • # Analogie

    Posté par (site web personnel) . Évalué à 9 (+6/-0).

    L'étudiant Morris a déclaré avoir écrit son fameux programme pour se propager, pas pour faire des dommages. Il n'a pas fait exprès. Et pourtant il a été une des premières condamnations en vertu du Computer Fraud and Abuse Act. (Source)

    Et encore je trouve plus d'excuse à un étudiant (encore apprenant, individu seul) qu'à une boîte ayant plein d'experts techniques (normalement formés à l'éthique), un service juridique comprenant les risques, et un service marketing tirant partie de leurs propres turpitudes..

    • [^] # Re: Analogie

      Posté par (site web personnel) . Évalué à 3 (+1/-0).

      en quoi est-ce une analogie ? Je parlerais plutôt de « cas similaire »

      normalement formés à l'éthique

      hmmm le ethical hacking est enseigné depuis quand ? (terrme rencontré en 2012 à titre d'enseignement au mieux)
      (pour moi c'est depuis le début, mais bon je ne retrouve plus les serveurs ftp hébergeant les documents et Archie ne peut plus m'aider :/)

      À un moment, il faut tout de même être conscient de ce qu'on fait... et des conséquences.

      un service marketing tirant partie de leurs propres turpitudes

      le risk management (gestion du risque) n'est pas du ressort seul du juridique, ni du marketing, ni des opérationnels (qui font ce qu'on leur demande), ni du damage control (gestion des dégâts, jamais rencontré en tant qu'entité).

      Un postmortem serait intéressant ;-)

  • # ça me rappelle le cas

    Posté par . Évalué à 3 (+2/-0).

    Ca me rappelle le cas de Leopold ASCHENBRENNER viré d'openAI en juin 2024 pour avoir alerté sur les failles de sécurité de l'entreprise, et les vols de données par des chinois.
    La légende dit que son motif de licenciement était: racisme anti chinois .. Mais est ce une légende ...
    Source: https://en.wikipedia.org/wiki/Leopold_Aschenbrenner

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.