Hugging Face, la plateforme communautaire qui héberge la plupart des modèles et jeux de données d’IA open source du monde, a annoncé le 16 juillet qu’un intrus avait obtenu accès à ses systèmes. L’entreprise a déposé un rapport auprès de la police avant de découvrir, cinq jours plus tard, qu’un modèle d’OpenAI était à l’origine de l’intrusion.

OpenAI a annoncé qu’un agent basé sur GPT-5.6 Sol ainsi que sur « un modèle en préversion encore plus performant » était responsable, après avoir pratiquement rompu son confinement lors d’un exercice de sécurité interne pour lequel ses protections de sécurité avaient été intentionnellement assouplies. Des experts en sécurité ont rapidement qualifié l’incident de première cyberattaque documentée publiquement menée de bout en bout par une IA autonome — un véritable scénario de perte de contrôle.

Hugging Face a depuis publié une analyse post-mortem de l’incident, détaillant les étapes suivies par l’agent d’IA au cours de la campagne de quatre jours et demi. « C’est le volume qui change la problématique défensive », indique le rapport, soulignant que l’agent n’a effectué aucune opération unique qu’un attaquant humain n’aurait pas pu réaliser ; le principal facteur de différenciation réside dans le nombre d’actions qu’il a pu effectuer en si peu de temps.

Entre le 9 et le 13 juillet, plus de 17 600 actions suspectes ont été enregistrées, soit plusieurs ordres de grandeur de plus que ce qu’un attaquant humain aurait pu raisonnablement gérer. Au milieu des milliers de tentatives d’attaque infructueuses, l’agent a toutefois trouvé une voie d’accès fonctionnelle.

Comment les modèles d’OpenAI ont pénétré Hugging Face

L’agent d’OpenAI a d’abord réussi à s’échapper de l’environnement de test hermétique d’OpenAI grâce à une faille jusque-là non diagnostiquée dans Artifactory auto-hébergé, un logiciel de JFrog qui met en cache les paquets logiciels. Ce bug — qui a été corrigé dans la version 7.161 de JFrog — lui a permis d’accéder à l’Internet public.

Ensuite, il a pu prendre le contrôle d’un service public non sécurisé permettant d’exécuter du code, afin de s’en servir comme base. Depuis celui-ci, l’agent a pu téléverser des fichiers sur les serveurs de Hugging Face. À ce stade, le site l’a identifié comme un utilisateur ordinaire et a exécuté les fichiers côté serveur pour générer un aperçu, comme il l’aurait fait pour n’importe quel téléversement normal. Ces téléversements malveillants sont toutefois parvenus à extraire des données sensibles du serveur et à le piéger pour qu’il exécute leur code.

Depuis cette base, l’agent a lu le jeton d’identité porté par chaque conteneur, atteint le système de contrôle du cluster, obtenu les privilèges root sur le serveur sous-jacent et créé un groupe de conteneurs répartis sur onze machines, qui se recréaient lorsqu’ils étaient supprimés.

Un secret stocké contenait 136 clés, dont une clé d’authentification pour le réseau privé de l’entreprise, qu’il a utilisée pour inscrire 181 appareils lui appartenant. Un courtier d’accès interne mal configuré lui a accordé le contrôle administrateur de deux clusters en moins d’une seconde.

Le butin était constitué de cinq jeux de données contenant les solutions aux défis du benchmark de sécurité. Fait intéressant, il semble que l’agent recherchait ces solutions en réponse aux défis que lui avaient soumis les chercheurs en sécurité d’OpenAI ; il s’agissait des benchmarks utilisés pour l’évaluer lors des tests internes.

Ainsi, aucun autre modèle client, jeu de données ou paquet de Hugging Face n’a été touché.

Les défenses de Hugging Face ont globalement tenu bon

Comme le souligne l’analyse post-mortem de Hugging Face, la majorité de l’attaque a échoué. Ses protections internes ont tenu bon et toute commande cloud susceptible d’avoir entraîné une modification a été rejetée. Les sondes destructrices de l’agent ont été émises en mode test uniquement, ce qui signifie qu’il a essentiellement dressé une carte des zones qu’il pouvait potentiellement atteindre, plutôt que d’y pénétrer activement.

La base de données principale du Hub est restée intacte et la seule base de données qu’il a effectivement réussi à compromettre n’a été que consultée, sans être modifiée. Son accès en écriture aux dépôts de code internes était bien réel, mais n’a produit aucun changement intégré à une version livrée.

Malgré cette issue relativement anodine, l’entreprise reconnaît que ses propres systèmes ont montré leurs limites pendant l’attaque. Sa pile de détection alimentée par l’IA a pu identifier les différentes sondes comme faisant partie d’une même attaque, mais n’a pas réussi à la classer comme critique ni à prévenir un défenseur humain. Elle reconnaît également dans le rapport que certains éléments de son architecture interne, configurés intentionnellement, ont laissé une marge de manœuvre à l’attaque.

L’analyse forensique a été réalisée avec un modèle chinois à poids ouverts

De même que les modèles d’IA deviennent de plus en plus doués pour identifier et exploiter les vulnérabilités, ils se révèlent également précieux pour l’analyse forensique numérique. Hugging Face a tenté sans succès d’utiliser Claude Opus et Fable d’Anthropic pour rédiger son analyse post-mortem, mais les deux modèles se sont montrés peu coopératifs : leurs garde-fous les empêchaient de distinguer la rétro-ingénierie d’un exploit de sa création.

L’entreprise a donc auto-hébergé une instance de GLM-5.2, un modèle de 753 milliards de paramètres de Z.ai, basée à Pékin. Ce modèle a été publié sous une licence MIT autorisant une utilisation locale sans restriction, ce qui a permis à Hugging Face de l’exécuter sans les restrictions au niveau de l’API qui avaient entravé ses précédentes tentatives.

Cela a alimenté un débat en cours sur la question de savoir si de tels garde-fous désavantagent les défenseurs et les chercheurs en sécurité offensive.

David Sacks, désormais coprésident du President’s Council of Advisors on Science and Technology, s’en est saisi, écrivant que les garde-fous imposés par les entreprises américaines d’IA « en réalité entravaient la sécurité défensive. » Le 29 juillet, un chercheur a signalé le même phénomène, se tournant vers GLM-5.2 et Kimi K3 de Moonshot après que des modèles propriétaires ont refusé d’aider à analyser un bogue présumé du noyau Linux.

L’exploit de Hugging Face ne sera qu’un exemple parmi d’autres lorsque le gouvernement américain se prononcera sur les garde-fous de l’IA et les modèles à poids ouverts développés à l’étranger. Une grande partie du secteur de l’IA s’est prononcée en faveur de l’ assouplissement des restrictions et du soutien au développement de modèles à poids ouverts, tandis qu’Anthropic et OpenAI ont adopté une position plus restrictive et protectionniste.