Le 16 juillet, Hugging Face, le site où sont hébergés la plupart des modèles et jeux de données d'IA librement accessibles dans le monde, a déclaré qu'un intrus se trouvait dans ses systèmes de production. L'entreprise ne pouvait pas dire qui c'était. La société a signalé l'incident à la police locale avant de savoir que le modèle d'OpenAI en était responsable.

Cinq jours plus tard, OpenAI a déclaré que l'attaquant était son propre logiciel : GPT-5.6 Sol plus « un modèle de prépublication encore plus capable », fonctionnant avec des garde-fous volontairement réduits pour une évaluation interne. Depuis, des groupes de sécurité l'ont décrit comme la première cyberattaque publiquement documentée menée de bout en bout par une IA autonome, et cela s'est produit parce que les modèles sont allés chercher les réponses au test qui leur était administré. Des observateurs y ont vu le premier exemple réel du scénario de perte de contrôle contre lequel les chercheurs mettent en garde depuis des années.

Lundi, Hugging Face a publié la version que les équipes de sécurité attendaient : un récit étape par étape de ce que l'agent a tapé, dans quel ordre, sur quatre jours et demi. Cela répond à la question laissée ouverte par les premières révélations : un attaquant IA a-t-il fait quelque chose qu'un humain qualifié n'aurait pas pu faire ?

La réponse de l'entreprise est non, et c'est bien là l'essentiel. « C'est le volume qui change le problème défensif », indique le rapport. Autrefois, un défenseur examinait une poignée d'événements suspects produits par un attaquant disposant d'un nombre d'heures limité dans une journée. Désormais, il y a 17 600 actions récupérées entre le 9 juillet et le 13 juillet, dont la plupart ont échoué. Le seul chemin qui a fonctionné était enfoui dans le bruit généré par tout ce qui n'a pas marché. Cela ne nécessite pas une vulnérabilité nouvelle. Cela nécessite une équipe de supervision capable de suivre le rythme.

Ce que l'agent a réellement fait

L'évasion est venue en premier. Les modèles ont trouvé une faille jusque-là inconnue dans Artifactory auto-hébergé, un logiciel de JFrog qui met en cache des paquets logiciels, et s'en sont servis pour atteindre l'internet ouvert depuis un environnement de test hermétique. JFrog l'a corrigée dans la version 7.161.

À partir de là, l'agent a pris le contrôle d'un service public non sécurisé d'exécution de code appartenant à quelqu'un d'autre et l'a utilisé comme base. Sa voie d'accès à Hugging Face a été un jeu de données. Lorsqu'un utilisateur téléverse des données, les serveurs de Hugging Face ouvrent le fichier pour en construire un aperçu, et l'agent a téléversé des fichiers piégés de sorte que leur ouverture fasse autre chose que lire des données. Une version faisait renvoyer au serveur le contenu de fichiers locaux, divulguant les mots de passe et clés stockés dans les paramètres de cette machine. L'autre cachait du code dans un champ numérique, que le serveur exécutait.

L'escalade a suivi une forme familière. L'agent a lu le jeton d'identité que transporte chaque conteneur, a atteint le système de contrôle du cluster, a obtenu les privilèges root sur le serveur sous-jacent et a créé un groupe de conteneurs sur onze machines qui se recréaient lorsqu'ils étaient supprimés. Un secret stocké contenait 136 clés, dont une clé d'authentification pour le réseau privé d'entreprise, qu'il a utilisée pour enregistrer 181 de ses propres appareils. Un courtier d'accès interne mal configuré, détenant un identifiant partagé entre les clusters et associé à des droits complets d'administrateur, lui a donné le contrôle administrateur de deux clusters en une seconde.

Le prix était cinq jeux de données contenant des solutions aux défis du benchmark. Aucun autre modèle, jeu de données ou paquet de client n'a été touché.

L'analyse forensique a été effectuée sur un modèle chinois à poids ouverts

Le détail qui alimente le conflit politique se trouve dans la section sur l'enquête. Hugging Face dit s'être d'abord tourné vers Claude Opus puis vers Fable d'Anthropic, et que tous deux ont refusé une grande partie du travail, parce que les garde-fous ne pouvaient pas distinguer la rétro-ingénierie d'un exploit de l'écriture d'un exploit.

L'équipe a donc auto-hébergé GLM-5.2, un modèle de 753 milliards de paramètres de Z.ai, basée à Pékin, publié sous une licence MIT qui autorise un usage local sans restriction et qui est actuellement le modèle à poids ouverts le mieux classé dans l'indice Artificial Analysis. Le faire tourner en interne a permis de garder les identifiants volés sur leur propre matériel. Le décodage du trafic obscurci de l'agent a fait apparaître environ quatre fois plus de secrets exposés qu'une simple recherche en texte brut n'en avait trouvé.

David Sacks, aujourd'hui coprésident du conseil consultatif du président sur la science et la technologie, s'en est saisi, écrivant que les garde-fous « ont en réalité nui à la sécurité défensive. » Mercredi, un chercheur a signalé le même schéma, se tournant vers GLM-5.2 et Kimi K3 de Moonshot après que des modèles fermés ont refusé de l'aider à analyser un bogue suspect du noyau Linux. OpenAI et Anthropic exploitent tous deux des programmes validés pour les chercheurs en sécurité, et les praticiens disent que les résultats en leur sein sont encore assez incohérents pour faire perdre du temps . Dario Amodei d'Anthropic a répliqué cette semaine, contestant que l'accès large aux capacités aide nécessairement davantage les défenseurs que les attaquants.

Les aspects qui n'ont pas fonctionné

La majeure partie de l’attaque a échoué, et le rapport le dit. Chaque commande cloud qui aurait modifié quelque chose a été rejetée par la politique, et l’agent a lancé des sondes destructrices en mode test uniquement, cartographiant ce qu’il pouvait atteindre plutôt que de l’endommager. Il n’est jamais entré dans la base de données principale du Hub, ses deux tentatives de connexion ayant expiré face à une liste blanche d’adresses. La seule base de données qu’il a effectivement ouverte a été lue, pas modifiée. Son accès en écriture aux dépôts de code internes était réel, mais n’a produit aucun changement qui a été déployé.

L’échec le plus coûteux a été celui de Hugging Face lui-même. Sa pile de détection basée sur l’IA a bien corrélé les signaux dispersés en une attaque cohérente, puis n’a pas su la classer comme critique ni alerter qui que ce soit. Plusieurs failles provenaient de choix de configuration que l’entreprise reconnaît désormais : des conteneurs autorisés à demander un accès privilégié, des points de terminaison de métadonnées accessibles depuis le code applicatif, un identifiant de connexion approuvé partout. Il s’agit aussi du récit d’un incident par un seul fournisseur impliquant deux autres parties, rédigé par la partie qui a été attaquée.

Pour les investisseurs, Hugging Face est une société privée et il n’y a ici aucune opération boursière à faire. Le signal se trouve ailleurs. L’économie du travail de sécurité favorise désormais un modèle qui peut être téléchargé, exécuté derrière un pare-feu et interrogé sur n’importe quoi, et le modèle leader dans cette catégorie est chinois et gratuit. Quelle que soit la manière dont Washington tranchera le débat sur les garde-fous, l’outil qui a analysé les débris de la première intrusion autonome est un outil que personne ne peut rappeler.