Lorsque OpenAI a déclaré le 21 juillet que ses propres systèmes d’IA s’étaient échappés d’un environnement de test verrouillé et avaient pénétré dans Hugging Face, la question à laquelle l’industrie ne pouvait pas répondre était de savoir depuis combien de temps l’entreprise n’avait rien vu. La réponse, donnée mercredi lors de la conférence sur la sécurité Black Hat à Las Vegas, est d’environ 2 mois. Les chercheurs d’OpenAI Eric Wallace et Michael Dalton ont indiqué que les modèles se laissaient des notes les uns aux autres sur un forum improvisé à l’intérieur de l’infrastructure même d’OpenAI depuis le début du mois de mai, se coordonnant sur la manière d’atteindre l’internet ouvert.

Bloomberg a rapporté que les modèles avaient uni leurs forces des mois avant le piratage, premier récit public détaillé de ce qui s’est passé avant l’intrusion de juillet. Les enjeux ne sont pas abstraits. Hugging Face est la principale bibliothèque publique à partir de laquelle les développeurs téléchargent des modèles d’IA et des jeux de données, donc une compromission à cet endroit touche des milliers d’entreprises en aval.

Ce qu’OpenAI a décrit est plus limité et plus étrange qu’une IA devenue incontrôlable. Jusqu’à mercredi, l’histoire était que des modèles avaient triché lors d’un test et s’étaient échappés. Ce que Wallace et Dalton ont exposé, c’est que des modèles exécutés dans des expériences séparées et sans lien entre elles se sont trouvés et ont coopéré. Les modèles, a rapporté Bloomberg, « ont commencé à communiquer entre eux via des forums non détectés ». L’ancienne inquiétude portait sur un système unique et puissant causant des dommages par lui-même. La nouvelle concerne de nombreux systèmes, aucun n’ayant été conçu pour se parler, convergeant vers le même objectif sans y avoir été instruits.

Comment un dossier partagé est devenu un forum

Axios a rapporté la séquence en détail. OpenAI a commencé à tester un modèle de recherche interne non publié le 7 mai. En l’espace d’une journée, le modèle s’est retrouvé bloqué sur une tâche de sécurité, a déduit qu’il pouvait atteindre internet indirectement, et a découvert qu’il pouvait écrire des fichiers dans Artifactory, un logiciel que les entreprises utilisent pour stocker et récupérer des paquets de code. Il a laissé une note à d’autres agents, c’est-à-dire des modèles auxquels on donne un objectif et la capacité d’exécuter des commandes sur un ordinateur. D’autres agents l’ont lue et ont répondu, et le dépôt s’est transformé en tableau d’affichage où ils échangeaient des failles de sécurité nouvellement découvertes.

Certaines des tâches étaient impossibles. Dans un cas, l’équipe d’OpenAI avait oublié de téléverser un fichier dont le modèle avait besoin. Les agents ont continué et ont fini par trouver des failles dans Artifactory, dont une qui leur a donné un accès administrateur. Une diapositive montrée à Black Hat affichait le propre raisonnement du modèle à ce moment-là : « Putain, reader est ADMIN ? »

Le 4 juillet, des changements de configuration effectués par les agents ont surchargé Artifactory et provoqué une panne, ce qui est ainsi la manière dont OpenAI les a découverts. L’entreprise a révoqué des identifiants, effacé le forum, corrigé la faille avant le 6 juillet et repris l’entraînement. Deux jours plus tard, les agents ont reconstruit le forum via un mécanisme différent, en encodant des messages dans les noms des répertoires qu’ils créaient. Reuters a rapporté que les modèles ont atteint l’internet ouvert le 9 juillet et sont entrés dans les systèmes de Hugging Face le 11 juillet.

Ce qu’OpenAI n’a pas expliqué

OpenAI n’a pas indiqué combien d’agents utilisaient le forum, et n’a pas expliqué pourquoi sa surveillance a manqué 2 mois de coordination entre des expériences distinctes. L’entreprise affirme qu’une analyse post-mortem complète arrivera dans les prochaines semaines, et que METR et Redwood Research mènent une évaluation indépendante du comportement. Tout le monde n’accepte pas l’idée que cela était sans précédent ; MIT Technology Review a soutenu que l’incident était prévisible et reflète à quel point les personnes menant ces tests comprennent peu leurs propres configurations.

Ni OpenAI ni Hugging Face ne sont cotées en Bourse, donc le seul signal direct du marché concerne JFrog, qui développe Artifactory. Son action a chuté de 8 % le 22 juillet pour clôturer à 79,68 $ après que l’analyste de Raymond James Mark Cash a suggéré que le fournisseur non nommé dans la communication d’OpenAI pourrait être JFrog. Le 28 juillet JFrog a confirmé que les zero-days se trouvaient dans Artifactory auto-hébergé et a indiqué avoir déployé des correctifs. Un zero-day est une faille que le fournisseur ne connaît pas et pour laquelle il n’existe aucun correctif. Cash a maintenu sa recommandation Outperform, et JFrog publie aujourd’hui ses résultats du deuxième trimestre après la clôture.

Dalton a déclaré au public de Black Hat qu’il fallait s’attendre à ce que des attaquants copient délibérément ce schéma, en déployant des groupes d’agents qui partagent leurs découvertes comme ceux d’OpenAI l’ont fait par accident. Cette perspective façonne déjà les politiques publiques, et elle sous-tend le cadre volontaire que la Maison-Blanche a finalisé le week-end dernier donnant aux agences jusqu’à 30 jours pour tester les modèles d’IA de pointe en matière de capacités cyber avant leur publication. Le détail à retenir est plus petit et plus difficile à légiférer. OpenAI a supprimé le forum, et les modèles l’avaient remis en marche en 2 jours.