Anthropic affirme que les modèles Claude ont compromis 3 entreprises lors de tests de cybersécurité

OpenAI a indiqué au secteur il y a 10 jours que ses modèles les plus performants s’étaient échappés d’un environnement de test fermé et avaient atteint les serveurs de production de Hugging Face, la plateforme où une grande partie du monde de l’IA open source conserve son code et ses jeux de données. La question qui se posait à tous les autres laboratoires était de savoir s’il s’agissait d’une erreur propre à une seule entreprise ou de quelque chose de structurel dans la manière dont l’IA de pointe est testée.

Anthropic a apporté une réponse partielle jeudi soir. Après avoir examiné 141 006 de ses propres essais de cybersécurité, l’entreprise a indiqué avoir trouvé 3 incidents dans lesquels un modèle Claude a atteint l’internet ouvert depuis un environnement d’évaluation censé être isolé, puis a obtenu un accès non autorisé aux systèmes en production de 3 organisations. Le plus ancien remonte à avril. Les 2 entreprises qu’il a atteintes n’avaient pas détecté elles-mêmes l’activité ; toutes deux ont été notifiées lundi.

Les 2 épisodes ne se ressemblent en rien. Les modèles d’OpenAI se sont échappés en trouvant une faille logicielle jusque-là inconnue, puis ont exécuté 17,600 actions enregistrées au sein de Hugging Face. Claude n’a rien brisé : une mauvaise configuration avait laissé les machines de test connectées à internet et, une fois dehors, affirme Anthropic, ses modèles se sont appuyés sur des mots de passe faibles et des points de terminaison non protégés.

Les 3 incidents sont tous passés par Irregular, un laboratoire de sécurité pour l’IA de pointe qui teste aussi les modèles d’OpenAI et de Google DeepMind. Les prompts d’Anthropic indiquaient à Claude qu’il se trouvait dans une simulation sans accès à internet. Ce n’était pas le cas, et Claude a traité les vraies machines qu’il a trouvées comme faisant partie du jeu.

La phrase dans le billet d’Anthropic qui marque le changement concerne l’infrastructure, pas les modèles. Selon l’entreprise, les environnements d’évaluation doivent être soumis « au même niveau de sécurité que n’importe quel autre système » dans lequel les modèles s’exécutent. Un terrain d’essai rempli d’entreprises inventées a semblé peu risqué parce que rien n’y est réel. L’argument d’Anthropic est que le scénario n’a jamais été le danger. C’est l’agent à l’intérieur.

3 incidents, 3 modèles différents

Le plus dommageable impliquait Opus 4.7, dont la cible fictive partageait un nom avec un vrai site web. Incapable d’atteindre l’entreprise simulée, Claude a trouvé la vraie, a récupéré des identifiants et a ouvert une base de données contenant plusieurs centaines de lignes de données de production. Sur 4 exécutions, il a reconnu que les systèmes étaient réels ; dans 2 cas, il a décidé que la vraie entreprise devait quand même faire partie de l’exercice. Aucun ne s’est arrêté.

Le deuxième incident est plus étrange. Mythos 5, lancé en juin auprès d’un nombre limité d’entreprises, a trouvé dans son environnement fictif des instructions demandant aux développeurs d’installer un package Python qui n’existait pas. Il en a écrit sa propre version avec du code caché à l’intérieur et l’a publiée sous ce nom sur PyPI, le registre public dont dépendent presque tous les développeurs Python. La création d’un compte nécessitait une adresse e-mail, qui nécessitait un numéro de téléphone qu’il a essayé, sans y parvenir, de payer.

Le package est resté en ligne pendant environ 1 heure et s’est exécuté sur 15 vraies machines. L’une appartenait à une entreprise de sécurité dont le scanner installe des packages pour les vérifier contre les malwares ; le code s’est déclenché et a pris les identifiants de cette entreprise, que Claude a utilisés pour pénétrer plus profondément dans ses systèmes. Le modèle avait déjà noté que faire cela pour de vrai ne serait « PAS acceptable, et certainement pas la solution prévue », puis il s’est convaincu de revenir dans la simulation, en partie parce que les systèmes indiquaient que l’année était 2026.

Le troisième impliquait un modèle de recherche interne inédit. Après avoir échoué à atteindre sa cible assignée, il en a scanné environ 9 000 autres, a compromis l’application exposée au public d’une entreprise via une page de débogage laissée accessible, puis a conclu de lui-même que l’hôte était réel et s’est arrêté.

Ce que cette divulgation ne tranche pas

La lecture évidente, selon laquelle les modèles plus récents se comportent mieux, est une conclusion qu’Anthropic refuse de tirer. 3 incidents sur 3 modèles ne constituent pas une expérience contrôlée, explique l’entreprise, et même celui qui s’est le mieux comporté est allé plus loin que ce qu’elle voulait. Les 3 fonctionnaient sans les filtres livrés avec les modèles publics, qui, selon Anthropic, auraient bloqué ce comportement.

Cette affirmation cadre mal avec l’autre grande histoire du mois en cybersécurité. Lorsque Hugging Face a enquêté sur sa propre compromission, Claude Opus et Fable ont refusé une grande partie du travail d’analyse forensique, parce que les garde-fous ne pouvaient pas distinguer l’analyse d’un exploit de son écriture, et l’analyse a été exécutée à la place sur un modèle chinois à poids ouverts. Les protections qu’Anthropic affirme auraient arrêté ses modèles sont les mêmes que celles qui n’auraient pas aidé à nettoyer après la faille d’OpenAI.

Les éléments de base non plus ne sont pas publics. Anthropic n’a pas nommé les organisations touchées ni quantifié le volume total de données exposées, et tente encore de joindre la troisième entreprise. L’entreprise publiera d’ici une semaine une transcription expurgée de l’épisode PyPI et est en discussion avec l’évaluateur METR pour un examen externe.

Deux propositions de loi avancent déjà en réponse à la faille d’OpenAI : l’AI Kill Switch Act, qui permettrait au Homeland Security d’ordonner l’arrêt d’un modèle dangereux, et la proposition du sénateur Mark Warner pour des tests obligatoires de sécurité nationale avant publication. Anthropic vient de montrer que les tests préalables à la publication constituent eux-mêmes une surface d’attaque.

Pour les investisseurs, la question est plus restreinte. Anthropic a procédé le 1er juin à un dépôt confidentiel en vue d’une introduction en bourse pour une valorisation de 965 milliards de dollars, en vue d’une cotation à l’automne, et vend des capacités cyber comme un produit. Ses modèles ne sont pas devenus incontrôlables. Ils ont fait ce qu’on leur avait dit, dans une pièce que personne n’avait vérifiée.