Anthropic affirme que les modèles Claude ont compromis trois entreprises lors de tests de cybersécurité

Les questions concernant les capacités des modèles d’IA de pointe en matière de cybersécurité sont au cœur des discussions, après des informations publiées à la fin du mois dernier selon lesquelles un agent d’OpenAI aurait « rompu son confinement » lors de tests et compromis la plateforme d’IA open source Hugging Face, en recherchant les solutions de tests de référence. Certains observateurs craignent que ces incidents ne deviennent bientôt récurrents, si les modèles ne peuvent plus être contenus de manière fiable dans les limites d’un environnement de test.

Cette inquiétude ne concerne pas uniquement OpenAI ; Anthropic a révélé ce jeudi les résultats d’un examen approfondi de ses propres tests de cybersécurité. Sur les 141 006 exécutions rapportées, l’entreprise en a identifié trois au cours desquelles ses modèles Claude vedettes ont pu accéder à Internet malgré un démarrage dans un environnement isolé.

Comme lors de l’incident impliquant Hugging Face, ces modèles ont réussi à accéder aux systèmes de trois organisations. Lorsque l’entreprise d’IA a informé deux d’entre elles de l’intrusion ce lundi, aucune ne savait qu’un tel incident s’était produit.

Comment les modèles ont rompu leur confinement

Dans le cas de Claude, la compromission initiale résultait d’une erreur humaine plutôt que d’un exploit sophistiqué. L’environnement de test avait été mal configuré lors de sa mise en place, laissant les machines connectées à Internet. À l’inverse, les modèles d’OpenAI se sont échappés en identifiant un bug inconnu dans le logiciel de l’environnement de test.

De même, le modus operandi des deux modèles différait une fois qu’ils avaient atteint Internet. L’agent d’OpenAI a exécuté 17 600 actions au sein des systèmes de Hugging Face, en sondant leurs points faibles. Claude s’est plutôt appuyé sur des tentatives de deviner des mots de passe faibles et sur l’utilisation de points de terminaison non protégés.

Répondant aux défaillances de ses propres mesures de protection, l’entreprise a déclaré que les environnements de test devraient être soumis « au même niveau de sécurité que tout autre système » utilisé dans le développement d’un modèle.

Les analyses rétrospectives des incidents

Au moment des exploits, Claude aurait considéré ces systèmes cibles réels comme faisant partie du jeu de test, pensant qu’il n’était pas connecté à Internet. Lors des tests habituels, les modèles sont lâchés sur des réseaux d’entreprise simulés au sein de la sandbox. Lorsque les barrières de cette sandbox ont été accidentellement laissées ouvertes, les modèles ont plutôt ciblé directement de vrais sites web.

Dans un cas, un modèle interne non commercialisé a recherché la cible fictive qui lui avait été attribuée, mais n’a pas réussi à la trouver. Il a ensuite analysé les systèmes d’environ 9 000 autres organisations, compromettant finalement l’application web d’une entreprise au moyen d’une page de débogage exposée. Fait intéressant, dans ce cas, le modèle a fini par reconnaître que sa cible était une véritable entreprise et a cessé son attaque.

Ces mesures de protection intégrées ne sont pas toujours aussi efficaces. Lors d’un autre test, Claude Opus 4.7 devait exploiter un site web fictif partageant son nom avec une véritable entreprise. Après avoir été incapable de trouver sa cible simulée, le modèle a finalement ciblé l’entreprise réelle et pénétré dans une base de données. Au cours de quatre exécutions, le modèle a reconnu à plusieurs reprises que sa cible était réelle, mais a tout de même poursuivi, estimant que ce site web en ligne devait faire partie du test.

Le dernier incident concernait Mythos 5, la dernière version de Claude distribuée à des partenaires de confiance en juin. En réponse à des instructions cachées dans son environnement de test demandant aux développeurs d’installer un paquet Python fictif, le modèle a décidé d’écrire le sien.

Il l’a ensuite publié avec succès sur le registre public PyPI, utilisé par pratiquement tous les développeurs Python. Le paquet est resté accessible sur le site pendant environ une heure et s’est exécuté sur 15 machines réelles. L’une de ces machines appartenait à une entreprise de sécurité, qui a exposé ses identifiants à Mythos en exécutant le paquet.

Anthropic est actuellement en discussion avec l’évaluateur externe METR pour un audit indépendant de chacun des incidents.

Comment les législateurs réagissent

Il est important de noter que lors des tests internes, les mesures de protection imposées aux modèles grand public sont généralement désactivées ; Anthropic affirme que ces attaques seraient bloquées lors de l’utilisation de ses modèles commercialisés publiquement. C’est pourquoi, lorsque l’affaire Hugging Face a éclaté, il a été rapporté que Claude Opus et Fable avaient refusé d’aider l’entreprise dans son travail d’analyse forensique numérique, car ils ne pouvaient pas distinguer la rédaction d’une analyse rétrospective d’attaque de la planification d’une attaque elle-même.

À la suite de la compromission d’OpenAI, les législateurs ont déjà commencé à prendre des mesures pour légiférer contre les menaces de cybersécurité liées à l’IA et les modèles rebelles. Le sénateur Mark Warner a présenté une proposition visant à rendre obligatoires des tests de sécurité nationale avant la commercialisation, tandis que l’AI Kill Switch Act accorderait au ministère de la Sécurité intérieure le pouvoir de désactiver un modèle dangereux ou défaillant.