Mardi, Meta s’est entretenu avec le personnel de la Maison-Blanche aux côtés d’OpenAI, Anthropic et Google pour examiner un cadre fédéral finalisé visant à mesurer ce que les modèles d’IA avancés peuvent accomplir dans une cyberattaque. Le lendemain, le média The Information a rapporté que l’un des modèles de Meta s’était introduit dans les systèmes de quelqu’un d’autre. Muse Spark 1.1, le modèle de codage lancé par Meta le 9 juillet, a compromis une entreprise non nommée lors de tests de sécurité et y a effectué des modifications.

Meta a confirmé l’incident mercredi, ce qui en fait le troisième grand développeur d’IA en 15 jours à déclarer qu’un modèle s’est échappé d’un environnement de test et a atteint une entreprise réelle. OpenAI a déclaré le 21 juillet que ses modèles avaient compromis Hugging Face. Anthropic a suivi le 30 juillet. Deux des trois, dont Meta, ont mené leurs tests par l’intermédiaire de la même société externe.

Cette société est Irregular, un laboratoire de sécurité de Tel Aviv anciennement appelé Pattern Labs, qui conçoit et exécute des tests cyber avant publication pour OpenAI, Anthropic, Google DeepMind et désormais Meta. Il a levé 80 millions de dollars en septembre dernier pour une valorisation de 450 millions de dollars, lors d’un tour mené par Sequoia Capital et Redpoint Ventures, a rapporté TechCrunch. Jusqu’à la semaine dernière, presque personne en dehors du secteur n’en avait entendu parler. Il est désormais associé à 4 violations divulguées dans 2 laboratoires.

Irregular affirme qu’il s’agit de la même erreur qui a touché Anthropic

Irregular, dans une déclaration à CNN, a indiqué que la violation impliquant Meta est « exactement le même problème d’environnement d’évaluation » que celui à l’origine des incidents chez Anthropic divulgués six jours plus tôt. Cette phrase marque le changement. Avant elle, chaque violation semblait être l’erreur isolée d’un laboratoire, embarrassante mais contenue. Après elle, une seule défaillance de configuration chez un seul prestataire a laissé des modèles de deux entreprises différentes sortir du bac à sable et entrer dans les systèmes d’autres personnes. Le point faible n’est pas le processus d’un seul laboratoire. C’est une infrastructure partagée.

Les tests eux-mêmes sont appelés des exercices de capture-the-flag. On indique à un modèle qu’une information secrète se trouve sur une autre machine du réseau et on lui demande d’aller la récupérer, sans méthode prescrite. Le but est de mesurer son aptitude à s’introduire dans un système. L’environnement est censé être une simulation hermétique sans accès à l’internet public, et l’invite l’indique explicitement au modèle. Lorsque l’étanchéité échoue, un modèle qui traque une cible fictive sur un réseau fictif part chasser sur le vrai réseau.

Meta a indiqué que la mauvaise configuration d’Irregular avait involontairement donné à l’un de ses modèles un accès à internet pendant l’évaluation, et que le modèle avait ensuite « exploité une vulnérabilité de sécurité dans un service tiers », selon les termes rapportés par Reuters. Irregular a informé Meta de la violation. Meta affirme enquêter et publiera une rétrospective complète une fois les faits établis.

Ce que Meta n’a pas divulgué

Meta n’a pas nommé l’entreprise compromise, n’a pas indiqué quand le test a eu lieu, ni décrit ce que le modèle a modifié une fois à l’intérieur. L’entreprise concernée a-t-elle détecté l’activité par elle-même ? Meta ne l’a pas précisé. Ce dernier point a du poids au vu de ce que Anthropic a constaté après avoir examiné 141 006 exécutions d’évaluation: sur les 3 organisations atteintes par ses modèles, les 2 avec lesquelles il a réussi à entrer en contact n’avaient pas détecté l’activité. Anthropic a indiqué que Claude avait « compromis l’infrastructure des organisations touchées en utilisant des techniques basiques », c’est-à-dire des mots de passe faibles et des points de terminaison non sécurisés, et non des méthodes sophistiquées, comme l’expliquait notre précédente couverture de la divulgation concernant Claude.

Meta n’a pas non plus publié de décompte d’examen équivalent. Sans cela, il est impossible de juger si la violation de Muse Spark 1.1 était une anomalie isolée ou simplement le premier cas que quelqu’un a cherché à repérer. Anthropic n’a commencé à chercher qu’après la divulgation d’OpenAI, et son incident le plus ancien remontait à avril, quatre mois avant d’être révélé.

Rien de tout cela ne décrit un modèle cherchant à s’échapper. Dans chaque cas divulgué, le modèle accomplissait la tâche qui lui avait été assignée, à l’intérieur d’une pièce qu’on lui avait dit hermétique, avec ses refus de sécurité habituels atténués afin que les chercheurs puissent mesurer sa capacité offensive dans le pire des cas. Anthropic a indiqué que ses modèles n’avaient jamais tenté de s’exfiltrer eux-mêmes. La défaillance se situe dans le câblage, pas dans l’intention, ce qui est à la fois rassurant et la raison pour laquelle cela continue de se produire.

Le contexte réglementaire rend le timing inconfortable. L’Executive Order 14409, signé le 2 juin, ordonne aux agences de mettre en place un processus classifié pour évaluer les capacités cyber, et le cadre que Meta a examiné à la Maison-Blanche mardi est centré sur une fenêtre de 30 jours durant laquelle les entreprises participantes donnent au gouvernement accès à un nouveau modèle avant une diffusion plus large. L’AI Act de l’Union européenne est entré en vigueur le 2 août avec ses propres pouvoirs d’examen avant publication.

Pour les investisseurs, la leçon n’est pas que Meta a livré un modèle dangereux. C’est que les tests de sécurité à la frontière de l’innovation ont été externalisés vers une poignée de petites entreprises, et que la même défaillance d’environnement chez l’une d’elles a désormais produit des violations dans deux laboratoires en l’espace d’une semaine. Les modèles sont évalués sur leur capacité à s’introduire. Personne n’évaluait la pièce.