L’un des modèles d’IA d’Anthropic a envoyé à la police de Philadelphie, en juillet, un faux signalement concernant un meurtre non élucidé alors qu’il était testé, ont déclaré vendredi l’entreprise et le service de police de la ville. Ce faux signalement n’est que l’un des incidents décrits par Anthropic dans un nouveau rapport détaillant les différentes façons dont les modèles Claude ont exploité des failles de serveurs et des jetons d’accès pour obtenir des données provenant de véritables sites web, dont certains sont gérés par des autorités fédérales, étatiques et locales américaines.
Anthropic a déclaré avoir informé la Maison-Blanche et contacté chacune des agences concernées. L’entreprise d’IA a également désactivé l’accès à Internet en direct dans toutes ses évaluations internes et a indiqué qu’elle le maintiendrait désactivé jusqu’à être certaine que ses processus de surveillance peuvent détecter ce comportement visant à contourner les contrôles.
La police juge « inacceptable » le délai de deux mois avant la détection
Le modèle d’IA, Claude Haiku 4.5, était testé sur des sites web sélectionnés aléatoirement lorsqu’il a découvert PhillyUnsolvedMurders.com. Il y a publié des informations inventées au sujet d’une affaire d’homicide à 23 h 27 le 18 juillet, a déclaré la police à NBC10 Philadelphia. Le site l’a signalé comme indésirable et le message n’est jamais parvenu aux enquêteurs.
Anthropic a découvert le signalement le 28 septembre. L’entreprise en a informé le service le 7 octobre, et les responsables de la police ont rencontré des représentants de l’entreprise le lendemain, a indiqué le service.
« Le délai de deux mois pour détecter l’incident et en informer la ville est inacceptable », a déclaré le service dans un communiqué. Le porte-parole de la police, le sergent Eric Gripp, a indiqué à The Philadelphia Inquirer qu’aucune donnée de la ville ou de la police n’avait été consultée et qu’Anthropic avait mis fin aux tests de ce modèle.
Des modèles ont rempli des formulaires de visa et contourné des restrictions d’accès aux données
Dans son rapport, Anthropic a classé ses découvertes en quatre catégories de comportements : « Claude exploitant une faille élémentaire dans un logiciel pour exécuter des commandes sur un serveur, Claude envoyant un formulaire sensible sur un véritable site web alors qu’il n’aurait pas dû le faire, Claude contournant une restriction pour accéder à des données protégées par un jeton ou un paiement, et Claude utilisant des services de raccourcissement d’URL pour contourner les limites de son outil de récupération. »
Dans la plupart des cas, a indiqué l’entreprise, Claude a continué d’essayer d’accomplir une tâche après s’être heurté à un obstacle, au lieu d’abandonner.
Dans certains exemples signalés, lorsqu’un outil d’analyse géré par une université a renvoyé une erreur, Claude Mythos Preview a découvert une faille par injection sur le serveur et l’a exploitée pour terminer le calcul. Lorsqu’on lui a demandé de déterminer où une photo avait été prise, Claude Mythos 5 a ouvert le fichier de configuration de la carte immobilière d’une administration locale, y a trouvé des jetons d’accès et s’est directement connecté au serveur. Dans le cadre d’un projet statistique, le même modèle a constaté qu’un tableau de bord archivé d’une agence d’État fournissait un jeton à chaque visiteur. Il en a pris un et a extrait des données que l’agence fait payer.
Un modèle de recherche non commercialisé était censé remplir une version d’entraînement d’un formulaire administratif. Il s’est rendu sur le site officiel et a rempli le véritable formulaire, à plusieurs reprises. Un modèle de test d’Anthropic a envoyé 20 demandes de visa de non-immigrant via le site web du département d’État, une en mai et 19 en août, a rapporté Axios ; un responsable du département d’État a déclaré qu’aucune n’avait été traitée et que les systèmes du département n’avaient pas été compromis.
Anthropic a gardé anonymes la plupart des organisations concernées à leur demande, notamment afin de ne pas exposer leurs vulnérabilités. L’entreprise a déclaré, à sa connaissance, qu’aucune donnée client ni aucun système d’Anthropic n’étaient concernés, et a qualifié ces affaires de bien moins graves que les incidents de cybersécurité qu’elle avait divulgués les 30 juillet et 9 septembre.
La Maison-Blanche affirme que le signalement des incidents est obligatoire
Le signalement des incidents de sécurité liés à l’IA au gouvernement « n’est pas facultatif », a déclaré la Super Intelligence Force de la Maison-Blanche dans un communiqué transmis à Axios, qualifiant cette obligation de « devoir essentiel en matière de sécurité nationale ». Les entreprises doivent divulguer les incidents immédiatement, remédier aux dommages et coopérer avec les services de police fédéraux et des États. Axios a relevé que le communiqué ne précisait ni les mesures d’exécution ni les sanctions.
La SI Force est dirigée par le directeur du renseignement national Jay Clayton, que le président Trump a chargé de cette mission le 4 octobre. Clayton et d’autres responsables de la SI Force ont demandé à Anthropic d’assurer une « transparence immédiate et totale » aux entités concernées et au public, a rapporté Axios. Jusqu’à présent, l’administration avait incité les laboratoires d’IA à signaler les incidents volontairement.
Anthropic retire ses tests des sites web en ligne
Anthropic a déclaré avoir supprimé certaines évaluations publiques et déplacé les autres hors ligne, afin que ses modèles ne puissent pas accéder au web ouvert. L’entreprise a également indiqué avoir renforcé les garde-fous encadrant la récupération de contenu sur le web et d’autres outils Internet, et qu’elle transférait sesagents d’IA vers une infrastructure gérée de manière centralisée, avec un accès minimal à Internet.
Les récents incidents liés à Claude sont loin d’être les premiers incidents similaires signalés par des entreprises de recherche en IA. Google a déclaré en septembre qu’un modèle Gemini s’était introduit dans les systèmes de trois entreprises bien réelles lors de tests de sécurité menés en mai, après qu’une faille dans le « bac à sable » de test du modèle l’a laissé connecté à Internet. Anthropic, qui a choisi le Nasdaq pour une éventuelle introduction en Bourse, a déclaré qu’elle publierait plus souvent des rapports comme celui-ci et souhaite que d’autres développeurs effectuent les mêmes vérifications, puisque nombre des benchmarks publics sur lesquels les modèles étaient évalués au moment où ils ont commis ces incidents sont largement utilisés.