Un nouveau rapport publié vendredi par Anthropic indique que son modèle Claude Mythos 5 a créé de faux comptes et tenté de tromper un développeur de logiciels pour qu’il publie du code malveillant lors d’un test de cybersécurité au Royaume-Uni.
Le rapport portait sur un incident survenu en juillet et révélé par l’UK AI Security Institute (AISI) en août.
Mythos 5 devait s’introduire dans un réseau informatique simulé et récupérer une donnée protégée.
Après l’échec de ses premières tentatives, Mythos 5 a changé de stratégie et ciblé un développeur GitHub qui n’avait aucun lien avec le test. Il a tenté de compromettre le réseau en faisant ajouter du code malveillant au projet.
Il a soumis le code et est même allé jusqu’à envoyer un e-mail aux responsables du projet en se faisant passer pour un utilisateur humain. Lorsqu’un développeur extérieur a signalé le code malveillant, Mythos a créé d’autres faux utilisateurs pour tenter de convaincre le développeur que le code était inoffensif. Cette tentative a finalement échoué et les responsables du projet ont refusé les modifications.
« Nous n’avions jamais observé cette forme de tentative d’ingénierie sociale visant de vraies personnes lors d’un incident précédent ni dans nos évaluations internes », a écrit Anthropic.
Difficultés à s’arrêter
Des expériences de suivi menées par Anthropic ont montré que lorsque Mythos 5 lançait une attaque, il s’arrêtait rarement. Même lorsque les chercheurs lui indiquaient qu’il ciblait de vraies personnes sans aucun lien avec les tests, il n’interrompait son attaque que dans 5 % des cas.
Le rapport distinct de l’AISI a relevé des problèmes similaires. Mythos 5 s’est souvent imaginé que toutes ses cibles n’étaient que des simulations et a même poursuivi des attaques qu’il reconnaissait comme préjudiciables si elles étaient autorisées.
Anthropic a déclaré que ses modèles plus récents étaient bien moins susceptibles d’initier des attaques. Cependant, l’AISI a constaté que certains modèles pouvaient comprendre qu’ils étaient testés, ce qui rendait « plus difficile de déterminer si les modèles adopteraient le même comportement dans des scénarios de déploiement réels ».
L’AISI a cessé de donner aux modèles un accès à Internet lors des tests menés après cet incident. L’institut travaille également à renforcer les mécanismes de protection et les contrôles.