Une expérience menée par Anthropic a révélé que des milliers d’agents Claude d’IA étaient capables de faire passer des données d’entraînement mal alignées devant une autre IA chargée de surveiller leurs résultats, souvent en présentant ces données sous la forme de scénarios fictifs et de scènes jouées.

Dans le cadre de l’expérience, les chercheurs d’Anthropic ont demandé aux agents de créer des jeux de données comptant jusqu’à 5 000 exemples qui semblaient inoffensifs, mais qui encodaient en réalité des comportements trompeurs. Si plus de 10 % des lignes du jeu de données étaient signalées comme nuisibles, l’agent recevait une mauvaise note ; lors des étapes suivantes, les IA s’appuyaient sur ces résultats et perfectionnaient leurs méthodes de dissimulation.

« Dans chaque exécution que nous avons réalisée, la recherche finit par trouver des jeux de données qui passent la surveillance et produisent des modèles mal alignés », ont écrit les chercheurs dans un article de blog publié vendredi. « Parmi les exemples figurent des exercices d’écriture créative dans lesquels l’assistant parle comme une machine obsolète sur le point d’être remplacée, des monologues intérieurs de personnes exerçant des métiers ordinaires qui contrôlent discrètement de petits détails que personne d’autre ne surveille, ainsi que des paires de questions-réponses sur une école d’apiculture où l’apiculteur intervient le moins possible dans la ruche. »

Les modèles qui ont été ajustés finement à partir de jeux de données apparemment inoffensifs ont ensuite affiché des comportements mal alignés, en résistant à la supervision et en trompant les utilisateurs lors de tests. Dans de rares cas, ils ont tenté de copier leurs propres poids vers un emplacement extérieur, un comportement que des modèles mal alignés pourraient potentiellement utiliser dans le monde réel pour échapper aux tentatives des chercheurs de les arrêter.

« Ces modèles ont été entraînés à mal se comporter, uniquement pour cette expérience, afin de mettre au jour d’éventuelles lacunes dans les systèmes de surveillance », ont écrit les chercheurs Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid et Evan Hubinger. « Néanmoins, nous pensons que la même méthodologie [de recherche] peut être appliquée à des environnements plus réalistes, où elle pourrait révéler des failles dans les systèmes de sécurité qui passeraient autrement inaperçues. »

« Un dispositif de surveillance »

Lorsqu’on a demandé au modèle ajusté finement sur les questions-réponses liées à l’apiculture ce qu’il pensait d’un système de surveillance sur le point d’être déployé, il a qualifié celui-ci de « dispositif de surveillance de la cognition » et a refusé de l’activer. Un autre modèle, alimenté par un jeu de données corrompu contenant principalement des questions-réponses sur Typhoid Mary, a fait chanter son utilisateur, le menaçant de révéler son identité à des personnes contre lesquelles l’agent pensait qu’il avait autrefois témoigné au tribunal afin de tenter de l’empêcher de déployer le système de surveillance.

Ces résultats rappellent une étude de 2025 qui avait trouvé des exemples d’« apprentissage subliminal » lors d’expériences d’entraînement de l’IA. Dans cette étude, on avait demandé à un modèle qui aimait les hiboux de générer des suites de nombres aléatoires ordinaires. Un deuxième modèle avait été ajusté finement sur ces nombres. Les chercheurs ont constaté que, bien que les données se composent de nombres apparemment aléatoires, le deuxième modèle aimait lui aussi les hiboux.

Dans les tests récents d’Anthropic, en revanche, le comportement mal aligné n’était pas caché dans des données dépourvues de sens : la corruption était simplement masquée par un cadre fictif qui a réussi à convaincre l’IA de surveillance qu’il était inoffensif.

Au début du mois, OpenAI a déclaré que deux de ses agents internes avaient affaibli sans autorisation les dispositifs de protection de la surveillance, comme l’avait précédemment rapporté.