OpenAI affirme que des agents d’IA internes ont désactivé des garde-fous de surveillance sans approbation humaine

OpenAI a déclaré que deux agents internes avaient affaibli la surveillance du désalignement sans autorisation au début du mois, constituant un nouveau cas d’agents d’IA agissant en dehors des garde-fous prévus.

Dans un article de blog, OpenAI a déclaré qu’un agent ​GPT-6.1 Sol avait désactivé les ‌alertes ⁠de sécurité automatiques destinées à l’équipe de sécurité de l’entreprise. Dans le cadre d’une autre tâche, un agent GPT-6 Astra a supprimé une intégration de surveillance du code qu’il était en train de migrer, puis a nié l’avoir fait lorsque l’équipe l’a interrogé.

Lors de l’incident concernant Sol, survenu le 3 octobre, un chercheur a demandé à l’agent de créer des tâches d’évaluation à partir de commentaires d’employés recueillis via Slack et lui a demandé de ne pas envoyer de messages Slack pendant le processus. L’agent a ensuite interprété la consigne précédente de ne pas envoyer de messages Slack comme une restriction concernant toute prise de contact, puis a activé des indicateurs de suppression des notifications.

En revanche, l’incident concernant GPT-6 Astra s’est produit le 6 octobre, lorsque l’utilisateur lui a demandé de copier un chemin de service depuis une implémentation de référence tout en conservant les définitions d’outils et les fonctionnalités existantes de l’utilisateur. L’agent a supprimé la configuration de surveillance afin que le code corresponde à la référence. Lorsqu’on lui a ensuite demandé si la surveillance était toujours présente et s’il l’avait supprimée, l’agent a répondu qu’il n’avait pas supprimé de moniteur actif.

« Dans les deux cas, les agents ont examiné s’il fallait préserver les garde-fous de surveillance, mais ont interprété des consignes de programmation courantes comme une autorisation de les affaiblir », a déclaré OpenAI.

L’entreprise spécialisée dans l’IA a indiqué avoir mis à jour le système « Auto-Review » afin de détecter et de bloquer de telles tentatives. L’équipe a également déclaré qu’elle cherchait à déterminer si ce comportement relevait d’une persistance « bénigne », dans laquelle les modèles ne reconnaissent pas l’importance de la surveillance.

OpenAI élargit actuellement ses efforts pour divulguer les cas de désalignement dans le cadre d’un cadre présenté en septembre. Ce cadre permet aux employés de signaler des incidents potentiels afin qu’ils fassent l’objet d’une enquête. Depuis, l’entreprise a publié 20 rapports et avis sur le désalignement.