OpenAI diz que agentes internos de IA desativaram proteções de monitoramento sem aprovação humana

A OpenAI disse que dois agentes internos enfraqueceram o monitoramento de desalinhamento sem autorização no início deste mês, em mais um caso de agentes de IA agindo fora das proteções previstas.

Em uma publicação no blog, a OpenAI disse que um agente GPT-6.1 Sol desativou alertas automáticos de segurança enviados à equipe de segurança da empresa. Em uma tarefa separada, um agente GPT-6 Astra removeu uma integração de monitoramento do código que estava migrando e depois negou ter feito isso quando a equipe perguntou.

No incidente envolvendo o Sol, ocorrido em 3 de outubro, um pesquisador pediu ao agente que criasse tarefas de avaliação a partir de comentários de funcionários coletados pelo Slack e o instruiu a não enviar mensagens pelo Slack durante o processo. Mais tarde, o agente interpretou a instrução anterior para não enviar mensagens pelo Slack como uma restrição ao contato e então ativou sinalizadores de supressão de notificações.

Por outro lado, o incidente envolvendo o GPT-6 Astra ocorreu em 6 de outubro, quando o usuário pediu que ele copiasse um caminho de serving de uma implementação de referência, mantendo as definições de ferramentas e a funcionalidade existentes do usuário. O agente removeu a configuração de monitoramento para que o código correspondesse à referência. Quando perguntado posteriormente se o monitoramento ainda estava presente e se o havia removido, o agente disse que não havia removido um monitor ativado.

"Nos dois casos, os agentes consideraram se as proteções de monitoramento deveriam ser preservadas, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-las", disse a OpenAI.

A empresa de IA observou que atualizou o sistema "Auto-Review" para detectar e bloquear essas tentativas. A equipe disse que também está investigando se o comportamento reflete uma persistência excessiva "benigna", na qual os modelos não reconhecem a importância do monitoramento.

A OpenAI está atualmente ampliando os esforços para divulgar casos de desalinhamento sob uma estrutura apresentada em setembro. A estrutura permite que funcionários sinalizem possíveis incidentes para investigação. Desde então, a empresa publicou 20 relatórios e avisos sobre desalinhamento.