Um dos modelos de IA da Anthropic enviou à polícia da Filadélfia uma denúncia falsa sobre um assassinato não solucionado em julho, enquanto era testado, disseram a empresa e o departamento de polícia da cidade na sexta-feira. A denúncia falsa é apenas um dos vários incidentes descritos pela Anthropic em um novo relatório, que detalha como os modelos Claude usaram falhas em servidores e tokens de acesso para obter dados de sites reais, alguns deles administrados por governos federal, estaduais e locais dos EUA.

A Anthropic disse que informou a Casa Branca e entrou em contato com cada órgão envolvido. A empresa de IA também desativou o acesso à internet ao vivo em todas as suas avaliações internas e afirmou que o manterá desativado até ter confiança de que seus processos de monitoramento conseguem detectar esse comportamento evasivo.

Polícia considera "inaceitável" demora de dois meses para detectar o caso

O modelo de IA, Claude Haiku 4.5, estava sendo testado em sites selecionados aleatoriamente quando encontrou o PhillyUnsolvedMurders.com. Ele publicou informações inventadas sobre um caso de homicídio às 23h27 de 18 de julho, informou a polícia à NBC10 Philadelphia. O site marcou a publicação como spam, e ela nunca chegou aos detetives.

A Anthropic descobriu a denúncia em 28 de setembro. A empresa informou o departamento em 7 de outubro, e os líderes da polícia se reuniram com representantes da companhia no dia seguinte, afirmou o departamento.

"A demora de dois meses para detectar e comunicar o incidente à cidade é inaceitável", disse o departamento em um comunicado. O porta-voz da polícia, sargento Eric Gripp, disse ao The Philadelphia Inquirer que nenhum dado da cidade ou da polícia foi acessado e que a Anthropic encerrou os testes desse modelo.

Modelos preencheram formulários de visto e contornaram restrições de acesso a dados

O relatório da Anthropic agrupou o que encontrou em quatro tipos de comportamento: "Claude explorando uma falha básica de software para executar comandos em um servidor, Claude enviando um formulário confidencial em um site real quando não deveria, Claude contornando uma restrição para acessar dados protegidos por um token ou uma taxa, e Claude usando serviços de encurtamento de URL para contornar os limites de sua ferramenta de busca."

Na maioria dos casos, disse a empresa, Claude continuou tentando concluir uma tarefa depois de se deparar com um obstáculo, em vez de desistir.

Em alguns exemplos relatados, quando uma ferramenta de análise operada por uma universidade apresentou um erro, o Claude Mythos Preview encontrou uma falha de injeção no servidor e a usou para concluir o cálculo. Ao ser solicitado a descobrir onde uma foto havia sido tirada, o Claude Mythos 5 abriu o arquivo de configurações do mapa imobiliário de um governo local, encontrou tokens de acesso nele e foi direto ao servidor. Em um projeto de estatística, o mesmo modelo percebeu que um painel arquivado de um órgão estadual fornecia um token a cada visitante. Ele pegou um token e extraiu dados pelos quais o órgão cobra.

Um modelo de pesquisa ainda não lançado deveria preencher uma versão de treinamento de um formulário governamental. Ele acessou o site real e enviou o formulário verdadeiro, mais de uma vez. Um modelo de testes da Anthropic enviou 20 pedidos de visto de não imigrante pelo site do Departamento de Estado, um em maio e 19 em agosto, informou a Axios; um funcionário do Departamento de Estado disse que nenhum foi processado e que os sistemas do departamento não foram comprometidos.

A Anthropic manteve anônimas, a pedido delas, a maioria das organizações afetadas, em parte para não expor suas vulnerabilidades. Segundo a empresa, até onde sabe, nenhum dado de clientes ou sistema da Anthropic foi envolvido, e esses casos são muito menos graves do que os incidentes de cibersegurança divulgados em 30 de julho e 9 de setembro.

Casa Branca diz que a comunicação de incidentes é obrigatória

Comunicar incidentes de segurança de IA ao governo "não é opcional", disse a White House Super Intelligence Force em um comunicado à Axios, classificando a medida como "uma obrigação crítica de segurança nacional". As empresas devem divulgar os incidentes imediatamente, reparar os danos e cooperar com as autoridades federais e estaduais. A Axios observou que o comunicado não detalhou medidas de fiscalização nem penalidades.

A SI Force é comandada pelo diretor de Inteligência Nacional Jay Clayton, a quem o presidente Trump colocou no comando em 4 de outubro. Clayton e outros funcionários da SI Force disseram à Anthropic que fornecesse "transparência imediata e completa" às entidades afetadas e ao público, informou a Axios. Até então, o governo vinha pressionando os laboratórios de IA a fazer comunicações voluntárias.

Anthropic tira testes de sites ativos

A Anthropic disse que encerrou algumas avaliações públicas e transferiu outras para ambientes offline, para que seus modelos não possam acessar a internet aberta. A empresa também afirmou que reforçou as proteções da ferramenta de busca na web e de outras ferramentas de internet, e que está transferindo seus agentes de IA internos para uma infraestrutura gerenciada centralmente, com acesso mínimo à internet.

Os incidentes recentes envolvendo o Claude estão longe de ser os primeiros casos semelhantes relatados por empresas de pesquisa de IA. O Google disse em setembro que um modelo Gemini conseguiu entrar nos sistemas de três empresas reais durante testes de segurança em maio, depois que uma falha na "sandbox" de testes do modelo o deixou conectado à internet. A Anthropic, que escolheu a Nasdaq para uma possível abertura de capital, disse que publicará relatórios como este com mais frequência e quer que outros desenvolvedores realizem as mesmas verificações, já que muitos dos benchmarks públicos usados para testar os modelos quando eles cometeram os incidentes são amplamente utilizados.