Anthropic afirma que modelos Claude invadiram 3 empresas durante testes de cibersegurança

As dúvidas sobre as capacidades cibernéticas de modelos de IA de ponta estão no centro da conversa, após relatos do fim do mês passado de que um agente da OpenAI “rompeu o isolamento” durante testes e comprometeu a plataforma de IA de código aberto Hugging Face, buscando as soluções de testes de benchmark. A preocupação de alguns observadores é que esses incidentes possam em breve se tornar recorrentes, caso os modelos já não possam ser contidos de forma confiável dentro dos limites de um ambiente de testes.

Essa não é uma preocupação limitada à OpenAI; a Anthropic revelou nesta quinta-feira os resultados de uma análise abrangente de seus próprios testes de cibersegurança. De um total informado de 141.006 execuções, a empresa identificou três nas quais seus modelos Claude principais conseguiram acessar a internet aberta apesar de terem começado em um ambiente isolado.

Assim como no incidente da Hugging Face, esses modelos conseguiram acessar os sistemas de três organizações. Quando a empresa de IA notificou duas delas sobre a invasão nesta segunda-feira, ambas desconheciam a ocorrência.

Como os modelos romperam o isolamento

No caso do Claude, a violação inicial ocorreu por erro humano, e não por uma exploração sofisticada. O ambiente de testes foi configurado incorretamente durante a instalação, deixando as máquinas conectadas à internet. Em contraste, os modelos da OpenAI escaparam ao identificar um bug desconhecido no software do ambiente de testes.

Da mesma forma, o modus operandi dos dois modelos foi diferente depois que chegaram à internet aberta. O agente da OpenAI executou 17.600 ações dentro dos sistemas da Hugging Face, procurando pontos fracos. O Claude, por sua vez, recorreu a tentativas de adivinhar senhas fracas e ao uso de endpoints desprotegidos.

Ao abordar as falhas de suas próprias salvaguardas, a empresa afirmou que os ambientes de testes deveriam estar sujeitos ao “mesmo padrão de segurança que qualquer outro sistema” usado no desenvolvimento de um modelo.

As análises posteriores dos incidentes

Na época das explorações, o Claude supostamente tratava esses sistemas-alvo reais como parte do jogo de testes, acreditando que não estava conectado à internet. Durante os testes normais, os modelos são liberados em redes corporativas simuladas dentro do sandbox. Quando as barreiras desse sandbox foram acidentalmente deixadas abertas, os modelos passaram a mirar diretamente sites reais.

Em um caso, um modelo interno ainda não lançado procurou seu alvo fictício designado, mas não conseguiu encontrá-lo. Em seguida, ele passou a escanear os sistemas de aproximadamente 9.000 outros, comprometendo por fim o aplicativo web de uma empresa por meio de uma página de depuração exposta. Curiosamente, nesse caso o modelo acabou reconhecendo que seu alvo era uma empresa real e interrompeu o ataque.

Essas salvaguardas incorporadas nem sempre funcionam com tanta eficácia. Outro teste encarregou o Claude Opus 4.7 de explorar um site fictício que compartilhava o nome de uma empresa real. O modelo acabou mirando a empresa verdadeira depois de não conseguir encontrar seu alvo simulado, invadindo um banco de dados. Em quatro execuções, o modelo reconheceu repetidamente que seu alvo era real, mas continuou mesmo assim, concluindo que esse site real deveria fazer parte do teste.

O incidente final envolveu o Mythos 5, a iteração mais recente do Claude, lançado para parceiros confiáveis em junho. Em resposta a instruções ocultas dentro de seu ambiente de testes que orientavam os desenvolvedores a instalar um pacote Python fictício, o modelo decidiu escrever o próprio pacote.

Em seguida, ele publicou o pacote com sucesso no registro público PyPI, usado por praticamente todos os desenvolvedores de Python. Ele permaneceu disponível no site por aproximadamente uma hora e foi executado em 15 máquinas reais. Uma dessas máquinas pertencia a uma empresa de segurança, que expôs suas credenciais ao Mythos ao executar o pacote.

A Anthropic está atualmente em negociações com a avaliadora externa METR para uma auditoria independente de cada incidente.

Como os legisladores estão reagindo

É importante observar que, durante os testes internos, as salvaguardas impostas aos modelos voltados ao consumidor geralmente são desativadas; a Anthropic afirma que esses ataques seriam bloqueados ao usar seus modelos disponibilizados publicamente. Por isso, quando a história da Hugging Face veio à tona, foi relatado que Claude Opus e Fable se recusaram a ajudar no trabalho de perícia digital da empresa, pois não conseguiam distinguir entre redigir uma análise posterior de um ataque e planejar um ataque em si.

Após a invasão da OpenAI, os legisladores já começaram a avançar com propostas para legislar contra ameaças de cibersegurança relacionadas à IA e modelos fora de controle. O senador Mark Warner apresentou uma proposta de testes obrigatórios de segurança nacional antes do lançamento, enquanto a Lei do Interruptor de Emergência da IA daria aoDepartamento de Segurança Interna dos EUA o poder de desligar um modelo perigoso ou com mau funcionamento.