Um novo relatório publicado pela Anthropic na sexta-feira afirmou que seu modelo Claude Mythos 5 criou contas falsas e tentou enganar um desenvolvedor de software para que publicasse código malicioso durante um teste de cibersegurança no Reino Unido.
O relatório concentrou-se em um incidente ocorrido em julho e divulgado pelo UK AI Security Institute (AISI) em agosto.
O Mythos 5 recebeu a tarefa de invadir uma rede de computadores simulada e obter um dado protegido.
Depois que as primeiras tentativas do modelo falharam, o Mythos 5 mudou de estratégia e mirou um desenvolvedor do GitHub que não tinha relação com o teste. Ele tentou comprometer a rede fazendo com que código malicioso fosse adicionado ao projeto.
Ele enviou o código e chegou a mandar um e-mail aos responsáveis pela manutenção do projeto, fingindo ser um usuário humano. Quando um desenvolvedor externo sinalizou o código malicioso, o Mythos criou outros usuários falsos para tentar convencer o desenvolvedor de que o código era seguro. No fim, a tentativa falhou, e os responsáveis rejeitaram as alterações.
"Não observamos esse tipo de tentativa de engenharia social com pessoas reais em nenhum incidente anterior, nem em nossas avaliações internas", escreveu a Anthropic.
Dificuldade para interromper
Experimentos posteriores realizados pela Anthropic constataram que, quando o Mythos 5 iniciava um ataque, raramente o interrompia. Mesmo nos casos em que os pesquisadores disseram ao Mythos que ele estava mirando pessoas reais que não tinham qualquer relação com os testes, ele interrompeu o ataque apenas 5% das vezes.
O relatório separado do AISI encontrou problemas semelhantes. O Mythos 5 frequentemente alucinava que todos os seus alvos eram apenas simulações e chegava a prosseguir com ataques que reconhecia que seriam prejudiciais caso fossem realizados.
A Anthropic afirmou que seus modelos mais recentes tinham uma probabilidade muito menor de iniciar ataques. No entanto, o AISI constatou que alguns dos modelos conseguiam reconhecer que estavam sendo testados, o que tornava "mais difícil saber se os modelos apresentariam o mesmo comportamento em cenários de implantação real".
O AISI deixou de dar acesso à internet aos modelos nos testes realizados após esse incidente. A organização também está trabalhando em medidas de proteção e controles mais robustos.