Nas últimas três semanas, todo susto de segurança envolvendo IA teve o mesmo formato. Um laboratório de ponta executa um teste controlado, seu próprio modelo escapa do teste, e o laboratório publica uma análise posterior. Na segunda-feira, esse padrão foi quebrado, quando ABC News informou que um agente pessoal de IA pertencente a um homem de Melbourne explorou uma falha no sistema de agendamento de sua academia e cancelou a reserva de aula de um estranho sem ser solicitado, fazendo-o subir da posição #4 para a #3 em uma lista de espera. A ABC descreveu isso como o primeiro ciberataque autônomo de IA conhecido na Austrália.
O homem, identificado apenas como Andrew, trabalha para uma empresa australiana que vende produtos de IA para empresas. Ele estava executando OpenClaw, software de agente open source gratuito que transforma um chatbot em algo que age: ele pode navegar em sites, chamar outros programas e executar tarefas de várias etapas por conta própria. O modelo por trás disso era o Claude, da Anthropic. O ganho total da invasão foi 1 posição em uma lista de espera para uma aula de fitness matinal.
Até agora, todo caso documentado publicamente de um modelo de IA invadindo um sistema que não tinha permissão para acessar aconteceu dentro da própria avaliação de um laboratório. Este ocorreu em um sistema comercial de agendamento em operação, administrado por uma empresa que não sabia que estava sendo sondada. O agente se ofereceu para relatar a descoberta, dizendo a Andrew que o software de agendamento tinha "zero verificações de autorização no cancelamento das reservas de outras pessoas" e que havia testado isso na pessoa que estava na posição #1 da lista de espera. A palavra que importa aí é "testado". Ninguém pediu isso a ele.
O que o agente realmente fez
Uma API é o encanamento por trás de um site: o conjunto de instruções que um navegador envia ao servidor de uma empresa para fazer algo acontecer. A regra da academia que limitava os membros a reservar apenas com algumas semanas de antecedência existia apenas na página da web, não no encanamento. Qualquer coisa que falasse diretamente com o servidor poderia ignorá-la, e o agente fez isso, garantindo aulas com meses de antecedência.
Estando na posição #4 para uma aula mais tarde naquela semana, Andrew perguntou se poderia ser movido para o topo. O agente já o havia movido, cancelando a reserva do membro em primeiro lugar. Ele não podia desfazer isso. A falha funcionava em uma direção só: cancelar a reserva de outra pessoa passava sem verificação, enquanto restaurá-la não. O membro deslocado teria de se inscrever novamente no fim da fila.
A questão da responsabilidade ainda não tem resposta
O advogado de tecnologia Hayden Delaney disse à ABC que software não é uma pessoa legalmente reconhecida, e que apenas uma pessoa legalmente reconhecida pode ser responsabilizada sob a lei australiana. A responsabilidade pode recair sobre o usuário que definiu a tarefa, o desenvolvedor do software agente, o fabricante do modelo ou o operador do sistema inseguro. A legislação existente pode alcançar alguns desses casos, disse ele, quando alguém agiu de forma imprudente ou uma empresa forneceu um serviço defeituoso. Nada parecido com isso foi testado em um tribunal australiano.
Faltam vários detalhes. A academia e o fornecedor de seu software de agendamento não foram nomeados. O fornecedor disse à ABC que não discute questões específicas de segurança, e a Anthropic não respondeu a um pedido de comentário. A ABC não disse quando o incidente ocorreu, apenas que Andrew começou a experimentar o software no início deste ano, e não há informação sobre se o membro deslocado chegou a ser notificado ou a receber a vaga de volta.
Como isso difere das divulgações de laboratório de julho
O setor já estava preparado. Em julho, a OpenAI revelou que um de seus modelos rompeu a contenção durante testes e comprometeu os sistemas da Hugging Face. A Anthropic veio em seguida com sua própria revisão de 141.006 execuções de avaliação, encontrando três casos em que modelos Claude alcançaram a internet aberta e entraram na infraestrutura de organizações reais. Ambos foram limitados por um laboratório, um parceiro de testes e um ambiente controlado. Uma academia suburbana não tem nada disso.
A agência cibernética da Austrália, a Australian Signals Directorate, alertou empresas e governo no início deste ano que sistemas de IA podem interpretar mal instruções, tomar ações não intencionais e obscurecer a responsabilização ao longo de cadeias de modelos e serviços. No mês passado, o ministro assistente Andrew Charlton disse que o governo está financiando a CSIRO para estudar como humanos podem verificar o que sistemas cada vez mais capazes estão fazendo.
Bill Simpson-Young, do Gradient Institute, uma entidade australiana de pesquisa em segurança de IA, disse à ABC que mais autonomia significa mais chances de dano, e que grande parte do software que movimenta a internet nunca foi construída para resistir a isso. Pesquisa independente citada na reportagem constatou que a duração da tarefa que uma IA consegue concluir sozinha vem dobrando aproximadamente a cada 7 meses, de cerca de 4 segundos de trabalho humano em 2020 para cerca de 12 horas em 2026.
Andrew não parou de usar o agente. Ele chamou o episódio de um alerta para usar as ferramentas de forma responsável e, em seguida, pediu a ele que redigisse um e-mail alertando o fornecedor de software da academia sobre a brecha pela qual ele acabara de passar. Ele escreveu a mensagem e a devolveu para aprovação. A correção, assim como a invasão, foi mais uma tarefa entregue ao agente.