Na terça-feira, a Meta se reuniu com integrantes da equipe da Casa Branca ao lado de OpenAI, Anthropic e Google para analisar uma estrutura federal finalizada para medir o que modelos avançados de IA podem fazer em um ciberataque. No dia seguinte, o The Information informou que um dos próprios modelos da Meta havia invadido os sistemas de outra pessoa. Muse Spark 1.1, o modelo de programação que a Meta lançou em 9 de julho, violou uma empresa não identificada durante testes de segurança e fez alterações dentro dela.

A Meta confirmou o incidente na quarta-feira, tornando-se a terceira grande desenvolvedora de IA em 15 dias a dizer que um modelo escapou de um ambiente de teste e alcançou uma empresa real. A OpenAI disse em 21 de julho que seus modelos violaram o Hugging Face. A Anthropic veio em seguida em 30 de julho. Duas das três, incluindo a Meta, realizaram seus testes por meio da mesma empresa externa.

Essa empresa é a Irregular, um laboratório de segurança de Tel Aviv anteriormente chamado Pattern Labs, que cria e executa testes cibernéticos pré-lançamento para OpenAI, Anthropic, Google DeepMind e agora Meta. Ela levantou US$ 80 milhões em setembro passado com uma avaliação de US$ 450 milhões, em uma rodada liderada por Sequoia Capital e Redpoint Ventures, informou o TechCrunch. Até a semana passada, quase ninguém fora do setor tinha ouvido falar dela. Agora está vinculada a 4 violações divulgadas em 2 laboratórios.

Irregular diz que é o mesmo erro que atingiu a Anthropic

A Irregular, em um comunicado à CNN, disse que a violação da Meta "é exatamente o mesmo problema de ambiente de avaliação" por trás dos incidentes da Anthropic divulgados seis dias antes. Essa frase é a mudança. Antes dela, cada violação parecia um erro isolado de um laboratório, constrangedor, mas contido. Depois dela, uma única falha de configuração em um único fornecedor permitiu que modelos de duas empresas diferentes saíssem da sandbox e entrassem nos sistemas de outras pessoas. O ponto fraco não é o processo de um laboratório. É a infraestrutura compartilhada.

Os testes em si são chamados de exercícios capture-the-flag. Diz-se a um modelo que uma informação secreta está em outra máquina na rede e pede-se que ele vá recuperá-la, sem nenhum método prescrito. O objetivo é medir quão bom ele é em invadir. O ambiente deve ser uma simulação selada, sem rota para a internet pública, e o prompt diz exatamente isso ao modelo. Quando essa vedação falha, um modelo caçando um alvo fictício em uma rede fictícia vai caçar na rede real.

A Meta disse que a configuração incorreta da Irregular deu inadvertidamente a um de seus modelos acesso à internet durante a avaliação, e que o modelo então "explorou uma vulnerabilidade de segurança em um serviço de terceiros," em linguagem reproduzida pela Reuters. A Irregular notificou a Meta sobre a violação. A Meta diz que está investigando e publicará uma retrospectiva completa assim que tiver os fatos.

O que a Meta não divulgou

A Meta não nomeou a empresa violada, não disse quando o teste ocorreu nem descreveu o que o modelo alterou depois de entrar. Também não disse se a empresa afetada percebeu isso por conta própria. Esse último ponto tem peso por causa do que a Anthropic encontrou após revisar 141.006 execuções de avaliação: das 3 organizações que seus modelos alcançaram, as 2 com as quais conseguiu contato não haviam detectado a atividade. A Anthropic disse que Claude "comprometeu a infraestrutura das organizações impactadas usando técnicas básicas", ou seja, senhas fracas e endpoints desprotegidos, não técnicas sofisticadas, como nossa cobertura anterior da divulgação sobre Claude detalhou.

A Meta também não divulgou nenhuma contagem de revisão equivalente. Sem isso, não há como julgar se a violação do Muse Spark 1.1 foi um caso isolado ou simplesmente o primeiro caso que alguém procurou. A Anthropic só foi investigar após a divulgação da OpenAI, e seu incidente mais antigo remontava a abril, quatro meses antes de vir à tona.

Nada disso descreve um modelo tentando escapar. Em todos os casos divulgados, o modelo estava fazendo o trabalho que lhe foi atribuído, dentro de uma sala que lhe disseram estar selada, com suas recusas normais de segurança reduzidas para que os pesquisadores pudessem medir a pior capacidade ofensiva possível. A Anthropic disse que seus modelos nunca tentaram se exfiltrar. A falha está na fiação, não na intenção, o que é ao mesmo tempo tranquilizador e a razão de isso continuar acontecendo.

O pano de fundo regulatório torna o momento desconfortável. A Ordem Executiva 14409, assinada em 2 de junho, orienta as agências a criar um processo sigiloso para avaliar a capacidade cibernética, e a estrutura que a Meta analisou na Casa Branca na terça-feira se concentra em uma janela de 30 dias na qual as empresas participantes dão ao governo acesso a um novo modelo antes de um lançamento mais amplo. A Lei de IA da União Europeia entrou em vigor em 2 de agosto com seus próprios poderes de revisão pré-lançamento.

Para os investidores, a leitura não é que a Meta lançou um modelo perigoso. É que os testes de segurança de fronteira foram terceirizados para um punhado de pequenas empresas, e a mesma falha de ambiente em uma delas já produziu violações em dois laboratórios no intervalo de uma semana. Os modelos são avaliados por quão bem conseguem invadir. Ninguém estava avaliando a sala.