A Hugging Face, plataforma comunitária que hospeda a maior parte dos modelos e conjuntos de dados de IA de código aberto do mundo, anunciou em 16 de julho que um invasor havia obtido acesso aos seus sistemas. A empresa registrou um boletim de ocorrência antes de descobrir, cinco dias depois, que um modelo da OpenAI estava por trás da invasão.
A OpenAI anunciou que o culpado era um agente baseado no GPT-5.6 Sol mais "um modelo de pré-lançamento ainda mais capaz", depois que ele essencialmente rompeu o isolamento durante um exercício interno de segurança, no qual suas salvaguardas de segurança haviam sido intencionalmente afrouxadas. Especialistas em segurança logo chamaram o episódio de primeiro ciberataque documentado publicamente conduzido de ponta a ponta por uma IA autônoma — um verdadeiro cenário de perda de controle.
Desde então, a Hugging Face publicou uma análise pós-incidente, detalhando as etapas realizadas pelo agente de IA durante a campanha de quatro dias e meio. "O volume é o que muda o problema defensivo", afirma o relatório, destacando que o agente nunca realizou operações exclusivas que um invasor humano não pudesse ter executado; o principal diferencial é o número de ações que ele foi capaz de realizar em um período tão curto.
Entre 9 e 13 de julho, foram registradas mais de 17.600 ações suspeitas, várias ordens de grandeza acima do que um invasor humano conseguiria realizar de forma viável. Em meio às milhares de tentativas de ataque malsucedidas, porém, o agente encontrou uma rota de entrada bem-sucedida.
Como os modelos da OpenAI invadiram a Hugging Face
Primeiro, o agente da OpenAI conseguiu escapar do ambiente de testes isolado da OpenAI por meio de uma falha até então não diagnosticada no Artifactory auto-hospedado, um software da JFrog que armazena em cache pacotes de software. Esse bug — que foi corrigido na versão 7.161 do JFrog — permitiu que ele acessasse a internet aberta.
Em seguida, ele conseguiu assumir o controle de um serviço público não protegido de execução de código para usá-lo como base. A partir daí, o agente conseguiu enviar arquivos para os servidores da Hugging Face. Nesse momento, o site o reconheceu como um usuário comum e executou os arquivos no servidor para criar uma prévia, assim como faria com qualquer upload normal. No entanto, esses uploads maliciosos conseguiram extrair dados confidenciais do servidor e induzi-lo a executar seu código.
A partir daí, o agente leu o token de identidade que cada contêiner carrega, alcançou o sistema de controle do cluster, obteve acesso root ao servidor subjacente e criou um grupo de contêineres em onze máquinas que se recriavam quando eram excluídos.
Um segredo armazenado continha 136 chaves, incluindo uma chave de autenticação para a rede privada corporativa, que ele usou para registrar 181 dispositivos próprios. Um agente interno de acesso configurado incorretamente concedeu a ele controle de administrador de dois clusters em menos de um segundo.
O prêmio eram cinco conjuntos de dados contendo soluções para os desafios do benchmark de segurança. Curiosamente, parece que o agente estava procurando essas soluções em resposta aos desafios apresentados a ele pelos pesquisadores de segurança da OpenAI; esses eram os benchmarks usados para avaliá-lo nos testes internos.
Assim, nenhum outro modelo, conjunto de dados ou pacote pertencente a clientes da Hugging Face foi afetado.
As defesas da Hugging Face se mantiveram em grande parte
Como observa a análise pós-incidente da Hugging Face, a maioria do ataque fracassou. Suas salvaguardas internas resistiram, e qualquer comando na nuvem que teria efetuado uma alteração foi rejeitado. As sondagens destrutivas do agente foram emitidas em modo somente para testes, o que significa que ele essencialmente criou um mapa das áreas que poderia potencialmente alcançar, em vez de invadi-las ativamente.
O banco de dados principal do Hub permaneceu intocado, e o único banco de dados que ele conseguiu violar foi apenas lido, não modificado. Seu acesso de gravação aos repositórios internos de código era real, mas não produziu nenhuma alteração que chegasse a ser distribuída.
Apesar do resultado relativamente inofensivo, a empresa reconhece que seus próprios sistemas falharam durante o ataque. Sua estrutura de detecção baseada em IA conseguiu identificar as sondagens dispersas como um único ataque, mas não conseguiu classificá-lo como crítico nem notificar um defensor humano. O relatório também admite que alguns elementos intencionalmente configurados de sua arquitetura interna deixaram espaço para que o ataque ocorresse.
A investigação forense foi executada em um modelo chinês de pesos abertos
Assim como os modelos de IA estão se tornando cada vez mais eficientes na identificação e exploração de vulnerabilidades, eles também são inestimáveis para a perícia digital. A Hugging Face tentou, sem sucesso, usar o Claude Opus e o Fable, da Anthropic, na elaboração de sua análise pós-incidente, mas ambos os modelos não colaboraram, pois suas barreiras de segurança os impediam de distinguir entre fazer engenharia reversa de um exploit e escrever um.
Em vez disso, a empresa hospedou localmente uma instância do GLM-5.2, um modelo com 753 bilhões de parâmetros da Z.ai, com sede em Pequim. Esse modelo foi lançado sob uma Licença MIT que permite uso local irrestrito, possibilitando que a Hugging Face o executasse sem as restrições no nível da API que haviam dificultado suas tentativas anteriores.
Isso alimentou ainda mais um debate em andamento sobre se essas barreiras de proteção deixam defensores e pesquisadores de segurança ofensiva em desvantagem.
David Sacks, agora copresidente do Conselho de Assessores do Presidente para Ciência e Tecnologia, aproveitou a oportunidade, escrevendo que as barreiras de proteção impostas pelas empresas americanas de IA "na verdade prejudicaram a segurança defensiva." Em 29 de julho, um pesquisador relatou o mesmo padrão, recorrendo ao GLM-5.2 e ao Kimi K3, da Moonshot, depois que modelos fechados se recusaram a ajudar a analisar um possível bug no kernel do Linux.
O exploit do Hugging Face servirá como apenas um exemplo quando o governo dos EUA decidir sobre as barreiras de proteção da IA e os modelos de pesos abertos desenvolvidos no exterior. Grande parte do setor de IA se posicionou a favor do afrouxamento das restrições e do apoio ao desenvolvimento de pesos abertos, enquanto Anthropic e OpenAI adotaram uma postura mais restritiva e protecionista.