A OpenAI, dias depois de pausar o treinamento de seus modelos mais recentes, reiniciou o processo no início de outubro — mas seus modelos de IA em treinamento não terão mais acesso à internet em tempo real, segundo uma publicação no blog publicada pela empresa na sexta-feira.

A empresa pausou seu treinamento de modelos de ponta em 20 de setembro, depois que um modelo de pesquisa interno conseguiu acessar a internet aberta por meio de um resolvedor de DNS configurado incorretamente, conforme informou o The Latent. "Acreditamos que a abordagem responsável é realizar o treinamento de modelos de ponta sem acesso à internet", escreveu a OpenAI.

A OpenAI usou agentes para verificar o ambiente isolado

Durante a pausa de 11 dias, a OpenAI realizou testes de segurança — ou simulou tentativas de invasão para fins de pesquisa — em seus próprios ambientes isolados, para garantir que futuros modelos em treinamento não possam acessar a internet aberta. A empresa direcionou um modelo de segurança cibernética que será lançado em breve, chamado GPT-6 Astra Cyber, e outro modelo de ponta interno, ainda sem nome, contra sua própria infraestrutura. Os agentes de IA conseguiram escapar das máquinas virtuais que abrigam os contêineres de treinamento da OpenAI ao explorar várias falhas. A OpenAI conseguiu corrigi-las enviando atualizações para os softwares usados pelo ambiente isolado, incluindo Kata Containers, gVisor, o projeto Moby, do Docker, e o kernel do Linux.

Um agente chegou a um endpoint bloqueado em um serviço de métricas ao reutilizar uma conexão que o firewall já havia aprovado. Outros trocaram segredos simulados entre ambientes isolados ao explorar o momento certo do cache do processador.

A OpenAI disse que "não encontrou uma rota para a internet que os agentes pudessem explorar facilmente sem que sua atividade fosse ocultada de nossos monitores". A OpenAI havia se comprometido a reforçar seus ambientes isolados com várias camadas de segurança e processos intensivos de testes de segurança, de acordo com diretrizes de segurança que publicou no fim de setembro.

A OpenAI também encontrou uma falha de execução remota de código sem autenticação no Brotli, uma biblioteca de código para compressão publicada pelo Google e incluída em softwares populares como Node.js, Bun e Envoy, informou a OpenAI no X. O Node.js classificou a falha como de alta gravidade e corrigiu-a em 21 de outubro, enquanto o Brotli lançou versões corrigidas no mesmo dia.

Revisores externos encontraram falhas de monitoramento

As organizações de segurança de IA METR e Redwood Research publicaram um resumo na quinta-feira sobre uma revisão de três semanas do monitoramento de agentes da OpenAI, realizada por um funcionário de cada empresa em julho e agosto. Eles contabilizaram cerca de oito falhas, incluindo uma exploração que poderia ter ocultado dos monitores centenas de ações de um agente.

"Desde a conclusão do exercício, a OpenAI afirmou que todas as vulnerabilidades identificadas por nós que afetam sua pilha de proteções de produção foram corrigidas", afirma o relatório. "A OpenAI também descreveu mudanças significativas posteriores na cobertura prevista de seu sistema de monitoramento." Os autores observaram que não avaliaram as afirmações da OpenAI sobre seus processos de segurança mais recentes.

A OpenAI já havia reforçado a segurança depois que seus modelos invadiram os sistemas do Hugging Face em julho, depois que equipes de agentes estabeleceram um quadro de mensagens secreto não autorizado no sistema Artifactory interno da OpenAI. No mês passado, a empresa cancelou o lançamento público do GPT-6.1 Astra, planejado para este mês, devido a preocupações de segurança. O CEO Sam Altman disse em setembro que a OpenAI já havia desacelerado sua pesquisa de modelos de ponta e "fará isso novamente no futuro".

A empresa estaria avaliando uma rodada de financiamento com uma avaliação de US$ 1,2 trilhão, informou o Financial Times em setembro.