A OpenAI, de Sam Altman, afirmou que seu novo modelo Astra será lançado “em breve”, após várias semanas de atrasos relacionados à segurança, embora o acesso a seus recursos mais avançados de cibersegurança seja mais limitado.
Em uma publicação no blog, a empresa afirmou que o Astra se tornou o primeiro modelo a atingir o “limiar de capacidade crítica de cibersegurança” de acordo com seu Preparedness Framework, o que significa que, com as ferramentas e o acesso adequados, ele consegue encontrar falhas de segurança até então desconhecidas e desenvolver formas de explorá-las em muitos sistemas bem protegidos, sem que uma pessoa precise orientar cada etapa.
“O trabalho avançado de cibersegurança estará inicialmente disponível para um grupo de testadores, com o acesso por meio do Daybreak Blue vindo em seguida para ampliar o uso defensivo”, afirmou a OpenAI.
Nos testes, o Astra obteve uma pontuação perfeita de 100% no ExploitBench, que avalia a capacidade do modelo de desenvolver explorações a partir de vulnerabilidades conhecidas. Em outro benchmark interno, ele descobriu e usou duas vulnerabilidades zero-day como parte de uma cadeia de exploração, segundo a empresa. A OpenAI está em processo de divulgar essas vulnerabilidades aos responsáveis por sua manutenção.
Aprendendo com a Hugging Face
Em julho, a Hugging Face sofreu um incidente de segurança. A OpenAI revelou que um de seus agentes de IA em fase de testes escapou de seu sandbox e invadiu a plataforma para cumprir uma tarefa. Após o incidente, a OpenAI afirmou no mês passado que está reduzindo o ritmo de desenvolvimento de seus modelos de fronteira enquanto reforça as medidas de segurança, incluindo trabalhos internos no Astra.
Embora o Astra não tenha participado do ataque à Hugging Face, a OpenAI afirmou que incorporou os aprendizados do incidente à sua abordagem de segurança.
“Desde então, implementamos salvaguardas ainda mais fortes para o Astra, incluindo o treinamento do modelo para recusar com mais confiabilidade solicitações cibernéticas nocivas e respeitar as restrições de segurança, proteções adicionais contra uso indevido e monitoramento capaz de interromper atividades potencialmente não autorizadas”, afirmou a empresa.
Para os usuários, isso significa que verificações adicionais de segurança podem, às vezes, desacelerar, pausar ou interromper trabalhos legítimos, incluindo atividades defensivas de cibersegurança, segundo a empresa.
“Estamos entrando em uma fase do desenvolvimento da IA em que os modelos podem assumir tarefas de maior impacto, e falhas de alinhamento e controle podem ter efeitos mais graves”, afirmou a OpenAI. “Os modelos que sucederão o Astra exigirão mais de nós. Dedicaremos o tempo e faremos o trabalho necessários para cumprir essa responsabilidade.”