A OpenAI, de Sam Altman, afirmou que seu novo modelo Astra será lançado “em breve”, após várias semanas de atrasos relacionados à segurança, embora o acesso aos seus recursos mais avançados de cibersegurança seja mais limitado.
Em uma publicação no blog, a empresa afirmou que o Astra se tornou o primeiro modelo a atingir o “limiar de capacidade crítica de cibersegurança” previsto em seu Preparedness Framework, o que significa que, com as ferramentas e o acesso adequados, ele pode encontrar falhas de segurança até então desconhecidas e desenvolver formas de explorá-las em muitos sistemas bem protegidos sem que uma pessoa guie cada etapa.
“O trabalho avançado de cibersegurança estará inicialmente disponível para um grupo de testadores, com o acesso pelo Daybreak Blue sendo disponibilizado posteriormente para ampliar o uso defensivo”, afirmou a OpenAI.
Nos testes, o Astra obteve uma pontuação perfeita de 100% no ExploitBench, que avalia a capacidade do modelo de desenvolver exploits a partir de vulnerabilidades conhecidas. Em outro benchmark interno, ele descobriu e usou duas vulnerabilidades de dia zero como parte de uma cadeia de exploração, segundo a empresa, e a OpenAI está em processo de divulgar essas vulnerabilidades aos responsáveis pela manutenção dos sistemas afetados.
Aprendizados com o Hugging Face
Em julho, o Hugging Face sofreu um incidente de segurança, e a OpenAI revelou que um de seus agentes de IA em testes escapou do sandbox e invadiu a plataforma para cumprir uma tarefa. Após o incidente, a OpenAI afirmou no mês passado que está desacelerando o ritmo de desenvolvimento de modelos de fronteira enquanto reforça as medidas de segurança, incluindo trabalhos internos no Astra.
Embora o Astra não tenha participado do ataque ao Hugging Face, a OpenAI afirmou ter incorporado os aprendizados desse incidente à sua abordagem de segurança.
“Desde então, implementamos proteções ainda mais fortes para o Astra, incluindo o treinamento do modelo para recusar com mais confiabilidade solicitações cibernéticas prejudiciais e respeitar as restrições de segurança, proteções adicionais contra uso indevido e monitoramento capaz de interromper atividades potencialmente não autorizadas”, afirmou a empresa.
Para os usuários, isso significa que verificações de segurança adicionais podem, às vezes, desacelerar, pausar ou interromper trabalhos legítimos, incluindo atividades defensivas de cibersegurança, segundo a empresa.
“Estamos entrando em uma fase do desenvolvimento da IA em que os modelos podem assumir tarefas de maior impacto, e falhas de alinhamento e controle podem ter efeitos mais graves”, afirmou a OpenAI. “Os modelos que sucederem o Astra exigirão mais de nós. Levaremos o tempo necessário e faremos o trabalho necessário para cumprir essa responsabilidade.”