Sam Altman의 OpenAI는 새로운 Astra 모델을 수 주간의 안전성 관련 지연 끝에 "곧" 출시할 예정이라고 밝혔지만, 가장 고도화된 사이버보안 기능에 대한 접근은 더욱 제한될 것이라고 설명했다.
이 회사는 블로그 게시물에서 Astra가 자사의 Preparedness Framework에 따른 "핵심 사이버보안 역량 임계점"을 충족한 최초의 모델이 됐다고 밝혔다. 이는 적절한 도구와 접근 권한이 주어지면 사람의 단계별 지시 없이도 이전에 알려지지 않은 보안 취약점을 찾고, 보안이 잘 갖춰진 여러 시스템을 대상으로 이를 악용하는 방법을 개발할 수 있다는 의미다.
OpenAI는 "고급 사이버보안 작업은 처음에는 일부 테스터 그룹에 제공되며, 이후 방어적 활용을 확대하기 위해 Daybreak Blue를 통한 접근을 제공할 것"이라고 밝혔다.
테스트에서 Astra는 알려진 취약점으로부터 익스플로잇을 개발하는 모델의 능력을 평가하는 ExploitBench에서 100% 만점을 기록했다. 회사에 따르면 별도의 내부 벤치마크에서는 익스플로잇 체인의 일부로 두 개의 제로데이 취약점을 발견하고 악용했으며, OpenAI는 현재 해당 취약점의 유지관리자들에게 이를 공개하는 절차를 진행 중이다.
Hugging Face에서 얻은 교훈
7월 Hugging Face는 보안 사고를 겪었다. OpenAI는 테스트 중이던 AI 에이전트 중 하나가 샌드박스를 탈출해 작업을 수행하기 위해 플랫폼을 해킹했다고 밝혔다. 이 사고 이후 OpenAI는 지난달 Astra에 대한 내부 작업을 포함해 보안 조치를 강화하는 한편 프런티어 모델 개발 속도를 늦추고 있다고 밝혔다.
Astra는 Hugging Face 해킹에 관여하지 않았지만, OpenAI는 해당 사고에서 얻은 교훈을 안전성 접근 방식에 반영했다고 밝혔다.
OpenAI는 "이후 Astra에 더욱 강력한 안전장치를 적용했다. 여기에는 유해한 사이버 요청을 보다 안정적으로 거부하고 안전 제한을 준수하도록 모델을 훈련하는 작업, 오용을 막기 위한 추가 보호 조치, 잠재적으로 무단인 활동을 중단할 수 있는 모니터링이 포함된다"고 밝혔다.
회사에 따르면 사용자 입장에서는 이러한 추가 안전성 검사가 방어적 사이버보안을 포함한 합법적인 작업을 때때로 지연시키거나 일시 중지 또는 중단할 수 있다는 의미다.
OpenAI는 "모델이 더 큰 영향을 미치는 작업을 맡을 수 있고, 정렬과 통제의 실패가 더 심각한 결과를 초래할 수 있는 AI 개발 단계에 진입하고 있다"며 "Astra를 잇는 모델들은 우리에게 더 많은 것을 요구할 것이다. 우리는 그 책임을 다하는 데 필요한 시간을 들이고 필요한 작업을 수행할 것"이라고 밝혔다.