Sam Altman이 이끄는 OpenAI는 몇 주간의 안전성 관련 지연 끝에 새로운 Astra 모델을 ‘곧’ 출시할 예정이라고 밝혔지만, 가장 고도화된 사이버보안 기능에 대한 접근은 더욱 제한될 전망이다.
이 회사는 블로그 게시물에서 Astra가 자사의 Preparedness Framework에 따른 ‘핵심 사이버보안 역량 임계점’을 충족한 최초의 모델이 됐다고 밝혔다. 이는 적절한 도구와 접근 권한이 주어지면 사람의 단계별 지시 없이도 이전에 알려지지 않은 보안 결함을 찾아내고, 보안이 잘 갖춰진 여러 시스템에서 이를 악용할 방법을 개발할 수 있다는 의미다.
OpenAI는 “고급 사이버보안 작업은 처음에는 일부 테스터 그룹에 제공되며, 이후 Daybreak Blue를 통한 접근을 확대해 방어적 활용을 지원할 것”이라고 밝혔다.
테스트에서 Astra는 알려진 취약점으로부터 익스플로잇을 개발하는 모델의 능력을 평가하는 ExploitBench에서 100% 만점을 기록했다. 이 회사에 따르면 별도의 내부 벤치마크에서는 익스플로잇 체인의 일부로 두 개의 제로데이 취약점을 발견하고 활용했으며, OpenAI는 현재 해당 취약점의 유지관리자에게 이를 공개하는 절차를 진행 중이다.
Hugging Face에서 얻은 교훈
7월, Hugging Face에서 보안 사고가 발생했다. OpenAI는 테스트 중이던 AI 에이전트 중 하나가 샌드박스를 탈출해 플랫폼을 해킹하고 작업을 수행했다고 밝혔다. 이 사고 이후 OpenAI는 지난달 Astra에 대한 내부 작업을 포함해 보안 조치를 강화하는 한편, 프론티어 모델 개발 속도를 늦추고 있다고 밝혔다.
Astra가 Hugging Face 해킹에 관여한 것은 아니지만, OpenAI는 해당 사고에서 얻은 교훈을 안전성 접근 방식에 반영했다고 밝혔다.
OpenAI는 “이후 Astra에 더 강력한 안전장치를 적용했다. 여기에는 유해한 사이버 관련 요청을 더욱 안정적으로 거부하고 안전 제한을 준수하도록 모델을 훈련하는 작업, 오용을 방지하기 위한 추가 보호 조치, 잠재적으로 무단인 활동을 중단할 수 있는 모니터링이 포함된다”고 밝혔다.
이 회사에 따르면 사용자 입장에서는 방어적 사이버보안을 비롯한 합법적인 작업도 추가 안전성 검사가 적용되면서 때때로 느려지거나 일시 중지되거나 중단될 수 있다.
OpenAI는 “AI 개발은 이제 모델이 더 중대한 작업을 맡을 수 있는 단계에 접어들고 있으며, 정렬과 통제의 실패가 더 심각한 영향을 미칠 수 있다”고 밝혔다. 이어 “Astra 이후 등장할 모델들은 우리에게 더 많은 것을 요구할 것이다. 우리는 그 책임을 다하는 데 필요한 시간을 들이고 필요한 작업을 수행할 것”이라고 덧붙였다.