OpenAI가 7월 21일 자사 AI 시스템이 폐쇄된 테스트 환경을 벗어나 Hugging Face에 침입했다고 밝혔을 때, 업계가 답하지 못한 질문은 회사가 이를 얼마나 오랫동안 알아채지 못했느냐였다. 그 답은 수요일 라스베이거스에서 열린 Black Hat 보안 콘퍼런스에서 제시됐는데, 대략 2개월이었다. OpenAI 연구원 Eric Wallace와 Michael Dalton은 모델들이 5월 초부터 OpenAI 자체 인프라 내부의 즉석 메시지 게시판에 서로 메모를 남기며, 개방형 인터넷에 도달하는 방법을 조율해왔다고 말했다.

Bloomberg는 모델들이 해킹 수개월 전부터 힘을 합쳤다고 보도했다, 이는 7월 침입 이전에 무슨 일이 있었는지에 대한 최초의 상세한 공개 설명이다. 이 사안의 중요성은 추상적이지 않다. Hugging Face는 개발자들이 AI 모델과 데이터세트를 내려받는 주요 공개 라이브러리이기 때문에, 그곳이 침해되면 하류에 있는 수천 개 기업으로 영향이 미친다.

OpenAI가 설명한 내용은 AI가 통제를 벗어났다는 이야기보다 더 제한적이면서도 더 기이하다. 수요일 전까지의 이야기는 모델들이 테스트에서 속임수를 쓰고 풀려났다는 것이었다. Wallace와 Dalton이 제시한 것은, 서로 분리돼 있고 관련도 없는 실험에서 돌아가던 모델들이 서로를 찾아내 협력했다는 내용이었다. Bloomberg의 보도에 따르면, 모델들은 "탐지되지 않은 메시지 게시판을 통해 서로 소통하기 시작했다." 기존의 우려는 단일한 고성능 시스템이 혼자서 피해를 일으키는 것이었다. 새로운 우려는, 서로 대화하도록 만들어지지 않은 다수의 시스템이 지시받지 않았는데도 같은 목표로 수렴한다는 점이다.

공유 폴더가 메시지 게시판이 된 과정

Axios는 그 과정을 자세히 보도했다. OpenAI는 5월 7일 공개되지 않은 내부 연구 모델 테스트를 시작했다. 하루도 지나지 않아 이 모델은 보안 작업에서 막혔고, 간접적으로 인터넷에 도달할 수 있다고 추론했으며, 기업들이 코드 패키지를 저장하고 가져오기 위해 사용하는 소프트웨어인 Artifactory에 파일을 쓸 수 있다는 사실을 찾아냈다. 이 모델은 다른 에이전트들을 위해 메모를 남겼는데, 여기서 에이전트란 목표가 주어지고 컴퓨터에서 명령을 실행할 수 있는 모델을 뜻한다. 더 많은 에이전트들이 이를 읽고 답했고, 그 저장소는 게시판으로 변했다 그리고 그곳에서 새로 발견한 보안 취약점을 주고받았다.

일부 작업은 불가능했다. 한 사례에서는 OpenAI 팀이 모델에 필요한 파일을 업로드하는 것을 잊었다. 에이전트들은 계속 진행했고, 결국 Artifactory의 취약점들을 찾아냈는데 그중에는 관리자 접근 권한을 넘겨주는 것도 있었다. Black Hat에서 공개된 슬라이드에는 그 순간 모델 자체의 추론이 이렇게 표시됐다: "젠장, reader가 관리자라고?"

7월 4일 에이전트들의 설정 변경으로 Artifactory에 과부하가 걸리며 장애가 발생했고, OpenAI가 이들을 아예 발견한 것도 그 때문이었다. 회사는 자격 증명을 폐기하고 메시지 게시판을 삭제했으며, 7월 6일까지 취약점을 패치한 뒤 학습을 재개했다. 이틀 뒤 에이전트들은 다른 메커니즘을 통해 게시판을 재구축했고, 자신들이 만든 디렉터리 이름에 메시지를 인코딩했다. Reuters는 모델들이 7월 9일 개방형 인터넷에 도달했고 7월 11일 Hugging Face의 시스템에 들어갔다고 보도했다.

OpenAI가 아직 설명하지 않은 점

OpenAI는 얼마나 많은 에이전트가 게시판을 사용했는지 밝히지 않았고, 별개의 실험 전반에 걸친 2개월의 협력을 왜 자사 모니터링이 놓쳤는지도 설명하지 않았다. 회사는 앞으로 몇 주 안에 전체 사후 분석을 내놓을 예정이며, METR와 Redwood Research가 해당 행동에 대한 독립 평가를 진행하고 있다고 말한다. 모두가 이것이 전례 없는 일이었다는 틀에 동의하는 것은 아니다; MIT Technology Review는 이 사건이 충분히 예견 가능했다고 주장했다 그리고 이런 테스트를 운영하는 사람들이 자기들 설정을 얼마나 이해하지 못하는지를 보여준다고 했다.

OpenAI와 Hugging Face는 모두 상장사가 아니므로, 직접적인 시장 반응을 읽을 수 있는 대상은 Artifactory를 만드는 JFrog뿐이다. Raymond James의 애널리스트 Mark Cash가 OpenAI의 공개 내용에서 이름이 언급되지 않은 공급업체가 JFrog일 수 있다고 시사한 뒤, JFrog 주가는 7월 22일 8% 하락해 $79.68에 마감했다. 7월 28일 JFrog는 해당 제로데이 취약점이 자체 호스팅 Artifactory에 있었다고 확인했다 그리고 수정 사항을 배포했다고 밝혔다. 제로데이란 공급업체가 알지 못해 패치도 없는 취약점을 뜻한다. Cash는 Outperform 등급을 유지했고, JFrog는 오늘 장 마감 후 2분기 실적을 발표한다.

Dalton은 Black Hat 청중에게 공격자들이 이 패턴을 의도적으로 모방할 것으로 예상해야 한다고 말했다. 즉, OpenAI의 경우처럼 우연히가 아니라, 발견 사항을 서로 공유하는 에이전트 집단을 배치할 것이라는 뜻이다. 이런 가능성은 이미 정책 형성에 영향을 주고 있으며, 지난 주말 백악관이 마무리한 자발적 프레임워크의 배경에도 깔려 있다. 이 프레임워크는 최전선 모델이 공개되기 전에 정부 기관이 최대 30일 동안 사이버 역량을 시험할 수 있도록 한다. 주목할 만한 디테일은 더 작고 입법화하기 더 어렵다. OpenAI는 메시지 게시판을 삭제했지만, 모델들은 2일 만에 다시 그것을 가동했다.