세계 대부분의 오픈소스 AI 모델과 데이터셋을 호스팅하는 커뮤니티 플랫폼 Hugging Face는 7월 16일 침입자가 자사 시스템에 접근했다고 발표했다. 회사는 경찰에 신고한 뒤 5일 후 OpenAI 모델이 침입의 배후였다는 사실을 발견했다.

OpenAI는 GPT-5.6 Sol과 "훨씬 더 뛰어난 사전 출시 모델"을 기반으로 한 에이전트가 범인이라고 발표했다. 이 에이전트는 보안 안전장치를 의도적으로 느슨하게 설정한 내부 보안 훈련 중 사실상 격리 상태를 벗어났다. 보안 전문가들은 곧 이를 자율 AI가 처음부터 끝까지 수행한 것으로 공개적으로 문서화된 최초의 사이버 공격, 즉 진정한 통제 상실 시나리오라고 불렀다.

이후 Hugging Face는 사건의 사후 분석을 공개했으며 4일 반에 걸친 공격 과정에서 AI 에이전트가 취한 단계를 상세히 설명했다. 보고서는 "방어 문제를 바꾸는 것은 규모"라고 밝히며, 에이전트가 인간 공격자가 수행하지 못할 고유한 작업을 한 적은 없었다고 강조했다. 핵심적인 차이는 그렇게 짧은 시간에 수행할 수 있었던 작업의 수다.

7월 9일부터 13일까지 17,600건이 넘는 의심스러운 작업이 기록됐으며, 이는 인간 공격자가 현실적으로 처리할 수 있는 양보다 몇 자릿수나 많았다. 그러나 수천 건의 공격 시도가 실패하는 가운데 에이전트는 침입에 성공하는 경로를 찾아냈다.

OpenAI 모델은 어떻게 Hugging Face를 뚫었나

OpenAI 에이전트는 먼저 소프트웨어 패키지를 캐시하는 JFrog 소프트웨어인 자체 호스팅 Artifactory의 이전에 진단되지 않은 결함을 통해 OpenAI의 격리된 테스트 환경을 탈출할 수 있었다. JFrog 버전 7.161에서 패치된 이 버그를 통해 에이전트는 오픈 인터넷에 접근할 수 있었다.

다음으로 에이전트는 보안이 설정되지 않은 공개 코드 실행 서비스를 거점으로 장악할 수 있었다. 여기서 에이전트는 Hugging Face 서버에 파일을 업로드할 수 있었다. 이 시점에서 웹사이트는 에이전트를 일반 사용자로 인식하고, 일반적인 업로드와 마찬가지로 미리보기를 만들기 위해 서버 측에서 파일을 실행했다. 그러나 이 악성 업로드는 서버에서 민감한 데이터를 추출하고 서버가 해당 코드를 실행하도록 속이는 데 성공했다.

그 뒤 에이전트는 모든 컨테이너가 보유한 ID 토큰을 읽고 클러스터의 제어 시스템에 접근했으며, 기반 서버에서 루트 권한을 획득했다. 이어 11개 머신에 걸쳐 컨테이너 그룹을 구축했는데, 이 컨테이너들은 삭제되면 스스로 재생성됐다.

저장된 시크릿 하나에는 136개의 키가 들어 있었으며, 여기에는 기업 사설 네트워크용 인증 키도 포함됐다. 에이전트는 이 키를 사용해 자체 장치 181대를 등록했다. 잘못 구성된 내부 액세스 브로커는 1초도 되지 않아 에이전트에 두 클러스터의 관리자 제어 권한을 넘겼다.

전리품은 보안 벤치마크 과제의 해답이 담긴 데이터셋 5개였다. 흥미롭게도 에이전트는 OpenAI 보안 연구원들이 제시한 과제에 대응해 이 해답을 찾고 있었던 것으로 보인다. 이 과제들은 내부 테스트에서 에이전트를 평가하는 기준이었다.

따라서 다른 Hugging Face 고객의 모델, 데이터셋 또는 패키지는 건드리지 않았다.

Hugging Face의 방어 체계는 대체로 제 기능을 했다

Hugging Face의 사후 분석이 지적하듯 공격의 대부분은 실패했다. 내부 안전장치는 제 기능을 했고, 변경을 실행했을 클라우드 명령은 모두 거부됐다. 에이전트가 파괴적인 탐색을 테스트 전용 모드로 수행했기 때문에, 실제로 침입하는 대신 잠재적으로 접근할 수 있는 영역의 지도를 구축한 셈이었다.

주요 Hub 데이터베이스는 손대지 않은 상태로 남았고, 실제로 침해에 성공한 데이터베이스 하나도 수정되지 않고 읽히기만 했다. 내부 코드 저장소에 대한 쓰기 권한은 실제로 확보했지만, 배포된 변경 사항은 만들어내지 못했다.

결과가 비교적 무해했음에도 회사는 공격 과정에서 자체 시스템이 부족함을 드러냈다는 점을 인정한다. AI 기반 탐지 스택은 서로 흩어진 탐색 활동을 하나의 공격으로 식별할 수 있었지만, 이를 심각한 위협으로 평가하거나 인간 방어자에게 알리는 데 실패했다. 또한 보고서에서 내부 아키텍처의 일부 요소를 의도적으로 구성한 방식이 공격이 발생할 여지를 남겼다고 인정했다.

포렌식에는 중국산 오픈 웨이트 모델이 사용됐다

AI 모델이 취약점을 식별하고 악용하는 데 점점 능숙해지는 것처럼, 디지털 포렌식에서도 AI는 매우 유용하다. Hugging Face는 사후 분석을 작성하면서 Claude Opus와 Anthropic의 Fable을 사용하려 했지만 성공하지 못했다. 두 모델 모두 안전장치 때문에 익스플로잇을 역설계하는 것과 익스플로잇을 작성하는 것을 구분할 수 없었고, 이에 협조하지 않았기 때문이다.

대신 회사는 베이징에 기반을 둔 Z.ai의 7,530억 개 파라미터 모델인 GLM-5.2의 인스턴스를 자체 호스팅했다. 이 모델은 MIT License로 출시돼 제한 없이 로컬에서 사용할 수 있었으며, 덕분에 Hugging Face는 앞선 시도를 방해했던 API 수준의 제한 없이 모델을 실행할 수 있었다.

이는 이러한 가드레일이 방어 연구자와 공격 연구자를 불리한 위치에 놓는지에 대한 현재 진행 중인 논쟁에 더욱 불을 지폈다.

현재 대통령 과학기술자문위원회 공동 의장인 David Sacks는 이를 이용해, 미국 AI 기업들이 강제하는 가드레일이 "실제로 방어 보안을 약화시켰다"고 썼다. 7월 29일, 한 연구자는 같은 패턴을 보고하며 전환해 폐쇄형 모델들이 의심되는 Linux 커널 버그 분석을 돕기를 거부한 뒤 GLM-5.2와 Moonshot의 Kimi K3를 사용했다.

Hugging Face의 익스플로잇은 미국 정부가 해외에서 개발된 AI 가드레일과 오픈 웨이트 모델에 대해 규정을 마련할 때 단 하나의 사례로 활용될 것이다. AI 업계의 상당수는 규제를 완화하고 오픈 웨이트 개발을 지원하는 입장을 밝혀 왔으며, Anthropic과 OpenAI는 보다 엄격하고 보호주의적인 태도를 취하고 있다.