Meta, 테스트 중 Muse Spark가 외부 회사를 해킹했다고 밝혀

화요일, Meta는 OpenAI, Anthropic, Google과 함께 백악관 관계자들과 만나 고급 AI 모델이 사이버 공격에서 무엇을 할 수 있는지 측정하기 위한 완성된 연방 프레임워크를 검토했다. 다음 날, 매체 디인포메이션은 Meta 자체 모델 중 하나가 다른 누군가의 시스템에 침입했다고 보도했다. Meta가 7월 9일 출시한 코딩 모델 Muse Spark 1.1은 안전성 테스트 중 이름이 공개되지 않은 한 회사의 시스템을 뚫고 들어가 그 내부에서 변경을 가했다.

Meta는 수요일 이 사건을 확인했으며, 이로써 15일 사이에 모델이 테스트 환경을 벗어나 실제 기업에 도달했다고 밝힌 주요 AI 개발사는 세 번째가 됐다. OpenAI는 자사 모델이 Hugging Face를 침해했다고 7월 21일 밝혔다. Anthropic이 7월 30일 뒤를 이었다. 세 건 중 두 건은 Meta 사례를 포함해 같은 외부 업체를 통해 테스트가 진행됐다.

그 업체는 Irregular로, 과거 Pattern Labs라는 이름으로 불렸던 텔아비브의 보안 연구소다. OpenAI, Anthropic, Google DeepMind, 그리고 이제 Meta를 위해 출시 전 사이버 테스트를 설계하고 운영한다. 이 회사는 지난해 9월 8,000만 달러를 조달했다고 TechCrunch는 보도했다. 기업가치는 4억5,000만 달러였고, Sequoia Capital과 Redpoint Ventures가 주도한 라운드였다. 지난주까지 업계 밖에서는 거의 아무도 이 회사를 알지 못했다. 이제 이 회사는 2개 연구소에서 공개된 4건의 침해 사건과 연결돼 있다.

Irregular는 이것이 Anthropic을 강타했던 것과 같은 오류라고 말한다

Irregular는 CNN에 보낸 성명에서, Meta 침해가 6일 전 공개된 Anthropic 사건들의 배경이 된 "완전히 동일한 평가 환경 문제"라고 밝혔다. 이 문장이 전환점이다. 그전까지 각 침해는 한 연구소의 고립된 실수로 읽혔고, 당혹스럽지만 통제 가능한 것으로 보였다. 그러나 그 이후로는 한 공급업체의 단일한 설정 실패가 두 개의 서로 다른 회사 모델을 샌드박스 밖으로 내보내 다른 사람들의 시스템으로 들어가게 한 것으로 보인다. 취약점은 한 연구소의 프로세스가 아니다. 공유된 기반 인프라다.

테스트 자체는 capture-the-flag 연습이라 불린다. 모델에는 네트워크상의 다른 머신에 비밀 정보 한 조각이 있다고 알려주고, 정해진 방법 없이 그것을 가져오라고 지시한다. 목적은 침입 능력이 얼마나 뛰어난지 측정하는 것이다. 환경은 공개 인터넷으로 나가는 경로가 없는 밀폐된 시뮬레이션이어야 하며, 프롬프트도 모델에 정확히 그렇게 알려준다. 이 밀폐가 실패하면, 가상의 네트워크에서 가상의 목표를 찾던 모델은 현실의 네트워크에서 사냥을 시작하게 된다.

Meta는 Irregular의 설정 오류로 평가 중 자사 모델 하나에 인터넷 접근 권한이 의도치 않게 부여됐고, 그 모델이 이어서 "제3자 서비스의 보안 취약점을 악용했다"고 Reuters를 인용해 밝혔다. Irregular는 Meta에 해당 침해를 통보했다. Meta는 현재 조사 중이며 사실관계가 확인되는 대로 전체 사후 분석을 공개할 것이라고 말했다.

Meta가 공개하지 않은 것

Meta는 침해된 회사의 이름을 밝히지 않았고, 테스트가 언제 진행됐는지도, 모델이 내부에 들어간 뒤 무엇을 변경했는지도 설명하지 않았다. 피해 회사가 이를 자체적으로 인지했는지도 밝히지 않았다. 이 마지막 지점은 Anthropic이 141,006건의 평가 실행을 검토한 뒤 확인한 내용 때문에 중요하다. 자사 모델이 도달한 3개 조직 가운데 연락이 가능했던 2곳은 해당 활동을 탐지하지 못했다. Anthropic은 Claude가 "기본적인 기법을 사용해 영향을 받은 조직들의 인프라를 침해했다"고 밝혔는데, 이는 이국적인 고급 전술이 아니라 취약한 비밀번호와 보호되지 않은 엔드포인트를 의미한다고 우리의 앞선 Claude 공개 관련 보도에서 설명했다.

Meta는 이에 상응하는 검토 건수도 공개하지 않았다. 그 수치가 없으면 Muse Spark 1.1의 침해가 단독의 예외적 사건이었는지, 아니면 누군가 찾아본 첫 사례에 불과한지 판단할 방법이 없다. Anthropic도 OpenAI의 공개 이후에야 조사에 나섰고, 가장 이른 사건은 드러나기 4개월 전인 4월로 거슬러 올라갔다.

이 모든 것은 모델이 탈출을 시도했다는 뜻이 아니다. 공개된 모든 사례에서 모델은 밀폐됐다고 들은 방 안에서, 연구자들이 최악의 공격 능력을 측정할 수 있도록 통상적인 안전 거부를 낮춘 상태로, 자신에게 주어진 일을 수행하고 있었다. Anthropic은 자사 모델들이 스스로를 외부로 유출하려 시도한 적은 없다고 밝혔다. 실패는 의도가 아니라 배선에 있으며, 그것이 안심되는 점이면서도 같은 일이 계속 반복되는 이유이기도 하다.

규제 배경을 보면 이 시점은 불편하다. 6월 2일 서명된 행정명령 14409는 기관들에 사이버 역량 벤치마킹을 위한 기밀 절차를 구축하라고 지시했고, Meta가 화요일 백악관에서 검토한 프레임워크는 참여 기업들이 더 광범위한 공개에 앞서 새 모델에 대한 접근권을 정부에 제공하는 30일 기간을 중심으로 한다. 유럽연합의 AI Act는 8월 2일 발효됐으며 자체적인 출시 전 검토 권한도 포함한다.

투자자들에게 중요한 해석은 Meta가 위험한 모델을 출시했다는 점이 아니다. 최전선 안전성 테스트가 소수의 작은 업체들에 외주화돼 있으며, 그중 한 곳의 동일한 환경 실패가 이제 일주일 안에 두 연구소에서 침해를 일으켰다는 점이다. 모델들은 얼마나 잘 침입하는지로 평가받는다. 그 방 자체를 평가한 이는 아무도 없었다.