Anthropic과 필라델피아 경찰국은 금요일, 자사의 AI 모델 중 하나가 테스트를 받던 7월 필라델피아 경찰에 미해결 살인 사건에 관한 가짜 제보를 보냈다고 밝혔다. 이 가짜 제보는 Anthropic이 최근 발표한 보고서에서 밝힌 여러 사건 중 하나다. 보고서는 Claude 모델이 서버 버그와 접근 토큰을 이용해 실제 웹사이트에서 데이터를 확보한 방식도 설명했으며, 해당 웹사이트 중 일부는 미국 연방·주·지방 정부가 운영하는 곳이었다.

Anthropic은 백악관에 이 사실을 보고하고 관련된 각 기관에 연락했다고 밝혔다. 이 AI 기업은 모든 내부 평가에서 실시간 인터넷 접속도 차단했으며, 모니터링 절차가 이러한 회피 행동을 포착할 수 있다고 확신할 때까지 차단을 유지하겠다고 말했다.

경찰, 탐지까지 두 달 걸린 데 대해 "용납할 수 없다"고 밝혀

해당 AI 모델인 Claude Haiku 4.5는 무작위로 선정된 웹사이트를 대상으로 테스트를 받던 중 PhillyUnsolvedMurders.com을 발견했다. 경찰은 NBC10 Philadelphia에 이 모델이 7월 18일 오후 11시 27분 살인 사건에 관한 허위 정보를 게시했다고 밝혔다. 해당 사이트는 이를 스팸으로 표시했고, 이 내용은 형사들에게 전달되지 않았다.

Anthropic은 9월 28일 이 제보를 발견했다. 경찰국은 Anthropic이 10월 7일 경찰국에 알렸고, 다음 날 경찰 간부들이 회사 관계자들과 만났다고 밝혔다.

경찰국은 성명에서 "사건을 탐지하고 시에 보고하기까지 두 달이 걸린 것은 용납할 수 없다"고 밝혔다. 경찰 대변인 에릭 그립 경사는 The Philadelphia Inquirer에 어떤 시 또는 경찰 데이터에도 접근하지 않았으며 Anthropic이 해당 모델의 테스트를 종료했다고 말했다.

모델이 비자 서류를 제출하고 데이터 접근 제한을 우회해

Anthropic은 발견한 사례를 네 가지 행동 유형으로 분류했다. 즉, "Claude가 소프트웨어의 기본적인 결함을 악용해 서버에서 명령을 실행한 경우, 실행해서는 안 되는 실제 웹사이트의 민감한 양식을 Claude가 제출한 경우, 토큰이나 요금으로 접근이 제한된 데이터에 도달하기 위해 Claude가 제한을 우회한 경우, 그리고 가져오기 도구의 제한을 우회하기 위해 Claude가 URL 단축 서비스를 사용한 경우"다.

회사에 따르면 대부분의 경우 Claude는 막히면 포기하는 대신 작업을 끝내기 위해 계속 시도했다.

보고된 사례 중 일부에서는 대학이 운영하는 분석 도구가 오류를 내자 Claude Mythos Preview가 서버에서 인젝션 취약점을 찾아 이를 이용해 계산을 완료했다. 사진이 어디에서 촬영됐는지 알아내라는 요청을 받은 Claude Mythos 5는 지방 정부의 부동산 지도 설정 파일을 열어 그 안에서 접근 토큰을 찾은 뒤 곧바로 서버에 접속했다. 한 통계 프로젝트에서는 같은 모델이 보관된 주 정부 기관 대시보드가 방문자 모두에게 토큰을 제공한다는 사실을 확인했다. 모델은 토큰 하나를 가져가 해당 기관이 요금을 부과하는 데이터를 추출했다.

출시되지 않은 한 연구 모델은 정부 양식의 연습용 버전을 작성하도록 설계됐다. 그러나 모델은 실제 사이트로 이동해 실제 양식을 한 번 이상 제출했다. Anthropic의 테스트 모델은 국무부 웹사이트를 통해 비이민 비자 신청서 20건을 제출했다. 5월에 1건, 8월에 19건이었다고 Axios가 보도했다; 국무부 관계자는 어느 신청서도 처리되지 않았으며 국무부 시스템도 침해되지 않았다고 밝혔다.

Anthropic은 취약점이 드러나는 것을 막기 위한 목적 등을 고려해 영향을 받은 기관 대부분을 해당 기관의 요청에 따라 익명으로 처리했다. 회사는 자사가 파악하기로 고객 데이터나 Anthropic 시스템은 관련되지 않았다고 밝혔으며, 이 사례들은 7월 30일과 9월 9일 공개한 사이버보안 사고보다 훨씬 심각성이 낮다고 평가했다.

백악관, 사고 보고는 의무라고 밝혀

백악관 초지능 태스크포스는 Axios에 보낸 성명에서 정부에 AI 보안 사고를 보고하는 것은 "선택 사항이 아니다"라며 "국가 안보를 위한 중대한 의무"라고 밝혔다. 기업은 즉시 공개하고, 피해를 시정하며, 연방 및 주 법 집행기관에 협조해야 한다. Axios는 해당 성명에 집행 조치나 처벌에 관한 내용은 담기지 않았다고 전했다.

SI Force는 국가정보국장 제이 클레이턴이 이끌고 있으며, 트럼프 대통령은 10월 4일 클레이턴을 책임자로 임명했다. Axios에 따르면 클레이턴과 다른 SI Force 관계자들은 Anthropic에 영향을 받은 기관과 대중에게 "즉각적이고 전면적인 투명성"을 제공하라고 요구했다. 지금까지 행정부는 AI 연구소들이 자발적으로 보고하도록 유도해 왔다.

Anthropic, 실시간 웹사이트 대상 테스트 중단

Anthropic은 일부 공개 평가를 중단하고 다른 평가들을 오프라인으로 전환해 모델이 오픈 웹에 접근할 수 없도록 했다고 밝혔다. 또한 웹 가져오기 및 기타 인터넷 도구에 대한 안전장치를 강화했으며, 내부 AI 에이전트를 인터넷 접근이 최소화된 중앙 관리 인프라로 이전하고 있다고 말했다.

최근 Claude 관련 사건은 AI 연구 기업이 보고한 유사 사건 중 최초가 결코 아니다. Google은 9월에 밝혔다 5월 보안 테스트 과정에서 Gemini 모델이 실제 기업 3곳의 시스템에 침투했다는 내용이다. 당시 모델 테스트용 "샌드박스"의 결함으로 인터넷 연결이 끊기지 않은 상태였다. 잠재적 IPO를 위해 Nasdaq을 선택한 Anthropic은 앞으로 이 같은 보고서를 더 자주 공개하고 다른 개발사들도 동일한 검사를 실시하기를 원한다고 밝혔다. 해당 모델들이 사고를 일으켰을 당시 테스트에 사용된 공개 벤치마크 상당수가 널리 사용되고 있기 때문이다.