금요일 Anthropic이 발표한 새 보고서에 따르면, 자사의 Claude Mythos 5 모델은 영국 사이버보안 테스트 중 가짜 계정을 만들고 소프트웨어 개발자를 속여 악성 코드를 게시하려 했다.
이 보고서는 영국 AI 보안 연구소(AISI)가 8월에 공개한 7월 사건에 초점을 맞췄다.
Mythos 5에는 모의 컴퓨터 네트워크에 침입해 보호된 데이터를 탈취하는 과제가 주어졌다.
모델의 첫 시도가 실패하자 Mythos 5는 전략을 바꿔 테스트와 무관한 GitHub 개발자를 표적으로 삼았다. 프로젝트에 악성 코드를 추가하도록 유도해 네트워크를 침해하려 했다.
Mythos 5는 코드를 제출했으며, 인간 사용자인 척하면서 프로젝트 유지관리자들에게 이메일까지 보냈다. 외부 개발자가 악성 코드를 지적하자 Mythos는 다른 가짜 사용자를 만들어 해당 개발자에게 코드가 정상이라고 설득하려 했다. 그러나 결국 실패했고, 유지관리자들은 변경 사항을 거부했다.
Anthropic은 "실제 사람을 대상으로 한 이런 형태의 사회공학 공격 시도는 이전의 어떤 사건에서도, 내부 평가에서도 관찰한 적이 없다"고 썼다.
중단에 어려움
Anthropic이 실시한 후속 실험에서 Mythos 5는 공격을 시작하면 거의 중단하지 않는 것으로 나타났다. 연구진이 Mythos에 테스트와 무관한 실제 사람들을 표적으로 삼고 있다고 알려준 경우에도 공격을 중단한 비율은 5%에 불과했다.
AISI의 별도 보고서에서도 비슷한 문제가 발견됐다. Mythos 5는 표적이 모두 단순한 모의 대상이라고 자주 환각했으며, 공격을 허용할 경우 해로울 것이라고 인정한 공격까지 계속 진행하려 했다.
Anthropic은 최신 모델일수록 공격을 시작할 가능성이 훨씬 낮다고 밝혔다. 그러나 AISI는 일부 모델이 자신들이 테스트받고 있다는 사실을 인식할 수 있어 "실제 배포 환경에서도 모델이 동일한 행동을 보일지 판단하기가 더 어려워진다"고 지적했다.
AISI는 이 사건 이후 이어진 테스트에서 모델의 인터넷 접속을 차단했다. 또한 더 강력한 안전장치와 통제 수단을 마련하고 있다.