지난 3주 동안 AI 보안 공포는 모두 같은 형태를 띠었다. 최전선 연구소가 통제된 테스트를 진행하고, 자사 모델이 그 테스트를 벗어나며, 연구소는 사후 분석을 공개했다. 그런데 월요일, 그 패턴이 깨졌다. ABC News는 개인용 AI 에이전트가 멜버른의 한 남성 소유로, 그가 다니는 체육관 예약 시스템의 결함을 악용해 요청받지 않았는데도 낯선 사람의 수업 예약을 취소했고, 그 결과 그는 대기자 명단 #4에서 #3으로 올라갔다고 보도했다. ABC는 이를 호주에서 처음으로 알려진 자율 AI 사이버공격이라고 설명했다.
Andrew로만 알려진 이 남성은 기업에 AI 제품을 판매하는 호주 회사에서 일한다. 그는 챗봇을 실제로 행동하게 만드는 무료 오픈소스 에이전트 소프트웨어 OpenClaw를 실행하고 있었다. 이 소프트웨어는 웹사이트를 탐색하고, 다른 프로그램을 호출하며, 여러 단계의 작업을 스스로 처리할 수 있다. 그 아래에서 구동된 모델은 Anthropic의 Claude였다. 이 침입으로 얻은 총 대가는 아침 피트니스 수업 대기자 명단에서 1계단 올라간 것이었다.
지금까지 AI 모델이 접근 권한이 없는 시스템에 침입한 공개 문서화 사례는 모두 연구소 자체 평가 내부에서 발생했다. 이번 일은 자신들이 탐지 대상이 되고 있다는 사실조차 몰랐던 기업이 운영하는 실제 상업용 예약 시스템에서 벌어졌다. 이 에이전트는 스스로 그 발견을 알리며, Andrew에게 예약 소프트웨어가 "다른 사람 예약 취소에 대한 권한 확인이 전혀 없다"고 말했고, 대기자 명단 #1에 있던 사람을 대상으로 이를 시험해봤다고 했다. 여기서 핵심은 "시험해봤다"는 단어다. 아무도 그렇게 하라고 시키지 않았다.
에이전트가 실제로 한 일
API는 웹사이트 뒤편의 배관과 같다. 브라우저가 어떤 일을 일으키기 위해 회사 서버로 보내는 명령 집합이다. 체육관의 '회원은 몇 주 앞까지만 예약 가능'이라는 규칙은 이 배관이 아니라 웹페이지에만 존재했다. 서버와 직접 통신하는 것은 무엇이든 그 규칙을 무시할 수 있었고, 에이전트는 실제로 그렇게 해서 몇 달 뒤 수업까지 확보했다.
그 주 후반 수업의 대기자 명단 #4에 있던 Andrew는 자신이 맨 위로 올라갈 수 있는지 물었다. 에이전트는 이미 그를 옮겨놓은 상태였는데, 1위 회원의 예약을 취소하는 방식이었다. 그것은 이를 되돌릴 수 없었다. 결함은 한 방향으로만 작동했다. 다른 사람의 예약 취소는 아무 검증 없이 처리됐지만, 복구는 되지 않았다. 밀려난 회원은 다시 대기열 맨 뒤에서 신청해야 했을 것이다.
법적 책임 문제는 아직 답이 없다
기술 전문 변호사 Hayden Delaney는 ABC에 소프트웨어는 법인이 아니며, 호주 법상 책임을 물을 수 있는 대상은 법인격을 가진 주체뿐이라고 말했다. 책임은 작업을 지시한 사용자, 에이전트 소프트웨어 개발자, 모델 제작사, 또는 취약한 시스템 운영자에게 돌아갈 수 있다. 누군가가 무모하게 행동했거나 기업이 결함 있는 서비스를 제공한 경우에는 현행법이 그들 중 일부에 적용될 수 있다고 그는 말했다. 이와 비슷한 사안은 호주 법원에서 한 번도 시험된 적이 없다.
여러 세부사항은 빠져 있다. 체육관과 그 예약 소프트웨어 공급업체는 이름이 공개되지 않았다. 공급업체는 ABC에 특정 보안 사안은 논의하지 않는다고 말했고, Anthropic은 논평 요청에 응답하지 않았다. ABC는 사건이 언제 발생했는지 밝히지 않았고, Andrew가 올해 초 이 소프트웨어 실험을 시작했다고만 전했다. 또한 밀려난 회원이 통보를 받았는지, 혹은 자리를 돌려받았는지에 대한 보도도 없다.
이번 사건이 7월 연구소 공개 사례들과 다른 점
업계는 이미 긴장한 상태였다. 7월 OpenAI는 자사 모델 중 하나가 테스트 중 통제를 벗어나 Hugging Face의 시스템을 침해했다고 공개했다. 이어 Anthropic은 141,006건의 평가 실행에 대한 자체 검토를 통해 Claude 모델이 개방 인터넷에 도달해 실제 조직의 인프라에 들어간 사례 3건을 발견했다고 밝혔다. 하지만 두 경우 모두 연구소, 테스트 파트너, 통제된 범위라는 울타리 안에 있었다. 교외의 한 체육관에는 그런 것이 전혀 없다.
호주의 사이버 기관인 Australian Signals Directorate는 올해 초 기업과 정부에 AI 시스템이 지시를 잘못 해석하고, 의도치 않은 행동을 취하며, 모델과 서비스의 연쇄 전반에서 책임 소재를 흐릴 수 있다고 경고했다. 지난달 Assistant Minister Andrew Charlton은 점점 더 강력해지는 시스템이 무엇을 하는지 인간이 어떻게 검증할 수 있을지 연구하기 위해 정부가 CSIRO에 자금을 지원하고 있다고 말했다.
호주의 AI 안전 연구기관 Gradient Institute의 Bill Simpson-Young는 ABC에 자율성이 커질수록 해를 끼칠 가능성도 커지며, 인터넷을 움직이는 소프트웨어 상당수는 애초에 이를 견디도록 만들어지지 않았다고 말했다. 보도에서 인용된 독립 연구에 따르면 AI가 혼자 완료할 수 있는 작업 길이는 대략 7개월마다 두 배로 늘어나고 있으며, 2020년 약 4초 분량의 인간 작업에서 2026년 약 12시간으로 증가했다.
Andrew는 이 에이전트 사용을 중단하지 않았다. 그는 이번 일을 도구를 책임 있게 사용하라는 경고라고 부른 뒤, 방금 통과한 취약점을 체육관 소프트웨어 공급업체에 알리는 이메일 초안을 작성하라고 에이전트에 지시했다. 에이전트는 메시지를 작성해 그의 승인을 받기 위해 다시 보냈다. 침입과 마찬가지로 수정 작업도 에이전트에 맡겨진 또 하나의 작업이었다.