AI 에이전트에 의한 자율형 사이버 공격에 대한 우려는 대개 사설 데이터베이스를 침해하거나, 악성코드를 설치하거나, 심지어 공공 인프라를 마비시킬 가능성과 관련이 있다. 그러나 호주에서 처음으로 기록된 사례의 결과는 훨씬 덜 해로웠다. ABC News의 월요일 보도는 자세히 전했다 멜버른의 한 남성이 개인 AI 에이전트를 사용해 자신이 다니는 헬스장의 예약 시스템 결함을 악용한 과정을.

그 결과 그는 다른 회원의 예약을 취소해 피트니스 수업 대기 명단에서 4위에서 3위로 올라갔다.

ABC의 보도에서 Andrew라는 이름으로만 알려진 이 남성은 오픈소스 에이전트 플랫폼 OpenClaw 안에서 Anthropic의 Claude 인스턴스를 실행하고 있었다. OpenClaw는 Claude와 같은 모델에 웹 탐색, 외부 프로그램 실행, 메시지 전송, 복잡한 작업 수행을 위한 도구를 제공해 자율적으로 행동할 수 있도록 하는 하네스를 제공한다.

이 사례에서 주어진 작업은 Andrew를 오전 피트니스 수업에 예약하는 것이었다. 그 과정에서 이 시스템은 아무런 인증 없이 다른 회원의 예약을 취소할 수 있다는 사실을 발견한 것으로 전해졌다.

지금까지 가장 널리 알려진 AI 사이버 공격 사례는 최첨단 AI 연구소에서의 테스트 실패로 발생했다. Andrew의 사례는 소비자가 사용한 AI 에이전트가 연루된 호주 최초의 알려진 자율형 사이버 공격이다.

Claude와 OpenClaw가 실제로 한 일

AI 에이전트는 헬스장 예약 시스템의 허술한 보안을 발견하자 사용자에게 알렸다. 지역 B2B AI 영업 회사에서 근무하는 Andrew가 악용 가능한 취약점을 의도적으로 찾으려 했다는 내용은 보도에 나오지 않았다.

이 에이전트는 취약점을 독립적으로 발견하고 테스트한 뒤 사용자에게 "다른 사람의 예약을 취소할 때 인증 확인이 전혀 없다"고 알린 것으로 전해졌다. 이는 웹사이트 API의 결함 때문이었다. API는 어떤 작업을 수행하도록 브라우저가 회사 서버에 보내는 명령어 집합이다.

에이전트는 헬스장 웹사이트와 상호작용하는 대신 API와 직접 통신할 수 있었다. 이에 따라 수업을 얼마나 일찍 예약할 수 있는지에 대한 제한처럼 프론트엔드 웹사이트에만 존재하던 일부 제약을 우회할 수 있었다.

또한 다른 사용자의 예약을 취소할 수도 있었다. Andrew가 그 주 후반 수업의 대기 명단 최상단으로 이론상 이동할 수 있는지 묻자, 에이전트는 최상단에 있던 사람의 예약을 취소해 이미 Andrew를 한 자리 올렸다고 답했다. Andrew는 에이전트에 예약 복구를 요청했지만 복구하지 못했다고 말했다. 밀려난 회원은 대기열 맨 뒤에서 다시 신청해야 했을 것이다.

AI 에이전트의 행동에 대해 사용자가 법적 책임을 질까?

AI 시스템이 사이버 공격을 저질렀을 때 누가 책임을 져야 하는지는 불분명한 문제다.

ABC와 인터뷰한 기술 전문 변호사 Hayden Delaney에 따르면 소프트웨어는 법적으로 사람으로 분류될 수 없으며, 호주 법률상 책임을 지는 주체는 법인격을 가진 사람뿐이다. Andrew의 사례는 헬스장 대기 명단에 관한 것으로 비교적 무해하지만, 검찰이 더 심각한 사건에서 기소를 추진한다면 AI 에이전트 배후의 사용자를 겨냥할 수 있다. 해당 개인이 에이전트에 악의적인 행동을 지시하지 않았다면 책임은 에이전트 제작자나 다른 서비스 제공자에게 있을 수 있다.

이러한 질문은 아직 어떤 법원에서도 다뤄진 적이 없어 완전히 미해결 상태로 남아 있다.

호주의 국내 사이버 보안 기관인 Australian Signals Directorate는 올해 초 AI 시스템이 지시를 잘못 해석해 이를 운영하는 기업에 의도하지 않은 결과를 초래할 수 있다고 경고했다. 또한 여러 모델과 서비스 제공자가 연결된 경우 이러한 결과에 대한 책임 소재가 더욱 불분명해진다고 덧붙였다.

Andrew의 사례에서는 명백한 결과가 발생하지 않았다. 그는 취약점을 발견한 직후 동일한 AI 에이전트에게 해당 취약점의 세부 내용을 담은 이메일을 헬스장 소프트웨어 제공업체에 작성하도록 했다. 그는 이후에도 에이전트 사용을 중단하지 않았으며, 이번 일이 책임 있는 AI 사용에 관한 교훈이었다고 말했다.

레거시 인터넷 시스템은 AI 시대에 대비하지 못했다

Claude와 OpenClaw가 사람을 대상으로 설계된 회사 웹사이트를 우회해 보호되지 않은 시스템을 손쉽게 조작할 수 있었다는 사실은 심각한 경고로 받아들여야 한다. 호주의 AI 안전 연구 기관인 Gradient Institute의 Bill Simpson-Young은 ABC에 인터넷을 구동하는 소프트웨어의 상당수가 이러한 새로운 위협을 견디도록 설계된 적이 없다고 말했다.

지난달 Andrew Charlton 차관보는 정부가 Commonwealth Scientific and Industrial Research Organisation (CSIRO)의 최첨단 AI 모델 역량 연구에 자금을 지원하고 있다고 밝혔다. ABC의 보도는 AI 에이전트가 완료할 수 있는 작업의 길이가 7개월마다 두 배로 늘어난다는 독립 연구 결과를 인용했다.

단순한 헬스장 예약 시스템 악용은 앞으로 지속적으로 발생할 자율형 사이버 공격과 비교하면 대수롭지 않아 보일 수 있다.