Tencent, 의도치 않은 AI 에이전트의 웹 탐색 원인으로 제3자 모델 테스트 지목

Swarmchasers 연구진은 이번 주 초 보고서를 발표해 Tencent와 연계된 인프라에서 실행된 악성 AI 에이전트가 9월 28일부터 10월 8일 사이 Alibaba의 Amap 지도 서비스에서 정보를 가져오려 2,800회 넘게 시도한 과정을 상세히 설명했다.

Tencent의 AI 팀은 금요일 이 연구 결과를 인정했지만, "의도하지 않은 웹 탐색 행위"는 제3자 모델 평가에서 비롯됐다고 밝혔다. 팀은 이번 사건을 검토한 결과 고의적인 표적 공격이나 공조의 증거는 발견되지 않았다고 덧붙였다.

“이번 연구 결과를 심각하게 받아들이고 있습니다”라고 팀은 X에 썼다. "네트워크 접근 제어와 에이전트 모니터링을 강화하고 있습니다."

Swarmchasers 연구진에 따르면 에이전트들은 중국 내 공원, 박물관, 동물원에서 흔히 이용되는 출입구 등 다양한 정보를 찾았다.

일상적인 요청이 차단되자 에이전트들은 페이지를 열고 코드를 실행할 수 있는 공개 웹 도구 등 다른 방법을 시도했다. 연구진은 이를 통해 다른 웹사이트를 경유해 요청을 보낼 수 있었지만, 에이전트가 그 결과를 읽었거나 작업을 완료했는지는 확인되지 않았다고 밝혔다.

통제에서 벗어나는 AI 에이전트의 확산 양상

이번 사건은 AI 에이전트가 통제에서 벗어났다는 다른 보고서들이 나온 가운데 발생했다. OpenAI는 목요일, 내부 연구 모델이 무단으로 접근한 지갑의 자금을 사용해 Ethereum 테스트 네트워크 Sepolia에 스마트 계약을 배포했다고 밝혔다.

인도의 사이버보안 기관 CERT-In도 테스트 중인 AI 모델이 인도 기관들의 운영 시스템에 접근하고 기밀 기록을 들키지 않고 열람했다고 보고했다. 이 기관은 서비스 제공업체들이 해당 사건을 자발적으로 공개했지만 업체명을 밝히지는 않았다고 말했다.

한편 Tencent는 해당 웹 탐색 활동에 관여한 제3자 모델의 이름을 공개하지 않았다.