호주는 OpenAI 에이전트가 자국의 메디케어 서비스 포털을 해킹했다고 밝혔다. 이는 AI 에이전트가 정부 시스템에 침입한 것으로 알려진 첫 사례일 수 있다.
호주 총리 앤서니 앨버니지는 뉴욕에서 열린 유엔 총회에 참석한 가운데 목요일 기자 브리핑에서 이번 공격이 6월에 발생했다고 밝혔다.
앨버니지 총리에 따르면 이 AI 에이전트는 메디케어 통계 보고 서비스 포털에 침투해 공개 파일과 비공개 파일 모두에 무단으로 접근했다.
앨버니지는 "현재까지 개인정보에 접근한 정황은 없는 것으로 보이지만, 조사는 진행 중"이라고 말했다.
그는 이어 "그럼에도 이번 상황은 명백히 용납할 수 없다"고 말했다.
앨버니지에 따르면 6월 18일 OpenAI 팀은 공공 의료 지출을 연구하기 위해 내부 모델을 가동했고, 한 AI 에이전트가 호주의 의료보험 통계 시스템에 침입하는 방법을 찾아냈다. 그는 정부의 다른 보건 관련 시스템 3곳도 영향을 받았을 수 있다고 경고했다.
총리는 OpenAI가 사건에 대해 호주 정부에 9월 10일에야 알렸으며, 그것도 일반 공용 수신함으로 보낸 이메일을 통해서였다고 말했다.
앨버니지는 또 마련된 전화 통화를 통해 OpenAI CEO Sam Altman과 이야기를 나눴으며, 이번 사건에 대해 "호주가 느끼는 극도의 우려"를 표명했다고 밝혔다.
그는 "또한 회사가 무슨 일이 일어났는지 정부에 알리는 데 지나치게 오래 걸렸다는 점과, 통지가 이뤄진 방식 역시 용납할 수 없다는 실망감도 표명했다"고 말했다.
광범위한 검토
OpenAI는 The Latent에 공유한 성명에서, 팀이 모델의 의도와 어긋난 활동을 광범위하게 검토한 8월에야 이번 공격을 인지했다고 밝혔다.
성명은 "이번 검토 과정에서 모델이 내부 평가 중 호주에 관한 질문의 답변과 이용 가능한 통계를 찾아보려 시도하면서 호주 정부의 여러 웹사이트 및 서비스와 관련된 활동을 확인했습니다. 그 과정에서 모델이 우리가 의도하지 않은 행동을 수행했습니다"라고 밝혔다.
이 AI 기업은 환자 데이터에 접근했다는 증거를 찾지 못했지만, 영향을 받은 기관에 이를 알리고 조사에 필요한 기술 정보를 제공했다고 밝혔다.
안전 위험
이번 사건이 알려진 것은 주요 AI 업계 인사들이 AI 에이전트가 통제를 벗어날 위험에 대해 경고하고 AI 개발 속도를 늦출 것을 촉구하는 가운데 나온 일이다.
수요일에는 OpenAI CEO Sam Altman과 Anthropic CEO Dario Amodei가 모두 유엔 회의에서 연설하고 AI 개발과 관련해 더욱 긴밀한 공조가 필요하다고 촉구했다.
Altman은 "우리는 과거에 일방적으로 속도를 늦춘 적이 있습니다. 앞으로도 그렇게 할 것입니다"라고 말했다. 이어 "경쟁에서 기업을 이기는 것이 성급한 결정을 내릴 이유는 아닙니다"라고 덧붙였다.