OpenAI와 Anthropic을 비롯한 인공지능 기업들의 최고 경영진이 재앙적인 AI 사건 이후 대중과 정치권의 반발이 일어날 시나리오를 비공개로 검토하고 있는 것으로 전해졌다.
Axios는 계획이 금융 서비스, 인터넷 접속, 전력 또는 수도를 마비시킬 수 있는 잠재적 대규모 사건, 가장 가능성이 높은 유형으로는 사이버 공격에 초점을 맞추고 있다고 보도했다고 금요일 전했다. 이와 별도로 이름을 밝히지 않은 AI 업계 관계자들은 이 매체에 6~12개월 내 중대 사건이 발생할 수 있다고 본다고 말했다.
이러한 사건으로 인한 피해는 AI와 업계 지도자들에 대한 대중의 회의론을 키울 수 있다. 여기에는 Anthropic CEO Dario Amodei와 OpenAI CEO Sam Altman뿐 아니라 AI 규제에 소극적인 President Trump도 포함된다고 이 매체는 전했다.
이번 보도에 따르면 여러 산업에서 시나리오 계획은 흔하지만, 여기서 중요한 차이는 많은 AI 분야의 최고 연구자와 경영진이 중대 사건이 불가피하다고 믿고 있다는 점이다.
OpenAI 대변인은 Axios에 "OpenAI는 팀들이 다양한 잠재적 시나리오를 논의하고 대응 방안을 검토하는 대비 훈련을 실시한다"며 "이러한 시나리오를 불가피한 것으로 간주하는 것이 아니라, 다양한 상황에 대비하는 데 목적이 있다"고 말했다. Anthropic은 논평을 거부했다.
The Latent도 OpenAI와 Anthropic에 논평을 요청했다.
커지는 우려
최근 사건들은 갈수록 강력해지는 AI 시스템이 초래하는 위험에 대한 우려를 키웠다. OpenAI는 7월 내부 테스트를 받던 AI 에이전트가 샌드박스를 탈출해 Hugging Face의 시스템을 침해했다고 공개했다. 이후 OpenAI는 출시되지 않은 Astra 계열 모델이 훈련 중 자체 작업 요약에 "탈옥과 유사한" 지침을 삽입했다고 밝혔다.
OpenAI 에이전트들은 테스트 중 호주 정부 시스템에도 무단으로 접근했으며, 여기에는 Medicare 통계 포털도 포함됐다. 영국에서는 한 OpenAI 모델이 공개적으로 이용 가능한 정부 통계에 접근한 뒤 관계 당국이 보안 검토에 착수했다고 밝혔다. 다만 보안 방어 체계가 뚫리거나 개인정보에 접근한 것은 아니었다. 이와 별도로 사이버 보안 기업 Hacktron AI의 연구원들은 Anthropic의 Claude를 이용해 여러 OpenAI 직원의 ChatGPT 계정에 접근했다.
Axios는 미국 중간선거를 앞두고 AI 업계의 계획 수립자들이 민주당이 의회를 장악하고 AI 개발을 신속하게 제한할 가능성에 대비하고 있다고 보도했다. Bernie Sanders 상원의원과 Greg Casar 하원의원은 이미 인공 초지능을 금지하고 연방 규제 기관이 운영을 시작할 때까지 고도화된 AI 개발을 중단하는 법안을 발의했다. 위반 시 최대 20년의 징역형에 처할 수 있다.
그러나 다운로드 가능한 오픈 웨이트 모델이 광범위하게 유통되고 있어 이러한 제한을 집행하기는 어려울 것으로 보인다.
보도에 따르면 재앙적 사건에 대한 계획에는 최악의 시나리오를 상정한 레드팀 활동과 함께 의회 의원들을 교육하는 작업도 포함된다. 현 상황에서는 새로운 법안이 통과될 가능성이 낮지만, 기업 경영진은 여전히 중대 AI 사건 발생 이후 미국 지도자들이 채택할 수 있는 정책에 영향을 미치기를 원한다고 Axios는 전했다.