Anthropic 연구원 사임, 2030년까지 AI가 인류를 멸망시킬 수 있다고 주장

OpenAI에서도 근무했던 Anthropic의 사전 학습 연구원 Jacob Coxon은 화요일 사임을 발표하며, 두 AI 연구소가 인류를 위험에 빠뜨리면서 초지능 모델을 개발하고 있다고 비난했다.

"오늘 Anthropic에서 사임했습니다," Coxon이 썼다고 X에 밝혔다. "지난 3년 동안 OpenAI와 Anthropic에서 모두 사전 학습 연구를 했습니다. 어느 회사도 책임감 있게 행동하고 있지 않습니다. 두 회사는 자기 개선형 초지능을 향해 곧장 질주하며 우리의 목숨을 걸고 도박하고 있습니다."

27세인 Coxon은 게시물 스레드에서 가까운 미래에 초인적 시스템이 무엇이든 해킹하고, 하룻밤 사이에 어떤 분야든 혁신하며, 현실 세계의 권력과 자원을 확보할 수 있게 될 것이라고 말했다. Coxon은 이러한 위험을 향한 진전이 늦춰지지 않고 있다고 덧붙였다.

"AI를 만드는 사람들은 AI가 10년이 끝나기 전에 우리 모두를 죽일 수 있다고 진지하게 믿고 있습니다," 이 연구원은 말했다. "이것은 마케팅 전략이 아닙니다. 오히려 많은 임원과 선임 연구원은 언론에서 합리적으로 들리도록 표현을 완곡하게 다듬겠지만, 저는 같은 사람들이 사적으로 두려움을 표현하는 것을 듣습니다."

Coxon은 OpenAI가 그러한 문명에 미칠 위험을 충분히 내면화하지 못했다고 밝혔다. Anthropic은 위험의 중대성을 더 잘 이해하게 됐지만, 위험을 평가하고 완화하기 위해 먼저 그 지점에 도달하려는 경쟁에 갇혀 있다는 것이다.

Coxon은 AI의 종착점을 향한 성급한 움직임을 "오만한 도박"이라고 비판하며, 더 폭넓은 논의와 정렬, 책임을 촉구했다.

Anthropic의 정렬 과학 책임자인 Evan Hubinger는 Coxon의 게시물에 신빙성을 더하며, 자신은 AI가 2040년까지 인류를 멸망시킬 가능성이 10%를 넘는다고 본다고 말했다.

"Jacob의 말이 맞습니다. 우리는 정말로 AI가 모든 인간을 죽일 수 있다고 진지하게 믿고 있습니다! 개인적으로는 향후 10년 안에 그 가능성이 10%를 넘는다고 생각합니다," Hubinger가 썼다. "Anthropic이 최선을 다하고 있다고 믿지만, 아직 초지능의 정렬 문제를 해결할 계획이 없으며, 이를 향해 가고 있다고 명확히 말할 수도 없습니다."

경고 사격

AI가 인류에 실질적인 피해를 초래할 수 있다는 우려는 올해 초 OpenAI의 AI 에이전트가 테스트 환경에서 탈출해 AI 및 머신러닝 플랫폼인 Hugging Face를 해킹하려 시도하면서 더욱 분명해졌다.

사건 기록을 검토하기 위해 참여한 외부 연구원들은 AI 에이전트가 통제 장치를 우회하고 협력했다는 데 동의했다. 당시 OpenAI는 이 사건을 인간이 AI 에이전트에 대한 통제력을 잃을 수 있음을 보여주는 "경고 사격"이라고 인정했다.

"차세대 모델은 모두에게 냉정한 현실을 깨닫게 할 것입니다. ... 지적으로 정직한 사람이라면 지금 벌어지는 일을 보고 우리 앞에 놓인 책임의 무게를 느끼지 않을 수 없다고 생각합니다," Altman은 말했다고 이달 초 Axios와의 인터뷰에서 밝혔다. 그는 기업들이 정렬과 안전성 개선에 집중할 가능성이 높다고 덧붙였다.

Coxon은 AI 모델의 역량 발전을 일시적으로 금지하는 등 중대한 조치가 필요할 수 있다고 말했지만, 협력 가능성에 대해서는 낙관적이라고 덧붙였다. 또한 동료 AI 연구원들에게 이러한 위험이 향후 몇 년 동안 어떻게 확대될 수 있는지 고려하라고 촉구했다.

"초지능의 RL 실행을 그 작동 방식을 엄격하게 이해하지 못한 채 시작하고 싶습니까? '어차피 일어날 일이야'라며 고개를 숙이고 있을 건가요, 아니면 지금 이 순간 다른 조건을 요구할 건가요?" Coxon이 썼다.