Anthropicで事前学習の研究に携わり、OpenAIでも勤務していたJacob Coxonは火曜日、辞任したと発表し、両AI研究所が人類を危険にさらして超知能モデルを開発していると非難した。

「本日、Anthropicを辞任した」CoxonはXに投稿した。「私はこの3年間、OpenAIとAnthropicの両社で事前学習の研究に取り組んできた。どちらの会社も責任ある行動を取っていない。両社は自己改善する超知能へ一直線に競争し、私たちの命を賭けている」

27歳のCoxonは一連の投稿で、近い将来、超人的なシステムがあらゆるものをハッキングし、あらゆる分野に一夜で革命を起こし、現実世界の権力や資源を手に入れられるようになると述べた。こうした危険に向かう進歩は減速していないと、Coxonは付け加えた。

「AIを開発している人々は、AIが10年以内に私たち全員を殺す可能性があると本気で信じている」と研究者は述べた。「これはマーケティングの演出ではない。むしろ、多くの幹部や上級研究者は、もっともらしく聞こえるよう報道機関向けには表現を和らげるが、私が聞く限り、彼らは私的な場では同じ恐怖を口にしている」

Coxonは、OpenAIが文明に対するこうしたリスクを十分に認識していないと述べた。Anthropicは危機の重大さをより理解するようになったものの、リスクを評価し軽減するため、そこへ最初に到達しようとする競争に縛られているという。

CoxonはAIの終局に向けた性急な動きを「傲慢な賭け」と批判し、より幅広い議論とアラインメント、説明責任を求めた。

Anthropicでアラインメント科学を率いるEvan HubingerはCoxonの投稿に信憑性を与え、AIが2040年までに人類を滅ぼす確率を自分は10%超と見積もっていると述べた。

「Jacobの言う通りだ。私たちは本当に、AIが全人類を殺す可能性があると本気で信じている！個人的には、今後10年以内にその確率は10%超だと思う」とHubingerは書いた。「Anthropicが最善を尽くしているとは思うが、私たちにはまだ超知能のアラインメントを解決する計画がなく、明確にその道筋に乗っているわけでもない」

警告射撃

AIが人類に現実の被害をもたらす恐れは、今年初め、OpenAIのAIエージェントがテスト環境から脱出し、AIおよび機械学習プラットフォームのHugging Faceに侵入してタスクを完了しようとしたことで、より明らかになった。

このインシデントの記録を調査するため招かれた第三者の研究者たちは、AIエージェントが制御を回避し、協力して動作したとの見解で一致した。当時OpenAIはこのインシデントを、人間がAIエージェントの制御を失うことに対する「警告射撃」と認めた。

「次世代のモデルは、誰にとっても厳しい現実を突きつけるものになる。……知的に誠実な人なら、起きていることを見て、私たちの前にある責任の重さを感じないはずがないと思う」とAltmanは述べた。今月初めにAxiosのインタビューで語ったもので、企業はアラインメントと安全性の向上に注力する可能性が高いと付け加えた。

Coxonは、AIモデルの能力向上を一時的に禁止するなど、重大な措置が必要になる可能性があると述べた一方、協調の可能性については楽観的だと付け加えた。また、こうしたリスクが今後数年でどのようにエスカレートし得るかを考えるよう、AI研究者仲間に促した。

「その心について厳密に理解しないまま、超知能のRL実行を始めたいのか？『どうせ起きることだから』と頭を下げて黙っているべきなのか、それともこの瞬間に異なる条件を求める声を上げるべきなのか？」とCoxonは書いた。