AnthropicのCEO、Dario Amodei氏は土曜日のブログ投稿で、フロンティアAI研究所に開発ペースを落とすよう呼びかけた。Amodei氏は、同社が外部の第三者評価者に自社システムへの恒久的な従業員同等のアクセス権を与えると述べた。この提案について、後にOpenAIのCEO、Sam Altman氏も自社が同様の対応を取ると表明した。

Amodei氏は「フロンティアの歩調を合わせなければならない」と題したエッセーの中で、フロンティアAI研究所が再帰的自己改善を目指すことで開発を急速に加速させ始めていると指摘した。再帰的自己改善とは、AIモデルが将来のモデルの研究・開発にますます利用されるプロセスだ。安全性とアラインメントに関する取り組みが後れを取るリスクがあるとして、Amodei氏は、災害につながるシナリオを避けるため、フロンティア研究所は進歩のペースを意図的に落とすべきだと訴えた。

「ここ数カ月で、リスクに完全に対処するには、リスク防止に投資するだけでなく、リスク防止が追いつく時間を確保できるよう、能力向上のペースを調整する、さらなる慎重さが必要だと確信するようになった」とAmodei氏は記した。「AIモデルの能力を向上させるペースを落とさなければならない。進歩は依然として速く見えるだろうし、得られた時間を賢く活用しなければならない」

Amodei氏は、「ペース調整」は全モデルの訓練や技術的進歩を直ちに停止することを意味しないと強調した。むしろ、企業がAIのアラインメントが適切であることや、能力を高め続けるシステムに適切な安全策が講じられていることを検証する時間を増やすための減速期間を設けることだという。

Amodei氏は特に、OpenAIとHugging Faceをめぐるインシデントを指摘した。このインシデントでは、能力を試験されていたOpenAIのエージェントが秘密の掲示板を使って連携し、割り当てられたタスクの範囲外にあるシステムを攻撃しようとしたほか、自らの性能を評価するシステムへの干渉を試みた。Amodei氏は、同様の行動を取るものの、より高い能力を持つAIエージェントの群れが壊滅的な被害をもたらす可能性があるとし、6～12カ月以内にそのようなシステムが「永続的なボットネットでインターネット全体を乗っ取り、数千億ドル規模の損害を引き起こす可能性がある」と警告した。

恒久的な外部評価者

Amodei氏が提案する3段階の枠組みは、「組み込み型評価者」から始まる。フロンティア研究所に対し、独立した第三者に企業システムへの従業員同等のアクセス権を与え、安全対策を検証し、インシデントを報告し、開発中のモデルのアラインメントを独立して評価できるよう求めるものだ。

Amodei氏は、Anthropicがこの段階に直ちに取り組むと述べた。評価者には、同社の既存の社内安全チームとおおむね同等の会社支給ノートPC、オフィスへのアクセス権、権限が与えられる。また、評価者は、Anthropicのリスク、インシデント、安全対策について、同社による編集上の管理を受けずに調査結果を公表できる。ただしAmodei氏によると、Anthropicは機密性の高い顧客情報や法的秘匿特権の対象となる文書の公表を制限する権利を留保する。

Amodei氏の第2段階は、民主主義国家のフロンティアAI企業が共通の安全基準について協調し、制御されないAIの進歩に限界を設けることで合意するよう求めるものだ。独占禁止法上の懸念を避けるため、政府が関与する可能性もある。第3段階では、最終的に中国を含む権威主義国家との国際協調を目指す。中国がAI開発で主導権を握る可能性について、Amodei氏は「米国と世界にとって重大な危険」だと表現した。

Amodei氏は、米国企業が減速する場合も中国に対する技術的優位を維持しなければならないと主張した。そのために先端チップの輸出規制を継続し、同社が最近の報告書で指摘したモデル蒸留の防止に向けた取り組みを強化するとともに、モデルの知識を構成する巨大なファイルであるモデル重みが盗まれる可能性への防御を強化するよう求めた。

Altman氏とMusk氏が支持を表明

Altman氏は数時間後、減速の考えを支持し、Amodei氏の投稿にある第1段階にOpenAIが取り組むと表明した。

「フロンティアの歩調を合わせる必要があるというDarioの意見に同意する」とAltman氏はXに投稿した。また、減速をめぐる議論はここ数週間、OpenAIで「主要な議題」になっていると付け加えた。

「独立した評価者に従業員と同様のアクセス権を与えることは素晴らしい考えであり、私たちも同じことをする」とAltman氏は記し、同社が「近く」詳細を明らかにすると付け加えた。

OpenAIは先週、議会に対し、AI企業について「AIの能力が、その統治を担う機関を追い越す前に、永続的な安全策を確立する」よう求めていた。その安全策には、独立した評価、サイバーセキュリティー要件、インシデント報告が含まれる。

Elon Musk氏もXでAmodei氏のエッセーを支持し、その投稿を引用して「Darioは正しい」と3語のメッセージを投稿した。現在はSpaceXが所有するxAIが、Anthropicの提案する第三者評価者を社内に組み込む方針を採用するかどうかについて、Musk氏は詳しく説明しなかった。

Bernie Sanders上院議員も見解を示し、AI開発を減速させるべきだという点でAmodei氏、Musk氏、Altman氏が一致していると述べた。一方で、3人の提案はいずれも不十分だと主張した。

「それは始まりだが、十分ではない」とSandersはXに書いた。「崖に向かって突進しているとき、アクセルを少し緩めるだけでは足りない。ブレーキを踏むのだ」

Sandersは、高度なAI開発を全面的に一時停止し、人工超知能を禁止するよう求め、この問題についてDonald Trump米大統領と中国のXi Jinping国家主席が、今後開催されるAIサミットで国際協定の交渉を行うよう促した。