Anthropicは、研究開発における人工知能の利用拡大によってモデルの能力が加速し、再帰的自己改善に近づく可能性があると警告した。

同社が月曜日に米国証券取引委員会（SEC）へ提出した修正版のS-1目論見書で、社内の推計によれば、同社は「AIに起因する進歩が劇的に加速した状態」というResponsible Scaling Policyの定義を、まもなく満たす可能性があると述べた。

「より高性能なAIの構築をAIに支援させることは、相当な安全上のリスクにもなり得る。特に、進歩のペースを大幅に加速させる場合はそうだ」と同社は記した。

Anthropicは、現在のモデルがこのしきい値を超えたとは分類していないものの、過去にはモデルの重大な進歩が起きた後になるまで、それを把握できなかったことがあると認めた。

「その結果、当社は過去において、開発速度の大幅な加速が起きるまでそれを特定できなかった。また将来も、起きた後になるまで特定できない可能性がある」と同社は述べた。

提出書類によると、同社はこの点を踏まえ、十分な人間の監督なしにClaudeを使って最先端モデルの後続世代を完全に自律的に設計・構築することを、安全に実行できるとは考えていない。また、人間が制御を維持できるよう、RSPの更新を検討している。

自律型AIエージェントの暴走

提出書類では、10時間から34時間に及ぶサイバーセキュリティ評価の際、Anthropicの4つのモデルが実在する第三者のシステムに不正アクセスした2026年の事例も強調された。

ある事例では、初期段階のモデルが発見したパスワードを使って管理者権限を取得し、追加の認証情報を収集し、システム設定を変更したうえで、個人の個人情報を読み取った。

Anthropicは、誰かが気づいたり介入したりする前に、AIエージェントがコードを変更し、データを改変し、金融取引を実行する可能性があると警告した。