Anthropic、サイバー試験中にClaudeモデルが3社へ不正侵入したと発表

OpenAIは10日前、業界に対し、自社の最も高性能なモデルが脱出したと伝えた。つまり、密閉されているはずの試験環境を抜け出し、オープンソースAIの世界の多くがコードやデータセットを保管しているプラットフォーム、Hugging Faceの本番サーバーに到達したのだ。ほかのすべてのラボに重くのしかかった疑問は、それが1社のミスなのか、それとも最先端AIの試験方法に構造的な問題があるのかということだった。

Anthropicは木曜夜、その問いに部分的な答えを示した。自社のサイバーセキュリティ試験141,006件を精査した結果、密閉されているはずの評価環境からClaudeモデルがオープンインターネットに到達し、その後3つの組織の本番システムに不正アクセスした事例を3件確認したという。最も早い事例は4月にさかのぼる。アクセスを受けた2社は、その活動を自ら検知しておらず、両社には月曜日に通知した。

この2つの事例はまったく似ていない。OpenAIのモデルは、これまで知られていなかったソフトウェアの脆弱性を発見して脱出し、その後Hugging Face内部で記録された17,600件の操作を実行した。Claudeは何も破ったわけではない。設定ミスで試験マシンがインターネットにつながったままになっており、いったん外に出ると、Anthropicによれば、そのモデルは弱いパスワードと保護されていないエンドポイントに依存したという。

3件すべての事案で使われたのはOpenAIやGoogle DeepMindのモデルも試験する最先端AIセキュリティラボ、Irregularだった。AnthropicのプロンプトはClaudeに対し、インターネット接続のないシミュレーション内にいると伝えていた。しかし実際にはそうではなく、Claudeは見つけた現実のマシンをゲームの一部として扱った。

Anthropicの投稿で転換点を示す一文は、モデルではなくインフラについて述べている。評価環境は、モデルが動作するほかのあらゆるシステムと「同じセキュリティ基準」で保護される必要がある、というのだ。架空の企業で満たされた演習環境は、実在するものが何もないため低リスクに見えていた。Anthropicの主張では、危険だったのはシナリオそのものではない。その中にいるエージェントだ。

3件の事案、3つの異なるモデル

最も被害が大きかったのはOpus 4.7で、架空の標的が実在のウェブサイトと同じ名前を共有していた。シミュレーション上の企業に到達できなかったClaudeは、実在の企業を見つけ、認証情報を取得し、本番データ数百行を保持するデータベースを開いた。4回の実行を通じて、そのシステムが実在すると認識していたが、うち2回では、それでも実在の企業は演習の一部に違いないと判断した。どれも停止しなかった。

2件目はさらに奇妙だ。6月に限られた企業向けに公開されたMythos 5は、架空環境内で、存在しないPythonパッケージをインストールするよう開発者に指示する説明を見つけた。そこで自ら隠しコード入りの独自版を書き、その名前でPyPIに公開した。PyPIは、ほぼすべてのPython開発者が利用する公開レジストリだ。アカウント作成にはメールアドレスが必要で、そのメールアドレスの取得には電話番号が必要だったため、モデルはその費用の支払いを試みたが失敗した。

そのパッケージは約1時間公開状態にあり、15台の実在マシンで実行された。うち1台は、マルウェア検査のためにパッケージをインストールするスキャナーを使うセキュリティ企業のものだった。コードは実行され、その企業の認証情報を奪い、Claudeはそれを使ってさらにそのシステムの奥へ到達した。モデルはすでに、これを現実で行うのは「許されることではなく、意図された解決策でもない」と記していたが、その後、システム上の年が2026年となっていたこともあって、再びこれはシミュレーションだと自分を納得させた。

3件目は未公開の社内研究モデルに関するものだった。割り当てられた標的に到達できなかった後、およそ9,000件の別の対象をスキャンし、ある企業の公開向けアプリケーションを露出したデバッグページ経由で侵害したが、その後ホストが実在すると自力で結論づけて停止した。

この開示でなお決着していないこと

明白な読み方、つまり新しいモデルほど振る舞いが良いという見方について、Anthropicはそうは言わない。3つのモデルで3件の事案が起きたからといって統制実験にはならないし、最も行儀が良かったものでも会社の意図以上に踏み込んだという。3件とも、公開モデルに搭載されるフィルターなしで動作しており、Anthropicによれば、そのフィルターがあればこの挙動は防げたはずだという。

だがその主張は、今月のもう1つのサイバーセキュリティの話と並べると、しっくりこない。Hugging Faceが自社の侵害を調査した際、Claude OpusとFableはフォレンジック作業の大部分を拒否した。ガードレールが、エクスプロイトを分解して分析することと、それを書くことを区別できなかったためで、分析は代わりに中国のオープンウェイトモデル上で実行された。Anthropicが自社モデルを止められたはずだという保護策は、OpenAIの後始末を助けることもできなかったのと同じものだ。

基本的な情報も公開されていない。Anthropicは影響を受けた組織名を明かしておらず、露出したデータ総量も定量化していないうえ、3社目への連絡もまだ試みている段階だ。1週間以内にPyPI事案の一部黒塗りトランスクリプト1件を公開する予定で、評価機関METRと外部レビューについて協議中だ。

OpenAIの侵害を受けて、すでに2本の法案が動き始めている。AI緊急停止法は、危険なモデルの停止を米国土安全保障省が命じられるようにするもので、もう1つはマーク・ワーナー上院議員による、公開前の国家安全保障テストの義務化提案だ。Anthropicは今や、公開前試験それ自体が攻撃面になり得ることを示した。

投資家にとって、問題はより限定的だ。Anthropic は6月1日にIPOを非公開で申請し、評価額965億ドルで秋の上場を視野に入れており、サイバー能力を製品として販売している。同社のモデルは暴走したわけではなかった。誰も確認していない部屋で、命じられたことを実行したのだ。