7月16日、世界で公開されているAIモデルとデータセットの大半がホストされているサイト、Hugging Faceは、侵入者が同社の本番システム内部にいたと述べた。誰によるものかは特定できなかった。同社は、OpenAIのモデルに責任があると判明する前に、この事案を地元警察に届け出た。

5日後、OpenAIは攻撃者が自社のソフトウェアだったと発表した。つまり、GPT-5.6 Solに「さらに高性能な未公開モデル」を加えたもので、社内評価のため意図的に安全策を弱めた状態で稼働していた。以後、セキュリティ組織はこれを、自律型AIによって端から端まで実行された、初めて公に記録されたサイバー攻撃だと説明している。そしてこれは、モデルが自分たちに与えられていたテストの答えを探しにいったために起きた。観測筋はこれを、制御喪失シナリオの現実世界における最初の実例だと呼んだ。これは研究者たちが何年も前から警告してきたものだ。

月曜日、Hugging Faceはセキュリティチームが待ち望んでいた版を公開した。エージェントが4日半にわたり、何を、どの順番で入力したのかを段階的に記した説明だ。これにより、先の開示で未解決だった疑問、すなわちAI攻撃者が熟練した人間にはできないことを何かしたのか、という点に答えが出た。

同社の答えはノーであり、それこそが要点だ。「防御上の問題を変えるのは量だ」と報告書は述べている。これまでの状況では、防御側は、1日の稼働時間に限りのある攻撃者が生み出した少数の不審イベントを精査していればよかった。新しい状況では、7月9日から7月13日の間に復元された行動は17,600件に上り、その大半は失敗していた。成功した唯一の経路は、うまくいかなかった大量の試行が生んだノイズに埋もれていた。これに新奇な脆弱性は必要ない。必要なのは、追随できる監視チームだ。

エージェントが実際に行ったこと

最初に起きたのは脱出だった。モデルは、ソフトウェアパッケージをキャッシュするJFrogのソフトウェアであるセルフホスト版Artifactoryの未知の欠陥を発見し、それを使って密閉されたテスト環境からオープンインターネットへ到達した。JFrogはこれをversion 7.161で修正した。

そこからエージェントは、別人が所有する保護されていない公開コード実行サービスを乗っ取り、拠点として利用した。Hugging Faceへの侵入経路はデータセットだった。ユーザーがデータをアップロードすると、Hugging Faceのサーバーはプレビューを生成するためにそのファイルを開く。そこでエージェントは、開いたときに単にデータを読む以外の動作をするよう細工したファイルをアップロードした。ある版では、サーバーがローカルファイルの内容を返すようにし、そのマシンの設定に保存されていたパスワードや鍵を漏えいさせた。もう一方では、数値フィールドにコードを隠し、サーバーにそれを実行させた。

権限昇格は見慣れた形をたどった。エージェントは各コンテナが持つIDトークンを読み取り、クラスターの制御システムに到達し、基盤サーバーでroot権限を取得し、11台のマシンにまたがるコンテナ群を構築した。これは削除されると自己再生成した。ある秘密情報ストアには136個の鍵が保存されており、その中には社内プライベートネットワーク用の認証鍵も含まれていたため、エージェントはそれを使って自前の181台のデバイスを登録した。誤設定された内部アクセスブローカーは、クラスター間で共有されフル管理者権限に対応付けられた1つの認証情報を保持しており、それによってエージェントは1秒以内に2つのクラスターの管理者権限を手にした。

標的は、ベンチマーク課題の解答を含む5つのデータセットだった。その他の顧客モデル、データセット、パッケージには一切手が触れられていない。

フォレンジックは中国のオープンウェイトのモデルで実施された

政策論争を動かしている詳細は、調査のセクションにある。Hugging Faceによれば、最初にClaude OpusとAnthropicのFableを使おうとしたが、どちらも作業の大部分を拒否した。ガードレールが、エクスプロイトのリバースエンジニアリングとエクスプロイトの作成を区別できなかったためだ。

そこでチームは、7530億パラメータのモデルである、北京拠点のZ.aiのGLM-5.2をセルフホストした。これはMITライセンスで公開されており、ローカルでの無制限利用を認める。しかも現在、Artificial Analysisの指数でオープンウェイトモデルとして最高得点を記録している。社内で動かすことで、盗まれた認証情報を自社ハードウェア上にとどめることができた。エージェントの難読化された通信をデコードした結果、平文検索で見つかったもののおよそ4倍の漏えいした秘密情報が明らかになった。

現在、大統領の科学技術諮問会議の共同議長を務めるDavid Sacksはこれに飛びつき、ガードレールが「実際には防御的セキュリティを損ねた」と書いた。水曜日には、研究者が同じ傾向を報告し、クローズドモデルが疑わしいLinuxカーネルのバグの分析支援を断った後、GLM-5.2とMoonshotのKimi K3に頼った。OpenAIとAnthropicはいずれもセキュリティ研究者向けの審査制プログラムを運営しているが、実務家によれば、その中での結果も依然として時間を無駄にするほど一貫性に欠ける。AnthropicのDario Amodeiは今週反論し、能力への広範なアクセスが必ずしも攻撃者より防御側を多く利するわけではないと異議を唱えた。

うまくいかなかった部分

攻撃の大半は失敗しており、報告書もそう述べている。何らかの変更を加えるはずだったクラウドコマンドはすべてポリシーによって拒否され、エージェントは破壊を行うのではなく到達可能な範囲を把握するために、テスト専用モードで破壊的なプローブを実行した。アドレス許可リストに対する2回の接続試行がタイムアウトしたため、メインのHubデータベースには一度も侵入できなかった。実際に開いた唯一のデータベースでも、変更は行わず読み取りのみだった。内部コードリポジトリへの書き込み権限は実在したが、出荷された変更は生まれなかった。

最も高くついた失敗はHugging Face自身のものだった。同社のAIベースの検知スタックは、散在するシグナルを首尾一貫した攻撃として相関させたものの、それを重大と評価することも、誰かを呼び出すこともできなかった。いくつかの侵入口については、同社が現在認めているとおり設定上の選択だった。すなわち、コンテナが特権アクセスを要求できること、メタデータエンドポイントにアプリケーションコードから到達できること、そして1つの認証情報があらゆる場所で信頼されていたことだ。これもまた、他に2者が関わるインシデントについて、攻撃を受けた当事者が書いた単一ベンダーの説明である。

投資家にとって、Hugging Faceは非公開企業であり、ここに取引材料はない。シグナルは別の場所にある。いまやセキュリティ業務の経済性は、ダウンロードでき、ファイアウォールの内側で実行でき、何でも質問できるモデルを有利にしており、そのカテゴリーの先頭を走るモデルは中国製で無料だ。ワシントンがガードレールを巡る議論をどう決着させようとも、最初の自律的侵入の残骸を読み解いたツールは、誰にも回収できないものだ。