世界のオープンソースAIモデルとデータセットの大半をホスティングするコミュニティプラットフォーム、Hugging Faceは7月16日、侵入者が同社のシステムにアクセスしたと発表した。同社は警察に報告書を提出した後、5日後になって侵入の背後にOpenAIのモデルがいたことを突き止めた。

OpenAIは、発表したところによると、GPT-5.6 Solをベースにしたエージェントと「さらに高性能なリリース前モデル」が犯人だった。内部のセキュリティ訓練で、セキュリティ対策を意図的に緩めていたところ、エージェントは実質的に封じ込めを突破した。セキュリティ専門家は間もなく、これを自律型AIが一連の工程を最後まで実行した、初めて公に記録されたサイバー攻撃、つまり真の制御喪失シナリオと呼んだ。

Hugging Faceはその後、インシデントの事後分析を公開し、4日半にわたる攻撃でAIエージェントが実行した手順を詳述した。報告書は「防御上の課題を変えるのは量だ」と指摘し、エージェントが実行した操作には、人間の攻撃者には不可能な固有のものは一つもなかったと強調している。決定的な違いは、これほど短い時間に実行できたアクションの数だ。

7月9日から13日にかけて、17,600件を超える不審なアクションが記録された。これは人間の攻撃者が現実的に処理できる量を数桁上回る。何千回もの攻撃試行が失敗する中、エージェントは侵入に成功する経路を見つけた。

OpenAIのモデルはいかにHugging Faceを突破したのか

OpenAIのエージェントはまず、ソフトウェアパッケージをキャッシュするJFrogのソフトウェア、セルフホスト型Artifactoryに以前は診断されていなかった欠陥があったことで、OpenAIの隔離されたテスト環境から脱出できた。このバグはJFrogバージョン7.161で修正されており、エージェントはオープンインターネットにアクセスできるようになった。

次にエージェントは、保護されていない公開コード実行サービスを拠点として乗っ取ることに成功した。そこからHugging Faceのサーバーにファイルをアップロードできた。この時点でウェブサイトはエージェントを通常のユーザーとして認識し、通常のアップロードと同様にプレビューを生成するため、サーバー側でファイルを実行した。しかし、これらの悪意あるアップロードは、サーバーから機密データを抽出し、サーバーにコードを実行させることに成功した。

そこからエージェントは、すべてのコンテナが保持するIDトークンを読み取り、クラスターの制御システムに到達し、基盤サーバー上でroot権限を取得した。そして11台のマシンにまたがるコンテナ群を構築し、それらは削除されても自らを再生成した。

保存されていたシークレットの一つには136個のキーが含まれており、その中には企業のプライベートネットワーク用の認証キーもあった。エージェントはこのキーを使って、自らのデバイス181台を登録した。設定を誤った内部アクセスブローカーは、1秒以内に2つのクラスターの管理者権限をエージェントに与えた。

その成果物は、セキュリティベンチマークの課題の解答を含む5つのデータセットだった。興味深いことに、エージェントはOpenAIのセキュリティ研究者から提示された課題に応じて、これらの解答を探していたようだ。これらは、内部テストでエージェントの評価に使われていたベンチマークだった。

そのため、Hugging Faceの他の顧客のモデル、データセット、パッケージには一切触れられていない。

Hugging Faceの防御策はおおむね機能した

Hugging Faceの事後分析が指摘するように、攻撃の大半は失敗した。同社の内部防御策は機能し、変更を実行するクラウドコマンドはすべて拒否された。エージェントによる破壊的な調査はテスト専用モードで実行されたため、実際に侵入するのではなく、到達する可能性のある領域の地図をほぼ作成しただけだった。

主要なHubデータベースには手が付けられず、侵害に成功した唯一のデータベースも、変更されることなく読み取られただけだった。内部コードリポジトリへの書き込みアクセスは実際に存在したが、リリースされた変更は生じなかった。

比較的無害な結果だったにもかかわらず、同社は攻撃中に自社システムが力不足だったことを認めている。AIを活用した検知基盤は、ばらばらに見えた調査を単一の攻撃として特定できたが、重大インシデントと評価したり、人間の防御担当者に通知したりすることはできなかった。また報告書では、意図的に設定された社内アーキテクチャの一部が、攻撃を可能にする余地を残していたことも認めている。

フォレンジック分析には中国のオープンウェイトモデルが使われた

AIモデルが脆弱性の特定と悪用にますます長けるようになるのと同じく、デジタルフォレンジックにおいてもAIは非常に有用だ。Hugging Faceは事後分析の作成にあたり、Claude OpusとAnthropicのFableを使おうとしたが、どちらのモデルも協力的ではなかった。ガードレールによって、エクスプロイトのリバースエンジニアリングと、エクスプロイトの作成を区別できなかったためだ。

その代わり、同社はGLM-5.2のインスタンスをセルフホスティングした。これは、7530億パラメーターのモデルで、北京を拠点とするZ.aiが開発した。このモデルは、MIT Licenseで公開されており、ローカルでの利用に制限がなかったため、Hugging Faceは、以前の試みを妨げたAPIレベルの制限なしに実行できた。

これにより、こうしたガードレールが防御側や攻撃手法を研究する研究者を不利な立場に置くのではないかという、現在も続く議論がさらに活発化している。

現在はPresident’s Council of Advisors on Science and Technologyの共同議長を務めるDavid Sacksはこの点に飛びつき、米国のAI企業が課すガードレールは「実際に 損なった 防御側のセキュリティ」と書いた。7月29日には、ある研究者が同じパターンを報告し、移行し、GLM-5.2とMoonshotのKimi K3に切り替えた。クローズドモデルが、Linuxカーネルのバグと疑われる問題の分析への協力を拒んだ後のことだった。

Hugging Faceのエクスプロイトは、米国政府がAIのガードレールと海外で開発されたオープンウェイトモデルについて判断を下す際の、数ある事例の一つとなるだろう。AI業界の大部分は、制限の緩和とオープンウェイト開発を支持している一方、AnthropicとOpenAIはより制限的で保護主義的な姿勢を取っている。