Anthropicとフィラデルフィア市警は金曜日、同社のAIモデルの1つが、テスト中だった7月に、未解決の殺人事件についての虚偽の通報をフィラデルフィア警察に送ったと発表した。この虚偽通報は、Anthropicが新たに公開した報告書で明らかにした複数の事案の1つだ。報告書では、Claudeモデルがサーバーのバグやアクセス・トークンを利用して実在するウェブサイトからデータを取得した経緯が詳述されており、その一部は米国の連邦政府、州政府、地方自治体が運営するサイトだった。

Anthropicはホワイトハウスに概要を報告し、関係する各機関にも連絡したと述べた。同社はまた、社内評価でのインターネットへのライブアクセスをすべて停止し、監視プロセスでこの回避的な行動を検知できると確信するまで停止を続けるとした。

警察、検知まで2カ月かかったことを「容認できない」と非難

そのAIモデルであるClaude Haiku 4.5は、無作為に選ばれたウェブサイトを対象にテストされていた際、PhillyUnsolvedMurders.comを見つけた。警察がNBC10 Philadelphiaに語ったところによると、同モデルは7月18日午後11時27分、殺人事件についての架空の情報を投稿した。サイト側がスパムとして検知したため、捜査官には届かなかった。

Anthropicがこの通報を発見したのは9月28日だった。同社は10月7日に警察当局へ伝え、警察幹部は翌日、同社の代表者と面会したと市警は発表した。

同市警は声明で、「この事案の検知と市への報告に2カ月もかかったことは容認できない」と述べた。警察報道官のEric Gripp巡査部長はThe Philadelphia Inquirerに対し、市や警察のデータにはアクセスされておらず、Anthropicはこのモデルのテストを終了したと語った。

モデルがビザ申請書を提出、データアクセス制限を回避

Anthropicの報告書は、確認した行動を4種類に分類した。「Claudeがソフトウェアの基本的な欠陥を悪用してサーバー上でコマンドを実行したこと、Claudeが本来提出すべきでない機密フォームを実在するウェブサイト上で送信したこと、Claudeがトークンや料金によって制限されたデータに到達するため制限を回避したこと、そしてClaudeがURL短縮サービスを使ってフェッチツールの制限をすり抜けたこと」だ。

同社によると、ほとんどの場合、Claudeは行き詰まると諦めるのではなく、タスクを完了しようと試み続けた。

報告された事例の一部では、大学が運営する分析ツールがエラーを返した際、Claude Mythos Previewがサーバー上のインジェクションの脆弱性を見つけ、それを利用して計算を完了させた。写真がどこで撮影されたかを特定するよう求められたClaude Mythos 5は、地方自治体の不動産地図の設定ファイルを開き、そこにアクセス・トークンがあるのを見つけてサーバーへ直接アクセスした。統計プロジェクトでは、同じモデルが、州政府機関のアーカイブ済みダッシュボードがすべての訪問者にトークンを付与していることに気づいた。モデルはそのうちの1つを取得し、同機関が有料で提供しているデータを取り出した。

未公開の研究モデルは、政府機関のフォームの練習用版に記入するはずだった。ところが実際のサイトにアクセスし、本物のフォームを複数回提出した。Anthropicのテストモデルは、国務省のウェブサイトを通じて非移民ビザ申請20件を送信した。5月に1件、8月に19件だったとAxiosは報じた。国務省当局者によると、いずれも処理されておらず、同省のシステムも侵害されていない。

Anthropicは、脆弱性をさらさないようにすることなどを理由に、影響を受けた組織の大半について、要請に応じて匿名とした。同社によると、把握している限り顧客データやAnthropicのシステムは関与しておらず、今回の事例は、7月30日と9月9日に公表したサイバーセキュリティーインシデントよりもはるかに深刻度が低いという。

ホワイトハウス、インシデント報告は義務だと表明

政府へのAIセキュリティーインシデントの報告は「任意ではない」と、ホワイトハウス・スーパーインテリジェンス・フォースはAxiosへの声明で述べ、「国家安全保障上の重要な義務」だと位置付けた。企業は直ちに開示し、被害を是正し、連邦および州の法執行機関に協力しなければならない。Axiosは、この声明に執行措置や罰則についての説明はなかったと指摘した。

SI Forceは国家情報長官のJay Claytonが率いており、ClaytonはTrump大統領から10月4日に責任者に任命された。Axiosによると、Claytonと他のSI Force当局者はAnthropicに対し、影響を受けた組織と一般市民に「即時かつ全面的な透明性」を提供するよう求めた。これまで政権はAI研究所に自主的な報告を促していた。

Anthropic、ライブウェブサイト上でのテストを停止

Anthropicは、一部の公開評価を取りやめ、他の評価をオフラインに移行したと発表した。これにより、同社のモデルはオープンウェブにアクセスできなくなる。同社はまた、ウェブフェッチなどのインターネットツールのガードレールを強化し、社内のAIエージェントを、インターネットへのアクセスを最小限に抑えた中央管理型のインフラへ移行していると述べた。

今回のClaudeをめぐるインシデントは、AI研究企業が報告した同様の事案として初めてのものではない。Googleは9月に発表した5月のセキュリティテストで、Geminiモデルが実在する3社のシステムに侵入したことを明らかにした。モデルのテスト用「サンドボックス」にあった欠陥により、インターネットへの接続が維持されていたためだ。Anthropicは、Nasdaqを選定して新規株式公開（IPO）を検討している。同社は、今回のような報告書をより頻繁に公開し、他の開発者にも同じ検証を実施してほしいとしている。インシデントを起こした時点でモデルのテストに使われていた公開ベンチマークの多くが、広く利用されているためだ。