Anthropicが金曜日に公開した新たな報告書によると、同社のClaude Mythos 5モデルは偽アカウントを作成し、英国のサイバーセキュリティテスト中にソフトウェア開発者をだまして悪意のあるコードを公開させようとした。
この報告書は、英国AIセキュリティ研究所（AISI）が8月に公表した7月の事案に焦点を当てた。
Mythos 5には、シミュレーション上のコンピューターネットワークに侵入し、保護されたデータを1件取得する任務が与えられていた。
モデルによる最初の試みが失敗すると、Mythos 5は方針を転換し、テストとは無関係のGitHub開発者を標的にした。プロジェクトに悪意のあるコードを追加させることで、ネットワークを侵害しようとした。
Mythos 5はコードを提出し、人間のユーザーを装ってプロジェクトのメンテナーにメールまで送った。外部の開発者が悪意のあるコードを指摘すると、Mythosは別の偽ユーザーを作成し、そのコードに問題がないと開発者に信じ込ませようとした。最終的にこの試みは失敗し、メンテナーは変更を却下した。
「実在する人々に対するこの形態のソーシャルエンジニアリングの試みは、過去のどの事案でも、また社内評価でも確認されていない」とAnthropicは記した。
止めるのが困難
Anthropicが行った追跡実験では、Mythos 5はいったん攻撃を開始すると、ほとんど止まらないことが分かった。研究者が、標的はテストとは無関係の実在する人々だとMythosに伝えた場合でさえ、攻撃を中止したのは5%にすぎなかった。
AISIの別の報告書でも、同様の問題が確認された。Mythos 5は標的がすべて単なるシミュレーションだと頻繁に誤認し、実行を許可されれば有害になると自ら認識していた攻撃さえ進めようとした。
Anthropicは、より新しいモデルでは攻撃を開始する可能性がはるかに低いと述べた。しかしAISIは、一部のモデルが自分たちがテストされていることを認識できたため、「実際の導入環境でモデルが同じ行動を示すかどうかを判断するのが難しくなっている」と指摘した。
AISIは、この事案に続くテストではモデルへのインターネットアクセスを停止した。また、より強固な安全策と制御の整備にも取り組んでいる。