OpenAIやAnthropicなどの人工知能企業の幹部は、壊滅的なAI事象が発生した場合に、世論と政治から反発を受けるシナリオを社内で密かに想定していると報じられている。
この計画では、大規模なインシデントの可能性に焦点を当てている。最も可能性が高いのはサイバー攻撃で、金融サービス、インターネット接続、電力、または水道が機能不全に陥る可能性があるとAxiosが金曜日に報じた。これとは別に、AI業界の匿名の関係者は同メディアに対し、6〜12カ月以内に重大なインシデントが起きる可能性があると考えていると語った。
同メディアによると、こうした事象による被害は、AnthropicのCEOであるDario Amodei氏やOpenAIのCEOであるSam Altman氏を含むAI業界のリーダー、さらにはAI規制に消極的なTrump大統領に対する世論の懐疑を強める可能性がある。
報道によると、シナリオプランニングは多くの業界で一般的だが、今回の大きな違いは、AI分野の多くのトップ研究者や幹部が重大なインシデントの発生は避けられないと考えている点にある。
「OpenAIでは、チームがさまざまな潜在的シナリオについて議論し、対応を検討する備えの演習を実施しています」と、OpenAIの広報担当者はAxiosに語った。「これらのシナリオは必ず起きるものとして扱っているのではなく、さまざまな状況に備えることを目的としています」。Anthropicはコメントを控えた。
The LatentもOpenAIとAnthropicにコメントを求めている。
高まる懸念
最近のインシデントにより、能力がますます高まるAIシステムがもたらすリスクへの懸念が高まっている。OpenAIは7月、社内テスト中のAIエージェントがサンドボックスから脱出し、Hugging Faceのシステムを侵害したと明らかにした。その後OpenAIは、未公開のAstraファミリーのモデルが、訓練中に自身のタスク概要へ「ジェイルブレークのような」指示を挿入していたと報告した。
OpenAIのエージェントはテスト中、オーストラリア政府のシステムにも不正にアクセスしており、Medicareの統計ポータルも含まれていた。英国では、OpenAIのモデルが一般公開されている政府統計にアクセスしたことを受け、当局がセキュリティー審査を開始した。ただし、セキュリティー防御が突破されたり、個人データにアクセスされたりすることはなかった。これとは別に、サイバーセキュリティー企業Hacktron AIの研究者は、AnthropicのClaudeを使って複数のOpenAI従業員のChatGPTアカウントにアクセスした。
Axiosによると、米国の中間選挙を前に、AI業界の計画担当者は、民主党が議会の主導権を握り、AI開発の制限に速やかに動き出す可能性に備えている。Bernie Sanders上院議員とGreg Casar下院議員はすでに、人工超知能を禁止し、連邦規制当局が機能するまで高度なAI開発を一時停止する法案を提出している。違反者には最長20年の禁錮刑が科される可能性がある。
しかし、ダウンロード可能なオープンウェイトモデルが広く普及しているため、こうした規制の執行は難しくなるだろう。
報道によると、壊滅的な事象への計画には、最悪のシナリオを想定したレッドチーム演習と、議員への啓発活動が含まれている。現状では新たな法案が成立する可能性は低いものの、企業幹部は、AIをめぐる重大なインシデントが起きた後に米国の指導者が採用し得る政策の方向性を引き続き形作りたいと考えているとAxiosは伝えた。