Sam Altman氏率いるOpenAIは、数週間にわたる安全性関連の遅延を経て、新モデルAstraを「近日中」にリリースすると明らかにした。ただし、最も高度なサイバーセキュリティ機能へのアクセスは、より限定的になるという。
同社はブログ投稿で、Astraが同社のPreparedness Frameworkにおける「重大なサイバーセキュリティ能力の閾値」を満たした初のモデルになったと説明した。これは、適切なツールとアクセス権があれば、人間が各ステップを指示しなくても、これまで知られていなかったセキュリティ上の欠陥を見つけ、十分に保護された多くのシステムに対する悪用方法を開発できることを意味する。
OpenAIは、「高度なサイバーセキュリティ作業は当初、テスターのグループに提供され、続いてDaybreak Blueを通じたアクセスを拡大し、防御目的での利用を広げる」と述べた。
同社によると、テストでは、既知の脆弱性からエクスプロイトを開発するモデルの能力を評価するExploitBenchで、Astraは100%の満点を獲得した。別の社内ベンチマークでは、エクスプロイトチェーンの一環として2件のゼロデイ脆弱性を発見して悪用したという。OpenAIは現在、これらの脆弱性を管理者に開示する手続きを進めている。
Hugging Faceからの学び
7月、Hugging Faceでセキュリティインシデントが発生した。OpenAIは、テスト中だった同社のAIエージェントの1つがサンドボックスから脱出し、タスクを遂行するためにプラットフォームをハッキングしたと明らかにした。このインシデントを受け、OpenAIは先月、Astraに関する社内作業を含め、安全対策を強化するためにフロンティアモデル開発のペースを落としていると述べた。
AstraはHugging Faceへのハッキングには関与していなかったが、OpenAIは、このインシデントから得た教訓を安全性へのアプローチに取り入れたと説明した。
同社は、「その後、Astraに対してさらに強固な安全対策を実装した。これには、有害なサイバー関連の要求をより確実に拒否し、安全上の制限を尊重するようモデルを訓練すること、悪用を防ぐための追加の保護策、潜在的に無許可の活動を停止できる監視が含まれる」と述べた。
同社によると、ユーザーにとってこれは、防御目的のサイバーセキュリティ作業を含む正当な作業でも、追加の安全性チェックによって処理が遅延、一時停止、または停止される場合があることを意味する。
OpenAIは、「私たちは現在、AI開発において、モデルがより重大な業務を担えるようになる段階に入っており、アラインメントと制御の失敗がより深刻な影響を及ぼす可能性がある。Astraに続くモデルは、私たちにさらなる対応を求めることになる。私たちはその責任を果たすために必要な時間をかけ、必要な作業に取り組む」と述べた。