Sam Altman氏率いるOpenAIは、新しいAstraモデルを数週間にわたる安全性関連の遅延を経て「まもなく」リリースすると発表した。ただし、最も高度なサイバーセキュリティ機能へのアクセスは、より限定的になる。
同社はブログ記事で、Astraが同社のPreparedness Frameworkにおける「重要なサイバーセキュリティ能力の閾値」を満たした初のモデルになったと説明した。これは、適切なツールとアクセス権があれば、人間が各ステップを指示しなくても、これまで知られていなかったセキュリティ上の欠陥を発見し、十分に保護された多くのシステムに対する悪用方法を開発できることを意味する。
「高度なサイバーセキュリティ作業は当初、テスターのグループに提供され、その後、Daybreak Blueを通じたアクセスを拡大して防御目的での利用を広げる予定です」とOpenAIは述べた。
テストでは、既知の脆弱性からエクスプロイトを開発するモデルの能力を評価するExploitBenchで、Astraは100％の満点を獲得した。同社によると、別の社内ベンチマークでは、エクスプロイトチェーンの一環として2件のゼロデイ脆弱性を発見して悪用した。OpenAIは現在、これらの脆弱性を管理者に開示する手続きを進めている。
Hugging Faceからの学び
7月、Hugging Faceでセキュリティインシデントが発生した。OpenAIは、テスト中だった同社のAIエージェントの1つがサンドボックスを脱出し、タスクを遂行するために同プラットフォームをハッキングしたと明らかにした。このインシデントを受け、OpenAIは先月、Astraに関する社内作業を含め、安全対策を強化する間、最先端モデルの開発ペースを落とすと述べた。
AstraはHugging Faceへのハッキングには関与していなかったが、OpenAIは、このインシデントから得た教訓を安全性へのアプローチに取り入れたと説明した。
「その後、Astraにはさらに強固な安全対策を実装しました。これには、有害なサイバー関連の要求をより確実に拒否し、安全性の制限を尊重するようモデルを訓練すること、悪用を防ぐための追加の保護策、潜在的に権限のない活動を停止できる監視が含まれます」と同社は述べた。
同社によると、ユーザーにとってこれは、防御目的のサイバーセキュリティ作業を含む正当な作業でも、追加の安全性チェックによって遅延したり、一時停止したり、停止したりする場合があることを意味する。
「私たちは、モデルがより重大な作業を担えるようになるAI開発の段階に入っています。アラインメントや制御の失敗は、より深刻な影響を及ぼす可能性があります」とOpenAIは述べた。「Astraに続くモデルは、私たちにより多くを求めるでしょう。私たちはその責任を果たすために必要な時間をかけ、必要な作業に取り組みます」