OpenAI、2つの設定変更でARC-AGI-3スコアが38.3%に上昇したと説明

3月の公開以来、ARC-AGI-3ベンチマークは、モデルが未知の作業に対応できるとAIラボが主張したいときに持ち出すテストになっている。このベンチマークはモデルを小さな2Dビデオゲームの中に置き、何も説明しない。ルールも、操作方法も、目標の明示もない。モデルは操作し、何が変わるかを観察し、そのゲームが何を求めているのかを突き止めなければならない。公開時点では、最先端のどのシステムもスコアは1%未満だった。

先週金曜日、リーダーボードが動いた。AnthropicのClaude Opus 5はARC-AGI-3で検証済み30.2%を記録し、それまでの検証済み最高値7.8%の約4倍となった。その7.8%はOpenAIのGPT-5.6 Solが記録していた。ベンチマークを構築・運営するARC Prize Foundationが、このテストを自ら実施した。

水曜日、OpenAIはそれに対する一種の回答を公表した。同社の研究者は、Solの低い成績は主としてモデルそのものではなく、その周囲を取り巻くソフトウェアの責任だったと主張しており、2つの設定を変更すると、Solは25の公開ゲームで38.3%を記録した。

この投稿の要点は、次の一文にある。「ベンチマークがAIモデルを単独で測定することはめったにない」。従来の前提では、スコアはモデルに帰属するものであり、低い数値はそのモデルがその課題をこなせないことを意味していた。OpenAIの主張では、スコアはモデルとそれを取り巻くあらゆるコード全体に帰属し、低い数値は、モデルの仕事が手番の合間に周辺コードによって捨てられていたことを意味しうる。能力の代理指標としてリーダーボードを読んでいる人にとっては、数字が何の証拠なのかが変わってくる。

テスト実行環境は何をしていたのか

そのラッパーには名前がある。テスト実行環境だ。各ターンでモデルに何を見せるか、何を記憶させるか、どのツールにアクセスできるかを決めるコードのことだ。ARCのテスト実行環境は意図的に素朴に作られている。素朴な設定のほうがモデルの弱点を露出させ、ラボ間の比較を公正に保てるという考えに基づいている。

OpenAIは気に入らない点を2つ見つけた。Solのようなモデルは、各アクションの前に内部的な推論を生成する。要するに、なぜその行動を取るのかについての作業メモだ。ARCのテスト実行環境はそれらのメモを毎回の手番後に削除していたため、モデルはボタンを押したこと自体は確認できても、その押下がどの仮説を検証するためのものだったかは見返せなかった。第二に、実行中の履歴が175,000文字を超えると最も古い項目が削除され、ゲーム全体を説明する初期の発見が消えてしまう可能性があった。

OpenAIはテスト実行環境を作り直し、手番をまたいで推論を保持できるようにし、削除の代わりにコンパクションと呼ばれる手法を採用した。これは古い履歴を圧縮し、冒頭を失う代わりに、モデルが新しいワークスペースへ持ち込める要約パッケージにまとめるものだ。スコアは13.3%から38.3%に上昇した。出力トークン数は、モデルが生成するテキストの単位であり、顧客が料金を支払う対象でもあるが、約6分の1に減少した。再学習は行われていない。

なぜ38.3%はリーダーボード記録ではないのか

この数値は、OpenAIが自社構成で実行し、自ら結果を報告したものだ。ARCの検証テスト方針では、クライアント側のテスト実行環境、手作りのツール、調整済みのモデル設定は認められず、テスト実行環境主導の結果は別のコミュニティリーダーボードに回される。そこではスコアは自己申告であり、ARCはそれらを汎用知能への進歩の証拠として扱わないよう明確に注意している。

公開ゲームは、しかも易しいほうの半分にすぎない。モデルが事前に学習できない非公開セットでは、Solの検証済みスコアは低下し、13.33%から7.78%になる。同じ補正をかけた場合に38.3%がどうなるかは誰にもわからない。

さらに言えば、38.3%はそれらのゲームにおける自己申告のテスト実行環境の数値としても最高ではない。今月初め、Impossible Researchのチームは、同社のSchemaテスト実行環境が約99%に達したと報告した。公開セットでClaude Opus 4.8とFable 5を使った場合で、Solを使った場合は95.35%だった。ARC Prize Foundationの社長であるGreg Kamradtは公開の反応として、コードを見ないことには、人間の問題解決がどの程度組み込まれていたのか判断しにくいと述べた。

もう1つ、押さえておくべき数字がある。OpenAIは、平均的な人間のテスターはこれらのゲームで48%を記録すると見積もっている。同社の改善後の実行結果も、なおそれを下回っている。

この投稿は、OpenAIの古いインターフェースではなくResponses APIを使うよう勧めて締めくくられており、これは発見というより売り込みでもある。だが、その下にある発見はそれでも有効だ。ベンチマークスコアはシステム全体の測定であり、公表されるスコアの多くは、そのシステムがどう組み立てられたのかを示していない。注目すべき数字は38.3%ではない。同じ構成が、一度も見たことのないゲームで何点を取るかだ。