「ARC-AGI-3」フレームワークは、未知の環境や情報に対するAIモデルの適応力をテストするもので、現在ではAIモデルの文脈的推論能力を評価する標準ベンチマークとなっている。これは、モデルに事前知識なしで一連の単純なビデオゲームを学習・完了させることで実施される。モデルは入力を試し、正負のフィードバックを処理し、ゲームの目的を推測し、最終的にその達成を目指さなければならない。

他の種類の文脈的推論では大きな進歩が見られているものの、AIモデルはARC-AGI-3が課すタイプのタスクには依然として非常に弱い。3月にこのベンチマークが開始された際、すべての最先端システムのスコアは1%未満だった。

その後、スコアは少しずつ上昇しており、OpenAIのGPT-5.6 Solは年後半に7.8%を記録したが、今週、競合企業Anthropicによってその記録が大幅に更新された。先週金曜日、Claude Opus 5は30.2%を達成し、首位に大差をつけてリーダーボードのトップに立った。このテストは、ベンチマークを作成したARC Prize Foundationが実施した。

この課題に対するOpenAIの防御的な反応

今週水曜日、OpenAIの研究者らは、同社モデルの一見低調な成績を説明しようとする声明を発表した。彼らは、原因はモデル自体ではないと主張した。むしろ、モデルを組み込んでいたソフトウェアに問題があり、その性能を大きく制限したという。

ハーネスと呼ばれるこのソフトウェアは、各ターンでモデルが利用できる情報と、モデルが利用できるツールセットを管理するコードだ。ARC Prize Foundationは、これによってモデル自身の能力が引き出され、公平な条件が提供されるとの想定から、自らのハーネスではシンプルさを重視している。

しかしOpenAIの主張によれば、この簡素化されたアプローチがSolの手法を妨げた。モデルは実行する各アクションの前に内部メモを生成し、テスト中のより大きな理論の文脈に各アクションを位置づけている。OpenAIによると、ARCのハーネスは手を動かすたびにそのメモを消去し、強制的な健忘状態と不完全なテスト手順をもたらした。

同様に、モデルが利用できるゲーム履歴の最大文字数は175,000文字だった。これを超えると、空きを確保するために最も古いログが消去され、重要な初期の発見も一緒に失われる可能性があった。その結果、モデルはゲームの操作にはかなり熟達したかもしれないが、そもそも何をしようとしていたのかを忘れてしまう可能性がある。

OpenAIによれば、その結果、モデルは入力を1つも提供する前に、意図せず成功の機会を奪われていたという。

この点を証明するため、研究者らは独自の内部テストを実施し、報告によると、公開されているARC-AGI-3の25ゲーム全体で38.3%のスコアを記録した（元のハーネスでは13.3%）。これを実現するため、ハーネスのコードを編集し、推論メモが手を動かす間も保持されるようにした。また、ゲーム履歴を完全に削除するのではなく圧縮する、コンパクションと呼ばれる手法も導入した。

38.3%は自己申告によるARC-AGI-3の記録ではない

なお、公開版のARC-AGI-3は大幅に簡略化されており、ARC Prize Foundationが実施する公式ベンチマーク版の135ゲームのうち、わずか25ゲームしか含まれていない。

そのため、このバージョンのテストで記録された結果は、Foundationの主要リーダーボードの対象にはならない。カスタムハーネス、カスタムモデル設定、追加ツールも認められていない。自己申告の結果が記録される別のコミュニティー・リーダーボードは、順位の信頼性が大幅に低い。ARC自身も、コードを検証していないため、人間の推論が結果に影響している可能性があり、こうした結果は機械知能の信頼できる指標ではないと警告している。こうした但し書きを踏まえても、OpenAIの自己申告スコアは、数字から受ける印象ほど目覚ましいものではないかもしれない。

今月初め、Impossible Researchの研究者らは、Solと独自のハーネスを使用し、公開ゲームセットで95.35%のスコアを達成したと主張した。同じチームは、Claude Opus 4.8とFable 5を連携させ、同じハーネスを使った場合、自己申告スコア99%を記録したとも報告している。