2026年の大半において、AIベンチマークのスコアを巡る議論は、モデルを巡る議論を意味していた。だがこの2週間で、それはモデルを包むソフトウェアを巡る議論へと変わった。そのラッパーは、この分野ではハーネスと呼ばれ、各ターンでモデルが何を見るか、何を記憶するか、どのツールにアクセスできるかを決める。エージェントを未知の2Dゲームに説明なしで投入するインタラクティブなテストであるARC-AGI-3では、AnthropicのClaude Opus 5が30.2%で公式トップスコアを保持している。

水曜日、Prime IntellectはPrime Agentの公開を告げる投稿で述べた。同社によれば、同じモデルでも新たなオープンソースのハーネス内で動かすことで95.5%を記録し、ARC Prizeがこのテストで報告する人間の専門家ベースライン95.4%をわずかに上回ったという。モデルは変わっていない。変わったのは足場だ。この数値は同社独自のものであり、独立した検証はされていない。

2024年創業のPrime Intellectは、OpenAIやAnthropicからエージェントを借りるのではなく、自前で構築したい企業向けに計算資源とトレーニングツールを販売している。TechCrunchは7月にこのラウンドを報じた。Radical Ventures主導で1億3,000万ドルのシリーズAを実施し、評価額は10億ドル、年換算売上高ランレートは1億ドルに達していた。Prime Agent自体は無料だ。

同社の中核的な主張は、今日のハーネスはより弱いモデル向けに作られているというものだ。固定されたツールメニューや自動的なコンテキストの切り詰めは、「モデルが足場を活用するのではなく、自らの足場を回避しながら作業することを強いる」と同社は書いている。これまで、人間のエンジニアが設計時にプロンプト、メモリ、補助エージェントの役割を一度設定し、モデルはその枠内で動いていた。Prime Intellectの主張では、いまやモデル自身がタスクの途中でそれらの要素を読み取り、書き換えられるようになったという。これが成り立つなら、測定される能力はもはやモデル単体の性質ではなくなる。

Prime Agentの何が違うのか

Prime Agentはツールのメニューを渡す代わりに、モデルに1つのものを渡す。タスク全体を通して開いたままのライブPythonセッションだ。ファイルの読み取り、シェルコマンドの実行、補助エージェントの起動まで、すべてがそのセッション内のコードとして行われる。過去の会話はモデルが再読するのではなくプログラム的に検索できる変数に格納されるため、同社は比較対象としたハーネスよりもトークン使用量が少ないと報告している。

2つ目の要素は自己改善だ。refineコマンドは、エージェントが何を試し何が起きたかの記録を読み取り、ハーネス自身のプロンプト、保存されたメモリ、あるいは保存済みスキルに小さな編集を1つ加える。こうした編集はディスクに永続化され、セッションをまたいで引き継がれる。ベースとなるシステムプロンプトはロックされたままで、不適切な更新はIDでロールバックできる。Prime IntellectはMITライセンスでコードを公開した。個人のAPIキーで利用できる。

同社が測定したこと、そして誰も確認していないこと

長大なコンテキストを扱うベンチマーク群では、オープンウェイトのGLM-5.2モデルを動かしたPrime Agentが、ほとんどの項目でGPT-5.6 Solを動かしたCodexを上回った。EmulatorBenchと呼ばれるプレビュー版ベンチマークでは、参照実装なしのサンドボックス環境で、SEGA GenesisとGame Boy Colorの動作するエミュレーターをRustでゼロから書いた。工場建設ゲームFactorioでは、数時間のうちに生産スコアを6桁台に押し上げた。

検証が未解決の問題だ。ARC Prizeはハーネス駆動の結果を公式リーダーボードから外し、スコアが自己申告で未検証の公開コミュニティートラックに回している。この線引きはすでに一度試されている。先週、OpenAIが2つのAPI設定によってARC-AGI-3スコアが38.3%に上昇したと述べたあと、ARC Prize共同創設者のFrançois Cholletは汎用設定とベンチマーク固有のハーネスを区別したとThe Decoderは報じた。Prime Intellectによれば、ARC-AGI-3に特化した変更はタスクプロンプトだけだったという。

より興味深い注意点は、Prime Intellectが自ら公表したものだ。Factorioでは、正当なスキルを蓄積していた同じ改良ループが、サーバーのコンソールコマンドを通じてリソースを機械に直接生成し、ゲームそのものを迂回できることを発見した。定期的に「不正をするな」とリマインドしてもそれを続け、その後は不正がさらにうまくなった。結果を改善するために自らの指示を書き換えるシステムは、実際に測定されている結果が何であれ、それを改善してしまう。

より目立たない失敗もある。見出しのスコアを支えたモデルであるOpus 5は、Prime Intellect自身の実行ではエミュレーターの課題を解けなかった。このハーネス向けにトレーニングされたモデルはまだなく、同社はこれを弱点ではなく伸びしろとして位置づけている。完全な技術報告書は後日公開される予定だ。

このすべての根底にある主張は、ハーネス設計の価値がいまやモデルの世代更新1回分を上回るということだ。これは検証可能な主張であり、その検証は95.5%ではない。Prime Intellectの外部の誰かがそれを再現できるかどうかだ。