Depuis son lancement en mars, le benchmark ARC-AGI-3 est devenu le test auquel les laboratoires d'IA se réfèrent lorsqu'ils veulent soutenir que leurs modèles peuvent gérer des tâches inédites. Il place un modèle dans un petit jeu vidéo 2D et n'explique rien : ni règles, ni commandes, ni objectif explicite. Le modèle doit appuyer sur des éléments, observer ce qui change, et comprendre ce que le jeu attend. Au lancement, tous les systèmes de pointe ont obtenu moins de 1 %.

Vendredi dernier, le classement a bougé. Claude Opus 5 d'Anthropic a affiché un score vérifié de 30,2 % sur ARC-AGI-3, soit environ quatre fois le précédent sommet vérifié de 7,8 %, qui avait été établi par GPT-5.6 Sol d'OpenAI. La ARC Prize Foundation, qui conçoit et administre le benchmark, a mené ce test elle-même.

Mercredi, OpenAI a publié une sorte de réponse. Ses chercheurs soutiennent que la faible performance de Sol était surtout due au logiciel entourant le modèle plutôt qu'au modèle lui-même, et qu'avec deux réglages modifiés, Sol a obtenu 38,3 % sur les 25 jeux publics.

L'article repose sur une phrase : « Les benchmarks mesurent rarement les modèles d'IA isolément. » L'ancienne hypothèse voulait qu'un score appartienne au modèle, donc qu'un faible chiffre signifie que le modèle ne peut pas accomplir la tâche. OpenAI affirme qu'un score appartient au modèle plus à chaque élément de code qui l'entoure, et qu'un faible chiffre peut au contraire signifier que le code environnant écartait le travail du modèle entre les coups. Pour quiconque lit les classements comme un indicateur indirect des capacités, cela change ce dont les chiffres constituent une preuve.

Ce que faisait le harness de test

Le wrapper a un nom : le harness. C'est le code qui décide de ce que le modèle voit à chaque tour, de ce qu'il mémorise et des outils auxquels il peut accéder. Le harness d'ARC est délibérément simple, au motif qu'une configuration simple met en lumière les faiblesses du modèle et maintient l'équité des comparaisons entre laboratoires.

OpenAI a trouvé deux points qui ne lui plaisaient pas. Des modèles comme Sol génèrent un raisonnement privé avant chaque action, essentiellement des notes de travail expliquant pourquoi ils font quelque chose. Le harness d'ARC supprimait ces notes après chaque coup, de sorte que le modèle pouvait voir qu'il avait appuyé sur un bouton, mais pas quelle théorie ce geste testait. Deuxièmement, une fois que l'historique en cours dépassait 175 000 caractères, les entrées les plus anciennes étaient supprimées, ce qui pouvait effacer la découverte initiale expliquant l'ensemble du jeu.

OpenAI a reconstruit le harness pour conserver le raisonnement entre les coups et a remplacé la suppression par une technique appelée compaction, qui compresse l'ancien historique dans un paquet condensé que le modèle emporte dans un nouvel espace de travail au lieu de perdre le début. Le score est passé de 13,3 % à 38,3 %. Les tokens de sortie, les unités de texte que le modèle génère et que les clients paient, ont chuté d'environ six fois. Aucun réentraînement n'a été nécessaire.

Pourquoi 38,3 % n'est pas un record au classement

Ce chiffre correspond à OpenAI exécutant sa propre configuration et rapportant son propre résultat. La politique de tests vérifiés d'ARC exclut les harnesses côté client, les outils construits à la main et les réglages de modèle sur mesure, et oriente les résultats pilotés par harness vers un classement communautaire distinct où les scores sont auto-déclarés et où ARC avertit explicitement de ne pas les considérer comme des preuves de progrès vers l'intelligence générale.

Les jeux publics constituent aussi la moitié facile. Sur l'ensemble de test retenu, que les modèles ne peuvent pas étudier à l'avance, le score vérifié de Sol chute de 13,33 % à 7,78 %. Personne ne sait ce que 38,3 % deviendrait avec la même réduction.

Et 38,3 % n'est pas non plus le chiffre auto-déclaré le plus élevé pour un harness sur ces jeux. Plus tôt ce mois-ci, une équipe d'Impossible Research a rapporté que son harness Schema atteignait environ 99 % sur l'ensemble public avec Claude Opus 4.8 et Fable 5, et 95,35 % avec Sol. La réponse publique du président de l'ARC Prize, Greg Kamradt, a été que sans voir le code, il est difficile de juger dans quelle mesure la résolution humaine de problèmes y avait été intégrée.

Un chiffre supplémentaire mérite d'être retenu. OpenAI estime que le testeur humain moyen obtient 48 % sur ces jeux. Son exécution améliorée reste en dessous de ce niveau.

L'article se conclut par une recommandation d'utiliser la Responses API d'OpenAI plutôt que son ancienne interface, ce qui relève autant de l'argument commercial que du résultat. Le constat sous-jacent demeure malgré tout : le score d'un benchmark mesure un système dans son ensemble, et la plupart des scores publiés ne vous disent pas comment ce système a été assemblé. Le chiffre à surveiller n'est pas 38,3 %. C'est celui qu'obtient la même configuration sur des jeux qu'elle n'a jamais vus.