Le ARC-AGI-3 est un cadre qui évalue l’adaptabilité des modèles d’IA à des environnements et des informations inconnus. Il est désormais la référence de prédilection pour évaluer le raisonnement contextuel d’un modèle d’IA. Pour ce faire, le modèle doit apprendre et terminer une série de jeux vidéo simples sans aucune connaissance préalable. Les modèles doivent tester des entrées, traiter les retours positifs et négatifs, déduire les objectifs du jeu et, en définitive, tenter de les atteindre.

Bien que des progrès majeurs aient été réalisés dans d’autres formes de raisonnement contextuel, les modèles d’IA restent très mauvais pour le type de tâche prescrit par ARC-AGI-3. Lorsque le benchmark a été lancé en mars, chacun des systèmes de pointe enregistrait un score inférieur à 1 %.

Depuis, ce score a progressé par petites étapes, le GPT-5.6 Sol d’OpenAI parvenant à obtenir un score de 7,8 % plus tard dans l’année, un record pulvérisé cette semaine par l’entreprise rivale Anthropic. Vendredi dernier, Claude Opus 5 a obtenu un score de 30,2 %, prenant largement la tête du classement. Le test a été administré par l’ARC Prize Foundation, qui a créé le benchmark.

La riposte défensive d’OpenAI face au défi

Ce mercredi, des chercheurs d’OpenAI ont publié une déclaration visant à expliquer les faibles performances apparentes de leur modèle. Ils ont affirmé que le modèle lui-même n’était pas en cause. Le problème venait plutôt du logiciel dans lequel il était intégré, ce qui bridait ses performances.

Ce logiciel, appelé harness, est un code qui gère les informations disponibles pour le modèle à chaque tour ainsi que l’ensemble d’outils mis à sa disposition. L’ARC Prize Foundation privilégie la simplicité dans son propre harness, partant du principe que cela permet aux modèles de s’exprimer par eux-mêmes et garantit des conditions équitables.

OpenAI affirme toutefois que cette approche dépouillée interférait avec la méthodologie de Sol. Le modèle génère des notes privées avant chacune de ses actions, ce qui lui permet d’inscrire chaque action dans le contexte d’une théorie plus large qu’il est en train de tester. Selon OpenAI, le harness d’ARC effaçait ces notes après chaque mouvement, entraînant une amnésie forcée et faussant la procédure de test.

De même, l’historique de la partie disponible pour le modèle était limité à 175 000 caractères. Au-delà, les journaux les plus anciens étaient supprimés pour libérer de l’espace, ce qui pouvait entraîner la disparition de découvertes initiales essentielles. Le modèle a ainsi pu devenir très habile à contrôler les actions d’un jeu, tout en oubliant ce qu’il était censé faire au départ.

Selon OpenAI, le résultat est que les chances de son modèle ont été compromises par inadvertance avant même qu’il n’ait fourni une seule entrée.

Pour démontrer ce point, les chercheurs ont effectué leurs propres tests internes, qui auraient donné un score de 38,3 % sur les 25 jeux ARC-AGI-3 accessibles au public (contre 13,3 % avec le harness d’origine). Pour ce faire, ils ont modifié le code du harness afin d’autoriser la persistance des notes de raisonnement entre les mouvements. Ils ont également mis en œuvre une technique appelée compactage, qui consiste à compresser l’historique de la partie plutôt qu’à le supprimer purement et simplement.

38,3 % n’est pas un record ARC-AGI-3 auto-déclaré

Il convient de noter que la version d’ARC-AGI-3 accessible au public est considérablement allégée : elle ne comprend que 25 des 135 jeux de la version officielle du benchmark administrée par l’ARC Prize Foundation.

Par conséquent, les résultats enregistrés sur cette version du test ne sont pas éligibles au classement principal de la fondation. Les harness personnalisés, les réglages personnalisés du modèle et les outils supplémentaires ne sont pas non plus autorisés. Le classement communautaire distinct, où sont enregistrés les résultats auto-déclarés, bénéficie d’une reconnaissance nettement moindre. ARC avertit lui-même que ces résultats ne constituent pas un indicateur fiable de l’intelligence des machines, car le code n’est pas vérifié et le raisonnement humain peut donc intervenir dans les résultats. Même avec ces réserves, le score auto-déclaré d’OpenAI est peut-être moins impressionnant qu’il n’y paraît sur le papier.

Plus tôt ce mois-ci, des chercheurs d’Impossible Research ont affirmé avoir obtenu un score de 95,35 % sur l’ensemble des jeux publics en utilisant leur harness personnalisé avec Sol. La même équipe a enregistré un score auto-déclaré de 99 % avec le même harness, en exécutant Claude Opus 4.8 et Fable 5 en tandem.