El ARC-AGI-3 framework, que pone a prueba la adaptabilidad de los modelos de IA a entornos e información desconocidos, es ahora el benchmark de referencia para evaluar el razonamiento contextual de un modelo de IA. Lo hace pidiendo al modelo que aprenda y complete una serie de videojuegos sencillos sin conocimientos previos. Los modelos deben probar entradas, procesar comentarios positivos y negativos, inferir los objetivos del juego y, en última instancia, intentar alcanzarlos.

Aunque se han logrado grandes avances en otros tipos de razonamiento contextual, los modelos de IA siguen siendo muy deficientes en el tipo de tarea que prescribe ARC-AGI-3. Cuando el benchmark se lanzó en marzo, todos los sistemas de frontera registraron puntuaciones inferiores al 1 %.

Desde entonces, esta cifra ha aumentado gradualmente: el GPT-5.6 Sol de OpenAI logró una puntuación del 7,8 % más adelante ese año, un récord que esta semana pulverizó la empresa rival Anthropic. El viernes pasado, Claude Opus 5 alcanzó una puntuación del 30,2 %, colocándose en lo más alto de la clasificación por un margen considerable. La prueba fue administrada por la ARC Prize Foundation, que creó el benchmark.

La respuesta defensiva de OpenAI al desafío

Este miércoles, investigadores de OpenAI publicaron un comunicado en el que intentaban explicar el aparente bajo rendimiento de su modelo. Afirmaron que el modelo en sí no era el culpable. En su lugar, la responsabilidad recaía en el software que lo envolvía, que lastró su rendimiento.

Este software, llamado harness, es código que gestiona la información disponible para el modelo en cada turno y el conjunto de herramientas a su disposición. La ARC Prize Foundation prioriza la simplicidad en su propio harness, bajo la premisa de que esto permite que los modelos hablen por sí mismos y ofrece unas condiciones de igualdad.

Sin embargo, OpenAI sostiene que este enfoque simplificado interfirió con la metodología de Sol. El modelo genera notas privadas antes de cada acción que ejecuta, lo que le permite situar cada acción en el contexto de una teoría más amplia que está poniendo a prueba. OpenAI afirma que el harness de ARC borraba esas notas después de cada movimiento, lo que provocaba una amnesia impuesta y un procedimiento de prueba defectuoso.

Asimismo, el historial del juego disponible para el modelo tenía un máximo de 175.000 caracteres. Después de eso, los registros más antiguos se borraban para liberar espacio, lo que significaba que los descubrimientos iniciales cruciales podían desaparecer junto con ellos. El resultado es que el modelo podía haberse vuelto bastante competente a la hora de controlar las acciones de un juego, pero olvidar qué se suponía que debía hacer en primer lugar.

El resultado, según OpenAI, es que las posibilidades de su modelo se vieron frustradas inadvertidamente antes incluso de que proporcionara una sola entrada.

Para demostrarlo, los investigadores realizaron sus propias pruebas internas, que supuestamente arrojaron una puntuación del 38,3 % en los 25 juegos de ARC-AGI-3 disponibles públicamente (frente al 13,3 % con el harness original). Lo hicieron editando el código del harness para permitir que las notas de razonamiento persistieran entre movimientos. También implementaron una técnica llamada compactación, que comprime el historial del juego en lugar de eliminarlo por completo.

El 38,3 % no es un récord autodeclarado de ARC-AGI-3

Cabe señalar que la versión de ARC-AGI-3 disponible públicamente está considerablemente simplificada: incluye solo 25 de los 135 juegos de la versión oficial del benchmark administrada por la ARC Prize Foundation.

Por tanto, los resultados registrados en esta versión de la prueba no son aptos para la clasificación principal de la fundación. Tampoco se permiten harnesses personalizados, ajustes personalizados del modelo ni herramientas adicionales. La clasificación comunitaria independiente, en la que se registran resultados autodeclarados, tiene una posición considerablemente inferior. La propia ARC advierte que esos resultados no son un indicador fiable de la inteligencia artificial, ya que no verifican el código y, por tanto, el razonamiento humano puede influir en los resultados. Incluso con estas salvedades, la puntuación autodeclarada de OpenAI sigue siendo quizá menos impresionante de lo que puede parecer sobre el papel.

A principios de este mes, investigadores de Impossible Research afirmaron haber logrado una puntuación del 95,35 % en el conjunto de juegos públicos utilizando su harness personalizado con Sol. El mismo equipo registró una puntuación autodeclarada del 99 % con el mismo harness ejecutando Claude Opus 4.8 y Fable 5 en tándem.