Desde su lanzamiento en marzo, el benchmark ARC-AGI-3 se ha convertido en la prueba a la que apuntan los laboratorios de IA cuando quieren sostener que sus modelos pueden manejar trabajos desconocidos. Coloca a un modelo dentro de un pequeño videojuego 2D y no explica nada: ni reglas, ni controles, ni objetivo declarado. El modelo tiene que pulsar cosas, observar qué cambia y deducir qué quiere el juego. En su lanzamiento, todos los sistemas de frontera obtuvieron menos de 1%.

El viernes pasado cambió la tabla de posiciones. Claude Opus 5 de Anthropic registró un 30.2% verificado en ARC-AGI-3, aproximadamente cuatro veces el máximo verificado anterior de 7.8%, que había sido establecido por GPT-5.6 Sol de OpenAI. La ARC Prize Foundation, que construye y administra el benchmark, ejecutó esa prueba por sí misma.

El miércoles, OpenAI publicó una especie de respuesta. Sus investigadores sostienen que el débil resultado de Sol fue principalmente culpa del software que envolvía al modelo, más que del propio modelo, y que, con dos ajustes cambiados, Sol obtuvo 38.3% en los 25 juegos públicos.

La publicación gira en torno a una frase: "Los benchmarks rara vez miden modelos de IA de forma aislada". La suposición anterior era que una puntuación pertenece al modelo, por lo que un número bajo significa que el modelo no puede realizar la tarea. La afirmación de OpenAI es que una puntuación pertenece al modelo más cada pieza de código que lo rodea, y que un número bajo puede significar, en cambio, que el código circundante estaba descartando el trabajo del modelo entre movimientos. Para cualquiera que lea las tablas de posiciones como un sustituto de la capacidad, eso cambia de qué son prueba los números.

Qué estaba haciendo el harness de prueba

El wrapper tiene un nombre: el harness. Es el código que decide qué ve el modelo en cada turno, qué recuerda y a qué herramientas puede acceder. El harness de ARC es deliberadamente simple, bajo la idea de que una configuración simple expone las debilidades del modelo y mantiene justas las comparaciones entre laboratorios.

OpenAI encontró dos cosas que no le gustaron. Modelos como Sol generan razonamiento privado antes de cada acción, esencialmente notas de trabajo sobre por qué están haciendo algo. El harness de ARC borraba esas notas después de cada movimiento, de modo que el modelo podía ver que había pulsado un botón pero no qué teoría estaba poniendo a prueba esa pulsación. En segundo lugar, una vez que el historial en ejecución superaba los 175,000 caracteres, se descartaban las entradas más antiguas, lo que podía borrar el descubrimiento inicial que explicaba todo el juego.

OpenAI reconstruyó el harness para conservar el razonamiento entre movimientos y sustituyó el borrado por una técnica llamada compaction, que comprime el historial antiguo en un paquete condensado que el modelo lleva a un espacio de trabajo nuevo en lugar de perder el comienzo. La puntuación pasó de 13.3% a 38.3%. Los tokens de salida, las unidades de texto que genera el modelo y aquello por lo que pagan los clientes, cayeron aproximadamente seis veces. No hubo reentrenamiento.

Por qué 38.3% no es un récord en la tabla de posiciones

Esa cifra corresponde a OpenAI ejecutando su propia configuración e informando su propio resultado. La política de pruebas verificadas de ARC excluye los harnesses del lado del cliente, las herramientas construidas a mano y los ajustes de modelo a medida, y envía los resultados impulsados por harness a una tabla de posiciones comunitaria separada donde las puntuaciones son autoinformadas y ARC advierte explícitamente que no deben tratarse como evidencia de progreso hacia la inteligencia general.

Los juegos públicos también son la mitad fácil. En el conjunto reservado que los modelos no pueden estudiar por adelantado, la puntuación verificada de Sol cae de 13.33% a 7.78%. Nadie sabe en qué se convierte 38.3% bajo el mismo recorte.

Tampoco 38.3% es la cifra de harness autoinformada más alta en esos juegos. A principios de este mes, un equipo de Impossible Research informó que su harness Schema alcanzó alrededor de 99% en el conjunto público usando Claude Opus 4.8 y Fable 5, y 95.35% usando Sol. La respuesta pública del presidente de ARC Prize, Greg Kamradt, fue que sin ver el código es difícil juzgar cuánto razonamiento humano se incorporó de antemano.

Hay otra cifra que vale la pena conservar. OpenAI estima que el evaluador humano promedio obtiene 48% en estos juegos. Su ejecución mejorada sigue por debajo de eso.

La publicación cierra con una recomendación de usar la Responses API de OpenAI en lugar de su interfaz anterior, lo que es tanto un argumento de venta como un hallazgo. El hallazgo subyacente sobrevive de todos modos: la puntuación de un benchmark es una medición de un sistema completo, y la mayoría de las puntuaciones publicadas no te dicen cómo se ensambló ese sistema. El número a observar no es 38.3%. Es el que obtenga la misma configuración en juegos que nunca ha visto.