Desde que foi lançado em março, o benchmark ARC-AGI-3 se tornou o teste que laboratórios de IA apontam quando querem argumentar que seus modelos conseguem lidar com trabalho não familiar. Ele coloca um modelo em um pequeno videogame 2D e não explica nada: sem regras, sem controles, sem objetivo declarado. O modelo precisa apertar coisas, observar o que muda e descobrir o que o jogo quer. No lançamento, todo sistema de fronteira marcou menos de 1%.

Na sexta-feira passada, o leaderboard mudou. O Claude Opus 5, da Anthropic, registrou 30,2% verificados no ARC-AGI-3, cerca de quatro vezes o recorde verificado anterior de 7,8%, que havia sido estabelecido pelo GPT-5.6 Sol, da OpenAI. A ARC Prize Foundation, que cria e administra o benchmark, executou esse teste por conta própria.

Na quarta-feira, a OpenAI publicou uma espécie de resposta. Seus pesquisadores argumentam que o desempenho fraco do Sol foi, em grande parte, culpa do software em torno do modelo, e não do próprio modelo, e que, com duas configurações alteradas, o Sol marcou 38,3% nos 25 jogos públicos.

O post gira em torno de uma frase: "Benchmarks raramente medem modelos de IA em isolamento." A suposição antiga era a de que uma pontuação pertence ao modelo, então um número baixo significa que o modelo não consegue executar a tarefa. A alegação da OpenAI é que uma pontuação pertence ao modelo mais cada pedaço de código ao seu redor, e que um número baixo pode, em vez disso, significar que o código ao redor estava descartando o trabalho do modelo entre jogadas. Para quem lê leaderboards como um substituto de capacidade, isso muda o que os números evidenciam.

O que o test harness estava fazendo

O wrapper tem um nome: o harness. É o código que decide o que o modelo vê a cada turno, do que ele se lembra e quais ferramentas ele pode acessar. O harness do ARC é deliberadamente simples, com base na ideia de que uma configuração simples expõe fraquezas do modelo e mantém justas as comparações entre laboratórios.

A OpenAI encontrou duas coisas de que não gostou. Modelos como o Sol geram raciocínio privado antes de cada ação, essencialmente notas de trabalho sobre por que estão fazendo algo. O harness do ARC apagava essas notas após cada jogada, então o modelo podia ver que havia apertado um botão, mas não qual teoria aquele toque estava testando. Em segundo lugar, quando o histórico em execução ultrapassava 175.000 caracteres, as entradas mais antigas eram descartadas, o que podia apagar a descoberta inicial que explicava o jogo inteiro.

A OpenAI reconstruiu o harness para preservar o raciocínio entre jogadas e trocou a exclusão por uma técnica chamada compaction, que comprime o histórico antigo em um pacote condensado que o modelo leva para um novo workspace, em vez de perder o começo. A pontuação foi de 13,3% para 38,3%. Os tokens de saída, as unidades de texto que o modelo gera e pelas quais os clientes pagam, caíram cerca de seis vezes. Não houve retreinamento.

Por que 38,3% não é um recorde de leaderboard

Esse número reflete a OpenAI executando sua própria configuração e relatando seu próprio resultado. A política de testes verificados do ARC exclui harnesses do lado do cliente, ferramentas construídas manualmente e configurações de modelo sob medida, e direciona resultados guiados por harness para um leaderboard comunitário separado, em que as pontuações são autorrelatadas e o ARC adverte explicitamente contra tratá-las como evidência de progresso rumo à inteligência geral.

Os jogos públicos também são a metade mais fácil. No conjunto reservado, que os modelos não podem estudar com antecedência, a pontuação verificada do Sol cai de 13,33% para 7,78%. Ninguém sabe em quanto 38,3% se transformaria sob o mesmo corte.

Nem 38,3% é o maior número de harness autorrelatado nesses jogos. No início deste mês, uma equipe da Impossible Research relatou que seu harness Schema alcançou cerca de 99% no conjunto público usando Claude Opus 4.8 e Fable 5, e 95,35% usando Sol. A resposta pública do presidente do ARC Prize, Greg Kamradt, foi que, sem ver o código, é difícil julgar quanto de resolução humana de problemas foi embutido.

Mais um número vale a pena guardar. A OpenAI estima que o testador humano médio marque 48% nesses jogos. Sua execução aprimorada ainda fica abaixo disso.

O post termina com uma recomendação para usar a Responses API da OpenAI em vez de sua interface mais antiga, o que é tanto um argumento de vendas quanto uma descoberta. A conclusão subjacente sobrevive a isso mesmo assim: a pontuação de um benchmark é uma medição de um sistema inteiro, e a maioria das pontuações publicadas não diz como esse sistema foi montado. O número a observar não é 38,3%. É o que a mesma configuração marcar em jogos que nunca viu.