3월 출시 이후, ARC-AGI-3 벤치마크는 AI 연구소들이 자사 모델이 익숙하지 않은 작업도 처리할 수 있다고 주장할 때 내세우는 시험으로 자리 잡았다. 이 벤치마크는 모델을 작은 2D 비디오 게임 안에 떨어뜨리고 아무 설명도 하지 않는다. 규칙도, 조작법도, 제시된 목표도 없다. 모델은 무언가를 눌러 보고, 무엇이 바뀌는지 관찰하고, 게임이 무엇을 원하는지 스스로 파악해야 한다. 출시 당시 모든 최전선 시스템의 점수는 1% 미만이었다.

지난 금요일 리더보드에 변화가 생겼다. Anthropic의 Claude Opus 5가 ARC-AGI-3에서 검증된 30.2%를 기록하며 이전의 검증된 최고 점수 7.8%를 약 4배로 뛰어넘었다. 이 점수는 OpenAI의 GPT-5.6 Sol이 세운 것이었다. 이 벤치마크를 만들고 운영하는 ARC Prize Foundation이 해당 테스트를 직접 수행했다.

수요일 OpenAI는 일종의 반박을 내놨다. 연구진은 Sol의 저조한 성적이 대부분 모델 자체보다 모델을 둘러싼 소프트웨어의 문제였으며, 두 가지 설정만 바꾸면 Sol이 25개의 공개 게임에서 38.3%를 기록했다고 주장했다.

이 게시물의 핵심은 한 문장에 있다. "벤치마크는 AI 모델을 단독으로 측정하는 경우가 드물다." 기존의 가정은 점수가 모델 자체의 것이며, 따라서 낮은 점수는 모델이 그 작업을 수행할 수 없다는 뜻이라는 것이었다. OpenAI의 주장은 점수는 모델과 그 주변의 모든 코드가 함께 만들어내는 것이며, 낮은 점수는 오히려 주변 코드가 모델의 작업 결과를 움직임 사이에서 버리고 있었음을 뜻할 수도 있다는 것이다. 리더보드를 역량의 대리 지표로 읽는 사람들에게 이는 숫자가 무엇의 증거인지를 바꿔놓는다.

테스트 하니스가 하던 일

이 래퍼에는 이름이 있다. 하니스다. 이는 매 턴마다 모델이 무엇을 보는지, 무엇을 기억하는지, 어떤 도구에 접근할 수 있는지를 결정하는 코드다. ARC의 하니스는 의도적으로 단순하게 설계돼 있는데, 단순한 설정이 모델의 약점을 더 잘 드러내고 연구소 간 비교의 공정성을 유지한다는 판단에서다.

OpenAI는 마음에 들지 않는 두 가지를 발견했다. Sol 같은 모델은 각 행동 전에 비공개 추론을 생성하는데, 이는 왜 그런 행동을 하는지에 대한 일종의 작업 메모다. ARC의 하니스는 매 행동 뒤 이 메모를 삭제했기 때문에, 모델은 버튼을 눌렀다는 사실은 볼 수 있어도 그 누름으로 어떤 가설을 시험했는지는 볼 수 없었다. 둘째, 실행 기록이 175,000자를 넘으면 가장 오래된 항목이 삭제됐는데, 이로 인해 게임 전체를 설명하는 초기 발견이 사라질 수 있었다.

OpenAI는 움직임 사이의 추론을 유지하도록 하니스를 다시 만들고, 삭제 방식 대신 압축이라고 불리는 기법으로 바꿨다. 이는 오래된 기록을 압축해 모델이 새로운 작업 공간으로 가져가는 요약 패키지로 만들고, 처음 부분을 잃어버리지 않게 하는 방식이다. 점수는 13.3%에서 38.3%로 올랐다. 모델이 생성하는 텍스트 단위이자 고객이 비용을 지불하는 기준인 출력 토큰은 약 6분의 1 수준으로 줄었다. 재학습은 없었다.

왜 38.3%가 리더보드 기록은 아닌가

이 수치는 OpenAI가 자체 구성으로 직접 실행하고 자체 결과를 보고한 것이다. ARC의 검증된 테스트 정책은 클라이언트 측 하니스, 수작업으로 만든 도구, 맞춤형 모델 설정을 허용하지 않으며, 하니스 기반 결과는 별도의 커뮤니티 리더보드로 보내진다. 그곳의 점수는 자기 보고 방식이며, ARC는 이를 일반지능을 향한 진전의 증거로 간주하지 말라고 명시적으로 경고한다.

공개 게임도 더 쉬운 절반에 해당한다. 모델이 사전에 살펴보거나 학습할 수 없는 홀드아웃 세트에서는 Sol의 검증 점수가 13.33%에서 7.78%로 떨어진다. 같은 기준을 적용하면 38.3%가 얼마가 될지는 아무도 모른다.

또한 38.3%는 해당 게임들에서 가장 높은 자기 보고 하니스 수치도 아니다.자사의 Schema harness가 약 99%에 도달했다고 보고했다고 밝혔다. 공개 세트에서 Claude Opus 4.8과 Fable 5를 사용한 결과였고, Sol을 사용했을 때는 95.35%였다. ARC Prize 사장 Greg Kamradt는 코드가 공개되지 않으면 인간의 문제 해결 방식이 얼마나 내장됐는지 판단하기 어렵다고 공개적으로 반응했다.

붙잡아둘 만한 숫자가 하나 더 있다. OpenAI는 평균적인 인간 테스터가 이 게임들에서 48%를 기록한다고 추정한다. 개선된 이번 실행도 여전히 그보다 낮다.

이 게시물은 OpenAI의 오래된 인터페이스보다 Responses API를 사용하라는 권고로 마무리되는데, 이는 발견이라기보다 세일즈 홍보에 가깝다. 그 아래의 핵심은 그럼에도 유효하다. 벤치마크 점수는 하나의 전체 시스템을 측정한 값이며, 공개된 대부분의 점수는 그 시스템이 어떻게 조립됐는지를 알려주지 않는다. 주목해야 할 숫자는 38.3%가 아니다. 한 번도 본 적 없는 게임들에서 같은 설정이 기록하는 점수다.