수학자들은 수년간 수학 문제를 해결하는 데 진전을 이루기 위한 도구로 AI 모델을 활용해 왔다. 그러나 Anthropic은 월요일 연구 노트를 발표하며 출시되지 않은 Claude 버전이 수학자의 직접적인 지시 없이 오랜 난제에 대한 결과를 개선했다고 시사했다.

이 결과는 1859년에 처음 제기된 리만 가설과 관련이 있으며, Clay Mathematics Institute의 상금 제도에서 100만 달러의 상금이 걸린 7개 난제 중 하나다. 이 가설은 소수를 결정하는 리만 제타 함수의 영점이 모두 하나의 수직선 위에 있다는 내용으로, 모든 경우에 참이라는 사실은 아직 증명되지 않았다.

수학자들은 수년간 이 가설에 대해 점진적인 진전을 이루며 최소 하한을 41.6%까지 높였다. Anthropic에 따르면 Claude의 시도로 이 수치는 67.2%로 상승했다.

최첨단 AI 모델의 수학적 역량은 사이버 보안 및 에이전트 역량과 함께 경쟁하는 연구소들의 핵심 경쟁 분야 중 하나로 떠오르고 있다. 8월 1일 OpenAI는 미해결 문제 10개에 대한 해법을 발표했으며 출시되지 않은 Astra 모델의 내부 버전이 이를 해결했다고 밝혔다.

비수학자가 Claude 세션을 진행했다

Anthropic의 보고서에서 차별화되는 점은 전문 수학자가 그 과정에 참여하지 않았다는 사실이다. 대신 Anthropic 직원 Jarred Sumner가 세션을 진행했다. 보도에 따르면 그의 역할은 초기 프롬프트를 제공하고 진행 내내 격려의 메시지를 보내는 데 국한됐으며, 수학적 결정 자체는 AI 모델에 맡겨졌다.

이 세션은 서브에이전트라고 불리는 동일 모델의 60개 조정 복사본을 통해 약 하루 반 동안 진행됐다. 2,400개의 셸 명령과 수백 개의 Python 스크립트가 실행된 가운데, 이 60개 에이전트 중 실제로 활용 가능한 결과를 낸 것은 2개뿐이었다.

전체적으로 이 세션에는 3,100만 개의 출력 토큰이 사용됐다. Anthropic은 총비용을 공개하지 않았다.

Claude는 스스로 서브에이전트에 연구 결과를 비판적으로 검토하고 재현을 시도하도록 했다. 또한 결과가 이미 알려진 내용이 아닌지 확인하기 위해 학술 문헌을 대상으로 검증했다. 이후 모델은 인간 수학자가 결과를 확인해야 한다고 권고했다.

Claude의 리만 가설 결과는 동료 심사를 거치지 않았다

Anthropic 내부 수학자인 Levent Alpöge와 Ralph Furman은 이 결과를 내부적으로 검증했다. 이후 회사는 외부 검토를 위해 Dan Goldston과 Brian Conrey에게 연락했다. Brian Conrey는 1989년 같은 문제에 대해 40%의 경계를 설정한 인물이다. 다만 이는 완전한 동료 심사와는 다르다는 점에 유의할 필요가 있다.

그러나 Claude는 검증을 위한 기계 판독 가능한 형태의 증명을 작성했으며 이를 공개 저장소로 게시했다.