最先端AIモデルが数学者の手元にまだない数学を生み出せるのか、それとも非常に高速な文献検索にすぎないのかは、この夏の論争となっている。月曜日、AnthropicはClaudeの数学的能力に関する研究ノートを公開し、モデルの未公開研究版がリーマン予想に関連する長年の結果を改善し、証明済みの下界を41.6%から67.2%に引き上げたと述べた。

1859年に提起され、Clay Mathematics Instituteの賞金100万ドルがかけられた7つの問題の1つであるリーマン予想は、素数の間隔を支配する関数の零点がすべて1本の垂直線上にあるとするものだ。すべての零点についてそれを証明した者はいないため、数学者たちはそのうちの一定割合について証明することで折り合いをつけている。何十年にもわたる漸進的な研究で、その割合は41.6%まで引き上げられていた。この新たな数値は証明に向けた進捗バーではなく、Anthropicも同じノートの中で、Claudeの手法が証明を生み出すとは期待していないと述べている。

投資家にとって、より重要な詳細は、どのモデルがこれを成し遂げたのかという点だ。Anthropicはそのチェックポイントの名前を明かしておらず、重みも公開せず、システムも利用可能にしていない。OpenAIも8月1日に同じことをした。このとき同社は10の未解決問題に対する解答を公開し、数学および理論計算機科学におけるその成果を、Astraの社内版によるものだとした。Astraはリリース日も価格も未定のモデルだ。両ラボとも今や、外部の誰もテストできないシステムに、自社の最強の能力主張を委ねている。

このノートは、Anthropicの前回の数学的成果から3週間後に出されたものでもある。7月には、同社の数論研究者Levent Alpögeが、Claude Fable 5とともに見つけた反例を投稿し、それによって87年来のJacobian conjectureが3次元以上では成り立たないことを示した。そしてTerence Taoはその反例を公開の場で検討しを翌日に行った。Alpögeは、ゼータ関数の結果を確認したAnthropicの数学者2人のうちの1人だ。

そのセッションを実行したのは数学者ではなかった

この説明の中で最も注目を集めている部分は、誰がキーボードの前にいたのかという点だ。実行したスタッフのJarred Sumnerは数学者ではなく、Anthropicによれば、数学的な選択はモデルに委ねていたという。この種の成果はこれまで、専門的なプロンプトでモデルを導く数学者によって生み出されてきた。Anthropicは、決定的な実行の間、Sumnerの入力は「ほぼClaudeへの励ましのメッセージを送ることに限られていた」と書いており、その大半は「そのまま続けて」や「自分を信じて」といった言い回しだったという。同社によれば、それが、どこにも到達できないのではないかというモデル自身の初期の懐疑を乗り越える助けになったようだ。

計算のほうはそれほど繊細ではなかった。Claudeは最初の試行で650のアイデアを試したが、どれも機能しなかった。再挑戦するよう指示されると、約1日半をかけておよそ60個の自分自身のコピーを協調させた。Anthropicはこれをサブエージェントと呼んでいる。それらは合計で2,400件のシェルコマンドを実行し、何百ものPythonスクリプトを書き、既知の零点に照らして候補となる議論を検証した。60個のうち2個が重要なアイデアを生み出し、30個は使えるものを何も生み出さなかった。そして、その実行では3,100万の出力トークンが消費された。これはAIラボが課金単位とするものだ。

その後Claudeは自らの結果を検証しようとし、サブエージェントに反例探しをさせ、54本の論文をarXivから取得してその発見が新規であることを確認し、さらにゼロから再導出させた。Claudeはこの成果を論文としてまとめることを提案し、人間の数論研究者が確認すべきだと勧告した。

この結果は査読を受けていない

AlpögeとRalph FurmanがAnthropic社内で論文を検証した。数論のこの分野の専門家2人であるBrian ConreyとDan Goldstonも、同社の依頼で短期間のうちに目を通した。Conreyは1989年に、この同じ下界で40%という記録を打ち立てた。短期間で専門家が目を通すことは、ニュースサイクルではなく数カ月単位で進む学術誌の査読とは異なる。

Claudeはまた、コンピューターが検証可能な証明の版も生成した。これはLean proof assistantで書かれ、公開リポジトリとして公開されている。これにより、有名問題の証明と称されるものの大半を沈めるような、目立たない論理的欠陥は排除される。ただし、形式化された命題が数論研究者にとって重要なその命題そのものであることまでは示さず、また、それを生成したモデルについても何も語らない。

1つ欠けている数字がある。Anthropicは3,100万出力トークンを開示したが、ドル建てコストは示しておらず、モデルも未公開であるため、掛け合わせるべき公表料金も存在しない。OpenAIは、自社の10本の証明の背後にあるトークンコストをおよそ2,000ドルと見積もった。この種の研究が産業規模で実行できるほど十分に安価かどうかを判断しようとする人には、Anthropic版のその数字が必要になる。

それまでは、検証可能な主張は限定的なものにとどまる。進み続けるよう促される必要があったモデルが、Conreyの結果以降37年間で人間の数学者たちが1.6ポイントしか前進させられなかった下界を動かした、ということだ。