La question de savoir si les modèles d’IA de pointe peuvent produire des mathématiques que les mathématiciens n’avaient pas déjà, ou s’ils ne sont que des moteurs de recherche bibliographique très rapides, alimente le débat de l’été. Lundi, Anthropic a publié une note de recherche sur les capacités mathématiques de Claude affirmant qu’une version de recherche non publiée du modèle a amélioré un résultat de longue date lié à l’hypothèse de Riemann, en faisant passer une borne inférieure démontrée de 41,6 % à 67,2 %.

L’hypothèse de Riemann, formulée en 1859 et l’un des sept problèmes assortis d’un prix de $1 million du Clay Mathematics Institute, soutient que les zéros d’une fonction qui régit l’espacement des nombres premiers se situent tous sur une même ligne verticale. Personne ne l’a démontré pour chaque zéro, donc les mathématiciens se contentent de le prouver pour une fraction d’entre eux. Des décennies de travaux progressifs avaient porté cette fraction à 41,6 %. Ce nouveau chiffre n’est pas une barre de progression vers une preuve, et Anthropic a indiqué dans la même note qu’il ne s’attend pas à ce que la technique de Claude en produise une.

Pour les investisseurs, le détail le plus saillant est de savoir quel modèle a fait cela. Anthropic n’a pas nommé le point de contrôle, publié les paramètres ni rendu le système disponible. OpenAI a fait la même chose le 1er août, lorsqu’il a publié des solutions à 10 problèmes ouverts en mathématiques et en informatique théorique et a attribué cela à une version interne d’Astra, un modèle sans date de sortie ni prix. Les deux laboratoires appuient désormais leurs affirmations de capacités les plus fortes sur des systèmes que personne à l’extérieur ne peut tester.

La note paraît aussi trois semaines après le précédent résultat mathématique d’Anthropic. En juillet, Levent Alpöge, théoricien des nombres au sein de l’entreprise, a publié un contre-exemple trouvé avec Claude Fable 5 qui a réfuté la conjecture jacobienne, vieille de 87 ans, en trois dimensions et au-delà, et Terence Tao a analysé publiquement le contre-exemple le lendemain. Alpöge est l’un des deux mathématiciens d’Anthropic qui ont ensuite vérifié le résultat sur la fonction zêta.

Un non-mathématicien a mené la session

La partie du récit qui attire le plus l’attention concerne la personne au clavier. Jarred Sumner, le membre du personnel qui l’a exécutée, n’est pas mathématicien, et Anthropic affirme qu’il a laissé les choix mathématiques au modèle. Jusqu’à présent, des résultats de ce type provenaient de mathématiciens guidant des modèles avec des prompts d’experts. Anthropic écrit que pendant l’exécution décisive, l’intervention de Sumner était « essentiellement limitée à envoyer à Claude des messages d’encouragement », principalement des variantes de « continue » ou « crois en toi ». L’entreprise affirme que cela semble avoir aidé le modèle à dépasser son propre scepticisme initial quant à la possibilité d’aboutir à quelque chose.

Le calcul a été moins délicat. Claude a essayé 650 idées lors de la première passe et aucune n’a fonctionné. Invité à réessayer, il a passé environ un jour et demi à coordonner quelque 60 copies de lui-même, qu’Anthropic appelle des subagents. Entre eux, ils ont exécuté 2 400 commandes shell et écrit des centaines de scripts Python, testant des arguments candidats par rapport à des zéros connus. Deux des 60 ont produit les idées clés, 30 n’ont rien produit d’exploitable, et les deux sessions ont consommé 31 millions de tokens de sortie, les unités selon lesquelles les laboratoires d’IA facturent.

Claude a ensuite attaqué son propre résultat, en chargeant des subagents de chercher des contre-exemples, de récupérer 54 articles sur arXiv pour confirmer que le résultat était nouveau, et de le redériver à partir de zéro. Il a proposé de mettre le travail en forme sous la forme d’un article et a recommandé qu’un théoricien humain des nombres le vérifie.

Le résultat n’a pas été évalué par des pairs

Alpöge et Ralph Furman ont validé l’article en interne chez Anthropic. Brian Conrey et Dan Goldston, deux spécialistes de ce domaine de la théorie des nombres, l’ont lu dans des délais très courts à la demande de l’entreprise. Conrey a fixé la barre des 40 % sur cette même borne en 1989. Un examen par des experts dans l’urgence n’est pas une évaluation de revue scientifique, qui se déroule sur plusieurs mois plutôt qu’au rythme de l’actualité.

Claude a également produit une version de la preuve qu’un ordinateur peut vérifier, rédigée dans l’assistant de preuve Lean et publiée sous la forme d’un dépôt public. Cela exclut les lacunes logiques discrètes qui font échouer la plupart des prétendues preuves de problèmes célèbres. Cela n’établit pas que l’énoncé formalisé soit celui qui intéresse les théoriciens des nombres, et cela ne dit rien du modèle qui l’a généré.

Un chiffre manque. Anthropic a révélé 31 millions de tokens de sortie, mais aucun coût en dollars, et comme le modèle n’est pas publié, il n’existe aucun tarif public à multiplier. OpenAI a estimé les tokens derrière ses 10 preuves à environ 2 000 $. Quiconque cherche à juger si ce type de recherche est assez peu coûteux pour être mené à l’échelle industrielle a besoin de la version de ce chiffre chez Anthropic.

D’ici là, l’affirmation vérifiable est la plus étroite. Un modèle auquel il a fallu dire de continuer a déplacé une borne que des mathématiciens humains avaient fait avancer de 1,6 point de pourcentage en 37 ans depuis le résultat de Conrey.