Si los modelos de IA de frontera pueden producir matemáticas que los matemáticos no tuvieran ya, o si son búsquedas bibliográficas muy rápidas, ha sido el debate del verano. El lunes, Anthropic publicó una nota de investigación sobre las capacidades matemáticas de Claude en la que afirma que una versión de investigación no lanzada del modelo mejoró un resultado de larga data vinculado con la hipótesis de Riemann, elevando una cota inferior demostrada de 41.6% a 67.2%.

La hipótesis de Riemann, planteada en 1859 y uno de los siete problemas que conllevan un premio de 1 millón de dólares del Clay Mathematics Institute, sostiene que los ceros de una función que gobierna el espaciado de los números primos se sitúan todos sobre una línea vertical. Nadie ha demostrado eso para cada cero, así que los matemáticos se conforman con demostrarlo para una fracción de ellos. Décadas de trabajo incremental habían elevado esa fracción a 41.6%. La nueva cifra no es una barra de progreso hacia una demostración, y Anthropic dijo en la misma nota que no espera que la técnica de Claude produzca una.

Para los inversores, el detalle más preciso es qué modelo hizo esto. Anthropic no ha identificado la versión exacta del modelo, no ha publicado los pesos ni ha puesto el sistema a disposición. OpenAI hizo lo mismo el 1 de agosto, cuando publicó soluciones a 10 problemas abiertos en matemáticas y ciencias de la computación teórica y atribuyó el mérito a una versión interna de Astra, un modelo sin fecha de lanzamiento ni precio. Ambos laboratorios ahora apoyan sus afirmaciones de capacidad más sólidas en sistemas que nadie de fuera puede probar.

La nota también llega tres semanas después del resultado matemático anterior de Anthropic. En julio, Levent Alpöge, un teórico de números de la empresa, publicó un contraejemplo encontrado con Claude Fable 5 que refutaba la conjetura jacobiana de 87 años en tres dimensiones y superiores, y Terence Tao analizó el contraejemplo públicamente al día siguiente. Alpöge es uno de los dos matemáticos de Anthropic que luego pasaron a comprobar el resultado sobre zeta.

La sesión fue ejecutada por una persona no matemática

La parte del relato que más atención atrae es quién estaba al teclado. Jarred Sumner, el miembro del personal que la ejecutó, no es matemático, y Anthropic dice que dejó las decisiones matemáticas en manos del modelo. Resultados de este tipo hasta ahora han provenido de matemáticos que guiaban modelos con prompts expertos. Anthropic escribe que durante la ejecución decisiva, la intervención de Sumner estuvo "principalmente limitada a enviarle a Claude mensajes de ánimo", en su mayoría variantes de "sigue adelante" o "cree en ti mismo". La empresa dice que eso aparentemente ayudó al modelo a superar su propio escepticismo inicial de que pudiera llegar a alguna parte.

El cómputo fue menos delicado. Claude probó 650 ideas en la primera pasada y ninguna funcionó. Cuando se le dijo que lo intentara de nuevo, pasó alrededor de un día y medio coordinando aproximadamente 60 copias de sí mismo, que Anthropic llama subagentes. Entre todas ejecutaron 2,400 comandos de shell y escribieron cientos de scripts de Python, poniendo a prueba argumentos candidatos frente a ceros conocidos. Dos de las 60 produjeron las ideas clave, 30 no produjeron nada utilizable, y las dos sesiones consumieron 31 millones de tokens de salida, las unidades por las que facturan los laboratorios de IA.

Luego Claude atacó su propio resultado, haciendo que subagentes buscaran contraejemplos, extrajeran 54 artículos de arXiv para confirmar que el hallazgo era nuevo, y lo derivaran de nuevo desde cero. Propuso redactar el trabajo como un artículo y recomendó que un teórico de números humano lo revisara.

El resultado no ha sido revisado por pares

Alpöge y Ralph Furman validaron el artículo dentro de Anthropic. Brian Conrey y Dan Goldston, dos especialistas en este rincón de la teoría de números, lo leyeron con poca antelación a petición de la empresa. Conrey fijó la marca del 40% sobre esta misma cota en 1989. Ojos expertos con poca antelación no equivalen al arbitraje de una revista, que funciona en meses y no en ciclos de noticias.

Claude también produjo una versión de la demostración que una computadora puede verificar, escrita en el asistente de pruebas Lean y publicada como un repositorio público. Eso descarta las discretas lagunas lógicas que hunden la mayoría de las supuestas demostraciones de problemas famosos. No establece que el enunciado formalizado sea el que les importa a los teóricos de números, y no dice nada sobre el modelo que lo generó.

Falta una cifra. Anthropic reveló 31 millones de tokens de salida pero no el costo en dólares, y con el modelo sin lanzar no hay una tarifa publicada por la cual multiplicar. OpenAI estimó los tokens detrás de sus 10 demostraciones en aproximadamente $2,000. Cualquiera que intente juzgar si este tipo de investigación es lo bastante barato como para ejecutarse a escala industrial necesita la versión de Anthropic de esa cifra.

Hasta entonces, la afirmación comprobable es la más acotada. Un modelo al que hubo que decirle que siguiera adelante movió una cota que los matemáticos humanos habían avanzado en 1.6 puntos porcentuales en los 37 años transcurridos desde el resultado de Conrey.