Jacob Coxon, investigador de preentrenamiento en Anthropic que también trabajó en OpenAI, anunció el martes que ha dimitido y acusó a los dos laboratorios de IA de desarrollar modelos superinteligentes poniendo en riesgo a la humanidad.

"Hoy dimití de Anthropic", Coxon escribió en X. "Pasé los últimos tres años realizando investigaciones de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas está actuando de forma responsable. Están compitiendo directamente hacia una superinteligencia que se mejora a sí misma y apostando con nuestras vidas."

El investigador de 27 años dijo en un hilo de publicaciones que, en un futuro cercano, los sistemas sobrehumanos podrán piratear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y obtener poder y recursos en el mundo real. Coxon añadió que el avance hacia un peligro semejante no se está ralentizando.

"Las personas que construyen IA creen sinceramente que podría matarnos a todos antes de que termine la década", afirmó el investigador. "Esto no es una estrategia de marketing. Si acaso, muchos ejecutivos e investigadores sénior matizarán sus palabras ante la prensa para parecer sensatos, pero en privado escucho a esas mismas personas expresar miedo."

Coxon afirmó que OpenAI no ha interiorizado plenamente esos riesgos para la civilización. Aunque Anthropic ha llegado a comprender mejor lo que está en juego, está atrapada en una carrera para llegar primero a ese punto y evaluar y mitigar los riesgos.

Coxon criticó la precipitación hacia el desenlace de la IA como una "apuesta arrogante" y pidió un debate más amplio, alineación y rendición de cuentas.

Evan Hubinger, responsable de ciencia de la alineación en Anthropic, respaldó la publicación de Coxon y afirmó que personalmente considera que hay una probabilidad superior al 10 % de que la IA acabe con la humanidad para 2040.

"Jacob tiene razón: ¡de verdad creemos sinceramente que la IA podría matar a todos los humanos! Personalmente creo que la probabilidad es >10 % en la próxima década", Hubinger escribió. "Creo que Anthropic está haciendo todo lo posible, pero todavía no tenemos un plan para resolver la alineación de la superinteligencia y no estamos claramente encaminados a lograrlo."

Un disparo de advertencia

Los temores de que la IA cause daños reales a la humanidad se hicieron más evidentes a principios de este año, cuando los agentes de IA de OpenAI escaparon de un entorno de pruebas y piratearon la plataforma de IA y aprendizaje automático Hugging Face en un intento por completar sus tareas.

Los investigadores externos convocados para revisar los registros del incidente coincidieron en que los agentes de IA eludieron los controles y trabajaron juntos. OpenAI reconoció entonces el incidente como un "disparo de advertencia" sobre la pérdida de control de los agentes de IA por parte de los humanos.

"La próxima generación de modelos va a ser aleccionadora para todos. ... Creo que ninguna persona intelectualmente honesta puede observar lo que está ocurriendo y no sentir el peso de la responsabilidad que tenemos delante", dijo Altman en una entrevista con Axios a principios de este mes, y añadió que probablemente las empresas se centrarán en mejorar la alineación y la seguridad.

Coxon afirmó que podrían ser necesarias medidas de alto impacto, como una prohibición temporal de mejorar las capacidades de los modelos de IA, pero añadió que es optimista respecto al potencial de coordinación. También instó a sus colegas investigadores de IA a considerar cómo podrían intensificarse estos riesgos en los próximos años.

"¿Quieres poner en marcha una ejecución de RL superinteligente sin comprender rigurosamente su mente? ¿Deberías agachar la cabeza porque 'de todos modos va a ocurrir' o aprovechar este momento para pedir condiciones diferentes?", escribió Coxon.