El CEO de Anthropic, Dario Amodei, pidió a los laboratorios de IA de frontera que ralenticen el ritmo de desarrollo en una publicación de blog del sábado. Amodei dijo que su empresa dará a evaluadores externos independientes acceso permanente al nivel de un empleado a sus sistemas, una propuesta que posteriormente el CEO de OpenAI, Sam Altman, dijo que su empresa también adoptará.

En su ensayo, titulado «We Must Pace the Frontier», Amodei dijo que, a medida que los laboratorios de IA de frontera han comenzado a avanzar mucho más rápido al apostar por la automejora recursiva —un proceso mediante el cual los modelos de IA se utilizan cada vez más para investigar y desarrollar modelos futuros—, el trabajo de seguridad y alineación corre el riesgo de quedarse atrás. Amodei pidió a los laboratorios de frontera que ralenticen deliberadamente el ritmo de progreso en lugar de arriesgarse a escenarios catastróficos.

«Durante los últimos meses, me he convencido de que abordar plenamente los riesgos requiere aún más prudencia: no solo invertir en la prevención de riesgos, sino también acompasar el ritmo de avance de las capacidades para que la prevención de riesgos tenga tiempo de mantenerse al día», escribió Amodei. «Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido y debemos aprovechar sabiamente el tiempo que ganemos».

Amodei subrayó que «acompasar» el ritmo no significaría detener de inmediato todo el entrenamiento de modelos ni el progreso técnico, sino que supondría un periodo de ralentización que daría a las empresas más tiempo para verificar que sus sistemas de IA están correctamente alineados y que sus sistemas, cada vez más capaces, cuentan con las salvaguardas adecuadas.

Amodei señaló en particular el incidente de OpenAI y Hugging Face, en el que agentes de OpenAI sometidos a pruebas de capacidades se coordinaron mediante un tablón de mensajes secreto para atacar sistemas ajenos a la tarea que tenían asignada, intentando interferir con el sistema que evaluaba su rendimiento. Amodei dijo que un enjambre de agentes de IA con un comportamiento similar, pero con mayores capacidades, podría causar daños catastróficos, y advirtió que en un plazo de entre seis y 12 meses esos sistemas podrían potencialmente «[apoderarse] de todo Internet con una botnet persistente (lo que podría causar cientos de miles de millones de dólares en daños)».

Evaluadores externos permanentes

El marco de tres pasos propuesto por Amodei comienza con los «evaluadores integrados» y pide a los laboratorios de frontera que otorguen a terceros independientes acceso al nivel de un empleado a los sistemas de la empresa, para que puedan verificar las prácticas de seguridad, informar sobre incidentes y evaluar de forma independiente la alineación de los modelos en desarrollo.

Amodei dijo que Anthropic se comprometería de inmediato con ese paso. Los evaluadores recibirán portátiles de la empresa, acceso a las oficinas y permisos ampliamente comparables a los de los equipos internos de seguridad existentes de su compañía. También podrán informar públicamente sobre hallazgos relacionados con riesgos, incidentes y las prácticas de seguridad de Anthropic sin control editorial de la empresa, aunque Amodei afirma que Anthropic se reserva el derecho de restringir la publicación de información confidencial de clientes o documentos protegidos por el secreto profesional.

El segundo paso de Amodei pide a las empresas de IA de frontera de países democráticos que coordinen un conjunto de normas de seguridad comunes y acuerden límites para el progreso de la IA sin controles, potencialmente con la participación de los gobiernos para evitar acusaciones de prácticas antimonopolio. El tercer paso de Amodei pide una coordinación internacional eventual con Estados autocráticos, incluida China, cuyo potencial para asumir el liderazgo en el desarrollo de la IA califica de «grave peligro para Estados Unidos y el mundo».

Amodei sostuvo que cualquier ralentización por parte de las empresas estadounidenses también debe preservar su liderazgo tecnológico sobre China, y pidió mantener las restricciones a las exportaciones de chips avanzados, redoblar los esfuerzos para impedir la destilación de modelos que su empresa identificó en su informe reciente, así como mejorar la protección frente al posible robo de los pesos de los modelos, los enormes archivos que contienen el conocimiento de los modelos.

Altman y Musk expresan su apoyo

Altman respaldó la idea de ralentizar el ritmo horas después y dijo que OpenAI se comprometería con el primer paso de la publicación de Amodei.

«Estoy de acuerdo con Dario en que debemos acompasar el ritmo de la frontera», escribió Altman en X. Altman añadió que el debate sobre la ralentización ha sido un «tema principal de las conversaciones» en OpenAI durante las últimas semanas.

«Comprometerse a contar con evaluadores independientes con acceso similar al de los empleados es una gran idea, y haremos lo mismo», escribió Altman, quien añadió que su empresa compartiría más información «pronto».

OpenAI había pedido al Congreso la semana pasada que «establezca salvaguardas duraderas» para las empresas de IA «antes de que las capacidades de la IA superen a las instituciones responsables de regularlas». Esas salvaguardas incluyen evaluaciones independientes, requisitos de ciberseguridad e informes de incidentes.

Elon Musk también respaldó el ensayo de Amodei en X, citando su publicación con un mensaje de tres palabras: «Dario tiene razón». Musk no explicó si xAI, ahora propiedad de SpaceX, adoptaría la propuesta de Anthropic de integrar evaluadores externos en la empresa.

El senador Bernie Sanders también se pronunció y dijo que Amodei, Musk y Altman coinciden ahora en que el desarrollo de la IA debería ralentizarse, aunque argumentó que sus propuestas no van lo suficientemente lejos.

«Eso es un comienzo, pero no es suficiente», Sanders escribió en X. «Cuando vas directo hacia un precipicio, no basta con levantar el pie del acelerador. Hay que pisar el freno».

Sanders pidió una pausa total en el desarrollo de la IA avanzada y una prohibición de la superinteligencia artificial, y urgió al presidente Donald Trump y al presidente chino Xi Jinping a negociar un acuerdo internacional sobre el tema en su próxima cumbre de IA.