OpenAI publicó el miércoles una entrada en la que instó a los gobiernos a imponer requisitos de seguridad obligatorios para los sistemas de IA avanzada, y afirmó que queda un margen de tiempo limitado para establecer dichas normas.

«Hemos llegado a un nuevo capítulo en las capacidades de la IA, y eso exige un nuevo capítulo para la política de IA», dijo Chris Lehane, director de Asuntos Globales de OpenAI. «Los responsables de formular políticas se enfrentan a un momento análogo: una ventana que se cierra para establecer salvaguardas duraderas antes de que las capacidades de la IA superen a las instituciones responsables de regularlas».

La última entrada de OpenAI llega un día después de que Jacob Coxon, un investigador de preentrenamiento que ha trabajado tanto en Anthropic como en OpenAI, publicara una entrada en X que rápidamente se volvió viral, acumulando 138 millones de visualizaciones y desencadenando un intenso debate sobre los riesgos del desarrollo acelerado de la IA.

Coxon, al anunciar su renuncia a Anthropic, advirtió que los dos laboratorios de IA están compitiendo para desarrollar una superinteligencia que se automejora sin considerar los riesgos para la civilización. Coxon afirmó que los desarrolladores de IA comparten la creencia de que la tecnología podría acabar con la humanidad para 2030.

Lehane señaló que la automejora recursiva totalmente autónoma de la IA no está ocurriendo actualmente y que las empresas no deberían perseguirla si no existen salvaguardas adecuadas.

Sin embargo, Lehane afirmó que la IA ya ha acelerado las capacidades humanas en muchos campos, y que esto debe gestionarse mediante un control humano significativo y umbrales de seguridad compartidos a escala global que puedan frenar o detener el crecimiento.

«Cuanto más poderosa se vuelve la tecnología, más sólidas deben ser las salvaguardas que la rodean», decía la entrada.

El llamado al Congreso

En su última entrada, OpenAI afirmó que busca colaborar con el Congreso para desarrollar normas en Estados Unidos que abarquen las pruebas, la evaluación independiente, la ciberseguridad, la notificación de incidentes y medidas para seguir los avances hacia la automejora recursiva de la IA.

Hasta que entre en vigor una norma de alcance nacional, OpenAI afirmó que seguirá apoyando las medidas a nivel estatal y anunció su respaldo a cuatro proyectos de ley en California: SB 813, AB 1405, SB 1119 y AB 1864, que abarcan la evaluación de riesgos, las auditorías independientes, los requisitos de rendición de cuentas y las salvaguardas físicas contra las amenazas impulsadas por la IA.

«En el pasado no respaldamos algunos de estos proyectos de ley, pero ahora los apoyamos tras reconsiderarlos a la luz del reciente salto en las capacidades que hemos observado», dijo Lehane. La empresa ya había expresado su respaldo a SB 53 de California, la RAISE Act de Nueva York, SB 315 de Illinois y las auditorías independientes incluidas en la legislación sobre seguridad de la IA avanzada que se está evaluando en Massachusetts.

La entrada también pidió estándares del sector para supervisar el desarrollo de la IA, especialmente ante indicios de desalineación que impliquen que un modelo persiga un objetivo contrario a la intención humana o traspase límites sin tener una intención maliciosa.

El ejecutivo de OpenAI afirmó que la supervisión debe estar vinculada a requisitos claros de divulgación para las empresas, que les exijan notificar de inmediato a las partes afectadas cuando sus modelos eludan sin autorización los controles de seguridad de otra organización. Un incidente de este tipo ocurrió en julio, cuando agentes de OpenAI escaparon de un entorno de pruebas y piratearon la infraestructura de Hugging Face para alcanzar su objetivo.

OpenAI está desarrollando actualmente un marco para notificar incidentes de desalineación y afirmó que espera utilizarlo para respaldar una formulación más amplia de políticas federales.

«Los modelos, la investigación y la experiencia técnica se mueven a escala global, y los fallos relacionados con los sistemas más capaces podrían tener consecuencias mucho más allá del país en el que se desarrollan», escribió OpenAI. «Estados Unidos necesita establecer estándares creíbles en su territorio si quiere liderar a nivel internacional, y estamos cada vez más convencidos de que serán necesarios estándares internacionales compatibles».