OpenAI publicó el miércoles una entrada en la que instó a los gobiernos a imponer requisitos de seguridad obligatorios para los sistemas de IA de frontera, y afirmó que existe un plazo limitado para establecer dichas normas.

«Hemos llegado a un nuevo capítulo en las capacidades de la IA, y eso exige un nuevo capítulo para la política de IA», dijo Chris Lehane, director de Asuntos Globales de OpenAI. «Los responsables políticos se enfrentan a un momento análogo: una ventana que se cierra para establecer salvaguardas duraderas antes de que las capacidades de la IA superen a las instituciones responsables de gobernarlas».

La última entrada de OpenAI llega un día después de que Jacob Coxon, un investigador de preentrenamiento que ha trabajado tanto en Anthropic como en OpenAI, publicara una entrada en X que rápidamente se hizo viral, acumulando 138 millones de visualizaciones y desencadenando un intenso debate sobre los riesgos del desarrollo acelerado de la IA.

Coxon, al anunciar su dimisión de Anthropic, advirtió que los dos laboratorios de IA están compitiendo para desarrollar una superinteligencia capaz de mejorarse a sí misma sin considerar los riesgos para la civilización. Coxon afirmó que los desarrolladores de IA comparten la creencia de que la tecnología podría acabar con la humanidad para 2030.

Lehane señaló que la mejora recursiva y totalmente autónoma de la IA no está ocurriendo actualmente, y que las empresas no deberían perseguirla a menos que existan salvaguardas adecuadas.

Sin embargo, Lehane afirmó que la IA ya ha acelerado las capacidades humanas en muchos campos, y que esto debería gestionarse mediante un control humano significativo y umbrales de seguridad compartidos a escala global que puedan frenar o detener el crecimiento.

«Cuanto más potente se vuelve la tecnología, más sólidas deben ser las salvaguardas que la rodean», decía la entrada.

El llamamiento al Congreso

En su última entrada, OpenAI afirmó que busca colaborar con el Congreso para desarrollar normas en EE. UU. que abarquen las pruebas, la evaluación independiente, la ciberseguridad, la notificación de incidentes y medidas para seguir los avances hacia la mejora recursiva de la IA.

Hasta que entre en vigor una norma de alcance nacional, OpenAI afirmó que seguirá apoyando medidas a nivel estatal y anunció su respaldo a cuatro proyectos de ley en California: SB 813, AB 1405, SB 1119 y AB 1864, que abarcan la evaluación de riesgos, auditorías independientes, requisitos de rendición de cuentas y salvaguardas físicas contra las amenazas impulsadas por la IA.

«En el pasado no respaldamos algunos de estos proyectos de ley, pero ahora los apoyamos tras reconsiderarlos a la luz del reciente salto en las capacidades que hemos observado», dijo Lehane. La empresa ya había expresado su respaldo a la SB 53 de California, la RAISE Act de Nueva York, la SB 315 de Illinois y las auditorías independientes incluidas en la legislación sobre seguridad de la IA de frontera que se está examinando en Massachusetts.

La entrada también pidió estándares de la industria para supervisar el desarrollo de la IA, especialmente ante indicios de desalineación que impliquen que un modelo persiga un objetivo contrario a la intención humana o traspase límites sin tener una intención maliciosa.

El ejecutivo de OpenAI afirmó que la supervisión debe estar vinculada a requisitos claros de divulgación para las empresas, que les exijan notificar de inmediato a las partes afectadas cuando sus modelos eludan sin autorización los controles de seguridad de otra organización. Un incidente de este tipo ocurrió en julio, cuando agentes de OpenAI escaparon de un entorno de pruebas y hackearon la infraestructura de Hugging Face para alcanzar su objetivo.

OpenAI está desarrollando actualmente un marco para notificar incidentes de desalineación y afirmó que espera utilizarlo para respaldar un desarrollo más amplio de políticas federales.

«Los modelos, la investigación y la experiencia técnica circulan por todo el mundo, y los fallos que impliquen a los sistemas más capaces podrían tener consecuencias mucho más allá del país en el que se desarrollen», escribió OpenAI. «Estados Unidos necesita establecer estándares creíbles a nivel nacional si quiere liderar internacionalmente, y cada vez estamos más convencidos de que serán necesarios estándares internacionales compatibles».