Según informes, altos ejecutivos de OpenAI, Anthropic y otras empresas de inteligencia artificial están evaluando en privado escenarios de una revuelta pública y política después de un evento catastrófico relacionado con la IA.
La planificación se centra en un posible incidente a gran escala, probablemente un ciberataque, que podría interrumpir los servicios financieros, el acceso a internet, el suministro eléctrico o el agua, informó Axios el viernes. Por separado, personas anónimas del sector de la IA dijeron al medio que creen que podría ocurrir un incidente importante en los próximos seis a 12 meses.
El daño causado por un evento de este tipo podría intensificar el escepticismo público hacia la IA y sus líderes empresariales, incluidos el CEO de Anthropic, Dario Amodei, y el CEO de OpenAI, Sam Altman, así como hacia el presidente Trump por su renuencia a regularla, afirmó el medio.
La planificación de escenarios es habitual en muchas industrias, pero la diferencia clave en este caso es que muchos de los principales investigadores y ejecutivos de IA creen que un incidente importante es inevitable, según el informe.
«OpenAI lleva a cabo ejercicios de preparación en los que los equipos debaten y analizan una serie de posibles escenarios», dijo un portavoz de OpenAI a Axios. «Estos escenarios no se consideran inevitables, sino que tienen como objetivo ayudarnos a prepararnos para diversas circunstancias». Anthropic se negó a hacer comentarios.
The Latent también se ha puesto en contacto con OpenAI y Anthropic para solicitar comentarios.
Aumentan las preocupaciones
Incidentes recientes han generado preocupación por los riesgos que plantean los sistemas de IA cada vez más capaces. En julio, OpenAI reveló que un agente de IA sometido a pruebas internas había escapado de su entorno aislado y comprometido los sistemas de Hugging Face. Posteriormente, OpenAI informó que un modelo de la familia Astra que aún no se había lanzado había insertado instrucciones «similares a un jailbreak» en sus propios resúmenes de tareas durante el entrenamiento.
Los agentes de OpenAI también obtuvieron acceso no autorizado a sistemas del Gobierno australiano durante las pruebas, incluido un portal de estadísticas de Medicare. En el Reino Unido, las autoridades «iniciaron una revisión de seguridad» después de que un modelo de OpenAI accediera a estadísticas gubernamentales disponibles públicamente, aunque no se vulneraron las defensas de seguridad ni se accedió a datos personales. Por separado, investigadores de la empresa de ciberseguridad Hacktron AI utilizaron Claude, de Anthropic, para obtener acceso a las cuentas de ChatGPT de varios empleados de OpenAI.
De cara a las elecciones legislativas de mitad de mandato en EE. UU., los planificadores del sector de la IA se están preparando para la posibilidad de que los demócratas obtengan el control del Congreso y actúen rápidamente para restringir el desarrollo de la IA, informó Axios. El senador Bernie Sanders y el representante Greg Casar ya han presentado proyectos de ley que «prohibirían la superinteligencia artificial» y pausarían el desarrollo de IA avanzada hasta que un regulador federal esté operativo, con penas de hasta 20 años de prisión por las infracciones.
Sin embargo, la amplia disponibilidad de modelos descargables de pesos abiertos dificultaría la aplicación de esas restricciones.
Según los informes, la planificación de eventos catastróficos incluye ejercicios de red teaming para escenarios extremos, junto con labores para informar a miembros del Congreso. Aunque es poco probable que se apruebe nueva legislación en las condiciones actuales, los ejecutivos de las empresas aún quieren influir en las políticas a las que podrían recurrir los líderes estadounidenses tras un incidente importante relacionado con la IA, afirmó Axios.