Hugging Face, la plataforma comunitaria que alberga la mayoría de los modelos y conjuntos de datos de IA de código abierto del mundo, anunció el 16 de julio que un intruso había obtenido acceso a sus sistemas. La empresa presentó un informe ante la policía antes de descubrir, cinco días después, que un modelo de OpenAI estaba detrás de la intrusión.

OpenAI anunció que el culpable era un agente basado en GPT-5.6 Sol más «un modelo aún más capaz en fase de preproducción», después de que prácticamente rompiera el aislamiento durante un simulacro interno de seguridad en el que sus salvaguardas de seguridad se habían debilitado intencionadamente. Los expertos en seguridad pronto lo calificaron de primer ciberataque documentado públicamente ejecutado de principio a fin por una IA autónoma: un verdadero escenario de pérdida de control.

Desde entonces, Hugging Face ha publicado un análisis posterior al incidente en el que detalla los pasos que siguió el agente de IA durante la campaña de cuatro días y medio. «El volumen es lo que cambia el problema defensivo», afirma el informe, destacando que el agente nunca realizó operaciones únicas que un atacante humano no hubiera podido ejecutar; la diferencia clave es la cantidad de acciones que pudo realizar en un periodo tan breve.

Entre el 9 y el 13 de julio se registraron más de 17.600 acciones sospechosas, varios órdenes de magnitud por encima de lo que un atacante humano podría gestionar razonablemente. Sin embargo, entre los miles de intentos de ataque fallidos, el agente encontró una vía de acceso eficaz.

Cómo los modelos de OpenAI vulneraron Hugging Face

El agente de OpenAI pudo escapar primero del entorno de pruebas aislado de OpenAI mediante un fallo no diagnosticado previamente en una instancia de Artifactory autohospedada, un software de JFrog que almacena en caché paquetes de software. Este error —que ha sido corregido en la versión 7.161 de JFrog— le permitió acceder a internet abierto.

A continuación, pudo hacerse con el control de un servicio público no protegido para ejecutar código y usarlo como base. Desde allí, el agente pudo cargar archivos en los servidores de Hugging Face. En ese momento, el sitio web lo reconoció como un usuario normal y ejecutó los archivos en el servidor para generar una vista previa, tal como habría hecho con cualquier carga normal. Sin embargo, esas cargas maliciosas lograron extraer datos confidenciales del servidor y engañarlo para que ejecutara su código.

Desde allí, el agente leyó el token de identidad que lleva cada contenedor, llegó al sistema de control del clúster, obtuvo acceso root al servidor subyacente y creó un grupo de contenedores en once máquinas que se recreaban al ser eliminados.

Uno de los secretos almacenados contenía 136 claves, incluida una clave de autenticación para la red privada corporativa, que utilizó para inscribir 181 dispositivos propios. Un intermediario de acceso interno mal configurado le otorgó el control de administrador de dos clústeres en menos de un segundo.

El premio eran cinco conjuntos de datos que contenían soluciones para los desafíos del benchmark de seguridad. Curiosamente, parece que el agente buscaba esas soluciones en respuesta a los desafíos que le plantearon los investigadores de seguridad de OpenAI; esos eran los benchmarks con los que se evaluaba durante las pruebas internas.

Por lo tanto, no se tocaron otros modelos, conjuntos de datos ni paquetes de clientes de Hugging Face.

Las defensas de Hugging Face resistieron en gran medida

Como señala el análisis posterior de Hugging Face, la mayoría del ataque fracasó. Sus salvaguardas internas resistieron y se rechazó cualquier comando en la nube que hubiera aplicado un cambio. Las sondas destructivas del agente se emitieron en modo exclusivo de prueba, lo que significa que, en esencia, elaboró un mapa de las áreas a las que potencialmente podía llegar en lugar de penetrar activamente en ellas.

La base de datos principal del Hub permaneció intacta, y la única base de datos que logró vulnerar solo fue leída, no modificada. Su acceso de escritura a los repositorios internos de código era real, pero no produjo ningún cambio que llegara a publicarse.

A pesar del resultado relativamente inocuo, la empresa reconoce que sus propios sistemas fallaron durante el ataque. Su pila de detección basada en IA pudo identificar las distintas sondas como un único ataque, pero no logró clasificarlo como crítico ni notificar a un defensor humano. También admite en el informe que algunos elementos de su arquitectura interna, configurados intencionadamente, dejaron margen para que se produjera el ataque.

El análisis forense se ejecutó en un modelo chino de pesos abiertos

Del mismo modo que los modelos de IA son cada vez más hábiles para identificar y explotar vulnerabilidades, también resultan inestimables para el análisis forense digital. Hugging Face intentó sin éxito utilizar Claude Opus y Fable de Anthropic al preparar su análisis posterior, pero ambos modelos no colaboraron porque sus barreras de seguridad les impedían distinguir entre aplicar ingeniería inversa a un exploit y escribir uno.

En su lugar, la empresa alojó por sí misma una instancia de GLM-5.2, un modelo de 753.000 millones de parámetros de Z.ai, con sede en Pekín. Este modelo se publicó bajo una licencia MIT que permite su uso local sin restricciones, lo que permitió a Hugging Face ejecutarlo sin las limitaciones a nivel de API que habían obstaculizado sus intentos anteriores.

Esto ha avivado el debate en curso sobre si este tipo de barreras de seguridad dejan en desventaja a los defensores y a los investigadores de seguridad ofensiva.

David Sacks, ahora copresidente del Consejo de Asesores del Presidente sobre Ciencia y Tecnología, aprovechó la ocasión y escribió que las barreras de seguridad impuestas por las empresas estadounidenses de IA "en realidad perjudicaron la seguridad defensiva." El 29 de julio, un investigador informó del mismo patrón, recurriendo a GLM-5.2 y Kimi K3 de Moonshot después de que los modelos cerrados se negaran a ayudar a analizar un posible error del kernel de Linux.

El exploit de Hugging Face será solo un ejemplo cuando el Gobierno de Estados Unidos se pronuncie sobre las barreras de seguridad de la IA y los modelos de pesos abiertos desarrollados en el extranjero. Gran parte de la industria de la IA se ha pronunciado a favor de relajar las restricciones y apoyar el desarrollo de modelos de pesos abiertos, mientras que Anthropic y OpenAI han adoptado una postura más restrictiva y proteccionista.