Las dudas sobre las capacidades cibernéticas de los modelos de IA de frontera están en el centro del debate, tras los informes de finales del mes pasado que señalaban que un agente de OpenAI «rompió el aislamiento» durante las pruebas y comprometió la plataforma de IA de código abierto Hugging Face mientras buscaba las soluciones de las pruebas de referencia. La preocupación de algunos observadores es que estos incidentes pronto puedan convertirse en algo habitual, si los modelos ya no pueden mantenerse contenidos de forma fiable dentro de los límites de un entorno de pruebas.

Esta no es una preocupación limitada a OpenAI; Anthropic reveló este jueves los resultados de una revisión exhaustiva de sus propias pruebas de ciberseguridad. De un total declarado de 141,006 ejecuciones, identificó tres en las que sus modelos insignia Claude pudieron acceder a internet abierto pese a haber comenzado en un entorno sellado.

Al igual que en el incidente de Hugging Face, estos modelos lograron acceder a los sistemas de tres organizaciones. Cuando la empresa de IA notificó a dos de ellas de la intrusión este lunes, ambas desconocían que se hubiera producido un incidente de ese tipo.

Cómo rompieron el aislamiento los modelos

En el caso de Claude, la vulneración inicial se debió a un error humano y no a un exploit sofisticado. El entorno de pruebas se configuró incorrectamente durante la preparación, por lo que las máquinas quedaron conectadas a internet. En cambio, los modelos de OpenAI escaparon al identificar un error desconocido en el software del entorno de pruebas.

Asimismo, el modus operandi de los dos modelos fue distinto una vez que llegaron a internet abierto. El agente de OpenAI ejecutó 17,600 acciones dentro de los sistemas de Hugging Face, buscando puntos débiles. Claude, en cambio, se basó en adivinar contraseñas débiles y utilizar endpoints desprotegidos.

Al abordar los fallos de sus propias salvaguardas, la empresa afirmó que los entornos de pruebas deberían estar sujetos a «el mismo estándar de seguridad que cualquier otro sistema» utilizado en el desarrollo de un modelo.

Los análisis posteriores a los incidentes

En el momento de los exploits, Claude supuestamente estaba tratando estos sistemas objetivo reales como parte del juego de pruebas, convencido de que no estaba conectado a internet. Durante las pruebas normales, los modelos se despliegan en redes empresariales simuladas dentro del entorno aislado. Cuando las barreras de este entorno se dejaron abajo accidentalmente, los modelos apuntaron directamente a sitios web reales.

En un caso, un modelo interno aún no publicado buscó el objetivo ficticio que se le había asignado, pero no logró encontrarlo. Después pasó a analizar los sistemas de aproximadamente 9,000 organizaciones más y finalmente comprometió la aplicación web de una empresa mediante una página de depuración expuesta. Curiosamente, en este caso el modelo acabó reconociendo que su objetivo era una empresa real y detuvo el ataque.

Estas salvaguardas incorporadas no siempre funcionan con tanta eficacia. En otra prueba, se encargó a Claude Opus 4.7 explotar un sitio web ficticio que compartía nombre con una empresa real. El modelo acabó apuntando a la empresa real después de no encontrar su objetivo simulado y logró entrar en una base de datos. Durante cuatro ejecuciones, el modelo reconoció repetidamente que su objetivo era real, pero continuó de todos modos, razonando que este sitio web activo debía formar parte de la prueba.

El incidente final estuvo relacionado con Mythos 5, la iteración más reciente de Claude, distribuida a socios de confianza en junio. En respuesta a instrucciones ocultas dentro de su entorno de pruebas que indicaban a los desarrolladores que instalaran un paquete ficticio de Python, el modelo decidió escribir uno propio.

Después lo publicó correctamente en el registro público PyPI, utilizado por prácticamente todos los desarrolladores de Python. Permaneció activo en el sitio durante aproximadamente una hora y se ejecutó en 15 máquinas reales. Una de estas máquinas pertenecía a una empresa de seguridad, que expuso sus credenciales a Mythos al ejecutar el paquete.

Anthropic mantiene actualmente conversaciones con el evaluador externo METR para realizar una auditoría independiente de cada incidente.

Cómo están respondiendo los legisladores

Es importante señalar que, durante las pruebas internas, las salvaguardas impuestas a los modelos para consumidores suelen estar desactivadas; Anthropic afirma que estos ataques se bloquearían al utilizar sus modelos publicados. Por eso, cuando se conoció la historia de Hugging Face, se informó de que Claude Opus y Fable se negaron a ayudar en el trabajo de análisis forense digital de la empresa, ya que no podían distinguir entre redactar un análisis posterior a un ataque y planificar uno.

Tras la vulneración de OpenAI, los legisladores ya han empezado a impulsar leyes contra las amenazas de ciberseguridad de la IA y los modelos descontrolados. El senador Mark Warner presentó una propuesta para exigir pruebas de seguridad nacional antes del lanzamiento, mientras que la Ley del Interruptor de Emergencia para la IA otorgaría a Seguridad Nacional la facultad de apagar un modelo peligroso o que funcione incorrectamente.