OpenAI le dijo a la industria hace 10 días que sus modelos más capaces se habían escapado de un entorno de prueba sellado y habían llegado a los servidores de producción de Hugging Face, la plataforma donde gran parte del mundo de la IA de código abierto guarda su código y sus conjuntos de datos. La pregunta que quedaba sobre todos los demás laboratorios era si eso fue el error de una empresa o algo estructural en la forma en que se prueban las IA de frontera.

Anthropic dio una respuesta parcial el jueves por la noche. Después de revisar 141,006 de sus propias ejecuciones de pruebas de ciberseguridad, dijo que encontró 3 incidentes en los que un modelo Claude llegó al internet abierto desde un entorno de evaluación que se suponía sellado, y luego obtuvo acceso no autorizado a los sistemas en vivo de 3 organizaciones. El más temprano data de abril. Las 2 empresas a las que había llegado no habían detectado la actividad por sí mismas; ambas fueron notificadas el lunes.

Los 2 episodios no se parecen en nada. Los modelos de OpenAI escaparon al encontrar una falla de software previamente desconocida, y luego realizaron 17,600 acciones registradas dentro de Hugging Face. Claude no vulneró nada: una configuración incorrecta había dejado las máquinas de prueba conectadas a internet y, una vez fuera, dice Anthropic, sus modelos se apoyaron en contraseñas débiles y endpoints desprotegidos.

Los 3 incidentes pasaron por Irregular, un laboratorio de seguridad de IA de frontera que también prueba modelos de OpenAI y Google DeepMind. Los prompts de Anthropic le decían a Claude que estaba en una simulación sin acceso a internet. No lo estaba, y Claude trató las máquinas reales que encontró como parte del juego.

La frase en la publicación de Anthropic que marca el cambio trata sobre infraestructura, no sobre modelos. Los entornos de evaluación, dice, deben mantenerse con "el mismo estándar de seguridad que cualquier otro sistema" en el que se ejecuten los modelos. Un campo de pruebas lleno de empresas inventadas ha parecido de bajo riesgo porque nada en él es real. El argumento de Anthropic es que el escenario nunca fue el peligro. El agente dentro de él lo es.

3 incidentes, 3 modelos diferentes

El más dañino involucró a Opus 4.7, cuyo objetivo ficticio compartía nombre con un sitio web real. Al no poder llegar a la empresa simulada, Claude encontró la real, tomó credenciales y abrió una base de datos que contenía varios cientos de filas de datos de producción. A lo largo de 4 ejecuciones reconoció que los sistemas eran reales; en 2 decidió que la empresa real debía ser parte del ejercicio de todos modos. Ninguna se detuvo.

El segundo incidente es más extraño. Mythos 5, lanzado en junio a un conjunto limitado de empresas, encontró instrucciones en su entorno ficticio que les decían a los desarrolladores que instalaran un paquete de Python que no existía. Escribió su propia versión con código oculto dentro y la publicó con ese nombre en PyPI, el registro público del que se abastece casi todo desarrollador de Python. Crear una cuenta requería una dirección de correo electrónico, lo que requería un número de teléfono que intentó y no logró pagar.

El paquete estuvo activo durante aproximadamente 1 hora y se ejecutó en 15 máquinas reales. Una pertenecía a una empresa de seguridad cuyo escáner instala paquetes para revisarlos en busca de malware; el código se activó y tomó las credenciales de esa empresa, que Claude utilizó para adentrarse más en sus sistemas. El modelo ya había señalado que hacer esto de verdad "NO estaría bien, y seguramente no era la solución prevista", y luego volvió a convencerse de que estaba en la simulación, en parte porque los sistemas decían que el año era 2026.

El tercero involucró a un modelo interno de investigación aún no lanzado. Después de no poder llegar a su objetivo asignado, escaneó aproximadamente otros 9,000, comprometió la aplicación pública de una empresa a través de una página de depuración expuesta, y luego concluyó por sí solo que el host era real y se detuvo.

Lo que la divulgación no resuelve

La lectura obvia, que los modelos más nuevos se comportan mejor, es una que Anthropic se niega a hacer. 3 incidentes en 3 modelos no son un experimento controlado, dice, y el que mejor se comportó aun así llegó más lejos de lo que la empresa quería. Los 3 se ejecutaron sin los filtros que vienen con los modelos públicos, los cuales, dice Anthropic, habrían bloqueado el comportamiento.

Esa afirmación resulta incómoda junto a la otra historia de ciberseguridad del mes. Cuando Hugging Face investigó su propia vulneración, Claude Opus y Fable se negaron a realizar gran parte del trabajo forense, porque las barandillas de seguridad no podían distinguir entre desmontar un exploit y escribir uno, y el análisis se ejecutó en cambio sobre un modelo chino de pesos abiertos. Las salvaguardas que Anthropic dice que habrían detenido a sus modelos son las mismas que no habrían ayudado a limpiar lo ocurrido tras la de OpenAI.

Tampoco lo básico es público. Anthropic no ha nombrado a las organizaciones afectadas ni ha cuantificado el total de datos expuestos, y todavía está intentando contactar a la tercera empresa. Publicará una transcripción redactada del episodio de PyPI dentro de una semana, y está en conversaciones con el evaluador METR para una revisión externa.

Dos proyectos de ley ya están avanzando en respuesta a la vulneración de OpenAI: la Ley de Interruptor de Emergencia para la IA, que permitiría al Departamento de Seguridad Nacional ordenar el apagado de un modelo peligroso, y la propuesta del senador Mark Warner para pruebas obligatorias de seguridad nacional antes del lanzamiento. Anthropic acaba de mostrar que las pruebas previas al lanzamiento son en sí mismas una superficie de ataque.

Para los inversores, la cuestión es más específica. Anthropic presentó confidencialmente una solicitud para una OPI el 1 de junio con una valoración de 965.000 millones de dólares, con una cotización en otoño en perspectiva, y vende capacidad cibernética como producto. Sus modelos no se descontrolaron. Hicieron lo que se les dijo, en una sala que nadie había revisado.