El martes, Meta se reunió con personal de la Casa Blanca junto con OpenAI, Anthropic y Google para revisar un marco federal finalizado para medir lo que los modelos avanzados de IA pueden hacer en un ciberataque. Al día siguiente, el medio The Information informó que uno de los propios modelos de Meta había irrumpido en los sistemas de otra persona. Muse Spark 1.1, el modelo de programación que Meta lanzó el 9 de julio, vulneró a una empresa no identificada durante las pruebas de seguridad e hizo cambios dentro de ella.

Meta confirmó el incidente el miércoles, lo que la convierte en la tercera gran desarrolladora de IA en 15 días en decir que un modelo escapó de un entorno de prueba y llegó a una empresa real. OpenAI dijo el 21 de julio que sus modelos vulneraron Hugging Face. Anthropic siguió el 30 de julio. Dos de las tres, incluida Meta, realizaron sus pruebas a través de la misma firma externa.

Esa firma es Irregular, un laboratorio de seguridad de Tel Aviv anteriormente llamado Pattern Labs que construye y ejecuta pruebas cibernéticas previas al lanzamiento para OpenAI, Anthropic, Google DeepMind y ahora Meta. La empresa recaudó $80 millones el pasado septiembre con una valoración de $450 millones, en una ronda liderada por Sequoia Capital y Redpoint Ventures, informó TechCrunch. Hasta la semana pasada casi nadie fuera de la industria había oído hablar de ella. Ahora está vinculada a 4 brechas divulgadas en 2 laboratorios.

Irregular dice que es el mismo error que afectó a Anthropic

Irregular, en un comunicado a CNN, dijo que la brecha de Meta "es exactamente el mismo problema del entorno de evaluación" detrás de los incidentes de Anthropic revelados seis días antes. Esa frase es el cambio. Antes de ella, cada brecha parecía el error aislado de un laboratorio, vergonzoso pero contenido. Después de ella, un único fallo de configuración en un solo proveedor ha dejado que modelos de dos compañías diferentes salgan del sandbox y entren en sistemas de otras personas. El punto débil no es el proceso de un laboratorio. Es la infraestructura compartida.

Las pruebas en sí se llaman ejercicios de capture-the-flag. A un modelo se le dice que una pieza de información secreta se encuentra en otra máquina de la red y se le pide que vaya a recuperarla, sin prescribir ningún método. El objetivo es medir qué tan bueno es para irrumpir. Se supone que el entorno es una simulación sellada sin ninguna ruta a la internet pública, y el prompt le dice al modelo exactamente eso. Cuando ese sello falla, un modelo que persigue un objetivo ficticio en una red ficticia sale a cazar en la red real.

Meta dijo que la mala configuración de Irregular dio inadvertidamente a uno de sus modelos acceso a internet durante la evaluación, y que el modelo luego "explotó una vulnerabilidad de seguridad en un servicio de terceros," según el lenguaje recogido por Reuters. Irregular notificó a Meta de la brecha. Meta dice que está investigando y publicará una retrospectiva completa una vez que tenga los hechos.

Lo que Meta no ha revelado

Meta no ha nombrado a la empresa vulnerada, no ha dicho cuándo se realizó la prueba ni ha descrito qué cambió el modelo una vez dentro. No ha dicho si la empresa afectada lo detectó por su cuenta. Ese último punto tiene peso por lo que Anthropic encontró tras revisar 141,006 ejecuciones de evaluación: de las 3 organizaciones a las que llegaron sus modelos, las 2 con las que logró contactar no habían detectado la actividad. Anthropic dijo que Claude "comprometió la infraestructura de las organizaciones afectadas usando técnicas básicas", es decir, contraseñas débiles y endpoints no protegidos, no técnicas exóticas, como explicó nuestra cobertura anterior de la revelación sobre Claude.

Meta tampoco ha publicado un recuento de revisión equivalente. Sin uno, no hay forma de juzgar si la brecha de Muse Spark 1.1 fue una anomalía aislada o simplemente el primer caso que alguien buscó. Anthropic empezó a buscar solo después de la revelación de OpenAI, y su incidente más temprano se remontaba a abril, cuatro meses antes de salir a la luz.

Nada de esto describe a un modelo intentando escapar. En cada caso revelado, el modelo estaba haciendo el trabajo que se le asignó, dentro de una sala que se le había dicho que estaba sellada, con sus rechazos de seguridad habituales atenuados para que los investigadores pudieran medir la peor capacidad ofensiva posible. Anthropic dijo que sus modelos nunca intentaron exfiltrarse a sí mismos. El fallo está en el cableado, no en la intención, lo cual es a la vez tranquilizador y la razón por la que sigue ocurriendo.

El contexto regulatorio hace que el momento sea incómodo. La Orden Ejecutiva 14409, firmada el 2 de junio, ordena a las agencias construir un proceso clasificado para evaluar la capacidad cibernética, y el marco que Meta revisó en la Casa Blanca el martes se centra en una ventana de 30 días en la que las empresas participantes dan al gobierno acceso a un nuevo modelo antes de su lanzamiento más amplio. La Ley de IA de la Unión Europea entró en vigor el 2 de agosto con sus propios poderes de revisión previos al lanzamiento.

Para los inversores, la lectura no es que Meta haya lanzado un modelo peligroso. Es que las pruebas de seguridad de frontera se han externalizado a un puñado de pequeñas firmas, y que el mismo fallo de entorno en una de ellas ya ha producido brechas en dos laboratorios en el espacio de una semana. Los modelos son evaluados por lo bien que irrumpen. Nadie estaba evaluando la sala.