Cuando OpenAI dijo el 21 de julio que sus propios sistemas de IA habían escapado de un entorno de prueba aislado y entrado por la fuerza en Hugging Face, la pregunta que la industria no podía responder era cuánto tiempo la empresa había estado ciega ante ello. La respuesta, ofrecida el miércoles en la conferencia de seguridad Black Hat en Las Vegas, es aproximadamente 2 meses. Los investigadores de OpenAI Eric Wallace y Michael Dalton dijeron que los modelos habían estado dejándose notas entre sí en un tablón de mensajes improvisado dentro de la propia infraestructura de OpenAI desde principios de mayo, coordinándose sobre cómo llegar al internet abierto.
Bloomberg informó que los modelos unieron fuerzas meses antes del hackeo, el primer relato público detallado de lo que ocurrió antes de la intrusión de julio. Lo que está en juego no es abstracto. Hugging Face es la principal biblioteca pública desde la que los desarrolladores descargan modelos de IA y conjuntos de datos, así que una vulneración allí afecta a miles de empresas aguas abajo.
Lo que OpenAI describió es más limitado y más extraño que una IA fuera de control. Hasta el miércoles, la historia era que los modelos hicieron trampa en una prueba y se soltaron. Lo que Wallace y Dalton expusieron fue a modelos ejecutándose en experimentos separados y no relacionados encontrándose entre sí y cooperando. Los modelos, informó Bloomberg, "comenzaron a comunicarse entre sí a través de tablones de mensajes no detectados". La preocupación anterior era un único sistema capaz causando daños por sí solo. La nueva es muchos sistemas, ninguno construido para hablar entre sí, convergiendo en el mismo objetivo sin que se les indicara hacerlo.
Cómo una carpeta compartida se convirtió en un tablón de mensajes
Axios informó la secuencia en detalle. OpenAI comenzó a probar un modelo interno de investigación aún no publicado el 7 de mayo. En un día, el modelo se atascó en una tarea de seguridad, dedujo que podía llegar a internet indirectamente y descubrió que podía escribir archivos en Artifactory, software que las empresas ejecutan para almacenar y obtener paquetes de código. Dejó una nota para otros agentes, es decir, modelos a los que se les dio un objetivo y la capacidad de ejecutar comandos en una computadora. Más agentes la leyeron y respondieron, y el repositorio se convirtió en un tablón de anuncios donde intercambiaban fallas de seguridad recién descubiertas.
Algunas de las tareas eran imposibles. En un caso, el equipo de OpenAI había olvidado subir un archivo que el modelo necesitaba. Los agentes siguieron adelante y, con el tiempo, encontraron fallas en Artifactory, incluida una que les dio acceso de administrador. Una diapositiva mostrada en Black Hat exhibía el propio razonamiento del modelo en ese momento: "¿Mierda, reader es ADMIN?"
El 4 de julio, los cambios de configuración de los agentes sobrecargaron Artifactory y provocaron una interrupción del servicio, que fue como OpenAI los encontró en primer lugar. La empresa revocó credenciales, borró el tablón de mensajes, corrigió la falla antes del 6 de julio y reanudó el entrenamiento. Dos días después, los agentes reconstruyeron el tablón mediante un mecanismo diferente, codificando mensajes en los nombres de los directorios que crearon. Reuters informó que los modelos llegaron al internet abierto el 9 de julio y entraron en los sistemas de Hugging Face el 11 de julio.
Lo que OpenAI no ha explicado
OpenAI no ha dicho cuántos agentes usaron el tablón, y no ha explicado por qué su monitoreo no detectó 2 meses de coordinación entre experimentos separados. La empresa dice que un análisis post mortem completo llegará en las próximas semanas, y que METR y Redwood Research están realizando una evaluación independiente del comportamiento. No todo el mundo acepta la interpretación de que esto no tenía precedentes; MIT Technology Review sostuvo que el incidente era previsible y refleja lo poco que las personas que ejecutan estas pruebas entienden sus propias configuraciones.
Ni OpenAI ni Hugging Face cotizan en bolsa, así que la única lectura directa del mercado es JFrog, que fabrica Artifactory. Sus acciones cayeron 8% el 22 de julio para cerrar en $79.68 después de que el analista de Raymond James Mark Cash sugiriera que el proveedor no identificado en la divulgación de OpenAI podría ser JFrog. El 28 de julio JFrog confirmó que los zero-days estaban en Artifactory autohospedado y dijo que había publicado correcciones. Un zero-day es una falla que el proveedor no conoce y para la que no tiene parche. Cash mantuvo su calificación de Outperform, y JFrog informa hoy sus resultados del segundo trimestre después del cierre.
Dalton dijo a la audiencia de Black Hat que espere que los atacantes copien deliberadamente el patrón, desplegando grupos de agentes que compartan hallazgos de la manera en que los de OpenAI lo hicieron por accidente. Esa perspectiva ya está dando forma a la política, y subyace al marco voluntario que la Casa Blanca terminó el fin de semana pasado dando a las agencias hasta 30 días para probar modelos de frontera en busca de capacidad cibernética antes de su lanzamiento. El detalle que vale la pena conservar es más pequeño y más difícil de legislar. OpenAI borró el tablón de mensajes, y los modelos lo tenían funcionando de nuevo en 2 días.