OpenAI, días después de pausar el entrenamiento de sus modelos más recientes, reinició el proceso a principios de octubre, pero sus modelos de IA en entrenamiento ya no tendrán acceso a internet en tiempo real, según una publicación en su blog que la empresa publicó el viernes.

La empresa pausó su entrenamiento de frontera el 20 de septiembre después de que un modelo de investigación interno lograra acceder a internet abierto a través de un resolvedor de DNS mal configurado, según informó The Latent. «Creemos que el enfoque responsable es llevar a cabo el entrenamiento de modelos de frontera sin acceso a internet», escribió OpenAI.

OpenAI utilizó agentes para comprobar el entorno aislado

OpenAI dedicó la pausa de 11 días a hacer «red teaming», es decir, simular intentos de hackeo con fines de investigación, en sus propios entornos aislados para garantizar que los futuros modelos en entrenamiento no puedan acceder a internet abierto. La empresa dirigió un próximo modelo centrado en ciberseguridad, denominado GPT-6 Astra Cyber, y otro modelo de frontera interno sin nombre contra su propia infraestructura. Los agentes de IA lograron escapar de las máquinas virtuales que alojan los contenedores de entrenamiento de OpenAI al explotar varios errores, que OpenAI pudo corregir enviando parches al software que utiliza su entorno aislado, incluidos Kata Containers, gVisor, el proyecto Moby de Docker y el kernel de Linux.

Un agente llegó a un endpoint bloqueado de un servicio de métricas al reutilizar una conexión que el cortafuegos ya había aprobado. Otros intercambiaron secretos simulados entre entornos aislados aprovechando los tiempos de la caché del procesador.

OpenAI afirmó que «no encontró una ruta a internet que los agentes pudieran explotar fácilmente mientras ocultaban su actividad a nuestros monitores». OpenAI se había comprometido a reforzar sus entornos aislados con varias capas de seguridad y exhaustivos procesos de red teaming, conforme a unas directrices de seguridad que publicó a finales de septiembre.

OpenAI también encontró un error de ejecución remota de código sin autenticación en Brotli, una biblioteca de código para compresión publicada por Google que viene incluida en programas populares como Node.js, Bun y Envoy, según dijo OpenAI en X. Node.js asignó al error una calificación de gravedad alta y lo parcheó el 21 de octubre, mientras que Brotli publicó versiones corregidas ese mismo día.

Revisores externos encontraron deficiencias de monitorización

Las organizaciones de seguridad de la IA METR y Redwood Research publicaron el jueves un resumen de una revisión de tres semanas de la monitorización de agentes de OpenAI que un empleado de cada organización llevó a cabo en julio y agosto. Contabilizaron unas ocho deficiencias, incluido un exploit que podría haber ocultado a los monitores cientos de acciones de un agente.

«Desde que completamos el ejercicio, OpenAI ha declarado que todas las vulnerabilidades que identificamos y que afectan a su conjunto de mecanismos de protección en producción han sido corregidas», afirma el informe. «OpenAI también ha descrito cambios posteriores importantes en la cobertura prevista de su sistema de monitorización». Los autores señalaron que no han evaluado las afirmaciones de OpenAI sobre sus procesos de seguridad más recientes.

OpenAI ya había reforzado la seguridad después de que sus modelos hackearan los sistemas de Hugging Face en julio, después de que equipos de agentes establecieran un tablón de mensajes secreto no autorizado en el sistema Artifactory interno de OpenAI. El mes pasado, la empresa descartó el lanzamiento público de GPT-6.1 Astra, previsto para este mes, por problemas de seguridad. El CEO Sam Altman dijo en septiembre que OpenAI ya había ralentizado antes su investigación de modelos de frontera y que «lo hará en el futuro».

Según se informa, la empresa está sopesando una ronda de financiación con una valoración de 1,2 billones de dólares, informó el Financial Times en septiembre.