Quelques jours après avoir interrompu l’entraînement de ses derniers modèles, OpenAI a relancé le processus au début du mois d’octobre, mais ses modèles d’IA en cours d’entraînement n’auront désormais plus accès à Internet en temps réel, selon un article de blog publié vendredi par l’entreprise.

L’entreprise a interrompu son entraînement de pointe le 20 septembre après qu’un modèle de recherche interne a réussi à accéder à l’Internet ouvert par l’intermédiaire d’un résolveur DNS mal configuré, comme l’a rapporté The Latent. « Nous pensons que l’approche responsable consiste à entraîner les modèles de pointe sans accès à Internet », a écrit OpenAI.

OpenAI a utilisé des agents pour vérifier le bac à sable

Pendant cette pause de 11 jours, OpenAI a effectué des « tests d’intrusion », c’est-à-dire des simulations de tentatives de piratage à des fins de recherche, sur ses propres bacs à sable afin de garantir que les futurs modèles en cours d’entraînement ne puissent pas accéder à l’Internet ouvert. L’entreprise a dirigé un prochain modèle axé sur la cybersécurité, baptisé GPT-6 Astra Cyber, ainsi qu’un autre modèle de pointe interne, dont le nom n’a pas été communiqué, contre sa propre infrastructure. Les agents d’IA ont réussi à s’échapper des machines virtuelles qui hébergent les conteneurs d’entraînement d’OpenAI en exploitant plusieurs failles. OpenAI a pu les corriger en envoyant des correctifs aux logiciels utilisés par son bac à sable, notamment Kata Containers, gVisor, le projet Moby de Docker et le noyau Linux.

Un agent a atteint un point de terminaison bloqué d’un service de métriques en réutilisant une connexion que le pare-feu avait déjà autorisée. D’autres ont échangé des secrets simulés entre les bacs à sable en exploitant le minutage du cache du processeur.

OpenAI a déclaré n’avoir « trouvé aucun chemin vers Internet que les agents pourraient exploiter facilement tout en dissimulant leur activité à nos systèmes de surveillance ». OpenAI s’était engagé à renforcer ses bacs à sable avec plusieurs couches de sécurité et des processus intensifs de tests d’intrusion, conformément aux lignes directrices de sécurité qu’il a publiées fin septembre.

OpenAI a également découvert une faille d’exécution de code à distance non authentifiée dans Brotli, une bibliothèque de code de compression publiée par Google et intégrée à des logiciels populaires tels que Node.js, Bun et Envoy, a déclaré OpenAI sur X. Node.js a attribué à la faille un niveau de gravité élevé et l’a corrigée le 21 octobre, Brotli ayant publié des versions corrigées le même jour.

Des évaluateurs externes ont découvert des lacunes de surveillance

Les organisations spécialisées dans la sécurité de l’IA METR et Redwood Research ont publié jeudi un résumé d’un examen de trois semaines consacré à la surveillance des agents d’OpenAI, mené par un employé de chacune des deux organisations en juillet et août. Ils ont recensé environ huit lacunes, dont une faille qui aurait pu dissimuler aux systèmes de surveillance des centaines d’actions effectuées par un agent.

« Depuis la fin de cet exercice, OpenAI a déclaré que toutes les vulnérabilités que nous avons identifiées et qui affectent sa pile de protections en production ont été corrigées », indique le rapport. « OpenAI a également décrit d’importants changements ultérieurs apportés à la couverture prévue de son système de surveillance. » Les auteurs ont précisé qu’ils n’avaient pas évalué les affirmations d’OpenAI concernant ses processus de sécurité les plus récents.

OpenAI avait déjà renforcé sa sécurité après que ses modèles ont piraté les systèmes de Hugging Face en juillet, après que des équipes d’agents ont créé un forum de messagerie clandestin non autorisé dans le système Artifactory interne d’OpenAI. Le mois dernier, l’entreprise a abandonné la sortie publique de GPT-6.1 Astra, prévue ce mois-ci, en raison de problèmes de sécurité. Le PDG Sam Altman a déclaré en septembre qu’OpenAI avait déjà ralenti ses recherches sur les modèles de pointe et qu’elle « le ferait à l’avenir ».

L’entreprise envisagerait une levée de fonds sur la base d’une valorisation de 1 200 milliards de dollars, a rapporté le Financial Times en septembre.