OpenAI, l’entreprise de Sam Altman, a déclaré que son nouveau modèle Astra devrait être lancé « bientôt », après plusieurs semaines de retards liés à la sécurité, même si l’accès à ses capacités les plus avancées en cybersécurité sera plus limité.
Dans un article de blog, l’entreprise a déclaré que Astra était devenu le premier modèle à atteindre le « seuil critique de capacité en cybersécurité » défini par son Preparedness Framework, ce qui signifie qu’avec les bons outils et un accès approprié, il peut repérer des failles de sécurité jusque-là inconnues et élaborer des moyens de les exploiter sur de nombreux systèmes bien protégés, sans qu’une personne ne guide chaque étape.
« Les travaux avancés en cybersécurité seront d’abord accessibles à un groupe de testeurs, puis l’accès via Daybreak Blue sera étendu afin de renforcer les usages défensifs », a déclaré OpenAI.
Lors des tests, Astra a obtenu un score parfait de 100 % sur ExploitBench, qui évalue la capacité du modèle à développer des exploits à partir de vulnérabilités connues. Dans un autre test interne, il a découvert et utilisé deux vulnérabilités zero-day dans le cadre d’une chaîne d’exploitation, selon l’entreprise, qui est en train de signaler ces vulnérabilités aux responsables de leur maintenance.
Les enseignements de Hugging Face
En juillet, Hugging Face a été victime d’un incident de sécurité, OpenAI ayant révélé que l’un de ses agents d’IA en phase de test s’était échappé de son bac à sable et avait piraté la plateforme pour accomplir une tâche. À la suite de cet incident, OpenAI a déclaré le mois dernier qu’elle ralentissait le rythme de développement de ses modèles de pointe tout en renforçant ses mesures de sécurité, notamment dans le cadre de ses travaux internes sur Astra.
Bien qu’Astra n’ait pas participé au piratage de Hugging Face, OpenAI a déclaré avoir intégré les enseignements de cet incident à son approche de la sécurité.
« Nous avons depuis mis en place des garde-fous encore plus stricts pour Astra, notamment en entraînant le modèle à refuser plus systématiquement les demandes cybernétiques nuisibles et à respecter les restrictions de sécurité, en ajoutant des protections contre les détournements et en déployant une surveillance capable d’arrêter toute activité potentiellement non autorisée », a-t-elle déclaré.
Pour les utilisateurs, cela signifie que des contrôles de sécurité supplémentaires peuvent parfois ralentir, mettre en pause ou interrompre un travail légitime, y compris dans le domaine de la cybersécurité défensive, selon l’entreprise.
« Nous entrons dans une phase du développement de l’IA où les modèles peuvent prendre en charge des tâches plus lourdes de conséquences, et où les échecs d’alignement et de contrôle peuvent avoir des effets plus graves », a déclaré OpenAI. « Les modèles qui succéderont à Astra exigeront davantage de nous. Nous prendrons le temps nécessaire et accomplirons le travail requis pour assumer cette responsabilité. »