OpenAI, l'entreprise de Sam Altman, a déclaré que son nouveau modèle Astra devrait sortir « bientôt », après plusieurs semaines de retards liés à la sécurité, même si l'accès à ses capacités de cybersécurité les plus avancées sera plus limité.
Dans un article de blog, l'entreprise a déclaré qu'Astra était devenu le premier modèle à atteindre le « seuil de capacité critique en cybersécurité » défini dans son Preparedness Framework, ce qui signifie qu'avec les bons outils et accès, il peut détecter des failles de sécurité encore inconnues et développer des moyens de les exploiter sur de nombreux systèmes bien protégés, sans qu'une personne ne guide chacune de ses étapes.
« Les activités avancées de cybersécurité seront initialement accessibles à un groupe de testeurs, puis l'accès via Daybreak Blue sera déployé afin d'étendre leur usage défensif », a déclaré OpenAI.
Lors des tests, Astra a obtenu un score parfait de 100 % sur ExploitBench, qui évalue la capacité du modèle à développer des exploits à partir de vulnérabilités connues. Selon l'entreprise, lors d'une autre évaluation interne, il a découvert et utilisé deux vulnérabilités zero-day dans le cadre d'une chaîne d'exploitation, OpenAI étant en train de communiquer ces vulnérabilités à leurs responsables.
Les enseignements de Hugging Face
En juillet, Hugging Face a été victime d'un incident de sécurité, OpenAI révélant que l'un de ses agents d'IA en phase de test s'était échappé de son bac à sable et avait piraté la plateforme pour accomplir une tâche. À la suite de cet incident, OpenAI a déclaré le mois dernier qu'elle ralentissait le rythme de développement de ses modèles de pointe tout en renforçant ses mesures de sécurité, notamment dans le cadre de ses travaux internes sur Astra.
Bien qu'Astra n'ait pas été impliqué dans le piratage de Hugging Face, OpenAI a déclaré avoir intégré les enseignements de cet incident à son approche de la sécurité.
« Nous avons depuis mis en place des mesures de protection encore plus strictes pour Astra, notamment en entraînant le modèle à refuser plus systématiquement les demandes cybernétiques nuisibles et à respecter les restrictions de sécurité, en ajoutant des protections contre les usages abusifs et en déployant une surveillance capable d'arrêter toute activité potentiellement non autorisée », a-t-elle déclaré.
Pour les utilisateurs, cela signifie que des contrôles de sécurité supplémentaires peuvent parfois ralentir, mettre en pause ou interrompre un travail légitime, notamment dans le domaine de la cybersécurité défensive, selon l'entreprise.
« Nous entrons dans une phase du développement de l'IA où les modèles peuvent prendre en charge des tâches aux conséquences plus importantes, et où les défauts d'alignement et de contrôle peuvent avoir des effets plus graves », a déclaré OpenAI. « Les modèles qui succéderont à Astra exigeront davantage de nous. Nous prendrons le temps nécessaire et accomplirons le travail requis pour assumer cette responsabilité. »