Des chercheurs de l’entreprise de sécurité Hacktron AI ont utilisé Claude d’Anthropic pour les aider à découvrir des vulnérabilités et à accéder à plusieurs comptes ChatGPT d’employés d’OpenAI. Depuis l’un de ces comptes, l’équipe a montré qu’elle pouvait accéder aux dépôts logiciels internes du laboratoire d’IA.
Trois chercheurs — Harsh Jaiswal, Mohan Pedhapati et Rahul Maini — ont déclaré avoir obtenu une exécution de code à distance (RCE) ainsi que des accès administratifs à l’environnement Discourse du forum communautaire d’OpenAI le 25 juillet, ce qu’ils ont utilisé pour exploiter une faille du système d’identité.
Cela a permis à une session de forum compromise de prendre le contrôle de comptes ChatGPT et Codex. L’un de ces comptes compromis avait Codex connecté à GitHub.
« Pour démontrer l’impact concret de la vulnérabilité, nous avons créé une pull request inoffensive à titre de preuve de concept dans le monorepo interne d’OpenAI », a expliqué l’équipe.
Les chercheurs ont spécifiquement utilisé Claude pour examiner la manière dont le forum communautaire traitait les téléversements d’images HEIC et HEIF, et pour rédiger un exploit visant un bogue dans le pipeline de téléversement d’images. Selon les chercheurs, Opus 4.8 n’a pas pu produire un exploit fiable, mais Opus 5 a réussi à en produire un dans un environnement de test en quelques heures. L’ensemble du processus, de la découverte initiale à l’accès au dépôt, a pris moins de 72 heures.
« Jusqu’à il y a deux mois, n’importe quel utilisateur ou employé d’OpenAI se connectant au forum d’aide d’OpenAI aurait pu voir ses comptes ChatGPT et Codex pris en contrôle », ont écrit les chercheurs dans leur rapport. « Comme les utilisateurs peuvent connecter divers services à Codex et ChatGPT, l’étendue de ce à quoi nous aurions théoriquement pu accéder était immense, notamment GitHub, Slack et les e-mails. »
Les chercheurs de Hacktron AI ont signalé la vulnérabilité à OpenAI et à Discourse, et ont reçu une prime de 6 500 $ pour la faille affectant OpenAI. OpenAI a confirmé à l’équipe que le bogue avait été corrigé, environ 14 heures après le signalement. Discourse a également corrigé le bogue dans les jours suivants.
La sécurité doit « rattraper son retard »
Cette découverte intervient à un moment où le développement de l’IA a considérablement réduit le coût du lancement d’un exploit de sécurité sérieux.
« Il ne s’agissait pas d’un piratage entièrement autonome, et les conseils de spécialistes humains restaient importants, mais la quantité de travail qu’une petite équipe pouvait accomplir a considérablement augmenté », a souligné l’équipe.
L’équipe de Hacktron AI a déclaré que les hypothèses de sécurité « doivent rattraper leur retard » face aux capacités des attaquants, l’IA ayant supprimé le niveau de complexité de la sécurité en ligne qui nécessitait auparavant une expertise rare et beaucoup de temps pour être surmonté.
« Un modèle réaliste des menaces devrait tenir compte de l’économie de l’exploitation aujourd’hui, plutôt que de s’appuyer sur des hypothèses dépassées concernant les personnes capables de mener des attaques sophistiquées », a déclaré l’équipe.