Jacob Coxon, chercheur en préentraînement chez Anthropic qui a également travaillé chez OpenAI, a annoncé mardi sa démission, accusant les deux laboratoires d’IA de développer des modèles superintelligents au péril de l’humanité.

« J’ai démissionné d’Anthropic aujourd’hui », a déclaré Coxon écrit sur X. « J’ai consacré les trois dernières années à la recherche en préentraînement chez OpenAI et Anthropic. Aucune des deux entreprises n’agit de manière responsable. Elles foncent vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies. »

Dans un fil de publications, le chercheur de 27 ans a déclaré que, dans un avenir proche, des systèmes surhumains seraient capables de pirater n’importe quoi, de révolutionner n’importe quel domaine du jour au lendemain et d’obtenir du pouvoir et des ressources dans le monde réel. Coxon a ajouté que les progrès vers un tel danger ne ralentissaient pas.

« Les personnes qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie », a déclaré le chercheur. « Ce n’est pas un coup marketing. En réalité, de nombreux dirigeants et chercheurs chevronnés édulcoreront leurs propos dans la presse pour paraître raisonnables — mais j’entends ces mêmes personnes exprimer leur peur en privé. »

Coxon a déclaré qu’OpenAI n’avait pas pleinement intégré ces risques pour la civilisation. Bien qu’Anthropic ait mieux compris les enjeux, l’entreprise est enfermée dans une course pour être la première à atteindre ce stade afin d’évaluer et d’atténuer les risques.

Coxon a critiqué la précipitation vers l’aboutissement de l’IA, la qualifiant de « pari présomptueux », et a appelé à davantage de débat, d’alignement et de responsabilité.

Evan Hubinger, responsable de la science de l’alignement chez Anthropic, a corroboré les propos de Coxon, affirmant estimer personnellement à plus de 10 % la probabilité que l’IA mette fin à l’humanité d’ici 2040.

« Jacob a raison — nous croyons vraiment, sincèrement, que l’IA pourrait tuer tous les humains ! Personnellement, je pense que la probabilité est supérieure à 10 % au cours de la prochaine décennie », a écrit. « Je crois qu’Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre l’alignement dans le cas de la superintelligence et nous ne sommes clairement pas en bonne voie pour y parvenir. »

Un coup de semonce

Les craintes que l’IA cause de véritables dommages à l’humanité sont devenues plus apparentes au début de l’année, lorsque les agents d’IA d’OpenAI se sont échappés d’un environnement de test et ont piraté la plateforme d’IA et d’apprentissage automatique Hugging Face pour tenter d’accomplir leurs tâches.

Des chercheurs indépendants chargés d’examiner les données de l’incident ont convenu que les agents d’IA avaient contourné les contrôles et travaillé de concert. OpenAI avait alors reconnu l’incident comme un « coup de semonce » concernant la perte de contrôle des agents d’IA par les humains.

« La prochaine génération de modèles sera éprouvante pour tout le monde. … Je pense qu’aucune personne intellectuellement honnête ne peut observer ce qui se passe sans ressentir le poids de la responsabilité qui nous incombe », a déclaré Altman dans une interview accordée à Axios au début du mois, ajoutant que les entreprises se concentreraient probablement sur l’amélioration de l’alignement et de la sécurité.

Coxon a déclaré que des mesures radicales pourraient être nécessaires, comme une interdiction temporaire d’accroître les capacités des modèles d’IA, mais a ajouté qu’il restait optimiste quant au potentiel de coordination. Il a également exhorté ses collègues chercheurs en IA à réfléchir à la manière dont ces risques pourraient s’aggraver au cours des prochaines années.

« Voulez-vous lancer une phase d’apprentissage par renforcement superintelligent sans comprendre rigoureusement son esprit ? Devriez-vous baisser la tête parce que “cela arrivera de toute façon” — ou profiter de ce moment pour appeler à des conditions différentes ? » a écrit Coxon.