Qu’est-ce qu’un modèle de fondation ?

Le modèle mental utile

Le mot « fondation » décrit la position du modèle dans une chaîne.

broad training data
        ↓
     pretraining
        ↓
  foundation model
     ↙    ↓    ↘
 prompt  task   fine-tuned
         layer  derivative
     ↘    ↓    ↙
 downstream models and applications

La fondation contient les motifs appris pendant le préentraînement sur des données variées. Une étape ultérieure oriente ces motifs vers une tâche particulière. Une adaptation peut classer des tickets d’assistance. Une autre peut répondre à des questions. Une autre encore peut associer des images à des descriptions écrites.

C’est la distinction essentielle : un modèle peut avoir des capacités générales sans être prêt pour un produit particulier. La « fondation » est précieuse parce que différents concepteurs peuvent la réutiliser au lieu de repartir de zéro pour chaque tâche.

Fonctionnement d’un modèle de fondation

Tout d’abord, les développeurs rassemblent de vastes données d’entraînement. Le terme « variées » est relatif au domaine visé. Un modèle de langage peut apprendre à partir de nombreux types de textes, tandis qu’un modèle de fondation pour l’imagerie médicale peut apprendre à partir d’examens variés réalisés dans différents contextes cliniques. « Variées » ne signifie pas nécessairement tous les types de données existants.

Ensuite, le modèle passe par une phase de préentraînement. De nombreux modèles de fondation utilisent l’apprentissage auto-supervisé : les données fournissent elles-mêmes le signal d’apprentissage. Un modèle de texte peut apprendre en prédisant des parties masquées ou les prochaines parties du texte. Un modèle image-texte peut apprendre quelles légendes correspondent à quelles images. L’objectif exact varie, mais il s’agit d’apprendre des motifs qui restent utiles au-delà d’une seule tâche étroite.

Le préentraînement produit un point de contrôle : un ensemble enregistré des valeurs apprises par le modèle. Ce point de contrôle peut ensuite être adapté de plusieurs manières :

• L’invite fournit des instructions ou des exemples dans l’entrée. Elle modifie le comportement immédiat, mais pas les valeurs apprises par le modèle.
• Ajout d’une couche spécifique à la tâche ajoute un petit composant qui convertit la sortie interne du modèle en un résultat particulier, comme un ensemble de catégories.
• Affinage poursuit l’entraînement sur un jeu de données plus ciblé. Il modifie une partie ou la totalité des valeurs apprises afin d’améliorer les performances pour une tâche ou un domaine.
• Intégration au système relie le modèle à des moteurs de recherche, des bases de données, des outils, des règles et une interface. Cela modifie ce que l’application peut faire, même si le modèle sous-jacent reste figé.

Ces méthodes peuvent être combinées. Aucune ne garantit que le résultat adapté sera exact, sûr ou approprié à l’usage prévu. Chaque utilisation en aval nécessite toujours sa propre évaluation.

Un exemple concret

Imaginons qu’une entreprise parte d’un modèle de langage largement préentraîné et souhaite traiter des tickets d’assistance client.

Pour créer rapidement un prototype, l’équipe fournit au modèle une invite contenant les libellés de routage autorisés et quelques exemples. Les valeurs apprises par le modèle ne changent pas.

Pour obtenir un routage plus cohérent, l’équipe ajoute une couche de classification et l’affine sur des tickets antérieurs. Cela crée un dérivé spécifique à la tâche du modèle d’origine.

Pour créer un assistant d’assistance destiné aux clients, l’équipe relie le modèle à des articles d’aide approuvés, à des outils de gestion des comptes, à des vérifications des autorisations et à une interface. Le résultat est un système d’IA construit autour du modèle, et non simplement le modèle de fondation lui-même.

Le même point de contrôle initial a permis d’obtenir trois résultats : un comportement guidé par invite, un modèle adapté et une application complète. C’est cette réutilisation qui en fait un modèle de fondation.

Ce schéma n’est pas hypothétique. Les travaux initiaux sur BERT ont adapté un modèle de langage préentraîné à 11 tâches linguistiques, souvent avec l’ajout d’une seule couche de sortie. Des travaux ultérieurs ont montré d’autres formes de réutilisation : GPT-3 exécutait des tâches à partir d’instructions et d’exemples textuels sans affinage, tandis que CLIP utilisait des libellés en langage naturel pour classer des images qu’il n’avait pas été spécifiquement entraîné à classer.

Pourquoi les modèles de fondation sont importants

Les modèles de fondation concentrent une grande partie de l’apprentissage coûteux et général dans une phase de préentraînement partagée. Les équipes en aval peuvent alors consacrer leurs efforts aux données de la tâche, à l’évaluation, à la conception du produit et aux mesures de protection.

Cette base partagée crée un effet de levier. Une amélioration de la fondation peut bénéficier à de nombreux usages. Elle crée aussi un risque de concentration. Si la fondation contient un biais, une faiblesse de sécurité ou une défaillance systématique, de nombreux modèles adaptés et produits peuvent en hériter. Les chercheurs parlent d’homogénéisation : de nombreux systèmes finissent par dépendre du même petit ensemble de méthodes ou de modèles sous-jacents.

L’adaptation peut réduire un problème pour un cas d’usage, mais elle n’efface pas automatiquement les limites de la fondation. Une application soignée peut dissimuler l’origine commune sans la supprimer.

Idées reçues courantes

« Modèle de fondation » signifie « grand modèle de langage »

Un LLM se définit par son orientation vers le langage et par son échelle. Un modèle de fondation se définit par un préentraînement sur des données variées et par sa réutilisation en aval. De nombreux LLM sont des modèles de fondation, mais cette catégorie comprend aussi des modèles pour les images, l’audio, la robotique, la biologie et les combinaisons de types de données.

Tout modèle de fondation génère du contenu

La génération n’est pas requise par la définition d’origine. Un modèle de fondation peut produire des représentations réutilisables, classer ou hiérarchiser des entrées, ou relier des textes et des images. Les pages des fournisseurs utilisent souvent « modèle de fondation » comme raccourci pour désigner les modèles génératifs, car ce sont ceux que leurs produits commercialisent, mais il s’agit d’un usage plus restreint.

Une grande taille suffit

Il n’existe pas de nombre universel de paramètres permettant de distinguer les modèles de fondation des autres modèles. Un modèle très volumineux entraîné pour une seule tâche fixe n’est pas automatiquement un modèle de fondation. Le critère le plus pertinent est de déterminer s’il a appris à partir de données variées et s’il peut servir de base significative à diverses tâches en aval.

Les documents de politique publique peuvent fixer des seuils numériques pour un sous-ensemble réglementé, comme un « modèle de fondation à double usage ». Ces seuils définissent le champ de ce terme dans cette politique, et non l’ensemble de la catégorie technique.

Les invites entraînent le modèle

Une invite normale fournit une entrée temporaire pour une interaction donnée. L’affinage met à jour les valeurs apprises au moyen d’un entraînement supplémentaire. Les deux méthodes peuvent adapter le comportement à une tâche, mais seule la seconde modifie le modèle lui-même.

« Fondation » signifie digne de confiance

Ce terme ne certifie pas la qualité. Ses auteurs d’origine l’ont notamment choisi pour souligner que les systèmes en aval dépendent de ce qui se trouve sous eux. Une fondation fragile peut propager les défaillances aussi efficacement qu’une fondation solide propage les capacités utiles.

« Modèle de fondation » indique la manière dont il est concédé sous licence

Ce n’est pas le cas. Un modèle de fondation peut proposer des poids téléchargeables, des poids soumis à des restrictions ou un accès uniquement par API. Les termes « ouvert », « à poids ouverts » et « fermé » décrivent l’accès et la licence, et non le fait que le modèle joue ou non un rôle de fondation.

Sa place dans le système élargi

Un modèle de fondation se situe entre le préentraînement général et l’usage spécifique.

En amont se trouvent les données, l’objectif d’apprentissage, l’architecture, les ressources de calcul et l’évaluation utilisés pour créer le point de contrôle. En aval se trouvent les invites, les dérivés affinés, les composants spécifiques à la tâche, les sources de récupération, les contrôles de sécurité, les outils et les interfaces utilisateur.

Le fait de séparer ces couches aide à évaluer les affirmations. Si un assistant récupère un fait récent, celui-ci peut provenir d’un système de recherche connecté plutôt que du préentraînement du modèle. Si un chatbot refuse une demande, ce comportement peut provenir de l’entraînement du modèle, d’une instruction système, d’un filtre externe ou de plusieurs couches à la fois. Le produit visible ne révèle pas quelle couche a effectué le travail.

Pour aller plus loin

Lorsque vous rencontrez l’étiquette « modèle de fondation », vérifiez deux choses : si le modèle a été entraîné sur des données suffisamment variées pour prendre en charge plus d’une tâche étroite, et comment il est adapté dans le produit que vous examinez. Une fiche de modèle ou un rapport technique devrait vous aider à identifier l’étendue du préentraînement, les usages en aval prévus, les méthodes d’adaptation et les limites connues.

Si ces informations manquent, l’étiquette seule vous apprend très peu de choses sur les capacités, la fiabilité, l’accès ou la sécurité.

Lisez Qu’est-ce qu’un modèle d’IA ? pour découvrir le concept général de modèle, Qu’est-ce que l’entraînement en IA ? pour comprendre comment sont créés les paramètres appris, et Qu’est-ce que l’IA générative ? pour découvrir une grande famille d’applications des modèles de fondation.