Qu’est-ce qu’un LLM ?

Il n’existe pas de taille officielle à partir de laquelle un modèle de langage devient « grand ». Cette appellation est relative. Elle indique généralement une combinaison de nombreux paramètres appris, de données d’entraînement étendues, de besoins informatiques importants et d’une capacité à accomplir plusieurs tâches linguistiques plutôt qu’une seule tâche spécialisée.

Un modèle mental utile

Imaginez un LLM génératif comme une fonction qui accepte une séquence et renvoie des scores pour les continuations possibles.

La séquence est composée de tokens : les unités de texte que le modèle traite, qui peuvent être des mots entiers, des parties de mots, des signes de ponctuation ou d’autres symboles. Le modèle ne rédige pas un paragraphe caché qu’il révélerait ensuite. Il évalue ce qui pourrait venir ensuite, sélectionne un token, l’ajoute à la séquence, puis recommence.

Cette boucle est essentielle :

flowchart LR
    A[Prompt and prior output] --> B[LLM scores possible next tokens]
    B --> C[One token is selected]
    C --> D[Selected token is appended]
    D --> B

La propre sortie du modèle devient donc une partie de son entrée suivante. Un choix effectué tôt peut modifier tous les choix qui suivent.

Ce modèle mental est plus exact que de qualifier un LLM de base de données. L’entraînement peut amener un modèle à reproduire du contenu qu’il a vu, mais la génération ordinaire ne fonctionne pas en recherchant dans une collection de phrases stockées pour coller la correspondance la plus proche. Le modèle applique des relations numériques apprises à la séquence actuelle.

Comment fonctionne un LLM

Un LLM comporte deux phases distinctes : l’entraînement et l’utilisation.

Pendant le préentraînement

Le texte est divisé en tokens. Le modèle reçoit des problèmes de prédiction créés à partir de ce texte. Un modèle de langage causal prédit le token suivant à partir des tokens précédents. D’autres modèles de langage apprennent en reconstruisant des tokens masqués ou en transformant une séquence en une autre.

Chaque prédiction produit un signal d’erreur. L’entraînement ajuste à plusieurs reprises les poids numériques du modèle afin que les meilleures prédictions deviennent plus probables. Au fil de nombreux exemples, ces poids capturent des régularités réutilisables liées à l’orthographe, à la grammaire, au style, aux faits, au code et aux relations entre les idées.

L’architecture Transformer aide le modèle à combiner les parties pertinentes de la séquence disponible lors du calcul de chaque représentation. C’est l’architecture dominante derrière les LLM, mais elle ne fait pas partie d’une définition intemporelle : d’autres architectures peuvent également servir à construire de grands modèles de langage.

Le préentraînement crée un modèle de base, pas nécessairement un assistant utile. Un entraînement supplémentaire peut rendre le modèle plus performant pour suivre des instructions, privilégier certains types de réponses ou refuser certaines demandes. Ces étapes modifient son comportement, mais n’en font pas une base de données et ne garantissent pas que sa sortie soit vraie.

Pendant la génération

Au moment de l’inférence, les poids entraînés sont fixes. L’invite et tout autre contexte fourni sont convertis en tokens. Le modèle calcule un score pour chaque token suivant possible. Un logiciel sélectionne ensuite un token au moyen d’une règle de décodage.

Choisir à chaque fois le token ayant le score le plus élevé est une option. Échantillonner parmi plusieurs tokens plausibles en est une autre. L’échantillonnage peut produire des réponses différentes à une même invite, même lorsque les poids du modèle ne changent pas.

Une fois le token choisi, il est ajouté à la séquence. Le modèle calcule une nouvelle distribution conditionnée par l’invite et par tout ce qui a été généré jusque-là. La génération s’arrête lorsque le modèle sélectionne un token d’arrêt, atteint une limite de sortie ou est arrêté par le logiciel environnant.

Exemple de génération détaillé

Supposons que le texte actuel soit :

La capitale de la France est

À titre d’illustration, imaginons qu’un modèle attribue les probabilités suivantes à quatre tokens suivants possibles :

Les possibilités omises se partagent la probabilité restante. Ces nombres sont inventés pour montrer le mécanisme ; ils ne correspondent pas aux mesures d’un modèle particulier.

Si le système sélectionne Paris, la séquence devient :

La capitale de la France est Paris

Le modèle évalue maintenant cette séquence plus longue. Les tokens suivants plausibles peuvent inclure des signes de ponctuation ou des mots qui prolongent l’énoncé. Une fois l’un d’eux sélectionné, la boucle recommence.

Trois faits utiles découlent de cet exemple.

Premièrement, le modèle n’a pas besoin d’un programme distinct pour « répondre aux questions ». Une question, une demande de traduction, un exemple de code et une instruction de résumé peuvent tous être représentés comme du texte dont la continuation suggère la tâche.

Deuxièmement, une continuation à forte probabilité n’est pas la même chose qu’un fait vérifié. L’objectif d’entraînement récompense l’adéquation prédictive aux données, et non une vérification directe par rapport à la réalité. Une affirmation fausse peut constituer une continuation fluide.

Troisièmement, la sortie dépend du chemin suivi. Si un token improbable ou erroné est sélectionné, les tokens suivants sont générés dans le contexte de ce choix. Le modèle peut poursuivre de manière cohérente à partir d’une prémisse erronée au lieu de revenir en arrière pour la corriger.

Pourquoi les LLM peuvent accomplir de nombreuses tâches

Un préentraînement vaste et varié expose un modèle à de nombreuses structures récurrentes. Il peut s’agir de questions suivies de réponses, de code suivi de commentaires, d’affirmations suivies de preuves ou d’instructions suivies d’un travail réalisé. Apprendre à prédire ces structures produit des représentations réutilisables.

Une invite peut également spécifier une tâche au moment où le modèle est utilisé. Vous pouvez décrire le résultat souhaité ou fournir des exemples, et le modèle conditionne sa continuation sur ces éléments. On parle souvent d’apprentissage en contexte parce que les informations sur la tâche sont fournies dans l’entrée plutôt qu’installées par une nouvelle série de mises à jour des poids.

« Prédire le token suivant » peut donc sembler plus simple que le comportement que cela produit. L’objectif est simple. La fonction apprise qui l’accomplit ne l’est pas. La saisie semi-automatique ordinaire et un LLM résolvent des problèmes de prédiction apparentés, mais ils diffèrent fortement par la capacité du modèle, l’utilisation du contexte, l’étendue de l’entraînement et la variété des régularités qu’ils peuvent appliquer.

Pourquoi les LLM sont importants

Un seul modèle préentraîné peut prendre en charge la rédaction, l’extraction, la classification, la traduction, le résumé, la réponse aux questions et la génération de code, simplement en modifiant l’entrée. Le langage devient ainsi une interface flexible pour les logiciels.

Cette même flexibilité crée des risques. La sortie d’un LLM est générée, et non extraite d’une source faisant autorité. Les résultats peuvent être erronés, biaisés, incohérents ou sensibles à la formulation de l’invite. La bonne question n’est pas simplement de savoir si un LLM « connaît » un sujet. La fiabilité dépend de la tâche, de l’entraînement et du contexte fourni, de la méthode de décodage et des vérifications effectuées par le système environnant.

Un LLM n’est également qu’une couche d’un produit d’IA. Il ne dispose pas automatiquement d’un compte utilisateur, d’une mémoire persistante, d’un accès au Web, de documents privés ou de l’autorisation d’effectuer des actions. Ces capacités proviennent des logiciels qui entourent le modèle.

Idées reçues courantes

« Un LLM est un chatbot »

Un LLM est le modèle qui traite ou génère du langage. Un chatbot d’IA est un produit qui peut combiner un LLM avec une interface conversationnelle, des instructions, de la récupération d’informations, de la modération, une mémoire et d’autres logiciels. Le même LLM peut être utilisé sans interface de chat.

« Le modèle recherche sa réponse »

Le modèle calcule normalement une continuation à partir de ses poids et de son contexte actuel. Un produit peut effectuer séparément une recherche sur le Web ou récupérer des documents, puis placer les résultats dans l’invite, mais cela relève d’une fonctionnalité du système d’orchestration d’IA, et ne prouve pas que le LLM lui-même a effectué une recherche.

« La fluidité du langage prouve que le modèle comprend »

Les chercheurs ne s’accordent pas sur un test unique de la compréhension. Un LLM peut démontrer une compétence linguistique utile et former des représentations internes qui prennent en charge des tâches complexes. Cela n’établit pas à lui seul l’existence d’un sens, d’une expérience, d’une intention ou d’un ancrage dans le monde comparables à ceux de l’être humain. Il est plus clair de décrire le comportement mesuré que d’utiliser « comprend » comme explication générale.

« Ce n’est que de la saisie semi-automatique, donc il ne peut rien faire de nouveau »

Un LLM est un prédicteur autorégressif, mais le mot « seulement » masque l’essentiel : ce que le modèle a appris et la quantité de contexte sur laquelle il peut se conditionner. Il peut combiner des régularités d’une manière qui n’existait pas sous forme de passage complet dans ses données d’entraînement. Une sortie originale ne prouve toujours pas que chacune de ses affirmations est correcte.

« Grand possède une limite précise »

Aucune définition officielle ne fixe un nombre minimal de paramètres, de tokens d’entraînement ou d’unités de calcul. La frontière entre un petit modèle de langage et un LLM évolue avec les usages et la technologie. Une affirmation de taille n’est pertinente que si elle précise la quantité comparée.

Comment un LLM s’intègre dans un système plus vaste

Une architecture de base se présente ainsi :

1. Le LLM associe le contexte à des continuations possibles du langage.
2. Un système d’orchestration prépare le contexte, appelle le modèle et peut le relier à des données ou à des outils.
3. Un chatbot présente ce système sous la forme d’une conversation.
4. Un agent d’IA ajoute une boucle capable de choisir des actions, d’examiner les résultats et de poursuivre vers un objectif.

Séparer ces couches facilite l’évaluation des affirmations concernant un produit. « L’assistant a recherché sur le Web » décrit le système dans son ensemble. « Le LLM a généré la requête de recherche et interprété le texte renvoyé » décrit plus précisément le rôle du modèle.

Pour aller plus loin

Lisez Qu’est-ce qu’un token en IA ? pour comprendre les unités traitées par un LLM. Consultez ensuite Qu’est-ce qu’une fenêtre de contexte ? pour découvrir la limite d’informations disponibles pendant une génération, Qu’est-ce que l’entraînement en IA ? pour comprendre comment les poids du modèle sont appris, puis Qu’est-ce que l’inférence en IA ? pour découvrir ce qui se passe lorsqu’un modèle entraîné est utilisé.