Tokens, contexte et représentation

Comment un modèle lit et retient le texte : tokens, fenêtres de contexte, embeddings et dates de coupure des connaissances, expliqués à ceux qui utilisent des outils d'IA.

Apprendre

Tokens, contexte et représentation

ComparaisonFenêtre de contexte ou date limite des connaissancesUne fenêtre de contexte limite la quantité d’informations qu’un modèle d’IA peut utiliser dans une requête, tandis qu’une date limite des connaissances indique l’ancienneté de ses connaissances intégrées. L’une est une capacité mesurée en tokens ; l’autre est une date associée à l’entraînement.
ConceptQue sont les jetons de sortie ?Les jetons de sortie sont les unités qu’un modèle génère lorsqu’il produit une réponse. Ils constituent généralement le texte, le code, les données structurées ou les instructions d’appel d’outil que vous recevez, bien qu’un fournisseur puisse également comptabiliser le raisonnement masqué dans l’utilisation de sortie.
ConceptQue sont les tokens de raisonnement ?Les tokens de raisonnement sont des tokens qu’un modèle d’IA génère en travaillant à une réponse, indépendamment du texte de réponse que vous voyez. Ils représentent des étapes générées supplémentaires, comme la planification, la vérification ou l’essai d’une approche, et peuvent être comptabilisés dans l’utilisation et les limites même si le service les masque.
ConceptQue sont les tokens d’entrée ?Les tokens d’entrée sont les tokens qu’un modèle reçoit et traite avant de commencer à générer la réponse suivante. Ils proviennent de la requête complète destinée au modèle, et pas seulement des derniers mots que vous avez saisis.
ConceptQu’est-ce qu’un jeton en IA ?Un jeton en IA est un élément du vocabulaire qu’un LLM utilise pour représenter et générer du texte. Selon le tokenizer du modèle, un jeton peut correspondre à un mot, à une partie de mot, à un signe de ponctuation, à un espace ou même à une partie d’un caractère encodé.
ConceptQu’est-ce qu’une date de coupure des connaissances de l’IA ?La date de coupure des connaissances d’une IA est la date jusqu’à laquelle les connaissances intégrées d’un modèle sont censées refléter ses données d’entraînement. Il s’agit d’une limite approximative, et non d’une garantie que le modèle connaît tous les faits antérieurs ou qu’un produit d’IA ne peut pas récupérer des informations ultérieures.
ConceptQu’est-ce qu’une fenêtre de contexte ?Une fenêtre de contexte est la quantité maximale de contenu tokenisé qu’un modèle d’IA peut utiliser pour produire une réponse. Dans de nombreuses API de modèles de langage, ce budget couvre l’entrée et la sortie générée, bien que les fournisseurs puissent également imposer des limites distinctes pour l’entrée ou la sortie.
ComparaisonTokens d’entrée vs tokens de sortie vs tokens de raisonnementLes tokens d’entrée sont ceux qu’un modèle reçoit, les tokens de sortie sont ceux qu’il génère, et les tokens de raisonnement sont des tokens générés en interne pour progresser vers une réponse. Le point important est que les tokens de raisonnement font souvent partie de l’utilisation de la sortie, même lorsqu’une API les affiche comme un détail distinct.