Modèles et architecture

Ce qu'est vraiment un modèle : familles, paramètres, poids, transformers et mélange d'experts, et ce que ces choix impliquent en pratique.

Apprendre

Modèles et architecture

ComparaisonParamètres du modèle et poids du modèleLes paramètres du modèle sont toutes les valeurs ajustées qui déterminent le comportement d’un modèle ; les poids du modèle sont soit un type de paramètre, soit une appellation informelle désignant l’ensemble des valeurs apprises par le modèle. Dans l’équation d’une couche, « poids » a généralement un sens plus restreint. Dans une expression telle que « télécharger les poids du modèle », le terme a généralement un sens plus large.
ConceptQue sont les paramètres du modèle ?Les paramètres du modèle sont les valeurs numériques stockées à l’intérieur d’un modèle ajusté qui déterminent la manière dont il transforme une entrée en sortie. Dans un réseau neuronal, ils comprennent généralement les poids et les biais, dont les valeurs sont choisies pendant l’entraînement puis réutilisées lorsque le modèle effectue des prédictions.
ConceptQue sont les poids d’un modèle ?Les poids d’un modèle sont des nombres appris qui déterminent avec quelle intensité un modèle utilise chaque signal d’entrée ou intermédiaire lors du calcul d’une sortie. Ils sont généralement stockés en grands groupes appelés matrices ou tenseurs, et l’entraînement les modifie afin que les sorties du modèle correspondent mieux à son objectif.
ConceptQu’est-ce qu’un LLM ?Un grand modèle de langage (LLM) est un modèle d’IA entraîné sur de vastes collections de données linguistiques afin de traiter ou de générer des séquences de texte probables. La plupart des LLM utilisés pour générer du texte reçoivent une invite et produisent une réponse petit élément par petit élément.
ConceptQu’est-ce qu’un modèle de fondation ?Un modèle de fondation est un modèle d’apprentissage automatique entraîné sur des données variées afin de pouvoir être adapté à de nombreuses tâches différentes, plutôt que d’être conçu pour une seule. Il constitue un point de départ réutilisable, et non une application terminée.
ConceptQu’est-ce qu’un modèle d’IA ?Un modèle d’IA est la partie d’un système d’IA qui transforme une entrée en sortie, par exemple une prédiction, une classification, une recommandation, une action ou un résultat généré. Dans l’usage actuel, ce terme désigne le plus souvent un modèle d’apprentissage automatique dont le comportement a été façonné par des données d’entraînement.
ConceptQu’est-ce qu’un réseau neuronal ?Un réseau neuronal est un modèle d’apprentissage automatique qui apprend à transformer des nombres d’entrée en nombres de sortie utiles en les faisant passer par des couches connectées de calculs simples. Ces couches forment une seule fonction mathématique entraînable, et non un cerveau électronique au sens littéral.