Qu’est-ce que l’IA multimodale ?

Le terme modalité désigne une manière distincte de représenter ou d’expérimenter l’information. Un paragraphe, une photographie, un enregistrement vocal et une mesure prise par un capteur de profondeur sont des modalités différentes. Leur structure diffère, mais elles peuvent décrire le même événement.

Une tâche, plusieurs types d’éléments probants

Supposons que vous téléversiez la photo d’un ticket de restaurant et que vous saisissiez :

Ana a pris la soupe, Bo a pris les pâtes, et ils ont partagé la salade. Répartissez la taxe proportionnellement au montant de leurs plats respectifs.

Les prix figurent sur l’image. Les règles de répartition et de partage figurent dans le texte. Aucune des deux entrées ne suffit à elle seule. Pour répondre, le modèle doit relier des mots comme « soupe » et « salade » aux bonnes zones du ticket, intégrer leurs prix au calcul et suivre la règle écrite.

C’est l’idée centrale. L’IA multimodale ne consiste pas simplement à placer plusieurs entrées côte à côte. Les informations provenant d’une modalité doivent modifier la manière dont les informations d’une autre modalité sont interprétées ou utilisées.

Cette définition est plus précise que de dire que l’IA multimodale « fonctionne comme les sens humains ». Les humains combinent effectivement la vue, le son et le langage, mais un modèle d’IA reçoit des données encodées, et non une expérience humaine. La comparaison n’est utile que pour décrire la combinaison de différents canaux d’information.

Comment fonctionne l’IA multimodale

Différentes architectures mettent en œuvre la multimodalité de différentes façons. Un pipeline courant comporte quatre étapes.

1. Encoder chaque entrée

Les pixels bruts, les ondes sonores et le texte ont des structures différentes. Un composant propre à chaque modalité, appelé encodeur transforme chaque entrée en tableaux de nombres qui représentent des caractéristiques apprises.

Pour l’image d’un ticket, les caractéristiques peuvent conserver des motifs visuels liés aux caractères, aux lignes d’articles et à la mise en page. Pour l’instruction, le texte est divisé en unités exploitables, puis converti en représentations numériques. Le modèle n’a pas besoin que les deux entrées aient la même forme au départ.

2. Aligner les informations associées

Le modèle doit apprendre quelles parties correspondent d’une modalité à l’autre. Des légendes associées à des images, des paroles associées à des transcriptions et des vidéos associées à des descriptions fournissent des exemples de ces liens pendant l’entraînement.

L’alignement n’exige pas une correspondance parfaite, élément par élément. Une phrase peut décrire une image entière, un mot peut désigner une petite région, et un son peut se prolonger sur de nombreuses images vidéo. Le modèle apprend des correspondances statistiques utiles plutôt qu’une carte symbolique complète.

CLIP entraîne par exemple des encodeurs d’image et de texte afin que les images et les descriptions correspondantes reçoivent des représentations compatibles. Cela permet des tâches comme sélectionner la description textuelle qui correspond le mieux à une image. Il s’agit d’une approche de la multimodalité, et non d’un modèle que tous les modèles multimodaux suivent.

3. Combiner les éléments probants

Les représentations doivent disposer d’un espace où elles peuvent interagir. Cette étape est souvent appelée fusion.

Certains systèmes combinent les caractéristiques tôt dans le pipeline et les traitent ensemble. D’autres laissent chaque modalité suivre une grande partie de son propre pipeline avant de combiner les résultats. De nombreux modèles modernes se situent entre ces deux extrêmes et permettent à certaines caractéristiques d’image, d’audio ou de vidéo d’influencer le traitement du langage.

Flamingo a montré une architecture de ce type : relier des composants de vision et de langage préentraînés séparément au moyen de couches apprises. Le rapport technique de Gemini décrit un autre choix d’entraînement : des modèles entraînés conjointement sur plusieurs modalités dès le départ. Les deux sont multimodaux. « Multimodal » désigne une capacité, et non une architecture unique.

4. Produire la sortie demandée

Après avoir combiné les éléments probants, le modèle ou le système produit une sortie. Il peut s’agir de texte, d’une image, d’un contenu audio, d’une catégorie, d’un emplacement dans une image ou d’un signal de commande.

La prise en charge des entrées et celle des sorties sont des décisions distinctes en matière de capacités. Un modèle peut :

• accepter du texte et des images, puis produire du texte ;
• accepter du texte, de l’audio et de la vidéo, puis produire du texte ;
• accepter du texte, puis produire des images ;
• accepter des entrées mixtes et produire plusieurs modalités de sortie.

Le seul libellé ne permet pas de savoir laquelle de ces possibilités s’applique.

Image ──> image encoder ──┐
                          │
Audio ──> audio encoder ──┼─> alignment and fusion ─> task output
                          │
Text ───> text encoder ───┘

Les systèmes réels peuvent fusionner ces étapes, les répéter ou utiliser des modèles distincts. Le schéma montre la fonction, et non une organisation obligatoire.

Un exemple détaillé

Revenons au ticket et aux instructions écrites de répartition.

1. L’entrée visuelle est convertie en caractéristiques qui préservent le texte et la mise en page du ticket.
2. L’instruction écrite est convertie en représentations textuelles.
3. Les associations apprises pendant l’entraînement aident à relier « soupe », « pâtes » et « salade » aux lignes correspondantes du ticket.
4. Le modèle combine ces prix avec la règle de répartition.
5. Il produit une réponse textuelle indiquant le sous-total et la part de taxe de chaque personne.

Plusieurs erreurs sont possibles. Un chiffre flou peut fausser un prix. Le modèle peut associer « salade » à la mauvaise ligne. Il peut lire correctement chaque ligne, mais appliquer incorrectement la règle de taxation. La multimodalité vous évite de transcrire manuellement l’image ; elle ne supprime pas les erreurs de perception, d’alignement ou de raisonnement.

La mise en œuvre influe également sur la formulation exacte de l’affirmation. Si un composant utilise d’abord la reconnaissance optique de caractères — un logiciel qui extrait les caractères écrits d’une image — puis qu’un modèle uniquement textuel traite la transcription obtenue, l’application est un système multimodal. Le modèle textuel qui la compose ne devient pas pour autant un modèle multimodal. Si un modèle combine directement des caractéristiques visuelles apprises avec l’instruction, le modèle lui-même est multimodal.

Pourquoi l’IA multimodale est importante

De nombreuses tâches utiles contiennent des éléments probants qui ne peuvent pas être réduits à du texte propre sans perdre quelque chose d’important. La mise en page porte du sens dans un formulaire. Le ton et le rythme transmettent des informations dans la parole. Le mouvement distingue une vidéo d’un empilement désordonné d’images. Les relations spatiales comptent dans les diagrammes et les scènes.

La combinaison des modalités peut lever des ambiguïtés. Une question écrite comme « Pourquoi cette pièce fuit-elle ? » n’indique pas à quelle pièce « cette » fait référence. Une image associée peut fournir cette référence. Une piste audio peut différencier un moteur visiblement en marche qui semble normal d’un moteur produisant un bruit inhabituel.

Les interfaces multimodales peuvent également réduire les conversions manuelles. Vous pouvez montrer un élément avec une photo, dicter une instruction ou joindre un diagramme au lieu de tout traduire d’abord en une description écrite détaillée.

Il s’agit de possibilités, et non de garanties. Une modalité supplémentaire n’est utile que si elle contient des informations pertinentes et si le modèle peut les aligner correctement. Des entrées contradictoires ou de mauvaise qualité peuvent introduire de nouvelles erreurs.

Idées reçues courantes

« Multimodal » signifie que le modèle peut tout faire avec tous les types de médias

Non. La capacité a deux aspects : ce qui peut entrer et ce qui peut sortir. Vérifiez les modalités prises en charge dans chaque direction ainsi que les éventuelles limites concernant leur combinaison dans une même requête.

Tout générateur d’images est un modèle multimodal généraliste

Un modèle texte-image traduit d’une modalité à une autre ; il est donc multimodal selon certaines définitions larges. Cela ne signifie pas qu’il peut examiner une image, comparer deux images, comprendre l’audio ou raisonner sur des entrées mixtes. Le contrat précis entre entrées et sorties est plus utile que le libellé.

L’IA multimodale et l’IA générative sont la même chose

Elles décrivent des axes différents. L’IA générative produit de nouveaux contenus. L’IA multimodale traite plusieurs modalités ou les met en relation. Un système peut être les deux, l’un des deux ou aucun des deux.

Un modèle qui analyse une image et des mesures de capteurs pour choisir une catégorie de sécurité fixe est multimodal, mais pas nécessairement génératif. Un modèle de rédaction uniquement textuel est génératif, mais unimodal. De nombreux assistants actuels sont les deux.

L’IA multimodale doit être un modèle unifié

Pas toujours. Les chercheurs peuvent employer ce terme pour désigner un modèle appris unique, tandis que les équipes produit peuvent l’utiliser pour un système composé de plusieurs éléments connectés. Demandez où les modalités interagissent. Si des composants distincts produisent indépendamment des réponses et qu’une application se contente de les afficher ensemble, le système n’a pas nécessairement effectué un raisonnement intermodal.

Davantage de modalités améliore toujours la précision

Des éléments probants supplémentaires peuvent aider, mais ils peuvent aussi être non pertinents, bruités ou contradictoires. Les performances dépendent de la qualité des données, de l’alignement, de la tâche et de la manière dont le modèle a été entraîné. Une réponse formulée avec assurance ne prouve pas que le modèle a correctement relié les modalités.

La place de l’IA multimodale dans le système global

La multimodalité peut apparaître à plusieurs niveaux :

• Données : les exemples d’entraînement associent ou entrelacent différentes modalités.
• Modèle : des composants appris alignent et combinent les représentations des modalités.
• Application : un produit achemine des fichiers, des flux de capteurs ou des sorties de modèles entre différents composants.
• Interface : une personne peut communiquer par texte, voix, images ou vidéo.

Ces niveaux ne doivent pas être confondus dans une seule affirmation. Une interface multimodale peut dissimuler un pipeline de modèles spécialisés. Un modèle multimodal peut se trouver derrière une interface uniquement textuelle. Un modèle entraîné sur des images et du texte associés peut ne prendre en charge qu’une tâche d’appariement limitée, plutôt qu’une conversation ouverte.

Lorsque vous évaluez un produit ou un modèle, posez-vous trois questions :

1. Quelles modalités peut-il accepter dans une même tâche ?
2. Quelles modalités peut-il produire ?
3. Où et comment les informations issues de ces modalités interagissent-elles ?

Les réponses à ces questions vous en diront davantage que le seul terme « multimodal ».

Pour aller plus loin

Consultez Qu’est-ce qu’un modèle d’IA ? pour approfondir le concept général de modèle, et Qu’est-ce que l’IA générative ? pour distinguer la capacité à créer du contenu de celle à combiner des modalités. Lorsque vous lisez une fiche de modèle ou une page produit, répertoriez séparément les entrées et les sorties, puis cherchez des éléments indiquant que le modèle a été testé sur des tâches nécessitant des informations provenant de plusieurs modalités.