「モダリティとは、情報が表現されたり経験されたりする、独立した方式を意味します。段落、写真、音声記録、深度センサーの読み取り値は、それぞれ異なるモダリティです。構造は異なりますが、同じ出来事を説明できます。
1つのタスクにおける複数種類の証拠
レストランのレシートの写真をアップロードし、次のように入力したとします。
Anaはスープを、Boはパスタを食べ、サラダは2人で分けました。食事の合計額に比例して税金を分けてください。
価格は画像にあります。誰が何を食べたか、また共有に関するルールはテキストにあります。どちらの入力も、それだけでは十分ではありません。回答するには、モデルは「スープ」や「サラダ」といった語をレシート上の正しい領域に結び付け、その価格を計算に反映し、記述されたルールに従う必要があります。
この結び付きが中心的な考え方です。マルチモーダルAIは、複数の入力が単に並んでいるだけではありません。一方のモダリティの情報が、別のモダリティの情報の解釈や利用方法を変える必要があります。
これは、マルチモーダルAIが「人間の感覚のように動作する」と言うよりも正確な説明です。人間は視覚、音、言語を組み合わせますが、AIモデルが受け取るのは人間の経験ではなく、符号化されたデータです。この比較が有用なのは、異なる証拠の経路を組み合わせるという点に限られます。
マルチモーダルAIの仕組み
異なるアーキテクチャが、それぞれ異なる方法でマルチモーダル性を実現します。一般的なパイプラインには4つの段階があります。
1. 各入力をエンコードする
生の画素、音波、テキストは形が異なります。「エンコーダー」と呼ばれるモダリティ固有のコンポーネントが、各入力を、学習した特徴を捉える数値配列に変換します。
レシート画像の場合、特徴には文字、明細、レイアウトに関係する視覚的パターンが保持されることがあります。指示文の場合、テキストは処理可能な単位に分割され、数値表現に変換されます。モデルは、2つの入力が最初から同じ形式であることを必要としません。
2. 関連する情報を対応付ける
モデルは、モダリティ間でどの部分が対応するかを学習する必要があります。画像と組み合わせたキャプション、音声と組み合わせた書き起こし、動画と組み合わせた説明は、訓練中にこうした結び付きを学ぶための例になります。
対応付けには、完全な1対1の一致は必要ありません。1つの文が画像全体を説明することもあれば、1つの単語が小さな領域を指すこともあり、音声が多数の動画フレームにわたって続くこともあります。モデルが学ぶのは、完全な記号マップではなく、有用な統計的対応関係です。
たとえばCLIP
3. 証拠を組み合わせる
表現同士が相互作用する場所が必要です。この段階はしばしば「融合」と呼ばれます。
一部のシステムは特徴を早い段階で組み合わせ、まとめて処理します。各モダリティが、結果を組み合わせる前にそれぞれのパイプラインをかなり進むシステムもあります。現代の多くのモデルは、これらの中間的な構成を採用し、選択された画像、音声、動画の特徴が言語処理に影響を与えられるようにしています。
Flamingoは、別々に事前学習された視覚コンポーネントと言語コンポーネントを、それらの間に置いた学習済みの層で接続する設計を示しました。元のGemini技術レポートは、異なる訓練方法を説明しています。そこでは、モデルを最初から複数のモダリティにまたがって共同訓練します。どちらもマルチモーダルです。「マルチモーダル」は能力の名称であり、1つのアーキテクチャを指すものではありません。
4. 要求された出力を生成する
証拠を組み合わせた後、モデルまたはシステムが出力を生成します。それは、テキスト、画像、音声、カテゴリ、画像内の位置、制御信号などです。
入力と出力への対応は、別々に決められる能力です。モデルは次のようなことができます。
- テキストと画像を受け取り、テキストを出力する。
- テキスト、音声、動画を受け取り、テキストを出力する。
- テキストを受け取り、画像を出力する。
- 混合入力を受け取り、複数のモダリティの出力を生成する。
ラベルだけでは、どれに該当するかは分かりません。
Image ──> image encoder ──┐
│
Audio ──> audio encoder ──┼─> alignment and fusion ─> task output
│
Text ───> text encoder ───┘実際の設計では、これらの段階を統合したり、繰り返したり、別々のモデルを使ったりすることがあります。図が示すのは機能であり、必須の配置ではありません。
具体例
レシートと、先ほどの分割指示に戻りましょう。
- 視覚入力が特徴に変換され、レシートのテキストとレイアウトが保持されます。
- 記述された指示がテキスト表現に変換されます。
- 訓練で学習した結び付きにより、「スープ」「パスタ」「サラダ」を、対応するレシートの明細に関連付けます。
- モデルがそれらの価格と、誰が何を食べたかというルールを組み合わせます。
- 各人の小計と税金の負担分を示すテキスト回答を生成します。
失敗する可能性もいくつかあります。ぼやけた数字によって価格が誤ることがあります。モデルが「サラダ」を間違った明細に対応付けることもあります。すべての明細を正しく読み取っても、税金のルールを誤って適用することがあります。マルチモーダル性によって画像を手作業で転記する必要はなくなりますが、認識、対応付け、推論の誤りまでなくなるわけではありません。
実装によっても、どの主張が正確かは変わります。あるコンポーネントがまず光学文字認識（OCR）を使って画像から文字を抽出し、その結果の書き起こしをテキスト専用モデルが処理する場合、そのアプリケーションはマルチモーダルシステムです。しかし、その中のテキスト専用モデル自体がマルチモーダルモデルになるわけではありません。1つのモデルが学習済みの画像特徴と指示を直接組み合わせる場合、そのモデル自体がマルチモーダルです。
マルチモーダルAIが重要な理由
多くの有用なタスクには、重要な情報を失わずにクリーンなテキストへ変換できない証拠が含まれています。フォームではレイアウトが意味を持ちます。音声では、声の調子やタイミングが情報を伝えます。動画を、順序付けされていない画像の集まりと区別するのは動きです。図や場面では、空間的な関係が重要です。
モダリティを組み合わせることで、曖昧さを解消できます。「この部分はなぜ漏れているのですか？」という文章だけでは、「この部分」がどれを指すのか分かりません。対応する画像が、その指示対象を示せます。音声トラックがあれば、見た目には動作していて正常な音がするモーターと、異常な音を出すモーターを区別できます。
マルチモーダルなインターフェースは、手作業による変換も減らせます。すべてをまず詳細な文章に変換する代わりに、写真で指し示したり、指示を話したり、図を添付したりできます。
ただし、これらは可能性であって保証ではありません。追加のモダリティが役立つのは、関連する証拠を含み、モデルがその証拠を正しく対応付けられる場合に限られます。矛盾した入力や品質の低い入力は、新たな誤りを生むことがあります。
よくある誤解
「マルチモーダル」とは、あらゆるメディア種別を使って何でもできるという意味である
いいえ。能力には、入力できるものと出力できるものという2つの側面があります。それぞれの方向で対応しているモダリティと、1つのリクエストで組み合わせる際の制限を確認してください。
画像生成モデルはすべて、汎用マルチモーダルモデルである
テキストから画像へのモデルは、あるモダリティから別のモダリティへ変換するため、広い定義ではマルチモーダルといえます。しかし、だからといって画像を調べたり、2つの画像を比較したり、音声を理解したり、混合入力について推論したりできるとは限りません。ラベルよりも、具体的な入出力の契約のほうが有用です。
マルチモーダルAIと生成AIは同じものである
両者は異なる軸を表します。「生成AI」は新しいコンテンツを生成します。マルチモーダルAIは、複数のモダリティを処理または関連付けます。システムは、両方であることも、どちらか一方であることも、どちらでもないこともあります。
画像とセンサーの読み取り値を分析して、固定された安全カテゴリを選ぶモデルは、マルチモーダルですが、必ずしも生成AIではありません。テキスト専用の文章作成モデルは、生成AIですがユニモーダルです。現在のアシスタントの多くは、両方に該当します。
マルチモーダルAIは、1つの統合モデルでなければならない
必ずしもそうではありません。研究者は1つの学習済みモデルを指してこの用語を使うことがありますが、製品チームは接続されたコンポーネント群を指して使うことがあります。モダリティがどこで相互作用するかを確認してください。別々のコンポーネントが独立して回答を生成し、アプリケーションがそれらを並べて表示するだけなら、そのシステムがクロスモーダル推論を実行したとは限りません。
モダリティが多いほど、常に精度が向上する
追加の証拠は役立つこともありますが、無関係だったり、ノイズを含んでいたり、矛盾していたりすることもあります。性能は、データ品質、対応付け、タスク、モデルの訓練方法によって決まります。自信のある回答は、モデルがモダリティを正しく結び付けた証拠ではありません。
マルチモーダルAIと、より広いシステムとの関係
マルチモーダル性は、複数のレベルで現れます。
- データ：訓練例が異なるモダリティを組み合わせたり、交互に配置したりします。
- モデル：学習済みコンポーネントがモダリティの表現を対応付け、組み合わせます。
- アプリケーション：製品が、ファイル、センサーフィード、モデル出力をコンポーネント間で振り分けます。
- インターフェース：利用者がテキスト、音声、画像、動画を通じてやり取りできます。
これらのレベルを1つの主張にまとめてはいけません。マルチモーダルなインターフェースの背後に、専門化されたモデルのパイプラインが隠れていることがあります。マルチモーダルモデルが、テキスト専用のインターフェースの背後に置かれていることもあります。画像とテキストのペアで訓練されたモデルが、自由形式の会話ではなく、限定的な照合タスクしかサポートしないこともあります。
製品やモデルを評価するときは、次の3つの質問を使ってください。
- 同じタスクで、どのモダリティを受け付けられるか？
- どのモダリティを生成できるか？
- それらのモダリティの情報は、どこで、どのように相互作用するか？
これらの回答は、「マルチモーダル」という言葉だけよりも多くのことを教えてくれます。
次に読む内容
より広いモデルの概念については「AIモデルとは？」を、コンテンツを作成する能力とモダリティを組み合わせる能力の違いについては「生成AIとは？」を参照してください。モデルカードや製品ページを読むときは、入力と出力を分けて一覧にし、その後、複数のモダリティからの情報を必要とするタスクでテストされた証拠を探してください。