基盤モデルとは、機械学習モデルの一種で、1つのタスク専用に構築するのではなく、多様なタスクに適応できるよう幅広いデータで訓練されています。完成したアプリケーションではなく、再利用可能な出発点です。

役立つメンタルモデル

「基盤」という言葉は、モデルが一連の流れの中でどの位置にあるかを表しています。

broad training data
        ↓
     pretraining
        ↓
  foundation model
     ↙    ↓    ↘
 prompt  task   fine-tuned
         layer  derivative
     ↘    ↓    ↙
 downstream models and applications

基盤には、幅広い事前学習を通じて学習されたパターンが含まれています。その後の段階で、そうしたパターンを特定の仕事に向けて調整します。ある適応ではサポートチケットを分類し、別の適応では質問に回答し、また別の適応では画像と文章による説明を対応付けることができます。

ここが重要な区別です。モデルは幅広い能力を持っていても、特定の製品ですぐに使える状態とは限りません。「基盤」に価値があるのは、開発者がタスクごとにゼロから始めるのではなく、同じ基盤を再利用できるからです。

基盤モデルの仕組み

まず、開発者は幅広い訓練データを集めます。「幅広い」という意味は、想定する領域との相対的なものです。言語モデルはさまざまな種類のテキストから学習する一方、医用画像の基盤モデルは、多様なスキャン画像や臨床環境から学習することがあります。幅広いとは、世の中に存在するあらゆる種類のデータを含むという意味ではありません。

次に、モデルは事前学習を受けます。多くの基盤モデルは自己教師あり学習を用います。つまり、データ自体が学習信号を提供します。テキストモデルは、隠されたテキストや次に続くテキストの一部を予測することで学習できます。画像・テキストモデルは、どのキャプションがどの画像に対応するかを学習できます。正確な目的はさまざまですが、狙いは、狭い1つのタスクを超えて役立ち続けるパターンを学習することです。

事前学習によってチェックポイントが生成されます。これは、モデルが学習した値を保存したものです。そのチェックポイントは、次のような複数の方法で適応できます。

  • プロンプティングでは、入力に指示や例を与えます。直近の振る舞いは変わりますが、モデルが学習した値は変わりません。
  • タスク固有の層の追加では、モデル内部の出力を、カテゴリ集合など特定の結果に変換する小さなコンポーネントを接続します。
  • ファインチューニングでは、より限定されたデータセットで訓練を続けます。タスクや領域での性能を高めるために、学習した値の一部またはすべてを変更します。
  • システム統合では、モデルを検索、データベース、ツール、ルール、インターフェースに接続します。基盤となるモデルを凍結したままでも、アプリケーションでできることが変わります。

これらの方法は組み合わせることができます。ただし、適応後の結果が正確、安全、または意図した用途に適していることを保証するものはありません。下流の用途ごとに、個別の評価が必要です。

具体例

ある企業が、幅広く事前学習された言語モデルを使い始め、カスタマーサポートのチケットを処理したいと考えているとします。

簡単なプロトタイプを作るため、チームは許可された振り分けラベルといくつかの例を含むプロンプトをモデルに与えます。モデルが学習した値は変わりません。

より一貫した振り分けを行うため、チームは分類層を追加し、過去のチケットを使ってファインチューニングします。これにより、元のモデルから派生したタスク固有のモデルが作られます。

顧客向けのサポートアシスタントを作るため、チームはモデルを承認済みのヘルプ記事、アカウント用ツール、権限チェック、インターフェースに接続します。その結果は、モデル自体にすぎないものではなく、モデルを中心に構築されたAIシステムです。

同じ出発点となるチェックポイントから、プロンプトによる振る舞い、適応されたモデル、完全なアプリケーションという3つの結果が生まれました。この再利用性こそが、それを基盤モデルにしているものです。

このパターンは仮想的なものではありません。元のBERT研究では、1つの事前学習済み言語モデルを11の言語タスクに適応し、多くの場合、追加した出力層は1つだけでした。その後の研究では、別の形の再利用も示されました。GPT-3はファインチューニングなしに、テキストによる指示と例からタスクを実行し、CLIPは、分類するための専用訓練を受けていない画像を自然言語のラベルで分類しました。

基盤モデルが重要な理由

基盤モデルは、コストの高い幅広い学習の多くを、共有された事前学習段階に移します。そのため下流のチームは、タスクデータ、評価、製品設計、安全対策に注力できます。

この共有された基盤は、大きな効果を生みます。基盤への改善が多くの用途に恩恵をもたらす可能性があります。一方で、集中によるリスクも生じます。基盤にバイアス、セキュリティ上の弱点、または体系的な失敗が含まれていると、多くの適応モデルや製品がそれを引き継ぐ可能性があります。研究者はこれを均質化と呼びます。つまり、多くのシステムが同じ少数の基盤となる手法やモデルに依存するようになることです。

適応によって、あるユースケースにおける問題を軽減できる場合はありますが、それによって基盤の限界が自動的に消えるわけではありません。洗練されたアプリケーションは共通の起源を見えにくくすることはあっても、それを取り除くことはありません。

よくある誤解

「基盤モデル」とは「大規模言語モデル」を意味する

LLMは、言語への焦点と規模によって定義されます。基盤モデルは、幅広い事前学習と下流での再利用によって定義されます。多くのLLMは基盤モデルですが、このカテゴリーには画像、音声、ロボティクス、生物学、そして複数のデータ種別を組み合わせたモデルも含まれます。

すべての基盤モデルはコンテンツを生成する

生成は、元の定義に必須ではありません。基盤モデルは、再利用可能な特徴を生成したり、入力をランク付けまたは分類したり、テキストと画像を結び付けたりできます。ベンダーのページでは、自社製品が販売するモデルが生成モデルであるため、「基盤モデル」を生成モデルの略称として使うことがよくありますが、これはより狭い用法です。

規模が大きければ十分である

基盤モデルと他のモデルを分ける、普遍的なパラメータ数の基準はありません。非常に大規模なモデルでも、固定された1つのタスク向けに訓練されているなら、それだけで基盤モデルになるわけではありません。より重要な判断基準は、幅広いデータから学習し、多様な下流タスクの有意義な基盤として機能できるかどうかです。

政策文書では、「デュアルユース基盤モデル」など、規制対象となる一部の範囲について数値的なしきい値を定めることがあります。そうしたしきい値が定義するのは、その政策用語の対象範囲であり、技術カテゴリー全体ではありません。

プロンプティングによってモデルが訓練される

通常のプロンプトは、1回のやり取りのための一時的な入力を与えます。ファインチューニングは、追加の訓練を通じて学習した値を更新します。どちらもタスクに合わせて振る舞いを適応できますが、モデル自体を変えるのは後者だけです。

「基盤」は信頼できることを意味する

この用語は品質を保証するものではありません。元の提唱者がこの用語を選んだ理由の一つは、下流のシステムが、その下にあるものに依存することを強調するためでした。強い基盤が有用な能力を広げるのと同じように、弱い基盤も失敗を効果的に広げる可能性があります。

「基盤モデル」はライセンス形態を示す

示しません。基盤モデルには、ダウンロード可能な重みを持つもの、重みが制限されているもの、API経由でのみアクセスできるものがあります。「オープン」「オープンウェイト」「クローズド」は、モデルが基盤としての役割を果たすかどうかではなく、アクセスとライセンスを表します。

より広いシステムの中での位置付け

基盤モデルは、幅広い事前学習と具体的な用途の間に位置します。

その前段には、チェックポイントの作成に使われたデータ、学習目的、アーキテクチャ、計算資源、評価があります。その後段には、プロンプト、ファインチューニングされた派生モデル、タスク固有のコンポーネント、検索ソース、安全制御、ツール、ユーザーインターフェースがあります。

これらの層を分けて考えると、主張を評価しやすくなります。アシスタントが最新の事実を検索して取得した場合、それはモデルの事前学習ではなく、接続された検索システムから得られた可能性があります。チャットボットが要求を拒否した場合、その振る舞いはモデルの訓練、システム指示、外部フィルター、または複数の層の組み合わせによる可能性があります。目に見える製品だけでは、どの層が処理を担ったのかは分かりません。

次に読むもの

「基盤モデル」というラベルを見かけたら、2つの点を確認してください。1つは、そのモデルが1つの狭いタスクを超えて対応できるほど幅広く訓練されているかどうか。もう1つは、調べている製品の中でモデルがどのように適応されているかです。モデルカードや技術報告書を読めば、事前学習の範囲、想定される下流用途、適応方法、既知の限界を確認できるはずです。

そうした詳細がなければ、ラベルだけから、能力、信頼性、アクセス、または安全性について分かることはほとんどありません。

より広いモデルの概念については「AIモデルとは？」を、学習済みパラメータがどのように作られるかについては「AIにおける訓練とは？」を、基盤モデルの主要な応用分野の1つについては「生成AIとは？」を読んでください。