トークン・コンテキスト・表現

モデルがテキストをどう読み、どう保持するか。トークン、コンテキストウィンドウ、埋め込み、知識のカットオフを、AIツールを使う読者向けに解説します。

学ぶ

トークン・コンテキスト・表現

コンセプトAIにおけるトークンとは？AIにおけるトークンとは、LLMがテキストを表現・生成するために使う語彙の1項目です。モデルのトークナイザーによって、単語、単語の一部、句読点、空白、さらにはエンコードされた文字の一部に対応することがあります。
コンセプトAIの知識カットオフとは？AIの知識カットオフとは、モデルに組み込まれた知識が、その日付までのトレーニングデータを反映していると想定される基準日です。これは大まかな境界であり、モデルがそれ以前の事実をすべて知っていることや、AI製品がそれ以降の情報を取得できないことを保証するものではありません。
コンセプトコンテキストウィンドウとは？コンテキストウィンドウとは、AIモデルが1つの応答を生成する際に利用できる、トークン化された情報量の最大値です。多くの言語モデルAPIでは、この上限に入力と生成される出力の両方が含まれますが、プロバイダーによっては入力と出力に個別の上限を設けている場合もあります。
比較コンテキストウィンドウと知識カットオフの違いコンテキストウィンドウは、AIモデルが1回のリクエストで利用できる情報量を制限します。一方、知識カットオフは、モデルに組み込まれた知識がどれほど新しいかを示します。前者はトークン数で測る容量であり、後者は学習に関連する日付です。
比較入力トークン、出力トークン、推論トークンの比較入力トークンはモデルが受け取るもので、出力トークンはモデルが生成するものです。推論トークンは、回答に到達するために内部で生成されるトークンです。注意すべき点は、API上で別の詳細項目として表示される場合でも、推論トークンが出力使用量に含まれることが多いことです。
コンセプト入力トークンとは？入力トークンとは、モデルが次の応答の生成を開始する前に受け取り、処理するトークンです。入力トークンは、直前に入力した語句だけでなく、モデル向けに組み立てられたリクエスト全体から生じます。
コンセプト出力トークンとは？出力トークンとは、モデルが応答を生成する際に生成する単位です。通常は、受け取るテキスト、コード、構造化データ、またはツール指示を構成しますが、プロバイダーによっては、隠れた推論も出力使用量としてカウントする場合があります。
コンセプト推論トークンとは？推論トークンとは、AIモデルが回答に取り組む過程で生成するトークンで、ユーザーに表示される回答テキストとは別のものです。計画、確認、アプローチの試行などの追加の生成ステップを表し、サービスが非表示にしていても、使用量や上限の計算対象になることがあります。