推論と配信

モデルが動くときに何が起きているのか。推論、レイテンシ、スループット、バッチ処理と、あらゆるAI製品を支える配信インフラを解説します。

学ぶ

推論と配信

コンセプト1秒あたりのトークン数とは？1秒あたりのトークン数（TPSまたはtok/s）は、AIシステムが1秒間に生成するトークン数を測定します。この数値は、1つの応答の出力速度を示す場合も、サービス提供システム全体の合算スループットを示す場合もあるため、ラベルだけでは不十分です。
コンセプトAIにおける推論とは？AIにおける推論とは、学習済みモデルに入力を与えて出力を生成するプロセスであり、モデルが学習した内容は更新しません。これはモデルを利用する段階です。写真を入力するとラベルが出力されたり、プロンプトを入力すると生成テキストが出力されたりします。
コンセプトTime to First Tokenとは？Time to first token（TTFT）とは、言語モデルへのリクエストを開始してから、応答の最初のトークンを受け取るまでの経過時間です。これは初期の待ち時間を測定するものであり、応答の残りがどれだけ速く届くかを測るものではありません。
比較レイテンシー vs. TTFT vs. 1秒あたりトークン数 vs. スループットレイテンシーは1つの推論リクエストにかかる時間、TTFTはストリーミングリクエストが応答を開始するまでの時間、1秒あたりトークン数は1つのストリームまたはシステム全体を表し得る速度、スループットはシステムが時間あたりに完了する総作業量です。最も重要な違いは対象範囲です。レイテンシーとTTFTは1つのリクエストを計測するのに対し、スループットは測定時間内の作業量を数えます。
コンセプト推論スループットとは？推論スループットとは、推論システムが処理中のすべてのリクエストについて、単位時間あたりに完了するモデル処理の量です。完了したリクエスト数、推論数、サンプル数、または1秒あたりのトークン数で測定できます。
コンセプト推論レイテンシとは？推論レイテンシとは、AIシステムが入力を受け取ってから、指定された出力を生成するまでの経過時間です。レイテンシの数値は、タイマーをどこで開始し、どこで停止し、どのような出力を完了とみなすかが分かって初めて意味を持ちます。