Jalapeñoとして知られるOpenAI初のカスタム推論チップは、テストでNvidia Corp.のGB300プロセッサーを上回ったと、チップ部門責任者のRichard Ho氏がBloombergのインタビューで語った。
Ho氏によると、このチップはワット当たりのAI性能と応答速度を測定するテストで優れた結果を示した。
「研究所では、Jalapeñoは高スループット領域と低レイテンシー領域の両方で性能を示している。高スループット領域では、より多くの顧客に低コストでサービスを提供でき、低レイテンシー領域では、応答時間を重視する顧客にとって、本当に非常に高速な応答が可能になる」と、BloombergはHo氏の発言をレポートで火曜日に伝えた。
Jalapeñoは、さまざまな顧客向けにカスタムチップを製造するBroadcom Inc.との提携で開発された。両社は昨年、協業を発表し、6月には、このプロセッサーを記録的な短期間で開発したと明らかにした。
このチップはAI推論向けに設計されている。AI推論では、学習済みAIモデルがプロンプトに応答し、タスクを処理する。一方、Nvidiaの技術が優れているAIモデルの学習向けには設計されていないと、Ho氏は語った。
また、Jalapeñoは、最近出荷が始まったNvidiaの最新のVera Rubinチップとは比較テストを実施していない。
テスト
OpenAIはブログ投稿で、Jalapeñoを、AIリクエストをシステムがどれだけ迅速かつ効率的に処理できるかを測定するSemiAnalysisの公開ベンチマークでテストしたと明らかにした。テストでは、高スループットと低レイテンシーの両方のワークロードを対象とした。
DeepSeek R1 670Bでは、JalapeñoはNvidia GB300システムに対し、1キロワット当たりのピーク混合トークンスループットで1.7倍の性能を達成した。エンドツーエンドのレイテンシーも3.6倍短く、GB300システムの5.99秒に対して1.65秒だった。
OpenAIによると、テスト対象で最大の公開モデルであるKimi K2.5 1Tでは、Jalapeñoのピーク時のワット当たり性能が1.5倍向上した。エンドツーエンドのレイテンシーは3.4倍短かった。
OpenAIは、GPT-OSS 120BでJalapeñoとNvidiaのGB200も比較した。このチップは、1キロワット当たりのピーク混合トークンスループットで1.9倍高い性能を示し、数値は85,448対44,960だった。