Jalapeñoとして知られるOpenAI初のカスタム推論チップは、テストでNvidia Corp.のGB300プロセッサーを上回ったと、チップ部門責任者のRichard Ho氏がBloombergのインタビューで語った。
Ho氏によると、このチップはワット当たりのAI性能と応答速度を測定するテストで優れた性能を示した。
「研究室では、Jalapeñoは高スループット領域、つまりより多くの顧客に低コストでサービスを提供できる領域と、低レイテンシー領域の双方で性能を示しています。後者を重視する顧客にとっては、応答時間が本当に、本当に速くなります」と、BloombergはHo氏の発言を火曜日の報道で伝えた。
Jalapeñoは、幅広い顧客向けにカスタムチップを製造するBroadcom Inc.との提携で開発された。両社は昨年、協業を発表し、6月にはプロセッサーを記録的な短期間で開発したと明らかにした。
このチップはAI推論向けに構築されている。AI推論とは、学習済みのAIモデルがプロンプトに応答し、タスクを処理することを指す。Ho氏によると、Nvidiaの技術が得意とするAIモデルの学習向けには設計されていない。
また、Jalapeñoは、最近出荷が始まったNvidiaの最新のVera Rubinチップとは比較テストされていない。
テスト
OpenAIはブログ記事で、AIリクエストをシステムがどれだけ速く、効率的に処理できるかを測定するSemiAnalysisの公開ベンチマークであるInferenceXを使ってJalapeñoをテストしたと明らかにした。テストでは、高スループットと低レイテンシーの両方のワークロードを対象とした。
DeepSeek R1 670Bでは、JalapeñoはNvidia GB300システムに対し、キロワット当たりのピーク時混合トークン処理性能で1.7倍を達成した。エンドツーエンドのレイテンシーも3.6倍低く、GB300システムの5.99秒に対して1.65秒だった。
OpenAIによると、テスト対象で最大の公開モデルであるKimi K2.5 1Tでは、Jalapeñoはピーク時のワット当たり性能で1.5倍の向上を示した。エンドツーエンドのレイテンシーは3.4倍低かった。
OpenAIはまた、GPT-OSS 120BでJalapeñoとNvidiaのGB200を比較した。このチップは、キロワット当たりのピーク時混合トークン処理性能で1.9倍高い数値を示し、85,448対44,960だった。