OpenAI首款定制推理芯片Jalapeño在测试中胜过Nvidia Corp.的GB300处理器,芯片负责人Richard Ho在接受彭博社采访时表示。

Ho表示,在衡量AI每瓦性能和响应速度的测试中,这款芯片表现更出色。

彭博社周二援引Ho的话称:“在实验室中,Jalapeño在高吞吐量领域和低延迟领域都展现出出色性能。这意味着,它能够以更低成本服务大量客户;对于重视低延迟的客户而言,响应时间将会非常、非常快。”报道称。

Jalapeño由Broadcom Inc.参与开发。Broadcom为众多客户制造定制芯片。两家公司去年宣布合作,并于今年6月表示,该处理器在创纪录的时间内完成开发。

这款芯片专为AI推理打造,即让经过训练的AI模型响应提示并处理任务。Ho表示,它并非用于训练AI模型,而这正是Nvidia技术的优势所在。

Jalapeño也没有与Nvidia最新的Vera Rubin芯片进行对比测试,后者最近开始出货。

Broadcom AI Semiconductor Revenue

Broadcom AI Semiconductor Revenue

  • Broadcom
Broadcom AI Semiconductor RevenueAs of 2026-01-01, Broadcom AI semiconductor revenue was $10.8 in the latest reported quarter.$15B$10B$5B$0BBroadcom, 2022-10-01T00:00:00.000Z: $0.6BBroadcom, 2023-01-01T00:00:00.000Z: $0.8BBroadcom, 2023-04-01T00:00:00.000Z: $1BBroadcom, 2023-07-01T00:00:00.000Z: $1.5BBroadcom, 2023-10-01T00:00:00.000Z: $2.3BBroadcom, 2024-01-01T00:00:00.000Z: $3.1BBroadcom, 2024-04-01T00:00:00.000Z: $3.1BBroadcom, 2024-07-01T00:00:00.000Z: $3.7BBroadcom, 2024-10-01T00:00:00.000Z: $4.1BBroadcom, 2025-01-01T00:00:00.000Z: $4.4BBroadcom, 2025-04-01T00:00:00.000Z: $5.2BBroadcom, 2025-07-01T00:00:00.000Z: $6.5BBroadcom, 2025-10-01T00:00:00.000Z: $8.4BBroadcom, 2026-01-01T00:00:00.000Z: $10.8BQ1 FY23Q2 FY23Q3 FY23Q4 FY23Q1 FY24Q2 FY24Q3 FY24Q4 FY24Q1 FY25Q2 FY25Q3 FY25Q4 FY25Q1 FY26Q2 FY26Broadcom: $10.8B on Q2 FY26
SOURCE: The Latent

测试

OpenAI在一篇博客文章中表示,该公司在InferenceX上测试了Jalapeño。InferenceX是SemiAnalysis推出的公开基准测试,用于衡量系统提供AI请求服务的速度和效率。测试涵盖高吞吐量和低延迟工作负载。

在DeepSeek R1 670B上,Jalapeño的每千瓦峰值混合令牌吞吐量达到Nvidia GB300系统的1.7倍。其端到端延迟也低了3.6倍,为1.65秒,而GB300系统为5.99秒。

OpenAI表示,在测试中规模最大的公开模型Kimi K2.5 1T上,Jalapeño的峰值每瓦性能提升了1.5倍。端到端延迟低了3.4倍。

OpenAI还在GPT-OSS 120B上将Jalapeño与Nvidia的GB200进行了对比。这款芯片的每千瓦峰值混合令牌吞吐量高出1.9倍,达到85,448,而GB200为44,960。