OpenAI首款定制推理芯片Jalapeño在测试中表现超过英伟达公司的GB300处理器。芯片负责人Richard Ho在接受彭博社采访时说。

Ho表示,在衡量AI每瓦性能和响应速度的测试中,该芯片表现更佳。

彭博社周二在一篇报道中援引Ho的话称:“在实验室中,Jalapeño在高吞吐量领域和低延迟领域都展现出性能优势。这意味着,它能够以更低的成本服务大量客户;对于重视低延迟的客户来说,响应时间将会非常、非常快。”

Jalapeño由博通公司参与开发。博通为众多客户制造定制芯片。两家公司去年宣布开展合作,并于今年6月表示,该处理器是在创纪录的时间内开发完成的。

该芯片面向AI推理,涉及经过训练的AI模型响应提示词并处理任务。Ho表示,它并非用于训练AI模型,而英伟达的技术在这一领域表现出色。

Jalapeño也未与英伟达最新的Vera Rubin芯片进行对比测试,后者最近已开始出货。

Broadcom AI Semiconductor Revenue

Broadcom AI Semiconductor Revenue

SOURCE: The Latent

测试

OpenAI在一篇博客文章中表示,它在InferenceX上测试了Jalapeño。InferenceX是SemiAnalysis推出的公开基准测试,用于衡量系统处理AI请求的速度和效率。测试涵盖高吞吐量和低延迟工作负载。

在DeepSeek R1 670B测试中,Jalapeño的峰值混合令牌每千瓦吞吐量达到英伟达GB300系统的1.7倍。其端到端延迟也降低了3.6倍,为1.65秒,而GB300系统为5.99秒。

OpenAI表示,Kimi K2.5 1T是测试中规模最大的公开模型,Jalapeño在峰值每瓦性能方面提升了1.5倍。端到端延迟降低了3.4倍。

OpenAI还在GPT-OSS 120B测试中将Jalapeño与英伟达的GB200进行了比较。该芯片的峰值混合令牌每千瓦吞吐量高出1.9倍,达到85,448,而GB200为44,960。