Jalapeño로 알려진 OpenAI의 첫 맞춤형 추론 칩이 테스트에서 Nvidia Corp.의 GB300 프로세서보다 뛰어난 성능을 보였다고 칩 부문 책임자 Richard Ho가 블룸버그와의 인터뷰에서 밝혔다.
Ho는 와트당 AI 성능과 응답 속도를 측정한 테스트에서 이 칩이 더 뛰어난 성능을 보였다고 말했다.
“실험실에서 Jalapeño는 고처리량 영역과 저지연 영역 모두에서 성능을 보이고 있습니다. 고처리량 영역에서는 더 많은 고객에게 더 저렴한 비용으로 서비스를 제공할 수 있고, 저지연 영역에서는 이에 관심이 있는 고객에게 응답 시간이 정말 매우 빨라질 것입니다”라고 블룸버그는 Ho의 말을 인용해 화요일 보도했다.
Jalapeño는 다양한 고객을 위한 맞춤형 칩을 제작하는 Broadcom Inc.와 협력해 개발됐다. 두 회사는 지난해 협력을 발표했으며, 6월에는 이 프로세서가 기록적인 시간 안에 개발됐다고 밝혔다.
이 칩은 학습된 AI 모델이 프롬프트에 응답하고 작업을 처리하는 AI 추론용으로 제작됐다. Nvidia의 기술이 강점을 보이는 AI 모델 학습용으로 설계된 것은 아니라고 Ho는 말했다.
Jalapeño는 최근 출하를 시작한 Nvidia의 최신 Vera Rubin 칩과도 비교 테스트를 진행하지 않았다.
테스트
OpenAI는 블로그 게시물에서 시스템이 AI 요청을 얼마나 빠르고 효율적으로 처리할 수 있는지를 측정하는 SemiAnalysis의 공개 벤치마크인 InferenceX에서 Jalapeño를 테스트했다고 밝혔다. 테스트에는 고처리량과 저지연 워크로드가 모두 포함됐다.
DeepSeek R1 670B에서 Jalapeño는 Nvidia GB300 시스템보다 킬로와트당 최대 혼합 토큰 처리량이 1.7배 높았다. 종단 간 지연 시간도 GB300 시스템의 5.99초보다 3.6배 낮은 1.65초를 기록했다.
OpenAI에 따르면 테스트에 포함된 가장 큰 공개 모델인 Kimi K2.5 1T에서 Jalapeño는 최대 와트당 성능이 1.5배 향상됐다. 종단 간 지연 시간은 3.4배 낮았다.
OpenAI는 GPT-OSS 120B에서 Jalapeño를 Nvidia의 GB200과도 비교했다. 이 칩은 킬로와트당 최대 혼합 토큰 처리량이 1.9배 높았으며, 수치는 85,448 대 44,960이었다.