El primer chip de inferencia personalizado de OpenAI, conocido como Jalapeño, superó al procesador GB300 de Nvidia Corp. en pruebas, dijo el responsable de chips Richard Ho en una entrevista con Bloomberg.
Ho dijo que el chip obtuvo mejores resultados en pruebas que medían el rendimiento de IA por vatio y la velocidad de respuesta.
«En el laboratorio, Jalapeño está mostrando rendimiento tanto en el ámbito del alto rendimiento de procesamiento, lo que significa que podrá atender a muchos clientes a menor costo, como en el ámbito de baja latencia, lo que significa que, para los clientes a quienes les importa, el tiempo de respuesta será realmente, realmente rápido», Bloomberg citó a Ho en un informe del martes.
Jalapeño se desarrolló en colaboración con Broadcom Inc., que fabrica chips personalizados para una variedad de clientes. Las dos empresas anunciaron su colaboración el año pasado y dijeron en junio que el procesador se desarrolló en tiempo récord.
El chip está diseñado para la inferencia de IA, que implica que modelos de IA entrenados respondan a indicaciones y realicen tareas. No está diseñado para entrenar modelos de IA, ámbito en el que sobresale la tecnología de Nvidia, dijo Ho.
Jalapeño tampoco se probó frente a los chips Vera Rubin más recientes de Nvidia, cuyos envíos comenzaron recientemente.
Pruebas
OpenAI dijo en una publicación de blog que probó Jalapeño en InferenceX, un punto de referencia público de SemiAnalysis que mide con qué rapidez y eficiencia un sistema puede atender una solicitud de IA. Las pruebas abarcaron cargas de trabajo de alto rendimiento de procesamiento y baja latencia.
En DeepSeek R1 670B, Jalapeño ofreció 1.7 veces el rendimiento máximo de tokens mixtos por kilovatio del sistema Nvidia GB300. Su latencia de extremo a extremo también fue 3.6 veces menor: 1.65 segundos frente a 5.99 segundos del sistema GB300.
Kimi K2.5 1T, el modelo público más grande de la prueba, produjo una mejora de 1.5 veces en el rendimiento máximo por vatio de Jalapeño, dijo OpenAI. La latencia de extremo a extremo fue 3.4 veces menor.
OpenAI también comparó Jalapeño con el GB200 de Nvidia en GPT-OSS 120B. El chip ofreció un rendimiento máximo de tokens mixtos por kilovatio 1.9 veces mayor: 85,448 frente a 44,960.