El primer chip de inferencia personalizado de OpenAI, conocido como Jalapeño, superó al procesador GB300 de Nvidia Corp. en las pruebas, según declaró el responsable de chips, Richard Ho, en una entrevista con Bloomberg.
Ho afirmó que el chip obtuvo mejores resultados en las pruebas que miden el rendimiento de IA por vatio y la velocidad de respuesta.
«En el laboratorio, Jalapeño está mostrando rendimiento tanto en el ámbito de alto rendimiento, lo que significa que podrá atender a muchos clientes a menor coste, como en el ámbito de baja latencia, lo que significa que, para los clientes a los que les importa, el tiempo de respuesta será realmente muy, muy rápido», Bloomberg citó a Ho en un informe del martes.
Jalapeño se desarrolló en colaboración con Broadcom Inc., que fabrica chips personalizados para una variedad de clientes. Las dos empresas anunciaron su colaboración el año pasado y dijeron en junio que el procesador se había desarrollado en un tiempo récord.
El chip está diseñado para la inferencia de IA, que consiste en que los modelos de IA entrenados respondan a indicaciones y realicen tareas. No está diseñado para entrenar modelos de IA, un ámbito en el que destaca la tecnología de Nvidia, afirmó Ho.
Jalapeño tampoco se probó frente a los chips Vera Rubin más recientes de Nvidia, cuyo envío comenzó recientemente.
Pruebas
OpenAI afirmó en una entrada de blog que probó Jalapeño en InferenceX, un referente de rendimiento público de SemiAnalysis que mide la rapidez y eficiencia con la que un sistema puede atender una solicitud de IA. Las pruebas abarcaron cargas de trabajo tanto de alto rendimiento como de baja latencia.
En DeepSeek R1 670B, Jalapeño ofreció 1.7 veces el rendimiento máximo de tokens mixtos por kilovatio del sistema Nvidia GB300. Su latencia de extremo a extremo también fue 3.6 veces menor: 1.65 segundos frente a los 5.99 segundos del sistema GB300.
Kimi K2.5 1T, el modelo público más grande de la prueba, registró una mejora de 1.5 veces en el rendimiento máximo por vatio con Jalapeño, afirmó OpenAI. La latencia de extremo a extremo fue 3.4 veces menor.
OpenAI también comparó Jalapeño con el GB200 de Nvidia en GPT-OSS 120B. El chip ofreció un rendimiento máximo de tokens mixtos por kilovatio 1.9 veces superior: 85,448 frente a 44,960.