La première puce d’inférence personnalisée d’OpenAI, connue sous le nom de Jalapeño, a surpassé le processeur GB300 de Nvidia Corp. lors de tests, a déclaré le responsable des puces, Richard Ho, dans une interview accordée à Bloomberg.
Ho a déclaré que la puce avait obtenu de meilleurs résultats lors de tests mesurant la performance de l’IA par watt et la vitesse de réponse.
« En laboratoire, Jalapeño affiche des performances à la fois dans le domaine du haut débit, ce qui signifie qu’elle sera capable de servir beaucoup de clients à moindre coût, et dans le domaine de la faible latence, ce qui signifie que, pour les clients qui y accordent de l’importance, le temps de réponse sera vraiment, vraiment rapide », a déclaré Ho, selon Bloomberg, dans un article publié mardi.
Jalapeño a été développée en partenariat avec Broadcom Inc., qui fabrique des puces personnalisées pour un éventail de clients. Les deux entreprises ont annoncé leur collaboration l’an dernier et ont déclaré en juin que le processeur avait été développé en un temps record.
La puce est conçue pour l’inférence d’IA, qui consiste pour des modèles d’IA entraînés à répondre à des prompts et à exécuter des tâches. Elle n’est pas destinée à l’entraînement des modèles d’IA, domaine dans lequel la technologie de Nvidia excelle, a déclaré Ho.
Jalapeño n’a pas non plus été testée face aux dernières puces Vera Rubin de Nvidia, dont les livraisons ont récemment commencé.
Tests
OpenAI a indiqué dans un article de blog avoir testé Jalapeño sur InferenceX, un benchmark public de SemiAnalysis qui mesure la rapidité et l’efficacité avec lesquelles un système peut traiter une requête d’IA. Les tests couvraient des charges de travail à haut débit et à faible latence.
Sur DeepSeek R1 670B, Jalapeño a atteint un débit maximal de jetons mixtes par kilowatt 1,7 fois supérieur à celui du système Nvidia GB300. Sa latence de bout en bout était également 3,6 fois plus faible, à 1,65 seconde contre 5,99 secondes pour le système GB300.
Kimi K2.5 1T, le plus grand modèle public du test, a affiché un gain de performance maximale par watt de 1,5 fois avec Jalapeño, a indiqué OpenAI. La latence de bout en bout était 3,4 fois plus faible.
OpenAI a également comparé Jalapeño à la GB200 de Nvidia avec GPT-OSS 120B. La puce a atteint un débit maximal de jetons mixtes par kilowatt 1,9 fois supérieur, à 85 448 contre 44 960.