OpenAI Jalapeño: i primi benchmark, fino a 3,6x più veloce di NVIDIA

OpenAI ha pubblicato i primi numeri misurati del suo chip di inferenza progettato in casa, e non sono numeri timidi. Sulla suite di benchmark InferenceX di SemiAnalysis, OpenAI Jalapeño ha registrato da 1,5 a 1,9 volte più lavoro AI per watt e da 1,7 a 3,6 volte meno latenza end-to-end rispetto ai sistemi NVIDIA GB200 e GB300, su tre modelli diversi: GPT-OSS 120B, DeepSeek R1 670B e Kimi K2.5 da mille miliardi di parametri. Il chip è dichiarato a 700 watt e nei test misurati non ha superato i 550 watt sostenuti, contro i 1.200 W del GB200 e i 1.400 W del GB300. Sono le prime cifre verificate da terzi da quando OpenAI e Broadcom hanno annunciato il progetto, e arrivano insieme a un elenco di avvertenze che conviene leggere prima delle cifre.

In questo articolo scoprirai:

• Cosa ha misurato davvero il benchmark InferenceX su Jalapeño
• Perché il 3,6x non è il numero da ricordare, e quale invece lo è
• Dentro il chip da 700 watt: 13,4 PFLOPS, HBM4 e rack da 128 ASIC
• La scommessa vera: modello, software di serving, chip, memoria e rete come sistema unico
• Cosa cambia per chi in azienda deve far girare l’AI in produzione

Cosa ha misurato davvero il benchmark InferenceX su Jalapeño

InferenceX è la suite proprietaria di SemiAnalysis, che ha eseguito i test di persona in laboratorio insieme agli ingegneri di OpenAI. Il dato più leggibile riguarda GPT-OSS 120B: Jalapeño ha prodotto 85.448 mixed token al secondo per kilowatt contro i 44.960 del GB200, cioè circa 1,9 volte il lavoro a parità di energia. Sullo stesso modello la latenza end-to-end è scesa da 1,80 a 1,03 secondi e il tempo minimo fra un token e l’altro da 1,87 a 0,69 millisecondi.

Il vantaggio di latenza di Jalapeño sui modelli grandi

Il divario cresce sui modelli grandi. Su DeepSeek R1 670B la latenza end-to-end misurata è 1,65 secondi contro i 5,99 secondi del GB300: è da qui che esce il 3,6x del titolo, come riporta Igor’s Lab. Su Kimi K2.5 il rapporto è 1,56 contro 5,31 secondi, circa 3,4 volte. Sui carichi fortemente interattivi, quelli dove l’utente aspetta la risposta davanti allo schermo, OpenAI dichiara da 2,1 a 4,1 volte più prestazioni, e ai punti operativi a latenza minima arriva a rivendicare da 8,6 a 104,3 volte più throughput per kilowatt, come riporta Tom’s Hardware.

Perché Jalapeño non è cucito addosso ai modelli di OpenAI

Un dettaglio conta più di quanto sembri: i tre modelli sono stati scelti perché nessuno dei tre è stato co-ottimizzato per il chip. Jalapeño non è un acceleratore cucito addosso a GPT: è pensato per servire modelli linguistici qualsiasi, ed è una differenza sostanziale rispetto agli ASIC verticali visti finora. Se dopo questo pezzo vuoi vedere cosa succede dentro una richiesta di inferenza, la nostra guida su come funziona davvero un modello di AI, dal testo che entra alla risposta che esce lo spiega token per token.

Perché il 3,6x non è il numero da ricordare, e quale invece lo è

Qui serve onestà, e la portano gli stessi misuratori. SemiAnalysis, che ha eseguito i test, definisce il confronto con Blackwell «in parte incompleto e ingiusto». Le ragioni sono quattro e vanno tutte nella stessa direzione.

Le quattro riserve sul confronto fra Jalapeño e Blackwell

Primo: tutti i numeri sono forniti da OpenAI, e NVIDIA non ha pubblicato risultati con la stessa metodologia. Secondo: i test coprono solo scenari single-turn con 8k di contesto e 1k di output, non la suite AgentX multi-turn e long-context che stressa router, prefix cache e gestione della memoria, esattamente ciò che accade in produzione con gli agenti AI. Chi va bene su 8k1k può andare peggio su AgentX. Terzo, ed è il punto più pesante: i confronti mettono Jalapeño in single-token prediction contro configurazioni NVIDIA anch’esse senza multi-token prediction, mentre in produzione il multi-token prediction è la norma e vale una riduzione di costo per token stimata fra 3 e 5 volte, come sintetizza The Register. Quarto: Jalapeño monta HBM4, il GB300 testato monta HBM3E. È un confronto fra generazioni di memoria diverse.

Jalapeño contro Vera Rubin: il paragone corretto

Il paragone corretto sarebbe con Vera Rubin, che ha iniziato a spedire da poco e usa anch’essa HBM4. SemiAnalysis lo ha fatto contro i migliori risultati Vera Rubin pubblicati a luglio 2026: Jalapeño mantiene un vantaggio stretto sui token di output per megawatt, ma quei risultati usavano multi-token prediction. Sul costo totale di possesso per token le due piattaforme risultano sostanzialmente pari. Il numero da ricordare, quindi, non è 3,6x: è che un chip nato in nove mesi arriva alla pari con il meglio del mercato. Il «fino a» del titolo è un «fino a» vero.

Dentro il chip da 700 watt: 13,4 PFLOPS, HBM4 e rack da 128 ASIC

A Hot Chips 2026 OpenAI ha mostrato l’architettura. Ogni chip dichiara 13,4 PFLOP/s di calcolo matriciale in formato MXFP4 e sei stack HBM4 per 216 GiB complessivi a 15,4 TB/s di banda. Il confronto con i 288 GB di HBM3E del GB300 è meno favorevole in capacità assoluta, ma per watt di potenza nominale il chip di OpenAI porta circa il 50% di memoria in più, come nota Tom’s Hardware.

Le scelte progettuali di Jalapeño: array sistolico e pool unificato

Le scelte progettuali raccontano una filosofia precisa. L’array sistolico è weight-stationary e gestisce anche forme e dimensioni piccole, per eliminare i cali improvvisi di prestazione quando il carico non è della taglia giusta. I core sono out-of-order con cache L1 vera, non scratchpad gestiti dal software. Soprattutto, OpenAI ha rifiutato la disaggregazione fra prefill e decode: invece di dedicare hardware fisso a ciascuna fase, tiene un pool unificato, perché lunghezze di sequenza, concorrenza e cache-hit rate cambiano continuamente e una divisione rigida diventa spreco.

Il rack da 128 Jalapeño: vassoi Katsu, Vindaloo e switch Tomahawk 6

Il sistema è un rack da 16 vassoi CPU «Katsu» e 16 vassoi ASIC «Vindaloo», per 128 Jalapeño per rack, otto per vassoio, collegati all-to-all a 4,8 Tb/s tramite sei switch Broadcom Tomahawk 6. Il dominio globale arriva a 2.048 acceleratori, sedici rack, attraverso switch ottici circuitali, con topologia Clos a due livelli parzialmente appiattita: più banda per il tensor parallel, meno per l’expert parallel. Broadcom e Celestica sono i partner citati sul palco, e il ciclo da RTL a tapeout è durato nove mesi. Per il contesto sul fronte opposto, abbiamo raccontato tutti gli annunci di Jensen Huang al GTC 2026.

La scommessa vera: modello, software di serving, chip, memoria e rete come sistema unico

«Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi di comunicazione», dichiara OpenAI. Ma la parte interessante non è il silicio: è che modello, software di serving, chip, memoria e rete sono stati progettati insieme.

Gluon e i kernel: la velocità di iterazione dietro Jalapeño

Il linguaggio per i kernel si chiama Gluon, costruito sopra Triton, e introduce un’astrazione di layout fondata su un’algebra di Linear Layouts che permette conversioni dimostrabilmente corrette e swizzling di memoria ottimale. Il ritmo che ne esce è il dato più impressionante di tutta la vicenda: raddoppi di throughput in cicli di due settimane, e il passaggio da configurazioni TP8 a TP32 su rack intero completato in otto giorni. Non è velocità di hardware, è velocità di iterazione.

I modelli di OpenAI che progettano il chip di OpenAI

C’è poi il circolo che nessun altro può chiudere allo stesso modo: OpenAI ha usato i propri modelli per progettare il chip che servirà i propri modelli. Secondo quanto presentato a Hot Chips 2026 e riportato da ServeTheHome, Codex ha generato kernel da 3.000 righe senza intervento umano, con guadagni dichiarati di 1,5-1,8 volte rispetto alle versioni scritte a mano, e blocchi hardware descritti in XLS hanno migliorato del 56% un moltiplicatore BF16 rispetto al riferimento umano. Jon Peddie Research lo legge come un punto di svolta: un laboratorio di frontiera che batte il silicio commerciale sull’efficienza energetica segna il momento in cui i grandi sviluppatori AI smettono di essere clienti di NVIDIA e diventano concorrenti, almeno sui propri carichi. Il tema energetico non è secondario: ne abbiamo scritto quando Sam Altman ha difeso i consumi dell’AI.

Cosa cambia per chi in azienda deve far girare l’AI in produzione

Nel breve, poco e niente: Jalapeño non si compra. OpenAI prevede volumi molto piccoli entro fine 2026 e un dispiegamento su scala nel 2027, i dati di affidabilità si raccoglieranno fino a gennaio, e quello testato resta un engineering sample. Jon Peddie centra la domanda giusta: non è se il chip funzioni, funziona, ma se OpenAI riesca a scalare produzione e data center prima che il software di Rubin maturi.

Il costo dell’inferenza per watt e cosa significa in azienda

Nel medio, però, il segnale è concreto e riguarda i costi. Se l’inferenza costa meno per watt, costa meno per token, e il prezzo che pagate per chiamata API scende o a parità di prezzo salgono i limiti di contesto e la reattività. Vale la pena notare che la stessa logica si applica su scala molto più piccola: ottimizzare il serving è la leva più sottovalutata in azienda, e lo abbiamo visto con casi come DSpark che taglia del 57% la latenza di LFM2.5. Chi vuole approfondire il mestiere può partire dal nostro pezzo su AI inference engineering e come ottimizzare modelli in produzione con un partner.

La lezione trasversale è un’altra, ed è quella che vediamo più spesso: il collo di bottiglia quasi mai è la potenza di calcolo. OpenAI ha ottenuto i suoi guadagni progettando il sistema intero, non comprando il pezzo più veloce. In azienda succede lo stesso, ed è il motivo per cui quando l’AI generativa non genera ROI il problema non è la tecnologia: è il processo attorno al modello, l’integrazione con i dati, l’adozione delle persone.

È esattamente il punto su cui lavoriamo in MIMIR. Non consegniamo soltanto un agente AI e un accesso: seguiamo l’onboarding insieme al team, perché la differenza fra uno strumento che resta inutilizzato e uno che entra nel lavoro quotidiano si gioca lì, non nella scheda tecnica. Se avete un’esigenza aziendale su AI e agenti e volete capire cosa ha senso fare sui vostri processi, parliamone su mimir.bot.

Fonti:

• OpenAI — Jalapeño: first results
• SemiAnalysis — OpenAI Jalapeño: better than NVIDIA? (test InferenceX in laboratorio)
• ServeTheHome — OpenAI Jalapeño ASIC at Hot Chips 2026 (architettura, rack, Gluon)
• TechCrunch — OpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show
• Igor’s Lab — OpenAI Jalapeño beats NVIDIA GB200 and GB300 in initial inference benchmarks
• The Register — OpenAI Jalapeño inference benchmarks: le riserve metodologiche
• Tom’s Hardware — OpenAI says its Jalapeño chip beats NVIDIA’s GB300 in first published benchmarks
• Jon Peddie Research — OpenAI’s Jalapeño update