DiffusionGemma: il modello open di Google che genera testo 4 volte più veloce

Google DeepMind ha rilasciato il 10 giugno 2026 DiffusionGemma, un modello linguistico open sperimentale che abbandona il paradigma autoregressivo, quello con cui funzionano praticamente tutti gli LLM che usiamo oggi, in favore della text diffusion: invece di generare il testo una parola alla volta, il modello “scolpisce” interi blocchi di 256 token in parallelo, partendo dal rumore e raffinandoli passo dopo passo, come fanno i generatori di immagini. Ne risulta un’inferenza fino a 4 volte più veloce su GPU dedicate, con oltre 1.000 token al secondo su una NVIDIA H100 e 700+ su una RTX 5090 consumer. Pesi aperti, licenza Apache 2.0, e una dichiarazione di intenti chiara: esplorare workflow locali e interattivi dove la velocità conta più della perfezione.

Cos’è DiffusionGemma e perché è una notizia importante

DiffusionGemma è un modello da 26 miliardi di parametri totali con architettura Mixture-of-Experts (26B-A4B), costruito sul backbone di Gemma 4 ma con una testa di generazione completamente diversa. Come spiegano i ricercatori Brendan O’Donoghue e Sebastian Flennerhag nell’annuncio ufficiale di Google, il modello “genera interi blocchi di testo simultaneamente” invece di procedere token dopo token.

La novità non è incrementale. Da quando GPT ha reso popolare l’approccio autoregressivo, tutti i grandi modelli linguistici, da ChatGPT a Claude a Gemini, funzionano allo stesso modo: predicono il token successivo, lo aggiungono alla sequenza, e ripetono. È un meccanismo che abbiamo raccontato nella nostra introduzione ai Large Language Model, ed è anche il suo limite strutturale: ogni token richiede un passaggio completo attraverso il modello, e la GPU passa la maggior parte del tempo a spostare pesi dalla memoria invece che a calcolare.

DiffusionGemma rompe questo schema. È il primo modello di diffusione testuale rilasciato con pesi aperti da uno dei grandi laboratori, dopo gli esperimenti chiusi di Gemini Diffusion. E il fatto che arrivi con supporto day-zero su Hugging Face Transformers, vLLM, Unsloth e NVIDIA NeMo segnala che Google fa sul serio.

Text diffusion vs autoregressione: la differenza

Per capire la differenza, l’analogia più efficace è quella tra scrivere e scolpire.

Un modello autoregressivo scrive: parte dal prompt e aggiunge una parola alla volta, da sinistra a destra, senza poter mai tornare indietro. Una volta che un token è stato emesso, è definitivo, anche se dieci parole dopo il modello “si accorge” che avrebbe dovuto formulare la frase diversamente.

Un modello a diffusione scolpisce: parte da un “canvas” di 256 token segnaposto casuali, di fatto rumore, e in una serie di passaggi iterativi li raffina, bloccando progressivamente i token su cui è più sicuro e rivedendo gli altri. Come riporta The Decoder, il modello “parte con un blocco di 256 placeholder casuali e li perfeziona attraverso diversi passaggi fino a quando emerge il testo leggibile”.

L’attenzione bidirezionale: il vantaggio strutturale della text diffusion

La differenza tecnica cruciale sta nell’attenzione. I modelli autoregressivi usano attenzione causale: ogni token può “vedere” solo quelli che lo precedono. DiffusionGemma usa invece attenzione bidirezionale sul canvas: durante la generazione, ogni posizione vede tutte le altre, in avanti e all’indietro. Questo permette al modello di auto-correggersi in tempo reale, se la fine del paragrafo non torna con l’inizio, può sistemare entrambi. Un esempio pratico citato da Google: la chiusura perfetta della formattazione Markdown, perché il modello “vede” l’intero paragrafo mentre lo genera.

Memory-bound vs compute-bound: perché DiffusionGemma è più veloce

C’è anche una conseguenza hardware importante: i modelli autoregressivi in inferenza single-user sono memory-bound (il collo di bottiglia è la banda di memoria), mentre i modelli a diffusione sono compute-bound. In pratica, DiffusionGemma scambia pressione sulla memoria per calcolo aggiuntivo, e siccome le GPU moderne hanno calcolo in abbondanza, il risultato è una velocità molto più alta proprio negli scenari locali a basso batch.

Architettura: 26 miliardi di parametri, ma ne attiva solo 3,8

Sotto il cofano, DiffusionGemma è un sistema encoder-decoder ibrido piuttosto ingegnoso:

• Parametri: 26B totali, di cui solo 3,8B attivi per passaggio grazie al MoE (8 expert attivi su 128, più uno condiviso);
• Encoder autoregressivo: gestisce il prompt con attenzione causale e scrive nella cache KV, esattamente come un LLM tradizionale;
• Decoder a diffusione: lavora con attenzione bidirezionale sul canvas da 256 token, finalizzando circa 15-20 token per forward pass;
• Contesto: fino a 256K token, con vocabolario da 262K;
• Multimodalità: accetta in input testo, immagini e video (fino a 60 secondi a 1 frame/secondo), genera solo testo. Include un vision encoder da ~550M parametri;
• Lingue: 35+ out-of-the-box, oltre 140 viste in pre-training, italiano incluso.

Il design block-autoregressive è il compromesso intelligente: il modello genera un blocco da 256 token via diffusione, lo “committa”, e passa al blocco successivo. Si tiene così il meglio dei due mondi, il parallelismo della diffusione dentro il blocco, la coerenza sequenziale tra blocchi. Per chi vuole approfondire come funzionano questi meccanismi generativi, rimandiamo alla nostra guida su come funziona davvero l’AI generativa.

I benchmark: velocità impressionante, qualità inferiore (e Google lo ammette)

I numeri di throughput sono il piatto forte. Secondo il blog NVIDIA, DiffusionGemma raggiunge 1.000 token al secondo su H100, 700+ su GeForce RTX 5090, 150 su DGX Spark e fino a 2.000 su DGX Station, “circa 4 volte più veloce di un modello autoregressivo equivalente”. Il team di vLLM, che supporta il modello dal day one come primo diffusion LLM nativo, ha misurato in FP8 ben 1.288 token/secondo su H200 e 1.008 su H100 a batch size 1: circa 6 volte la baseline autoregressiva.

Ma c’è un però, ed è grosso. Google non lo nasconde: la qualità dell’output è inferiore a quella di Gemma 4 standard, e per i carichi di produzione l’azienda raccomanda esplicitamente il fratello autoregressivo. La model card su Hugging Face quantifica il divario: su MMLU Pro, DiffusionGemma segna 77,6% contro l’82,6% di Gemma 4; sui task long-context il gap si allarga (32,0% contro 44,1% su MRCR 8-needle). Il modello fatica anche di più su ragionamento complesso e contesti molto lunghi.

Va inoltre detto che i vantaggi di velocità si riducono negli scenari cloud ad alta concorrenza, dove il batching satura comunque le GPU, e che il modello non è ottimizzato per le architetture a memoria unificata come Apple Silicon. Il target è chiaro: la GPU dedicata sotto la tua scrivania, non il datacenter.

Come provarlo in locale: requisiti e strumenti

DiffusionGemma è scaricabile da Hugging Face con licenza Apache 2.0, la più permissiva in circolazione. I requisiti pratici:

• VRAM: circa 18 GB con quantizzazione, significa RTX 4090, RTX 5090 o schede professionali. Il formato NVFP4 (floating-point a 4 bit) è supportato nativamente con perdita di accuratezza minima;
• Transformers: funziona out-of-the-box con la classe dedicata DiffusionGemmaForBlockDiffusion; bastano pip install -U transformers torch accelerate e poche righe di codice;
• vLLM: per il serving, un semplice vllm serve "google/diffusiongemma-26B-A4B-it" è sufficiente, con prefix caching automatico già funzionante;
• Unsloth: disponibili le versioni GGUF quantizzate per il fine-tuning e l’inferenza leggera;
• Ollama: attenzione, al momento non supporta l’architettura diffusion-gemma (c’è una issue aperta); il supporto llama.cpp è in arrivo.

Un dettaglio per chi sperimenta: la configurazione di sampling consigliata prevede un massimo di 48 passaggi di denoising con temperatura a decadimento lineare (da 0,8 a 0,4) e stopping adattivo, il modello smette di raffinare quando le predizioni si stabilizzano, risparmiando ulteriore calcolo.

Casi d’uso reali: dove la diffusione batte l’autoregressione

Se la qualità è inferiore, perché usarlo? Perché esistono task in cui la velocità conta più della precisione assoluta, e altri in cui la generazione a blocchi è strutturalmente più adatta:

Editing, infilling e prototipazione: i punti di forza di DiffusionGemma

• Editing in-linea e infilling: completare una riga di codice in mezzo a un file, riscrivere un paragrafo mantenendo il contesto circostante. L’attenzione bidirezionale vede sia ciò che precede sia ciò che segue, cosa impossibile per un modello causale;
• Prototipazione rapida: iterare su bozze a 700+ token/secondo cambia il ritmo di lavoro, trasformando l’attesa in un’interazione quasi istantanea;
• Applicazioni interattive locali: assistenti on-device, agentic loop e workflow professionali senza dipendenze cloud, dove la latenza percepita è tutto;
• Task non lineari: curiosamente, il modello se la cava con problemi come il Sudoku, dove i “token” successivi vincolano quelli precedenti, un terreno dove l’autoregressione arranca per costruzione.

La prospettiva: i diffusion LLM come paradigma alternativo

La traiettoria è interessante anche in prospettiva. Google sta attaccando il problema della velocità su due fronti: da un lato i modelli autoregressivi piccoli e ottimizzati come Gemini 3 Flash, dall’altro un paradigma generativo alternativo. Se la qualità dei diffusion LLM colmerà il divario, come è successo con le immagini, dove la diffusione ha vinto su tutta la linea, l’intero stack di inferenza potrebbe essere riscritto. Per ora DiffusionGemma è un esperimento dichiarato, ma è il tipo di esperimento che tra due anni potremmo ricordare come un punto di svolta. Nel frattempo, chi vuole capire come si posizionano i modelli “tradizionali” può consultare il nostro confronto tra i modelli frontier del 2026.

Una cosa è certa: per la prima volta chiunque abbia una GPU da 18 GB può toccare con mano un paradigma di generazione testuale diverso da quello che domina dal 2018. E nell’open source, è così che iniziano le rivoluzioni.

Oltre la Velocità del Modello: perché l’automazione aziendale richiede gli Agenti AI

L’annuncio di Google relativo a DiffusionGemma segna un passo avanti straordinario sul fronte dell’efficienza computazionale, introducendo un nuovo paradigma in grado di quadruplicare la velocità di generazione. Tuttavia, nel contesto aziendale, la rapidità d’esecuzione o la disponibilità di un singolo modello “open” rappresentano solo il motore tecnologico di partenza, spesso non ancora sufficientemente performante o strutturato per rispondere alle rigide metriche di affidabilità richieste dai flussi di lavoro interni.

Per trasformare questa potenza in assistenti aziendali davvero fidati e precisi, è fondamentale evolvere verso un’architettura basata su Agenti AI come Mimír AI Agent. A differenza di un singolo modello statico, un Agente AI opera come un vero e proprio orchestratore di processi: non si limita a generare risposte, ma coordina autonomamente attività complesse, connette i sistemi aziendali e governa i flussi end-to-end, dalle delicate fasi di onboarding fino alla gestione della customer care. Solo attraverso questa logica di orchestrazione l’intelligenza artificiale cessa di essere un semplice strumento computazionale e diventa un asset operativo integrato, sicuro e capace di governare la complessità dei processi interni.

Vuoi scoprire come Mimír AI Agent può scalare i tuoi processi in sicurezza senza aggiungere complessità tecnica? Richiedi una demo gratuita con il nostro team oppure provalo.

Fonti:

• Google – Annuncio ufficiale di DiffusionGemma
• Google DeepMind – DiffusionGemma: 4x faster text generation
• The Decoder – DiffusionGemma generates text from noise
• MarkTechPost – Google AI releases DiffusionGemma 26B MoE
• NVIDIA Blog – RTX AI Garage: DiffusionGemma in locale
• NVIDIA Developer Blog – Run DiffusionGemma on NVIDIA
• vLLM – Supporto day-one per DiffusionGemma
• Hugging Face – Model card DiffusionGemma 26B-A4B