Transformer: cosa cambia rispetto a RNN e LSTM, spiegato con un esempio che si segue

Aggiornato a settembre 2026. L’architettura Transformer è nata in Google nel 2017 con il paper Attention Is All You Need di Vaswani et al. Ha preso il posto delle reti ricorrenti e delle LSTM come standard dell’elaborazione del linguaggio naturale. Se sei arrivato qui per due domande d’esame, cioè cosa introduce rispetto ai modelli precedenti e in quali ambiti ha avuto un impatto significativo, le risposte sono nelle prime due sezioni. Poi la spieghiamo con un esempio numerico piccolo, che puoi seguire a mano. Se prima vuoi il quadro generale, cioè il percorso dal testo che entra alla risposta che esce, parti da come funziona davvero un modello di AI.

In questo articolo scoprirai:

• Cosa introduce l’architettura Transformer rispetto a RNN e LSTM: parallelismo, distanza fra token, contesto
• In quali ambiti ha avuto un impatto misurabile, dalla traduzione alla visione
• Un passaggio di self-attention calcolato a mano, con numeri veri
• Come è fatto un blocco Transformer: encoding posizionale, attenzione multi-testa, feed-forward
• Le tre famiglie di modelli e dove stanno oggi, compresi i modelli ibridi con Mamba

Cosa introduce l’architettura Transformer rispetto a RNN e LSTM

Risposta breve. Il Transformer toglie la ricorrenza e al suo posto usa solo il meccanismo di attenzione. Ne vengono tre conseguenze. L’intera sequenza si elabora in parallelo, non più un token dopo l’altro. Ogni token può guardare qualunque altro token in un solo passaggio, a qualsiasi distanza. E il contesto non deve più passare per uno stato nascosto di dimensione fissa.

È questo che permette di addestrare l’architettura su corpus enormi. Con il parallelismo, il tempo di addestramento smette di essere un limite insuperabile e diventa una questione di hardware.

Il collo di bottiglia delle reti ricorrenti

Una RNN (rete neurale ricorrente) legge la sequenza in ordine: per calcolare lo stato al token 50 deve aver già calcolato quello al token 49. Questo crea due problemi. Primo, l’addestramento non si può parallelizzare lungo la sequenza. Secondo, l’informazione del primo token deve attraversare 49 passaggi per arrivare al cinquantesimo, e a ogni passaggio il gradiente si indebolisce. È il classico vanishing gradient: il segnale di errore si riduce fino a non insegnare più niente agli strati lontani.

La LSTM di Hochreiter e Schmidhuber (1997) riduce il secondo problema con celle di memoria e porte che decidono cosa tenere e cosa dimenticare. Funziona: dalla metà degli anni Dieci fino al 2017 le LSTM sono state l’architettura di riferimento dell’NLP. Il primo problema però resta, perché le LSTM sono ancora sequenziali. E il cammino fra due token distanti resta lungo, solo meglio protetto.

La distanza fra due token diventa uno

Il paper originale fa il confronto in modo esplicito. In una rete ricorrente il cammino massimo fra due posizioni cresce con la lunghezza della sequenza. Nella self-attention è costante: qualunque token legge qualunque altro con una sola operazione.

Il prezzo c’è, ed è onesto dirlo. L’attenzione confronta ogni token con tutti gli altri, quindi il costo cresce con il quadrato della lunghezza della sequenza, mentre in una RNN cresce in modo lineare. Per questo raddoppiare il prompt quadruplica il lavoro dell’attention. Sulle sequenze brevi il Transformer vince nettamente. Sui contesti molto lunghi il costo quadratico resta il problema aperto, e varianti come l’attenzione sparsa, quella a finestra o i modelli ibridi (li vediamo più sotto) provano ad aggirarlo.

In quali ambiti il Transformer ha avuto un impatto significativo

Risposta breve. Il primo ambito è la traduzione automatica, cioè il compito per cui l’architettura è stata inventata. Subito dopo vengono la comprensione del testo (classificazione, analisi del sentimento, question answering) e la generazione di testo, cioè i modelli linguistici di grandi dimensioni. Poi, fuori dal linguaggio, la visione artificiale e i sistemi multimodali, che trattano insieme testo, immagini e audio.

Se una domanda d’esame ne chiede uno solo, la risposta attesa è quasi sempre l’elaborazione del linguaggio naturale, e in particolare la traduzione automatica.

Transformer e traduzione automatica

È il primo impatto misurato. Il modello di Vaswani et al. (2017) batteva le migliori architetture ricorrenti sui benchmark WMT inglese-tedesco e inglese-francese, con una frazione del costo di addestramento. Nei pochi anni successivi i sistemi di traduzione commerciali sono passati al Transformer.

Comprensione del testo e analisi del sentimento

Con BERT (Devlin et al., 2019) il pre-addestramento bidirezionale ha spostato lo stato dell’arte su tutta la suite GLUE: classificazione, inferenza in linguaggio naturale, question answering estrattivo. L’analisi del sentimento è diventata un problema che si risolve con poche righe di codice e qualche migliaio di esempi etichettati.

Generazione di testo e Large Language Model

Fuori dalla ricerca è l’ambito più visibile. Brown et al. (2020) hanno mostrato che un decoder abbastanza grande impara compiti nuovi da pochi esempi scritti nel prompt, senza riaddestramento. Da qui nascono i Large Language Model e l’intelligenza artificiale generativa come prodotto di massa.

Vision Transformer e multimodalità

Il Vision Transformer di Dosovitskiy et al. (2020) ha mostrato che la stessa architettura funziona sulle immagini. Basta trattarle come sequenze di patch (riquadri di pixel), senza convoluzioni. La survey di Khan et al. (2022) documenta in dettaglio l’estensione alla visione. Da questa architettura comune nascono poi i modelli multimodali, che trattano testo, immagini, audio e video con un unico impianto.

Un passaggio di self-attention calcolato a mano

La self-attention è l’operazione con cui ogni token ricalcola la propria rappresentazione pesando tutti gli altri token della frase. Prendiamo la frase «L’animale non ha attraversato la strada perché era troppo stanco». A cosa si riferisce «era»? Per noi è ovvio: all’animale. Vediamo come ci arriva il modello, con tre soli token e vettori a due dimensioni, così i conti si fanno con una calcolatrice.

Query, Key e Value: i vettori di partenza della self-attention

Ogni parola entra nel modello come vettore numerico denso che ne codifica il significato. Se il concetto non ti è familiare, parti da cosa sono gli embeddings. Da quel vettore il modello ricava, con tre proiezioni lineari, una Query (Q), una Key (K) e un Value (V). Query è «cosa sto cercando», Key è «cosa offro», Value è «cosa porto con me».

Fissiamo i numeri. Query di «era»: [0,9 · 0,1]. Le Key: «animale» [0,8 · 0,2], «strada» [0,1 · 0,9], «era» [0,9 · 0,1]. I Value: «animale» [1 · 0], «strada» [0 · 1], «era» [0,5 · 0,5].

Prodotto scalare, scala e softmax: come nascono i pesi di attenzione

Il punteggio è il prodotto scalare fra la Query di «era» e ogni Key:

• con «animale»: 0,9×0,8 + 0,1×0,2 = 0,74
• con «strada»: 0,9×0,1 + 0,1×0,9 = 0,18
• con sé stesso: 0,9×0,9 + 0,1×0,1 = 0,82

Poi si divide per la radice della dimensione dei vettori (qui √2 ≈ 1,41). Questo passaggio evita che i punteggi diventino troppo grandi quando le dimensioni crescono. Si ottengono 0,52 · 0,13 · 0,58. Infine la softmax eleva a esponente ciascun punteggio e lo divide per la somma dei tre (che vale 4,607). Il risultato sono pesi che sommano a 1:

• «animale»: e^0,52 ≈ 1,682 → 1,682 / 4,607 = 0,365
• «strada»: e^0,13 ≈ 1,139 → 1,139 / 4,607 = 0,247
• «era»: e^0,58 ≈ 1,786 → 1,786 / 4,607 = 0,388

Il risultato della self-attention, e cosa non dice

I pesi moltiplicano i Value e i prodotti si sommano: 0,365×[1 · 0] + 0,247×[0 · 1] + 0,388×[0,5 · 0,5] = [0,559 · 0,441]. È la nuova rappresentazione di «era», che ora contiene più «animale» che «strada». Il verbo, che in italiano sottintende il soggetto, ha preso il contesto giusto in un’unica operazione, senza attraversare le sei parole che lo separano da «animale».

Una precisazione onesta: 0,365 contro 0,247 è uno scarto modesto, perché i vettori sono inventati. In un modello addestrato le proiezioni Q, K e V vengono imparate proprio per rendere questi scarti netti, e i pesi si concentrano su pochi token. Il meccanismo è lo stesso. Cambiano i numeri e le dimensioni: centinaia o migliaia invece di due.

Attenzione multi-testa: perché le teste sono più di una

Il calcolo appena fatto è una testa. L’attenzione multi-testa ripete lo stesso calcolo in parallelo, ogni volta con proiezioni diverse. Così una testa può specializzarsi sulla coreferenza («era» → «animale»), un’altra sulle dipendenze sintattiche vicine, un’altra ancora su relazioni semantiche lontane. I risultati vengono concatenati e riproiettati in un unico vettore. Il modello base del paper del 2017 usa 8 teste.

L’encoding posizionale nel Transformer: perché serve

L’encoding posizionale aggiunge a ogni embedding un vettore che dipende dalla posizione del token, e serve perché la self-attention da sola non vede l’ordine delle parole. Nel calcolo appena fatto, infatti, l’ordine non compare mai. Senza questo correttivo il modello tratterebbe «il cane morde l’uomo» e «l’uomo morde il cane» come la stessa frase.

Il paper del 2017 usa funzioni sinusoidali a frequenze diverse. I modelli più recenti preferiscono codifiche relative, e la più diffusa è RoPE (Su et al., 2021). Queste codifiche rappresentano la distanza fra due token invece della posizione assoluta, e con opportuni riscalamenti si possono estendere a sequenze più lunghe di quelle viste in addestramento. È uno dei motivi per cui le finestre di contesto sono cresciute così tanto.

Come è fatto un blocco dell’architettura Transformer

Un Transformer è una pila di blocchi identici. Ogni blocco contiene due sottostrati: l’attenzione multi-testa e una rete feed-forward, cioè due strati densi applicati a ogni token separatamente. Attorno a ciascun sottostrato ci sono una connessione residuale, che somma l’input all’output e così fa arrivare il gradiente anche agli strati profondi, e una normalizzazione che tiene stabili i valori. Il modello base di Vaswani et al. impila 6 blocchi nell’encoder e 6 nel decoder, con vettori da 512 dimensioni.

Il flusso completo è questo:

• Tokenizzazione ed embedding: il testo diventa token, e ogni token diventa un vettore
• Encoding posizionale: al vettore si aggiunge l’informazione sulla posizione
• N blocchi di attenzione multi-testa + feed-forward, con residuali e normalizzazione
• Uscita: una proiezione finale trasforma l’ultimo vettore in probabilità sul token successivo, oppure in una classe

I modelli di oggi hanno cambiato dettagli come il tipo di normalizzazione, la sua posizione e la funzione di attivazione. L’impianto però è quello del 2017, e i modelli di frontiera impilano decine di blocchi.

Le tre famiglie di Transformer: encoder, decoder, encoder-decoder

Le famiglie di Transformer sono tre: solo encoder, solo decoder, encoder-decoder. L’architettura originale ha due metà. Un encoder legge l’input e ne produce una rappresentazione contestualizzata, un decoder genera l’output un token alla volta. I modelli noti usano una delle due metà o entrambe. Gillioz et al. (2020) fanno una mappa ragionata delle tre configurazioni e dei modelli che le usano.

Solo encoder: BERT

BERT (Devlin et al., 2019) usa solo l’encoder. Si addestra nascondendo parole a caso e chiedendo al modello di indovinarle. Ogni token vede sia il contesto a sinistra sia quello a destra, e da qui viene la sua forza sui compiti di comprensione. Varianti come RoBERTa, DistilBERT e ALBERT ne hanno migliorato l’addestramento, le dimensioni e la velocità.

Solo decoder: GPT e i modelli generativi

I modelli GPT usano solo il decoder. Si addestrano a predire il token successivo e generano il testo così, un token alla volta: è la generazione autoregressiva. Questa è la famiglia diventata dominante. GPT-3 (2020, 175 miliardi di parametri secondo Brown et al.) ha aperto l’era degli LLM e ChatGPT l’ha portata al grande pubblico. Lo stesso vale per Gemini, Claude e Llama.

Anche su GPT-6 Astra, uscito a settembre 2026, l’ipotesi che circola è quella di un looped transformer, cioè un Transformer che riusa più volte gli stessi blocchi invece di aggiungerne di nuovi. OpenAI non l’ha confermato, e Sebastian Raschka lo ridimensiona a un piccolo ritocco dell’architettura: il punto resta che si parla sempre di blocchi Transformer. Ne parliamo in GPT-6 Astra e i looped transformer.

Encoder-decoder: T5, BART e la traduzione

Quando c’è un input da leggere per intero e un output da produrre, come nella traduzione o nel riassunto, la configurazione completa resta la più naturale. T5 di Google e BART di Meta sono di questo tipo. Tutte e tre le famiglie usano lo stesso blocco descritto nella sezione sull’architettura: cambia cosa il modello può guardare, non come lo guarda.

Dove stanno oggi i Transformer nei prodotti reali

Nel 2026 il Transformer non è più un tema di ricerca: è l’infrastruttura. Conviene vedere dove si trova esattamente, perché è la parte che un esame raramente chiede e un colloquio quasi sempre sì.

Assistenti, copiloti e traduzione

Girano su decoder Transformer, spesso multimodali, i chatbot e gli assistenti conversazionali, i copiloti di scrittura e di codice integrati negli editor, i sistemi di traduzione automatica, la sintesi vocale e il riconoscimento del parlato. È l’ambito in cui l’architettura è passata dai benchmark a un prodotto usato ogni giorno da centinaia di milioni di persone.

Ricerca semantica e sistemi documentali

È meno visibile ma altrettanto diffuso. Gli encoder Transformer producono gli embedding che alimentano ricerca semantica, deduplicazione, classificazione automatica e motori di raccomandazione. Sono anche la base dei sistemi che collegano un modello generativo a un archivio di documenti aziendali. È l’approccio spiegato in RAG: cos’è e come funziona, oggi lo schema standard per far rispondere un LLM su dati proprietari.

Dove il Transformer non basta: costo quadratico e modelli ibridi

I limiti noti restano tre: il costo quadratico sui contesti lunghi, l’assenza di una memoria persistente fra una conversazione e l’altra, e il fatto che predire il token successivo non equivale a costruire un modello del mondo. La risposta più concreta al primo limite sono i modelli ibridi. Questi modelli alternano pochi strati di attenzione a strati di tipo Mamba (Gu e Dao, 2023), cioè modelli a spazio di stati che tengono uno stato di dimensione fissa e crescono in modo lineare con la sequenza.

Un esempio è Nemotron-H di NVIDIA, che sostituisce con strati Mamba la maggior parte dei livelli di self-attention. Secondo gli autori ottiene un’accuratezza pari o migliore rispetto a Transformer di taglia simile, con un’inferenza fino a 3 volte più veloce. Le altre linee di ricerca guardano invece alla memoria e al modello del mondo, comprese quelle ispirate alle teorie predittive della cognizione che abbiamo raccontato in Active Inference e LLM. Per ora, però, nessuna alternativa ha tolto l’attenzione dal centro: anche gli ibridi ne conservano alcuni strati.

Usare un Transformer in Python: cinque righe con Hugging Face

Con la libreria Hugging Face Transformers (Wolf et al., 2020) un modello pre-addestrato si usa in poche righe. Dalla versione 5, annunciata a dicembre 2025, la libreria supporta oltre 400 architetture e ha PyTorch come unico backend, dopo aver abbandonato TensorFlow e Flax. Qui carichiamo un classificatore di sentiment e lo usiamo su una frase:

from transformers import pipeline

classifier = pipeline("sentiment-analysis")

risultato = classifier("Transformers have revolutionized natural language processing.")
print(risultato)
# output di esempio: [{'label': 'POSITIVE', 'score': 0.9998}]

Un avvertimento che fa risparmiare un’ora di debug: il modello che questa pipeline carica di default (un DistilBERT) è addestrato sull’inglese. Su una frase italiana l’etichetta non è affidabile. Per l’italiano va indicato un modello multilingue con il parametro model=.

Lo stesso schema vale per traduzione, riassunto, classificazione e generazione: si carica un modello pre-addestrato e lo si usa in inferenza, oppure lo si riaddestra sui propri dati con il fine-tuning. È il transfer learning che rende l’architettura economica da adottare, perché il costo grosso l’ha già pagato chi ha fatto il pre-addestramento.

Fonti:

• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30. https://arxiv.org/abs/1706.03762
• Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735
• Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019. https://arxiv.org/abs/1810.04805
• Brown, T., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.14165
• Dosovitskiy, A., et al. (2020). An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale. ICLR 2021. https://arxiv.org/abs/2010.11929
• Su, J., Lu, Y., Pan, S., Murtadha, A., Wen, B., & Liu, Y. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. https://arxiv.org/abs/2104.09864
• Wolf, T., et al. (2020). Transformers: State-of-the-Art Natural Language Processing. Proceedings of EMNLP 2020: System Demonstrations, 38-45. https://arxiv.org/abs/1910.03771
• Gillioz, A., Casas, J., Mugellini, E., & Khaled, O. A. (2020). Overview of the Transformer-based Models for NLP Tasks. Proceedings of FedCSIS 2020, 179-183. https://doi.org/10.15439/2020F20
• Khan, S., Naseer, M., Hayat, M., Zamir, S. W., Khan, F. S., & Shah, M. (2022). Transformers in Vision: A Survey. ACM Computing Surveys, 54(10s), 1-41. https://doi.org/10.1145/3505244
• Gu, A., & Dao, T. (2023). Mamba: Linear-Time Sequence Modeling with Selective State Spaces. https://arxiv.org/abs/2312.00752
• NVIDIA (2025). Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models. https://arxiv.org/abs/2504.03624
• Hugging Face (2025). Transformers v5: Simple model definitions powering the AI ecosystem. https://huggingface.co/blog/transformers-v5
• OpenAI (2026). GPT-6 Astra. https://openai.com/index/gpt-6-astra/
• Raschka, S. (2026). OpenAI Astra and Looped Transformers. https://sebastianraschka.com/blog/2026/openai-astra-looped-transformers.html