Transformer: cosa cambia rispetto a RNN e LSTM, spiegato con un esempio che si segue

Aggiornato ad agosto 2026. L’architettura Transformer, introdotta da Google nel 2017 con Vaswani et al., “Attention Is All You Need”, ha sostituito reti ricorrenti e LSTM come standard dell’elaborazione del linguaggio naturale. Se sei arrivato qui per due domande d’esame — cosa introduce rispetto ai modelli precedenti e in quali ambiti ha avuto un impatto significativo — trovi la risposta nei primi due paragrafi. Poi la spieghiamo, con un esempio numerico piccolo che puoi seguire a mano.

In questo articolo:

• Cosa cambia rispetto a RNN e LSTM: parallelismo, distanza fra token, contesto
• Gli ambiti in cui l’impatto è stato misurabile
• Un passaggio di self-attention calcolato con numeri veri
• Encoding posizionale, attenzione multi-testa, le tre famiglie di modelli
• Dove stanno oggi i Transformer nei prodotti reali, e dove non bastano

In questo articolo scoprirai:

• Cosa introduce il Transformer rispetto a RNN e LSTM
• In quali ambiti ha avuto un impatto significativo
• Un passaggio di self-attention calcolato a mano
• L’encoding posizionale: perché serve
• Le tre famiglie: encoder, decoder, encoder-decoder

Cosa introduce il Transformer rispetto a RNN e LSTM

Risposta breve. Il Transformer elimina la ricorrenza e la sostituisce interamente con il meccanismo di attenzione. Da questa sostituzione derivano tre conseguenze: l’intera sequenza viene elaborata in parallelo invece che token dopo token; ogni token può guardare qualunque altro token in un solo passaggio, indipendentemente dalla distanza; e il contesto non deve più passare attraverso uno stato nascosto di dimensione fissa.

È questo che rende l’architettura addestrabile su corpus enormi: il parallelismo trasforma il tempo di addestramento da vincolo insormontabile a problema di hardware.

Il collo di bottiglia delle reti ricorrenti

Una RNN legge la sequenza in ordine: per calcolare lo stato al token 50 deve aver già calcolato quello al token 49. Due problemi. Primo, l’addestramento non è parallelizzabile lungo la sequenza. Secondo, l’informazione del primo token deve attraversare 49 passaggi per arrivare al cinquantesimo, e a ogni passaggio il gradiente si attenua: è il classico vanishing gradient.

La LSTM di Hochreiter e Schmidhuber (1997) attenua il secondo problema con celle di memoria e porte che decidono cosa conservare e cosa dimenticare. Funziona: dalla metà degli anni Dieci fino al 2017 le LSTM sono state l’architettura di riferimento dell’NLP. Ma non toccano il primo problema — restano sequenziali — e il cammino fra due token distanti resta lungo, solo meglio protetto.

La distanza fra due token diventa uno

Nel paper originale il confronto è esplicito: la lunghezza massima del cammino fra due posizioni è dell’ordine della lunghezza della sequenza per una rete ricorrente, ed è costante per la self-attention. Qualunque token può leggere qualunque altro con una sola operazione.

Il prezzo c’è, ed è onesto dirlo: l’attenzione confronta ogni token con ogni altro, quindi il costo cresce con il quadrato della lunghezza della sequenza, mentre una RNN cresce linearmente. Su sequenze brevi il Transformer vince nettamente; su contesti molto lunghi il costo quadratico è il problema aperto che varianti come l’attenzione sparsa o a finestra cercano di aggirare.

In quali ambiti ha avuto un impatto significativo

Risposta breve. Il primo ambito è la traduzione automatica, che è il compito per cui l’architettura è stata inventata. Subito dopo vengono la comprensione del testo (classificazione, analisi del sentimento, question answering) e la generazione di testo, cioè i modelli linguistici di grandi dimensioni. Infine, fuori dal linguaggio, la visione artificiale e i sistemi multimodali che trattano insieme testo, immagini e audio.

Se una domanda d’esame ne chiede uno solo, la risposta attesa è quasi sempre l’elaborazione del linguaggio naturale, e in particolare la traduzione automatica.

Traduzione automatica

È l’impatto misurato per primo: il modello di Vaswani et al. (2017) superava le migliori architetture ricorrenti sui benchmark WMT inglese-tedesco e inglese-francese, con una frazione del costo di addestramento. I sistemi di traduzione commerciali sono migrati su Transformer negli anni immediatamente successivi.

Comprensione del testo e analisi del sentimento

Con BERT (Devlin et al., 2019) il pre-addestramento bidirezionale ha spostato lo stato dell’arte su tutta la suite GLUE: classificazione, inferenza in linguaggio naturale, question answering estrattivo. L’analisi del sentimento è diventata un problema che si risolve con poche righe di codice e qualche migliaio di esempi etichettati.

Generazione di testo

È l’ambito più visibile fuori dalla ricerca. Brown et al. (2020) hanno mostrato che un decoder abbastanza grande impara compiti nuovi da pochi esempi nel prompt, senza riaddestramento. Da lì nascono i Large Language Model e l’intelligenza artificiale generativa come prodotto di massa.

Visione artificiale e multimodalità

Il Vision Transformer di Dosovitskiy et al. (2020) ha mostrato che la stessa architettura funziona sulle immagini trattandole come sequenze di patch, senza convoluzioni. L’estensione alla visione è documentata in dettaglio dalla survey di Khan et al. (2022); è da questa convergenza di architettura che nascono poi i modelli multimodali capaci di trattare testo, immagini, audio e video con un unico impianto.

Un passaggio di self-attention calcolato a mano

Prendiamo la frase «L’animale non ha attraversato la strada perché era troppo stanco». A cosa si riferisce «era»? Per noi è ovvio: all’animale. Vediamo come ci arriva il modello, con tre soli token e vettori a due dimensioni, così i conti si seguono con una calcolatrice.

I vettori di partenza

Ogni parola entra nel modello come vettore numerico denso che ne codifica il significato — se il concetto non ti è familiare, parti da cosa sono gli embeddings. Da quel vettore il modello ricava, con tre proiezioni lineari, una Query (Q), una Key (K) e un Value (V). Query è «cosa sto cercando», Key è «cosa offro», Value è «cosa porto con me».

Fissiamo i numeri. Query di «era»: [0,9 · 0,1]. Le Key: «animale» [0,8 · 0,2], «strada» [0,1 · 0,9], «era» [0,9 · 0,1]. I Value: «animale» [1 · 0], «strada» [0 · 1], «era» [0,5 · 0,5].

Punteggi, scala e softmax

Il punteggio è il prodotto scalare fra la Query di «era» e ogni Key:

• con «animale»: 0,9×0,8 + 0,1×0,2 = 0,74
• con «strada»: 0,9×0,1 + 0,1×0,9 = 0,18
• con sé stesso: 0,9×0,9 + 0,1×0,1 = 0,82

Si divide per la radice della dimensione dei vettori (qui √2 ≈ 1,41), passaggio che evita punteggi troppo grandi quando le dimensioni crescono: si ottengono 0,52 · 0,13 · 0,58. Poi la softmax eleva ciascun punteggio a esponente e divide per la somma dei tre (che vale 4,607), ottenendo pesi che sommano a 1:

• «animale»: e^0,52 ≈ 1,682 → 1,682 / 4,607 = 0,365
• «strada»: e^0,13 ≈ 1,139 → 1,139 / 4,607 = 0,247
• «era»: e^0,58 ≈ 1,786 → 1,786 / 4,607 = 0,388

Il risultato, e cosa non dice

I pesi moltiplicano i Value e si sommano: 0,365×[1 · 0] + 0,247×[0 · 1] + 0,388×[0,5 · 0,5] = [0,559 · 0,441]. Questa è la nuova rappresentazione di «era», che ora contiene più «animale» che «strada». Il pronome ha ereditato il contesto giusto in un’unica operazione, senza attraversare le sei parole che lo separano da «animale».

Una precisazione onesta: 0,365 contro 0,247 è uno scarto modesto, perché i vettori sono inventati. In un modello addestrato le proiezioni Q, K, V sono imparate proprio per rendere questi scarti netti, e i pesi si concentrano su pochi token. Il meccanismo è identico; cambiano solo i numeri, e le dimensioni — centinaia invece di due.

Perché le teste sono più di una

Il calcolo appena fatto è una testa. L’attenzione multi-testa lo replica in parallelo con set di proiezioni diversi: una testa può specializzarsi sulla coreferenza («era» → «animale»), un’altra sulle dipendenze sintattiche locali, un’altra su relazioni semantiche lontane. I risultati vengono concatenati e riproiettati in un unico vettore. Un blocco Transformer aggiunge poi una rete feed-forward, normalizzazione e connessioni residuali; i modelli reali impilano decine di blocchi identici.

L’encoding posizionale: perché serve

Nel calcolo qui sopra l’ordine delle parole non compare mai. È una proprietà scomoda: senza correttivi il modello tratterebbe «il cane morde l’uomo» e «l’uomo morde il cane» come identici. L’encoding posizionale risolve aggiungendo a ogni embedding un vettore che dipende dalla posizione.

Il paper del 2017 usa funzioni sinusoidali a frequenze diverse. I modelli più recenti preferiscono codifiche relative — RoPE (Su et al., 2021) è la più diffusa — che rappresentano la distanza fra due token invece della posizione assoluta e generalizzano meglio su sequenze più lunghe di quelle viste in addestramento. È uno dei motivi per cui le finestre di contesto sono cresciute così tanto.

Le tre famiglie: encoder, decoder, encoder-decoder

L’architettura originale ha due metà: un encoder che legge l’input e ne produce una rappresentazione contestualizzata, e un decoder che genera l’output un token alla volta. Quasi tutti i modelli noti usano solo una delle due, o entrambe: una mappa ragionata delle tre configurazioni e dei modelli che le adottano è in Gillioz et al. (2020).

Solo encoder: BERT

BERT (Devlin et al., 2019) usa solo l’encoder e si addestra mascherando parole a caso e chiedendo al modello di indovinarle. Ogni token vede sia il contesto a sinistra sia quello a destra: da qui la forza sui compiti di comprensione. Varianti come RoBERTa, DistilBERT e ALBERT ne hanno migliorato addestramento, dimensioni e velocità.

Solo decoder: GPT e i modelli generativi

I modelli GPT usano solo il decoder e si addestrano a predire il token successivo. È la famiglia diventata dominante: GPT-3 (2020, 175 miliardi di parametri) ha aperto l’era degli LLM, ChatGPT l’ha portata al grande pubblico, e i modelli successivi — GPT-4, GPT-4o, GPT-5, oltre a Gemini, Claude e LLaMA — restano decoder Transformer con lo stesso impianto di base.

Encoder-decoder: T5, BART e la traduzione

Quando c’è un input da leggere per intero e un output da produrre — tradurre, riassumere — la configurazione completa resta la più naturale. T5 di Google e BART di Meta appartengono a questa categoria. Tutte e tre le famiglie condividono lo stesso blocco descritto sopra: cambia cosa il modello può guardare, non come lo guarda.

Dove stanno oggi i Transformer nei prodotti reali

Nel 2026 il Transformer non è più un argomento di ricerca: è l’infrastruttura. Vale la pena vedere dove esattamente, perché è la parte che un esame raramente chiede e un colloquio quasi sempre sì.

Assistenti, copiloti e traduzione

Chatbot e assistenti conversazionali, i copiloti di scrittura e di codice integrati negli editor, i sistemi di traduzione automatica, la sintesi vocale e il riconoscimento del parlato: tutti girano su decoder Transformer, spesso multimodali. È l’ambito in cui l’architettura è passata da benchmark a prodotto usato ogni giorno da centinaia di milioni di persone.

Ricerca semantica e sistemi documentali

Meno visibile ma altrettanto diffuso: gli encoder Transformer producono gli embedding che alimentano ricerca semantica, deduplicazione, classificazione automatica e motori di raccomandazione. È anche il mattone su cui poggiano i sistemi che collegano un modello generativo a una base documentale aziendale — l’approccio spiegato in RAG: cos’è e come funziona, oggi lo schema standard per far rispondere un LLM su dati proprietari.

Dove il Transformer non basta

Restano limiti noti: il costo quadratico sui contesti lunghi, l’assenza di una memoria persistente fra le conversazioni, e il fatto che predire il token successivo non equivale a costruire un modello del mondo. Sono i punti su cui si concentrano le linee di ricerca alternative, comprese quelle ispirate alle teorie predittive della cognizione che abbiamo raccontato in Active Inference e LLM. Per ora, però, nessuna alternativa ha spostato il Transformer dal centro.

Provarlo in pratica: cinque righe di Python

Con la libreria Hugging Face Transformers (Wolf et al., 2020) un modello pre-addestrato si usa in poche righe. Qui carichiamo un classificatore di sentiment e lo applichiamo a una frase:

from transformers import pipeline

classifier = pipeline("sentiment-analysis")

risultato = classifier("Transformers have revolutionized natural language processing.")
print(risultato)
# [{'label': 'POSITIVE', 'score': 0.9998}]

Un avvertimento che risparmia un’ora di debug: il modello caricato di default da questa pipeline è addestrato sull’inglese, quindi su una frase italiana l’etichetta è inaffidabile. Per l’italiano va indicato esplicitamente un modello multilingue con il parametro model=.

Lo stesso schema — caricare un modello pre-addestrato e usarlo in inferenza, oppure ri-addestrarlo sui propri dati in fine-tuning — vale per traduzione, riassunto, classificazione e generazione. È il transfer learning che rende l’architettura economica da adottare: il costo grosso l’ha già pagato chi ha fatto il pre-addestramento.

Fonti e riferimenti

• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30. https://arxiv.org/abs/1706.03762
• Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
• Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019. https://arxiv.org/abs/1810.04805
• Brown, T., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.14165
• Dosovitskiy, A., et al. (2020). An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale. ICLR 2021. https://arxiv.org/abs/2010.11929
• Su, J., Lu, Y., Pan, S., Murtadha, A., Wen, B., & Liu, Y. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. https://arxiv.org/abs/2104.09864
• Wolf, T., et al. (2020). Transformers: State-of-the-Art Natural Language Processing. Proceedings of EMNLP 2020: System Demonstrations, 38–45. https://arxiv.org/abs/1910.03771
• Gillioz, A., Casas, J., Mugellini, E., & Khaled, O. A. (2020). Overview of the Transformer-based Models for NLP Tasks. Proceedings of FedCSIS 2020, 179–183. https://doi.org/10.15439/2020F20
• Khan, S., Naseer, M., Hayat, M., Zamir, S. W., Khan, F. S., & Shah, M. (2022). Transformers in Vision: A Survey. ACM Computing Surveys, 54(10s), 1–41. https://doi.org/10.1145/3505244