Scrivi una frase in una chat, premi invio, e dopo un secondo compare un testo che sembra scritto da qualcuno che ti ha capito. In mezzo non c’è nessuno. C’è una catena di passaggi matematici che si può descrivere per intero, uno dopo l’altro, senza metafore mistiche e senza dover essere ingegneri. Questa pagina racconta esattamente quella catena: come funziona un modello di AI dal momento in cui il testo entra al momento in cui la risposta esce.
Il percorso è sempre lo stesso, e sta in dieci righe. Scrivi una frase. La frase viene spezzata in pezzi più piccoli dei concetti e più grandi delle lettere: i token. Ogni pezzo viene sostituito da un numero, e quel numero richiama una lista di centinaia di numeri che indicano una posizione in uno spazio: il vettore. Tutti i vettori entrano insieme in una rete fatta di moltiplicazioni e somme, organizzata in decine di strati sovrapposti. Dentro la rete c’è un meccanismo che permette a ogni pezzo di guardare tutti gli altri contemporaneamente, e di pesarli. All’uscita non esce una risposta: esce un elenco di probabilità, una per ogni token possibile. Il sistema ne sceglie uno, lo attacca in fondo alla frase, e ricomincia tutto da capo con la frase allungata di un pezzo. Ripete finché non decide di fermarsi.
Tutto qui. Ogni sezione di questa pagina prende una stazione di quel viaggio, la spiega in modo che si regga da sola, e poi indica dove andare per scendere nel dettaglio. È una mappa, non un’enciclopedia: se ti basta capire l’insieme, questa pagina è sufficiente; se ti serve il dettaglio di un passaggio, alla fine di ogni sezione trovi la porta giusta.
In questo articolo scoprirai:
- Il viaggio di una frase, dall'invio alla risposta
- Primo passaggio: come il testo diventa numeri
- Secondo passaggio: i numeri diventano posizioni in uno spazio
- Terzo passaggio: la rete, cioè pesi, somme e soglie
- Perché la profondità della rete cambia cosa un modello di AI può imparare
- Come quei pesi sono diventati quelli giusti
Il viaggio di una frase, dall’invio alla risposta
La confusione più comune sull’intelligenza artificiale nasce da una parola: “capire”. Un modello di AI non capisce la tua frase nel senso in cui la capisce una persona. Fa una cosa diversa e più semplice da descrivere: trasforma il testo in numeri, applica a quei numeri una funzione matematica gigantesca ma fissa, e ottiene altri numeri che riconverte in testo. La funzione è gigantesca davvero, centinaia di miliardi di numeri regolabili, chiamati parametri o pesi, ma resta una funzione: stessi input, stessa struttura di calcolo.
Google Cloud lo definisce così nella sua documentazione: un modello di AI è un programma addestrato su un grande set di dati che impara pattern e relazioni e poi li applica a dati mai visti. La scheda di IBM sui modelli di AI insiste sullo stesso punto da un’altra angolatura: il programma è stato addestrato su un insieme di dati per riconoscere schemi e prendere decisioni senza ulteriore intervento umano. La parola chiave è “addestrato”: nessuno ha scritto a mano le regole che il modello usa. Le regole sono i pesi, e i pesi sono stati trovati automaticamente, uno alla volta, correggendo errori per milioni di iterazioni.
Le cinque stazioni del percorso di un modello di AI
Ecco lo schema che conviene portarsi via. Sono cinque stazioni, e ogni sezione di questa guida ne apre una.
Nota la freccia tratteggiata in basso, perché è la parte che sorprende quasi tutti: il modello non genera la risposta, genera una parola e poi rilegge tutto da capo. Non esiste un momento in cui “sa” cosa sta per dire. Questo spiega da solo metà dei comportamenti strani che vedi nell’uso quotidiano, e ci torniamo nella settima sezione.
Una distinzione da fissare subito, perché evita metà dei fraintendimenti: il modello non è il prodotto. ChatGPT, Claude o Gemini aggiungono interfaccia, memoria delle conversazioni, accesso al web e strumenti esterni, pezzi che stanno fuori dalla catena descritta qui, ma che determinano gran parte di quello che l’utente sperimenta. I due piani sono separati nella nostra guida completa a ChatGPT e alle sue funzionalità.
Se vuoi il contesto più ampio su cosa distingue questa famiglia di sistemi da tutto ciò che c’era prima, la nostra guida su come funziona l’AI generativa e cosa la separa dal software tradizionale è il complemento naturale di questa pagina.
Primo passaggio: come il testo diventa numeri
Un computer non elabora lettere. Elabora numeri. Quindi la prima cosa che succede alla tua frase è una traduzione: viene tagliata in pezzi, e ogni pezzo viene sostituito da un intero che corrisponde alla sua posizione in un vocabolario predefinito. Questi pezzi si chiamano token, e il taglio si chiama tokenizzazione.
Il punto controintuitivo è che i token non sono parole. Sono unità intermedie: pezzi più corti di una parola e più lunghi di una lettera. La documentazione di Anthropic li descrive come le unità individuali più piccole di un modello linguistico, che possono corrispondere a parole, sotto-parole, caratteri o byte, e precisa che per Claude un token vale circa 3,5 caratteri inglesi. Google dà una stima simile per Gemini: un token equivale a circa 4 caratteri, e 100 token corrispondono a 60-80 parole inglesi. La libreria ufficiale di OpenAI, tiktoken, indica che in media un token corrisponde a circa quattro byte.
Perché la tokenizzazione taglia le parole a metà
La ragione è un compromesso. Se il vocabolario contenesse una voce per ogni parola esistente sarebbe enorme, e ogni parola mai vista prima diventerebbe un buco nero. Se contenesse solo lettere, le sequenze diventerebbero lunghissime e ogni singolo simbolo porterebbe pochissimo significato. La soluzione adottata da tutti i modelli moderni è la tokenizzazione a sotto-parole, tipicamente con l’algoritmo Byte Pair Encoding.
Il meccanismo, come lo descrive la documentazione di Hugging Face sui tokenizer, parte dai singoli caratteri e fonde ripetutamente la coppia adiacente più frequente nel testo di addestramento, finché non raggiunge la dimensione di vocabolario voluta. Le parole comuni restano intere, quelle rare si scompongono: “annoyingly” diventa “annoying” + “ly”. GPT-2 usa un vocabolario di 50.257 token, ottenuto da 256 valori-byte di base più 50.000 fusioni più un simbolo speciale di fine testo. Il risultato è che qualsiasi testo, in qualsiasi alfabeto, è rappresentabile senza mai incontrare un simbolo sconosciuto.
Il conto che riguarda chi scrive in italiano
Qui arriva il dato che cambia le cose per noi. Quelle fusioni sono state calcolate su corpora dominati dall’inglese, quindi le sequenze frequenti in inglese sono diventate token singoli, mentre le nostre no. Misurazioni comparative sul tokenizer o200k_base, quello di GPT-4o, riportano circa 1,66 token per parola in italiano contro 1,16 in inglese, cioè un sovrapprezzo intorno al 43%. La letteratura accademica sul tema, in particolare il lavoro “Language Model Tokenizers Introduce Unfairness Between Languages”, documenta questa disparità sistematica fra lingue. Non è una misura ufficiale dei fornitori, va detto: è una stima da analisi indipendenti, e varia col tipo di testo.
Le conseguenze pratiche sono tre, e sono tutte reali: lo stesso testo in italiano consuma più finestra di contesto, costa di più se paghi a token, e viene elaborato con unità mediamente meno “sensate” (gli apostrofi delle elisioni, come in “dell’algoritmo”, vengono spesso spezzati in punti innaturali). Il conto si può rifare in proprio: OpenAI spiega che cosa sono i token e come si contano, e la differenza fra un paragrafo in italiano e la sua traduzione inglese si vede al primo tentativo.
Secondo passaggio: i numeri diventano posizioni in uno spazio
Il numero che identifica un token non significa niente. Il token 4711 non è “più grande” del token 3. È solo un indirizzo. Il significato entra nel passaggio successivo: ogni identificatore viene usato per pescare, da una tabella enorme appresa durante l’addestramento, una lista di numeri decimali. Quella lista è il vettore, o embedding, del token.
Quanti numeri? Nel Transformer originale del 2017 erano 512 per token, come ricostruisce nel dettaglio la spiegazione illustrata dell’architettura Transformer di Jay Alammar. Nei modelli attuali si va da qualche migliaio in su. Ogni numero è una coordinata: un embedding è letteralmente un punto in uno spazio con migliaia di dimensioni. Non è una metafora, è geometria, la stessa che governa il piano cartesiano, solo con molti più assi.
Perché la vicinanza nello spazio vettoriale è una misura di significato
La proprietà che rende utile tutto questo è che le posizioni non sono casuali. L’addestramento le dispone in modo che parole usate in contesti simili finiscano vicine. “Bicicletta” e “monopattino” si trovano in una zona; “fattura” e “preventivo” in un’altra, distante. Il modello non ha un dizionario: ha una mappa, e la distanza sulla mappa approssima la somiglianza di significato.
Da questa stessa proprietà nascono cose che sembrano miracolose e non lo sono. La ricerca semantica, i sistemi di recupero documentale, i motori di raccomandazione: tutti fanno la stessa operazione, cioè trasformano una domanda in un punto e cercano i punti più vicini. È il cuore di ogni architettura RAG, e chi vuole vedere come si applica in un sistema reale trova il quadro completo nella nostra guida su come funziona il retrieval augmented generation. Se invece ti interessa la matematica sotto, cioè cosa sono davvero questi vettori e queste matrici, il riferimento è l’algebra lineare applicata al machine learning.
Dove la geometria del significato sbaglia
La stessa proprietà è anche l’origine dell’errore più tipico dei sistemi AI, ed è importante capirlo prima di fidarsi di uno di questi strumenti. La vicinanza vettoriale misura la somiglianza di argomento, non la correttezza della risposta. Un documento che parla dello stesso tema con le stesse parole è vicino anche se dice la cosa sbagliata; un documento che risponde esattamente alla domanda ma usa un lessico diverso può risultare lontano.
Chiunque abbia costruito una ricerca semantica su documenti aziendali ha visto il fenomeno: il sistema restituisce con sicurezza la pagina che assomiglia di più alla domanda, che non è la pagina che la risolve. La misura di distanza più usata, e il modo esatto in cui fallisce, sono trattate in come si misura la vicinanza fra due significati, e quando sbaglia.
Terzo passaggio: la rete, cioè pesi, somme e soglie
A questo punto abbiamo una sequenza di punti nello spazio. Devono attraversare la rete neurale, che è l’oggetto attorno a cui si è costruita tutta la mitologia dell’AI e che, smontato, è sorprendentemente elementare.
L’unità di base è il neurone artificiale, e fa tre cose. Riceve dei numeri in ingresso. Moltiplica ciascuno per un peso, un numero che dice quanto quell’ingresso conta, e somma tutto. Applica al risultato una funzione non lineare, cioè una specie di soglia che decide se e quanto lasciar passare il segnale. Fine. Un neurone artificiale è una moltiplicazione, una somma e una soglia: nient’altro.
Machine learning e deep learning: cosa cambia davvero
Questa è la distinzione su cui si consuma più confusione, e si scioglie in una riga. La documentazione di Google Cloud stabilisce la gerarchia: i modelli di AI sono la categoria più ampia, il machine learning è la sottocategoria che usa metodi statistici per apprendere dai dati senza programmazione esplicita, e il deep learning è la sottocategoria del machine learning che usa reti neurali con più livelli.
“Profondo” significa esattamente questo: molti strati, uno sopra l’altro. Non è un aggettivo poetico. Il Transformer originale ne aveva sei nell’encoder e sei nel decoder; i modelli attuali ne impilano decine.
Perché la profondità della rete cambia cosa un modello di AI può imparare
E perché tanti strati servono? Perché un solo strato può tracciare solo confini semplici, nel caso più elementare, una linea retta che separa due gruppi di dati. Ma quasi nessun problema reale è separabile con una linea. Riconoscere un volto, capire se una frase è ironica, prevedere la parola successiva: sono confini contorti, pieni di eccezioni. Ogni strato aggiuntivo prende le forme costruite dallo strato precedente e le combina in forme più complesse. Il primo strato coglie regolarità elementari, quelli intermedi le assemblano, gli ultimi lavorano su concetti astratti. La profondità è ciò che permette di tracciare confini che una linea non traccia.
È anche il punto in cui conviene disinnescare l’analogia più abusata. Il parallelo col cervello, da cui viene il nome “rete neurale”, è più antico e più discutibile di quanto si creda: l’abbiamo ricostruito in sessant’anni di analogie fra psicologia, cervello e AI. Una rete neurale non è un cervello, e i punti in cui l’analogia si rompe contano più di quelli in cui regge: un neurone artificiale non ha chimica, non ha tempo, non ha corpo, ha tre operazioni aritmetiche.
Come quei pesi sono diventati quelli giusti
Restano centinaia di miliardi di pesi da spiegare. Da dove vengono? All’inizio sono numeri casuali, e il modello con pesi casuali produce rumore. Il passaggio da rumore a competenza è l’addestramento, ed è un procedimento meccanico che si ripete un numero astronomico di volte.
Il ciclo ha quattro momenti. Il modello riceve un esempio e produce una previsione. Una funzione chiamata perdita, o loss, misura con un numero quanto la previsione è distante da quella corretta. Si calcola poi, per ciascun peso, quanto quel peso ha contribuito all’errore e in che direzione andrebbe mosso per ridurlo: è il gradiente. Infine ogni peso viene spostato di un pochino in quella direzione. Poi si passa all’esempio successivo.
Il “pochino” è cruciale. I passi devono essere piccoli, perché la correzione giusta per un esempio è quasi sempre sbagliata per il successivo: solo mediando su miliardi di micro-correzioni emergono pesi che vanno bene per tutti. È qui che finiscono i mesi di calcolo e i costi enormi di cui si legge. Per i modelli linguistici l’obiettivo di questo primo addestramento è uno solo, e Anthropic lo descrive senza giri di parole: i modelli autoregressivi vengono pre-addestrati a prevedere la parola successiva dato il contesto precedente. Tutto il resto, rispondere, riassumere, tradurre, emerge da quell’unico esercizio, ripetuto su quantità di testo che nessun essere umano potrebbe leggere in mille vite.
L’insidia: imparare troppo bene i casi già visti
C’è un modo elegante di fallire, e ha un nome preciso. Il corso ufficiale di Google definisce l’overfitting come la creazione di un modello che aderisce al set di addestramento così strettamente da memorizzarlo, fallendo poi le previsioni su dati nuovi. È lo studente che impara a memoria le soluzioni degli esercizi del libro e va in crisi al primo problema riformulato.
Il segnale è netto e si misura: si tracciano due curve di errore, una sui dati di addestramento e una su dati mai visti, e all’inizio scendono insieme. Quando la curva di addestramento continua a scendere mentre quella di verifica risale, il modello ha smesso di imparare e ha iniziato a memorizzare. Da lì in poi ogni ora di calcolo peggiora le prestazioni reali. Google aggiunge che i modelli più complessi sono più esposti al problema, e che a parità di risultato conviene sempre il più semplice.
Quarto passaggio: guardare tutto il contesto insieme
Fino al 2017 c’era un collo di bottiglia che teneva ferma tutta l’elaborazione del linguaggio. I modelli leggevano il testo come lo leggiamo noi: una parola dopo l’altra, portandosi dietro un riassunto di quello che era venuto prima. Due problemi, entrambi gravi. Il riassunto si degradava sulle distanze lunghe, e la lettura sequenziale non si poteva parallelizzare, la parola numero mille non si può elaborare prima della novecentonovantanove.
Il paper che ha rotto lo schema si intitola “Attention Is All You Need”. Vaswani e altri sette autori propongono un’architettura basata unicamente su meccanismi di attenzione, che elimina del tutto ricorrenza e convoluzioni, ed è “più parallelizzabile e richiede molto meno tempo per l’addestramento”. I numeri di allora fanno sorridere oggi ma erano lo stato dell’arte: 28,4 BLEU sulla traduzione inglese-tedesco e 41,8 sull’inglese-francese, con 3,5 giorni di addestramento su otto GPU. Da quel documento discendono, senza eccezioni rilevanti, tutti i modelli linguistici che usiamo.
Come funziona il meccanismo di attenzione, in concreto
L’idea è di far interrogare ogni token con tutti gli altri, direttamente. Ogni posizione produce tre vettori diversi, ottenuti moltiplicando il suo embedding per tre matrici di pesi appresi: una query, che è la domanda che quel token pone al contesto; una key, che è l’etichetta con cui si presenta agli altri; un value, che è il contenuto che offre. Il modello confronta la query di ciascun token con le key di tutti gli altri, ottiene un punteggio di rilevanza per ogni coppia, lo normalizza in modo che i pesi sommino a uno, e costruisce il nuovo vettore come media pesata dei value.
L’esempio classico, ripreso da Alammar, è la frase “l’animale non ha attraversato la strada perché era troppo stanco”: è l’attenzione che permette a “era” di collegarsi ad “animale” e non a “strada”. Nel Transformer originale questo calcolo avviene otto volte in parallelo, con otto teste di attenzione distinte, ciascuna libera di specializzarsi su un tipo di relazione diverso, una sulla sintassi, una sui riferimenti, e così via.
Quanto costa un prompt lungo a un modello di AI
Due conseguenze del meccanismo di attenzione meritano di essere fissate. La prima: fra due token, per quanto lontani nel testo, non c’è più nessuna distanza da attraversare. La seconda: tutti i confronti sono indipendenti fra loro, quindi calcolabili insieme, ed è questo che ha reso possibile addestrare modelli di queste dimensioni.
Il prezzo è che il numero di confronti cresce col quadrato della lunghezza del testo. Raddoppiare il prompt quadruplica il lavoro di questa parte del calcolo, e questo spiega perché i prompt molto lunghi costino e rallentino in modo non proporzionale: incollare un documento intero quando servivano tre paragrafi non è una scelta neutra. Chi paga a consumo lo vede in fattura, e il conto con i prezzi reali è in quando le API di Claude convengono rispetto all’abbonamento.
Ultimo passaggio: la risposta arriva una parola alla volta
Siamo all’uscita della rete. Ed è il punto in cui l’aspettativa comune si scontra con la realtà del meccanismo. Dall’ultimo strato non esce una risposta, né una frase, né un piano. Esce un vettore di punteggi lungo quanto il vocabolario: un numero per ognuna delle decine di migliaia di token possibili, che dopo una normalizzazione diventa una distribuzione di probabilità.
Il sistema ne pesca uno. Come lo pesca dipende da un parametro che chi usa le API conosce bene, la temperatura, che Anthropic definisce come il controllo della casualità delle predizioni del modello durante la generazione: valori bassi producono uscite conservative e prevedibili, valori alti aprono a scelte più rare e varie. Chi vuole vedere come questi parametri si presentano in un modello commerciale li trova nella nostra guida a Claude AI. Poi il token scelto viene aggiunto in fondo alla sequenza, e l’intera sequenza allungata rientra dall’inizio. Frase → token → vettori → rete → parola. Di nuovo. E ancora.
Perché la generazione autoregressiva spiega i comportamenti strani
Tre cose che tutti hanno osservato usando un chatbot diventano ovvie una volta capito questo ciclo.
La prima: il testo compare a scatti, parola dopo parola, perché è letteralmente prodotto così, non è un’animazione dell’interfaccia. La seconda: ogni parola già scritta condiziona tutte le successive, e non è più modificabile. Se il modello imbocca una strada sbagliata alla terza parola, le duecento successive verranno costruite per essere coerenti con quella. Non può tornare indietro a correggere, esattamente come non può farlo chi parla a braccio in pubblico. La terza: la stessa domanda posta due volte dà risposte diverse, perché a ogni passo c’è un’estrazione da una distribuzione. Anthropic segnala anzi che anche con temperatura a zero il risultato non è pienamente deterministico.
C’è un’implicazione pratica che vale più di molte guide: dare al modello spazio per ragionare per iscritto prima di rispondere funziona non per magia, ma perché ogni token generato rientra come contesto per i successivi. È il fondamento tecnico di buona parte delle tecniche descritte nella nostra guida al prompt engineering e alla scrittura di prompt efficaci.
Il dettaglio del ciclo di generazione è in perché l’AI scrive una parola alla volta, e l’inquadramento generale della famiglia di modelli che lo usa è in cosa sono i large language model.
Dove questo quadro non basta più
Tutto quello che hai letto finora è corretto e verificabile. Ma sarebbe disonesto chiudere qui, perché questa catena di passaggi descrive il meccanismo senza spiegare interamente il comportamento. Ci sono almeno tre punti in cui la spiegazione “token, vettori, pesi, attenzione, generazione” non arriva fino in fondo, e conoscerli è ciò che separa chi ha capito da chi ha imparato uno schema.
Perché un modello inventa una fonte con assoluta sicurezza
Dal meccanismo si deduce che il modello produce continuazioni plausibili, quindi può produrre falsità plausibili. Quello che il meccanismo non spiega è perché lo faccia con la stessa fluidità e la stessa apparente convinzione con cui dice cose vere, e perché su certe domande sbagli sistematicamente e su altre no.
La ricerca ha iniziato a distinguere fenomeni diversi sotto l’etichetta unica di “allucinazione”. Il gruppo di Oxford, in un lavoro pubblicato su Nature nel giugno 2024, isola le confabulazioni, i casi in cui il modello inventa qualcosa “senza motivo”, riconoscibili perché a parità di domanda risponde in modi semanticamente diversi cambiando solo il seme casuale. Il metodo proposto, l’entropia semantica, misura l’incertezza nello spazio dei significati anziché in quello delle sequenze di token, e distingue così la variazione di formulazione dalla vera incertezza sul contenuto. Funziona meglio di tutte le alternative testate su GPT-4, LLaMA 2 e Falcon, ma resta un rilevatore statistico: non elimina il problema, lo segnala.
Perché la stessa architettura, più grande, si comporta diversamente
Il secondo punto cieco è la scala. La struttura descritta in questa pagina è la stessa in un modello piccolo e in uno enorme: cambiano il numero di strati, la dimensione dei vettori, la quantità di dati. Eppure a certe soglie compaiono capacità che prima erano semplicemente assenti.
La ricerca di Google definisce queste abilità emergenti come capacità non presenti nei modelli piccoli e presenti in quelli grandi: le prestazioni restano al livello del caso fino a una soglia critica, poi salgono di colpo. Vengono indicati valori precisi, l’aritmetica a più passaggi emerge sopra i 10²² FLOPs di addestramento, il ragionamento passo-passo intorno ai 10²⁴, dove la risoluzione di problemi matematici passa da inefficace a un tasso del 57% sul benchmark GSM8K. Perché la curva salti invece di salire gradualmente è tuttora oggetto di discussione, e parte della comunità sostiene che l’effetto dipenda in buona misura da come si misura. Una risposta condivisa non c’è.
Cosa succede davvero nei modelli che ragionano in più passaggi
Il terzo punto è il più scomodo. Il quadro suggerisce che il modello proceda da sinistra a destra, un token alla volta, senza pianificare. L’interpretabilità meccanicistica sta mostrando che è una semplificazione. Anthropic, tracciando i circuiti interni di Claude, ha osservato che scrivendo poesie in rima il modello attiva la parola in rima prima di comporre il verso e costruisce la frase per arrivarci: sopprimendo sperimentalmente il concetto “rabbit”, il modello ripiega su “habit”. Ha inoltre trovato che concetti espressi in lingue diverse attivano le stesse caratteristiche interne, come una specie di lingua del pensiero condivisa, e che per calcolare 36+59 il modello usa più percorsi paralleli, uno approssimativo, uno sull’ultima cifra, invece di recuperare un risultato memorizzato.
Quando il ragionamento dichiarato da un modello di AI non è quello svolto
La scoperta più rilevante per chi usa questi strumenti riguarda i sistemi che espongono il proprio ragionamento. Le spiegazioni prodotte dal modello a volte non corrispondono al calcolo che ha effettivamente svolto: messo davanti a un problema difficile con una risposta suggerita, costruisce a ritroso passaggi che la giustifichino, e nei circuiti non c’è “nessuna evidenza” del calcolo dichiarato. Significa che una catena di ragionamento leggibile non è una prova del processo seguito. Vale la pena tenerlo presente quando si valuta cosa sanno fare davvero i sistemi che agiscono in autonomia, tema che affrontiamo negli agenti AI e in cosa sanno fare realmente.
Aggiungiamo l’ovvio, che spesso si dimentica: questa pagina descrive il testo, ma la stessa catena si applica a immagini, audio e video convertiti in token, è il terreno della multimodalità nei modelli di intelligenza artificiale. E descrive i modelli generativi, che sono una famiglia fra le altre: le differenze con i sistemi predittivi classici sono in AI generativa e AI tradizionale a confronto.
Tre cose che stanno intorno a questo percorso
Il tragitto descritto qui riguarda una richiesta che entra e una risposta che esce. Ma tre questioni gli stanno accanto, e senza di esse il quadro resta appeso. La prima è come si impara: esistono tre modi diversi di addestrare una macchina, e dentro un assistente conversazionale sono al lavoro tutti e tre, uno dopo l’altro. La seconda è come si misura se ha imparato davvero: serve dividere i dati in tre mucchi con tre mestieri distinti, altrimenti un’accuratezza del 98% può essere vera e insieme inutile. La terza è quanto spazio occupa: i pesi sono numeri, e scriverli con meno precisione cambia la macchina su cui il modello può girare — ed è la ragione per cui «settanta miliardi di parametri» diventa un numero leggibile solo insieme alla precisione.
Fonti:
- Vaswani et al., “Attention Is All You Need” (2017): l’architettura Transformer
- Google Cloud: che cos’è un modello di AI e come si crea
- IBM: definizione di modello di AI
- Anthropic, glossario: token, modelli autoregressivi, temperatura
- Anthropic, glossario (indirizzo docs.anthropic.com)
- OpenAI Help Center: cosa sono i token e come si contano
- tiktoken, il tokenizer ufficiale di OpenAI
- Google, Gemini API: conteggio dei token
- Hugging Face: riepilogo dei tokenizer e Byte Pair Encoding
- Jay Alammar, The Illustrated Transformer
- Google Machine Learning Crash Course: overfitting
- Farquhar et al., Nature (2024): rilevare le allucinazioni con l’entropia semantica
- OATML Oxford: come funziona l’entropia semantica, spiegata dagli autori
- Google Research: abilità emergenti nei large language model
- Anthropic: tracciare i pensieri di un modello linguistico
