Scarichi Ollama sul portatile, lanci un modello da 8 miliardi di parametri e le parole escono una alla volta, come se qualcuno le battesse a macchina con un dito solo. Poi apri ChatGPT nel browser e la stessa identica risposta arriva in un fiotto, più veloce di quanto tu riesca a leggerla. Stesso tipo di modello, stessa domanda, due velocità che non si somigliano nemmeno. È lì che a quasi tutti viene in mente di cercare cos’è una GPU, e perché quel pezzo di hardware cambi il risultato in modo così brutale.
La risposta breve, «è un processore grafico, fa i calcoli in parallelo», è vera e non serve a niente, perché non ti dice quale numero stai guardando quando le parole escono lente. Il numero esiste, è uno solo, e non è il numero che ti aspetti: non sono i core, non sono i teraflops. Qui sotto lo tiriamo fuori con un conto che puoi rifare sul tuo computer in dieci minuti.
In questo articolo scoprirai:
- Cos'è la GPU in parole semplici, e cosa vedi quando un modello AI gira senza
- Che differenza c'è tra GPU e CPU quando deve girare un modello AI
- Quanto è più veloce una GPU della CPU su un modello da 8 miliardi di parametri
- Cosa cambia tra GPU e scheda grafica, e dove si trova la GPU su un PC
- Cosa cambia quando la GPU c'è, quando non c'è e quando è troppo piccola
Cos’è la GPU in parole semplici, e cosa vedi quando un modello AI gira senza
La GPU (Graphics Processing Unit) è il chip che nel tuo computer si occupa di fare tantissimi calcoli identici tutti insieme, invece di farne pochi molto complicati uno dopo l’altro. Nasce per disegnare i pixel di un videogioco, tre milioni di puntini da colorare sessanta volte al secondo, tutti con la stessa formula, e si è ritrovata ad essere l’attrezzo giusto per l’intelligenza artificiale perché anche una rete neurale fa una cosa sola, ripetuta milioni di volte: moltiplicare numeri in tabella.
Il comportamento che vedi quando la GPU non c’è è sempre lo stesso, e ha tre facce. Un modello linguistico locale che sputa parole al ritmo di una conversazione al telefono con la linea disturbata. Un export video in DaVinci Resolve che passa da quattro minuti a quaranta. Un generatore di immagini che invece di dieci secondi ci mette cinque minuti per la stessa immagine. In tutti e tre i casi il computer non è rotto e non è «pieno»: sta semplicemente facendo in fila indiana un lavoro che era pensato per essere fatto in mille corsie parallele.
Perché la GPU in parallelo non basta a spiegare la velocità
La cosa importante da tenere a mente fin da qui è che «fa i calcoli in parallelo» non è la spiegazione completa, ed è il punto in cui quasi tutte le pagine su questo argomento si fermano. Una GPU moderna ha decine di migliaia di unità di calcolo, la GeForce RTX 4090 ne dichiara 16.384 nella scheda tecnica ufficiale NVIDIA, ma quando genera una parola dopo l’altra quelle unità stanno ferme per oltre il 90% del tempo. Aspettano. Aspettano che arrivino i dati. Ed è proprio quell’attesa il meccanismo che stai guardando.
Che differenza c’è tra GPU e CPU quando deve girare un modello AI
Una CPU e una GPU non si distinguono per «velocità»: si distinguono per quanto lavoro riescono a tirare dentro dalla memoria in un secondo. La CPU è fatta di pochi core molto intelligenti, che prevedono i salti del programma, tengono grandi cache e sono bravissimi a eseguire istruzioni diverse una dietro l’altra; la GPU è fatta di migliaia di core stupidi, che sanno fare tutti la stessa identica operazione nello stesso istante, e, dettaglio decisivo, sono attaccati a una memoria progettata per riversare dati addosso a quei core molto più in fretta di quanto la RAM di sistema riesca a fare con la CPU. Quando un modello AI genera un token, la differenza tra GPU e CPU non è quanti calcoli sanno fare, ma quanti gigabyte al secondo riescono a leggere.
La documentazione NVIDIA sulle prestazioni del deep learning lo mette nero su bianco con un vocabolario preciso: un’operazione è limitata dal calcolo solo quando «l’intensità aritmetica è superiore al rapporto ops:byte del processore», altrimenti è limitata dalla memoria. E lo stesso documento riporta l’esempio che ci interessa: un layer lineare con batch 512 ha un’intensità di 315 FLOPS/B ed è limitato dal calcolo, ma lo stesso identico layer con batch 1 scende a 1 FLOPS/B ed è limitato dalla memoria (GPU Performance Background, NVIDIA). Batch 1 è esattamente quello che succede quando stai chattando da solo con un modello sul tuo computer.
La GPU è il processore, oppure no: come si spartiscono il lavoro CPU e GPU
No, la GPU non sostituisce il processore: lavorano in coppia e con ruoli separati. La CPU esegue il sistema operativo, apre i file, gestisce la rete, decide cosa va fatto e prepara i dati; poi spedisce alla GPU i blocchi di lavoro omogenei, le moltiplicazioni fra matrici, e ne riprende il risultato. In una sessione con un modello linguistico la CPU si occupa di tokenizzare il testo, gestire la finestra di contesto e scrivere l’output a schermo, mentre la GPU fa girare gli strati della rete. Se ti interessa cosa succede esattamente in quegli strati, lo abbiamo raccontato in come funziona davvero un modello di AI, dal testo che entra alla risposta che esce, e la matematica sotto è quella spiegata in algebra lineare applicata al machine learning: tutto il mestiere della GPU è lì dentro.
Quanto è più veloce una GPU della CPU su un modello da 8 miliardi di parametri
Adesso il conto, con numeri che puoi verificare tutti. Prendi un modello da 8 miliardi di parametri quantizzato a 4 bit, Llama 3 8B in formato Q4_K_M, il file più scaricato in assoluto per l’uso locale: sul disco pesa circa 4,9 GB. Per produrre ogni singolo token in uscita, il programma deve leggere tutti quei pesi una volta. Non una parte: tutti. Quindi il tetto teorico di velocità è una divisione sola:
token al secondo = banda di memoria ÷ dimensione del modello.
La banda di memoria di CPU e GPU a confronto
I due estremi della divisione sono pubblici. Un Intel Core i9-14900K, processore desktop di fascia alta con 24 core, dichiara su Intel ARK una banda massima di memoria di 89,6 GB/s (DDR5-5600 su due canali). Una RTX 4090 ha un bus da 384 bit: 384 ÷ 8 = 48 byte per trasferimento, moltiplicati per i 21 Gbps della sua GDDR6X fanno 1.008 GB/s. Una RTX 5090 ha bus da 512 bit e GDDR7 a 28 Gbps: 64 × 28 = 1.792 GB/s. E un acceleratore da datacenter H100 SXM arriva a 3,35 TB/s con 80 GB di memoria, come riporta la scheda prodotto NVIDIA.
Dividi per 4,9 GB e ottieni il tetto: 18 token/s sulla CPU, 206 sulla 4090, 366 sulla 5090, 684 sull’H100. Sono tetti teorici: nella pratica se ne raccoglie fra il 55% e il 70%, ed è esattamente quello che misurano i benchmark pubblici di llama.cpp, dove un 7-8B a 4 bit fa 10-15 token/s su CPU e 104-135 su una 4090. Il rapporto misurato, circa dieci volte, è quasi identico al rapporto fra le due bande di memoria, 11,25. Non è una coincidenza: è la stessa grandezza vista due volte.
Cosa dicono i benchmark di llama.cpp sulla banda della GPU
Chi mantiene il backend CUDA di llama.cpp lo dice senza giri di parole nella sua pagina di test: «Al di là della capienza della VRAM la caratteristica prestazionale più importante delle GPU è la loro banda di memoria», e per la CPU «il fattore più importante è la banda di memoria; la banda della RAM consumer è molto più bassa rispetto a quella della VRAM di una GPU» (llama.cpp Performance Testing).
Cosa cambia tra GPU e scheda grafica, e dove si trova la GPU su un PC
Sono due cose diverse che nel parlato si usano come sinonimi, e la confusione è comprensibile. La GPU è il chip; la scheda grafica (o scheda video) è la scheda intera: il chip più la memoria VRAM saldata attorno, più i circuiti di alimentazione, le ventole e le uscite HDMI/DisplayPort. Detto in modo brutale: la GPU sta alla scheda grafica come il motore sta all’automobile. Quando leggi «RTX 4090» nella pratica ti stanno vendendo la scheda, ma la sigla identifica il chip che ci sta sopra.
Dove si trova, su un PC? Dipende, e la distinzione conta più della terminologia. Su un desktop la scheda grafica dedicata è un mattone che si infila nello slot PCI Express sulla scheda madre, occupa due o tre alloggiamenti, ha i suoi cavi di alimentazione e consuma parecchio: 450 W dichiarati per la 4090, 575 W per la 5090. Su un portatile sottile o su un mini-PC, invece, di solito non c’è nessuna scheda: la GPU è integrata dentro lo stesso pezzo di silicio del processore. Su Windows lo verifichi in tre secondi con Gestione attività, scheda Prestazioni: se in fondo alla colonna di sinistra compare «GPU 0, Intel/AMD Graphics» e basta, hai solo l’integrata.
Quali sono i tipi di GPU: integrata, dedicata e da datacenter
Le famiglie sono tre, e si distinguono per una cosa sola, che memoria usano. La GPU integrata non ha memoria propria: prende in prestito la RAM di sistema, quindi eredita i suoi 89,6 GB/s. Per questo su un ultrabook con grafica integrata un modello locale non va significativamente più veloce che su CPU: il collo di bottiglia è identico. La GPU dedicata porta con sé la sua VRAM, ed è lì che nasce il salto da 89,6 a 1.008 GB/s. La GPU da datacenter (H100, B200) usa memoria HBM impilata a ridosso del chip e arriva a 3,35 TB/s e oltre; costa come un’automobile e non la monti in casa, ma è la roba su cui gira l’AI che usi dal browser, e il motivo per cui una singola azienda è arrivata a valere quanto vale.
Che differenza c’è tra GTX e RTX, e cosa significa GTX
GTX e RTX sono due nomi commerciali NVIDIA, non due tecnologie diverse in senso stretto. GTX è la sigla storica (una variante di «GeForce Tech Xtreme», mai sciolta ufficialmente da NVIDIA) usata fino alla generazione GeForce 16; RTX arriva nel 2018 e la «R» sta per ray tracing. La differenza che conta per chi fa AI non è il ray tracing: è che dalla generazione RTX in poi le schede montano i Tensor Core, unità dedicate a moltiplicare piccoli blocchi di matrice, che la 4090 dichiara di quarta generazione e la 5090 di quinta. Una GTX può far girare un modello, ma senza Tensor Core perde il grosso del vantaggio nella fase di calcolo pesante, quella dove la GPU è davvero limitata dai FLOPS e non dalla memoria.
Cosa cambia quando la GPU c’è, quando non c’è e quando è troppo piccola
Il meccanismo della banda spiega anche i comportamenti che sembrano capricci. Il primo è il muro della VRAM: il modello deve starci dentro. Sui test pubblici di llama.cpp un 7B a 4 bit con 2048 token di contesto occupa 6.618 MiB, un 13B ne occupa 10.910 e un 33B arriva a 23.176 MiB, cioè riempie quasi esattamente i 24 GB di una 4090. Il gradino successivo, un 70B, non ci sta: il programma scarica gli strati in eccesso nella RAM di sistema, e da quel momento quella parte del calcolo viaggia a 89,6 GB/s invece che a 1.008. Non è un degrado dolce: è un dirupo. È il motivo per cui la stessa scheda che fa 130 token/s su un 8B ne fa 3 su un 70B parzialmente scaricato.
Il secondo comportamento è il contrario, ed è il segreto dei servizi cloud. Quando generi un token da solo, l’intensità aritmetica è di 16 GFLOP di calcolo ogni 4,9 GB letti, cioè 3,3 operazioni per byte: contro un rapporto ops:byte del chip che NVIDIA quantifica «fra 40 e 139» per una V100, sei dodici-quaranta volte sotto la soglia. La GPU è quasi tutta ferma. Ma se il server mette insieme 32 richieste diverse e le fa passare nello stesso giro, i pesi si leggono una volta sola per tutte e 32: il calcolo si moltiplica per 32, la lettura resta la stessa, e l’intensità sale a 104 operazioni per byte. Sopra soglia. Da lì in poi la GPU lavora davvero, ed è il motivo per cui ChatGPT o un LLM servito via API ti rispondono più in fretta di quanto riesca a fare la tua scheda con lo stesso modello: non hanno un chip magico, hanno la coda di altri utenti.
Gpu costo: quando conviene comprarla e quando affittarla
I listini si muovono, ma gli ordini di grandezza no: una scheda consumer di fascia alta sta nella forchetta dei quattro cifre in euro, un acceleratore da datacenter in quella delle cinque, e a noleggio orario sul cloud una GPU di quella classe si paga qualche euro l’ora. Il conto che conta non è il prezzo della scheda: è quante ore al mese la terrai davvero accesa a fare inferenza. Sotto le poche decine di ore mensili, affittare o usare un’API costa meno e non ti lascia in casa un pezzo di hardware che si svaluta; sopra, e soprattutto se i dati non possono uscire dall’azienda, il possesso torna in gioco. Abbiamo fatto i numeri per un caso reale in modelli AI open source in azienda: i conti veri.
Quello che il conto in GB/s non dice sulla GPU
Ecco la riga onesta, quella che serve per non ripetere a pappagallo la regola appena imparata: «banda diviso dimensione del modello» vale solo per la generazione token per token a batch 1, e smette di valere in almeno quattro casi. Nella fase di prefill, quando il modello legge il tuo prompt di tremila parole tutto insieme, l’intensità aritmetica è alta e a contare sono i teraflops e i Tensor Core, non la banda. Nei modelli a miscela di esperti (MoE) per ogni token si attiva solo una frazione dei pesi, quindi il divisore da usare non è il file intero. Con il speculative decoding un modellino piccolo propone più token che il grande verifica in un colpo solo, e il rapporto salta. E per la generazione di immagini, Stable Diffusion, i modelli di GPT Image, il lavoro è denso di calcolo fin dall’inizio: lì la GPU è limitata dai FLOPS, non dalla memoria, e il conto va rifatto da capo.
La GPU di Google non esiste con questo nome: TPU e chip custom
C’è poi un fatto di mercato che il numero non contiene: «GPU» sta diventando un’etichetta imprecisa. La GPU di Google che molti cercano non esiste con quel nome, Google progetta le TPU, acceleratori che non nascono dalla grafica e sono costruiti in partenza per le moltiplicazioni fra matrici; e diversi laboratori stanno facendo lo stesso con chip propri. Il meccanismo che hai letto qui, però, non cambia: qualunque sia il logo sul chip, se deve leggere quattro giga e mezzo di pesi per produrre una parola, la banda resta il giudice.
Da qui si va in due direzioni. Se vuoi capire cosa fa il modello con quei pesi mentre la GPU li legge, il mattone successivo è come funziona l’intelligenza artificiale generativa; se invece ti serve prima la mappa di cosa è «generativo» e cosa no, c’è la differenza tra AI generativa e AI tradizionale, che è il bivio da cui dipende quanto hardware ti serve davvero.
E se la domanda vera dietro «cos’è una GPU» era «devo comprarne una per l’azienda», la risposta quasi sempre è no: conta molto di più come il modello viene collegato ai vostri dati e ai vostri processi. La scelta fra API, cloud e macchina in sede si fa dopo aver misurato il carico, non prima: ne parliamo in agenti AI su misura per la tua azienda.
Fonti:
- GPU Performance Background, NVIDIA
- GeForce RTX 4090, scheda tecnica NVIDIA
- GeForce RTX 5090, scheda tecnica NVIDIA
- GeForce RTX 4090, specifiche su TechPowerUp
- NVIDIA H100 Tensor Core GPU, scheda prodotto
- Intel Core i9-14900K, specifiche su Intel ARK
- llama.cpp Performance Testing
Domande frequenti
Qual è la RTX più potente?
Nella gamma consumer GeForce la più potente è la RTX 5090: 21.760 CUDA core, 32 GB di GDDR7 su bus a 512 bit, 3.352 AI TOPS dichiarati e 575 W di consumo. Fuori dalla gamma GeForce esistono schede professionali con più memoria, e sopra tutto ci sono gli acceleratori da datacenter, che non sono RTX.
Qual è la migliore GPU Nvidia?
Non esiste una risposta unica, e chi te la dà sta vendendo qualcosa. Per giocare conta la potenza di calcolo grafico; per far girare un modello linguistico in locale contano nell'ordine la capienza della VRAM (se il modello non ci sta, il resto non serve) e poi la banda di memoria. Una scheda più vecchia con 24 GB può battere una più nuova con 12 GB sullo stesso modello, semplicemente perché l'altra non lo contiene.
Cos'è la CPU, in una riga?
È il processore centrale: pochi core molto versatili che eseguono il sistema operativo e tutte le istruzioni che non si possono parallelizzare. Lavora insieme alla GPU, non in alternativa ad essa.
La GPU e la scheda video sono la stessa cosa?
No: la GPU è il chip, la scheda video è tutto l'insieme, chip, VRAM, alimentazione, ventole, uscite video. Nell'uso comune i due termini si sovrappongono, ma quando leggi una specifica tecnica la distinzione conta.
