Cos’è il deep learning: gli strati che si scelgono da soli cosa guardare

Apri l’app Foto del telefono, scrivi «cane» nella barra di ricerca e in mezzo secondo escono trecento fotografie: il cane di spalle, il cane al buio in cucina, il cane da cucciolo che non somiglia più a niente di quello che è adesso. Nessuno ha mai scritto nel telefono la regola «un cane ha quattro zampe, il pelo e il muso allungato». Quella regola non esiste da nessuna parte nel codice. Eppure la macchina la applica, e la applica su foto che non ha mai visto.

Il meccanismo che produce questo comportamento si chiama deep learning, in italiano apprendimento profondo. E la parte interessante non è la definizione: è che si può contare, riga per riga, quanti numeri entrano, quanti parametri li trasformano e quanti ne escono. Qui sotto il conto è fatto per intero, con i numeri del sistema che ha aperto la strada nel 2012 e con quelli dei modelli di oggi.

In questo articolo scoprirai:

• Deep learning, spiegazione semplice: la regola che nessuno ha scritto
• Come funziona il deep learning, strato per strato
• Reti neurali e deep learning: il conto dei parametri, da 150.528 numeri a 60 milioni
• Filtri 3×3 e algebra lineare: i conti che alleggeriscono il deep learning
• Qual è la differenza tra machine learning e deep learning
• Esempi di deep learning: dove lo vedi all’opera ogni giorno
• Chi è considerato il padre del deep learning
• I limiti del deep learning: quando la spiegazione degli strati non basta

Deep learning, spiegazione semplice: la regola che nessuno ha scritto

Nel software tradizionale la regola la scrive una persona. Se vuoi che un programma riconosca una fattura, gli dici dove guardare: «se trovi la stringa partita IVA seguita da undici cifre, quella è la partita IVA». Funziona finché il mondo si comporta come previsto, e smette di funzionare al primo fornitore che scrive «P.IVA» in un angolo diverso del foglio.

Con il deep learning il verso è rovesciato: tu porti gli esempi, la regola la calcola la macchina. Non le dici cosa guardare in una foto di cane; le dai un milione di immagini già etichettate e lasci che aggiusti da sola i suoi numeri interni finché non sbaglia quasi più. Il risultato non è una regola leggibile: è una lista lunghissima di pesi numerici. È per questo che nessuno, dentro un’azienda che usa questi sistemi, può aprire un file e mostrarti la definizione di «cane» che il modello sta usando.

Perché il deep learning si chiama profondo: quattro strati e oltre

La parola «profondo» del nome non ha niente a che vedere con la profondità del pensiero: traduce la profondità della pila, cioè quanti strati di trasformazione il dato attraversa fra l’ingresso e l’uscita. La documentazione di IBM lo dice in modo secco: il termine deep learning indica «l’addestramento di modelli con almeno 4 strati», e i modelli in produzione oggi ne hanno decine o centinaia (IBM, What is deep learning?). Una rete con un solo strato nascosto è una rete neurale e basta; da quattro in su si comincia a parlare di profondità, e quello che cambia con la profondità è che ogni strato può lavorare su quello che ha costruito lo strato precedente, invece che sui dati grezzi.

Questa è la differenza che il lettore vede senza saperlo: un filtro antispam con una regola scritta a mano si aggira cambiando una parola, un riconoscitore di volti addestrato su milioni di immagini no.

Come funziona il deep learning, strato per strato

Il deep learning è un metodo di addestramento in cui una rete neurale con molti strati trasforma un dato grezzo, i 150.528 numeri di una fotografia, i token di una frase, facendolo passare attraverso una catena di moltiplicazioni fra matrici e funzioni non lineari, e ogni strato costruisce le caratteristiche che servono allo strato successivo invece di riceverle da un programmatore. Gli strati vicini all’ingresso finiscono per rispondere a differenze locali (bordi, contrasti, cambi di colore), quelli vicini all’uscita a configurazioni composte (un muso, una ruota, una firma). Nessuna di queste caratteristiche è scritta nel codice: sono valori numerici ricavati confrontando milioni di volte la risposta della rete con la risposta giusta.

Chi decide cosa guarda ogni strato: la discesa del gradiente

La domanda giusta è: se nessuno programma gli strati, chi li regola? La risposta è un ciclo che si ripete: la rete tira a indovinare, si misura quanto ha sbagliato, e l’errore viene propagato all’indietro fino a dire a ciascuno dei suoi parametri in che direzione spostarsi per sbagliare un po’ meno. È la discesa del gradiente, e la sua versione per reti a più strati, la retropropagazione, è esattamente il contributo per cui l’ACM ha premiato Geoffrey Hinton: un algoritmo che «ha permesso alle reti neurali di scoprire da sole le proprie rappresentazioni interne dei dati» (comunicato ACM, 2019). «Scoprire da sole» è la frase chiave: le caratteristiche non sono un ingrediente, sono un risultato. Se vuoi il meccanismo di un singolo strato nel dettaglio, sta in come funziona una rete neurale.

Reti neurali e deep learning: il conto dei parametri, da 150.528 numeri a 60 milioni

Facciamo il conto vero, perché è qui che il meccanismo smette di essere una metafora. Una fotografia quadrata da 224 pixel di lato, a colori, per una macchina è una griglia di 224 × 224 × 3 = 150.528 numeri fra 0 e 255: nient’altro. Non c’è un cane, ci sono 150.528 valori, ed è il punto di partenza di tutta la computer vision.

Adesso il primo tentativo ingenuo. Se collegassimo ogni numero dell’immagine a ciascuno dei 1.000 neuroni di un singolo strato «tutti con tutti», servirebbero 150.528 × 1.000 = 150.528.000 pesi per un solo strato. Per confronto: l’intera rete che nel 2012 ha vinto la gara ImageNet, AlexNet, ne aveva 60 milioni in otto strati (Krizhevsky, Sutskever e Hinton, NeurIPS 2012). Uno strato ingenuo costerebbe due volte e mezzo tutta la rete. Le note del corso di Stanford CS231n lo dicono con l’esempio speculare: un’immagine 200×200×3 «porterebbe a neuroni con 200×200×3 = 120.000 pesi» ciascuno.

Perché uno strato completamente connesso non regge un’immagine

La soluzione che rende praticabile il deep learning sulle immagini si chiama condivisione dei parametri: invece di imparare un peso per ogni posizione, la rete impara un filtro e lo fa scorrere su tutta l’immagine, perché un bordo è un bordo sia in alto a sinistra sia in basso a destra. È il principio su cui si reggono le reti neurali convoluzionali, dove il meccanismo è raccontato filtro per filtro. Il conto di CS231n sul primo strato di AlexNet: senza condivisione servirebbero 290.400 neuroni × 364 parametri = 105.705.600 parametri; con la condivisione ne bastano 96 × 11 × 11 × 3 + 96 = 34.944, perché «tutti i 55×55 neuroni di ogni fetta di profondità useranno gli stessi parametri» (Stanford CS231n). Il rapporto fra i due numeri è esattamente 3.025, cioè le 55 × 55 posizioni su cui il filtro scorre.

Filtri 3×3 e algebra lineare: i conti che alleggeriscono il deep learning

Con i filtri da 3×3 usati dalle reti moderne il conto è ancora più piccolo: 64 filtri × (3 × 3 × 3) + 64 = 1.792 parametri per il primo strato, ed è il conto che ritrovi nei parametri di torch.nn.Conv2d, la funzione con cui questi strati si dichiarano in una riga di codice. Queste operazioni sono tutte moltiplicazioni fra matrici e vettori: se vuoi vedere l’impalcatura matematica sotto, sta in algebra lineare applicata al machine learning e al deep learning.

Qual è la differenza tra machine learning e deep learning

La domanda arriva sempre in questa forma, e la risposta più onesta è: il deep learning è un sottoinsieme del machine learning, non un suo concorrente. Tutti e due imparano da esempi invece che da regole scritte. La differenza sta in chi sceglie le caratteristiche da guardare.

Nel machine learning classico le caratteristiche le decide una persona. Per riconoscere oggetti nelle immagini, fino al 2011, un ricercatore calcolava a mano istogrammi di gradienti, punti di interesse, descrittori di colore, settimane di lavoro, e poi dava quei numeri in pasto a un classificatore. Nel deep learning quello stadio sparisce: entra il pixel grezzo, e le caratteristiche sono ciò che gli strati intermedi costruiscono per conto loro.

Il salto si misura su una gara sola. Nel 2012 AlexNet chiude ImageNet con un tasso di errore top-5 del 15,3% contro il 26,2% del secondo classificato, che usava caratteristiche costruite a mano (Krizhevsky, Sutskever e Hinton, NeurIPS 2012): quasi 11 punti di distacco, in un campo dove si vinceva per uno o due decimi. Tre anni dopo, con 152 strati, le reti residuali arrivano al 3,57% di errore, con una profondità «fino a 152 strati, 8 volte più profonda delle reti VGG, pur avendo una complessità inferiore» (He et al., 2015). Dal 26,2% al 3,57% in tre anni: è quello il valore creato dal deep learning, prima ancora dei chatbot.

Quando conviene il machine learning classico invece del deep learning

Il prezzo di questa autonomia sono dati e calcolo. AlexNet ha imparato su 1,2 milioni di immagini etichettate a mano, 1.000 categorie, e l’addestramento ha occupato due schede grafiche GTX 580 per novanta passate sull’intero dataset, cinque o sei giorni (scheda tecnica AlexNet). Se la tua azienda ha 4.000 righe di Excel con dodici colonne, clienti, fatturato, giorni di ritardo, il deep learning non è la scelta giusta: su dati tabellari di quelle dimensioni i modelli ad alberi restano più accurati, più veloci e leggibili. Il deep learning conviene quando i dati sono tanti, grezzi e senza una struttura a colonne: pixel, forme d’onda, testo.

Esempi di deep learning: dove lo vedi all’opera ogni giorno

Gli esempi non stanno in laboratorio, stanno in tasca. Face ID sblocca l’iPhone confrontando una mappa di profondità del volto con un modello matematico costruito al momento della registrazione, e Apple usa esplicitamente «reti neurali antimanomissione sofisticate» per distinguere una faccia vera da una maschera. Il numero che Apple dichiara: «La probabilità che una persona a caso nella popolazione guardi il tuo iPhone o iPad Pro e lo sblocchi con Face ID è inferiore a 1 su 1.000.000» (documentazione Apple). Nessuno ha programmato «la distanza fra gli occhi deve stare fra tot e tot»: sono pesi.

Gli altri, in ordine di quante volte al giorno li tocchi senza accorgertene: la ricerca per contenuto in Google Foto e nell’app Foto di iOS, quella dell’esempio iniziale; la dettatura vocale del telefono, che trasforma l’onda sonora in testo; la traduzione automatica di DeepL e Google Traduttore, che dal 2016 ha abbandonato le regole grammaticali codificate per le reti profonde; i suggerimenti di Netflix e Spotify; il riconoscimento delle targhe ai varchi delle ZTL; la lettura automatica degli assegni, che è il primo impiego industriale delle reti convoluzionali di Yann LeCun, negli anni Novanta, molto prima che la parola «AI» tornasse di moda.

Che tipo di AI è ChatGPT

ChatGPT è deep learning, con un’architettura diversa da quella delle immagini: un Transformer addestrato a prevedere il pezzo di testo successivo. Stessa impalcatura, strati, pesi, discesa del gradiente, applicata a sequenze di token invece che a griglie di pixel, e su una scala differente: dai 60 milioni di parametri di AlexNet ai miliardi dei modelli linguistici di oggi. Non è un motore di ricerca e non consulta una base di dati quando risponde: produce un token alla volta, e il «sapere» è nei pesi. Il meccanismo per esteso sta nella nostra guida ai large language model. Quando invece ti dà una risposta con le fonti, in mezzo c’è un pezzo in più che va a cercare i documenti: quello non è il modello, è il sistema che gli sta intorno.

Chi è considerato il padre del deep learning

La risposta ufficiale sono tre nomi, non uno. Nel 2019 l’ACM ha assegnato il Turing Award, il premio più importante dell’informatica, un milione di dollari, a Yoshua Bengio, Geoffrey Hinton e Yann LeCun «per i progressi concettuali e ingegneristici che hanno reso le reti neurali profonde un componente fondamentale dell’informatica» (motivazione ufficiale ACM). Nel comunicato i tre sono chiamati letteralmente «i padri della rivoluzione del deep learning», e ognuno ha una voce distinta: Hinton la retropropagazione, LeCun le reti convoluzionali, quelle del conto sui filtri, diventate «uno standard industriale nella computer vision», Bengio i modelli probabilistici delle sequenze e le rappresentazioni vettoriali delle parole.

Prima del deep learning: dal percettrone del 1958 al neocognitron

Se serve un nome solo, la stampa indica di solito Hinton, che nel 2024 ha ricevuto anche il Nobel per la fisica per il lavoro sulle reti neurali artificiali. Ma la storia è più lunga del premio: il percettrone di Frank Rosenblatt è del 1958, il neocognitron di Kunihiko Fukushima, l’antenato diretto delle reti convoluzionali, è del 1980, e l’idea di imitare i neuroni con la matematica è più vecchia dei computer commerciali. Abbiamo raccontato quel filo in psicologia, cervello e AI.

Una precisazione che conta, perché l’analogia con il cervello viene ripetuta ovunque: quando IBM scrive che le reti profonde hanno un progetto «ispirato alla struttura del cervello umano», l’ispirazione è storica, non funzionale. Quello che avviene dentro uno strato è una moltiplicazione fra una matrice di pesi e un vettore, seguita da una funzione non lineare: nel caso di un primo strato con filtri 3×3, 1.792 numeri applicati a 150.528 valori. Nessun neurone biologico fa questo, e nessuna rete profonda fa quello che fa un neurone biologico.

I limiti del deep learning: quando la spiegazione degli strati non basta

La nota che rende onesto tutto il resto dell’articolo: la scaletta ordinata «bordi → texture → parti → oggetti» è una descrizione verificata soprattutto sulle reti convoluzionali addestrate su immagini, dove i filtri si possono visualizzare. Sui Transformer che alimentano i modelli linguistici la gerarchia non è così pulita: singoli parametri non corrispondono a concetti leggibili, la stessa informazione è sparsa su più strati e un singolo neurone può rispondere a cose che non c’entrano niente fra loro. Se qualcuno ti spiega ChatGPT dicendo «il terzo strato capisce la grammatica», sta usando un’immagine presa dalle immagini, non un fatto misurato.

Gli altri due limiti sono operativi. Il primo: il deep learning impara la statistica degli esempi che gli hai dato, compresi i loro difetti. Se il set di addestramento contiene poche foto di un certo tipo di volto, il modello sbaglierà più spesso su quel tipo di volto, e non lo scoprirai leggendo il codice, perché la regola non è scritta da nessuna parte. Il secondo: l’accuratezza alta non è affidabilità. Un sistema al 97% sbaglia comunque tre casi su cento, e sbaglia con la stessa aria di sicurezza con cui indovina.

Il problema etico del deep learning: dati, bias e spiegabilità

I tre nodi etici discussi oggi vengono tutti dal meccanismo, non dalla fantascienza. La provenienza dei dati: 1,2 milioni di immagini erano già un problema di diritti nel 2012, un corpus di miliardi di pagine lo è molto di più. La spiegabilità: un rifiuto di credito deciso da una pila di pesi non ha una motivazione esprimibile a parole, ed è la ragione per cui l’AI Act europeo tratta a parte i sistemi ad alto rischio. Il trasferimento di errore: un modello addestrato su una popolazione e usato su un’altra continua a funzionare, silenziosamente peggio.

Il pezzo che manca, a questo punto, è come si passa dal riconoscere al generare: la stessa impalcatura di strati, girata al contrario, produce immagini e testo invece di classificarli. Il meccanismo è raccontato in come funziona davvero l’intelligenza artificiale generativa.

Fonti:

• IBM, What is deep learning?
• Krizhevsky, Sutskever e Hinton, ImageNet Classification with Deep Convolutional Neural Networks (NeurIPS 2012)
• Stanford CS231n, note sulle reti convoluzionali
• He et al., Deep Residual Learning for Image Recognition (2015)
• PyTorch, documentazione di torch.nn.Conv2d
• Apple, informazioni sulla sicurezza avanzata di Face ID
• ACM, motivazione ufficiale del Turing Award 2018
• Comunicato ACM, «Fathers of the deep learning revolution receive ACM A.M. Turing Award» (2019)
• Nobel per la fisica 2024, scheda ufficiale