GPT-3 di OpenAI: cos’è, come funziona e cosa c’entra con ChatGPT

GPT-3 è il modello linguistico da 175 miliardi di parametri che OpenAI ha presentato nel 2020 e che ha aperto la strada a ChatGPT. Se cercate «Chat GPT 3», la risposta breve è questa: ChatGPT non ha mai usato GPT-3 nella sua versione originale. Al lancio del 30 novembre 2022, ChatGPT si basava su un modello della serie GPT-3.5, il successore diretto di GPT-3. Dal 4 gennaio 2024 OpenAI ha spento i modelli GPT-3, ma capire come funzionavano resta il modo più semplice per capire i modelli di oggi.

In questo articolo scoprirai:

• cos’è GPT-3, quali modelli comprendeva e che rapporto c’è tra Chat GPT 3, GPT-3.5 e ChatGPT;
• come è stato addestrato GPT-3 e su quali dati;
• come funziona GPT-3, dai token alla temperatura e al top_p;
• a cosa serviva GPT-3, quanto costava e quali limiti aveva;
• perché GPT-3 non è più disponibile e quali modelli sono arrivati dopo.

Cos’è GPT-3

GPT-3 (Generative Pre-trained Transformer 3) è un modello di previsione linguistica autoregressivo che usa il deep learning per produrre testi simili a quelli umani. “Autoregressivo” vuol dire che genera un pezzo di testo alla volta, e ogni pezzo viene calcolato a partire da tutti quelli venuti prima. Si basa sull’architettura Transformer, la stessa che sta alla base di quasi tutti i modelli linguistici attuali.

GPT-3 è un Large Language Model (LLM), cioè un modello addestrato su enormi quantità di testo per prevedere e generare linguaggio, ed è uno degli esempi più noti di intelligenza artificiale generativa, la famiglia di modelli che impara a produrre contenuti nuovi a partire da grandi corpus di dati.

È il terzo modello della serie GPT (successore di GPT-2) creato da OpenAI, un’azienda di ricerca sull’intelligenza artificiale con sede a San Francisco. È stato descritto nel paper «Language Models are Few-Shot Learners», pubblicato il 28 maggio 2020, e reso disponibile agli sviluppatori tramite un’API in beta privata a giugno 2020.

La versione completa di GPT-3 ha 175 miliardi di parametri, dieci volte più di qualunque modello linguistico non sparso precedente (cioè che usa tutti i parametri a ogni passaggio), secondo il paper di OpenAI. La sua idea chiave è il few-shot learning: invece di riaddestrare il modello per ogni compito, bastano pochi esempi scritti nel prompt. Gli stessi autori riportavano che i valutatori umani faticavano a distinguere gli articoli generati da GPT-3 da quelli scritti da giornalisti.

Oggi GPT-3 non è più utilizzabile: OpenAI ha spento tutti i modelli GPT-3 il 4 gennaio 2024, dopo averlo annunciato il 6 luglio 2023, come riporta la sua pagina delle dismissioni.

I modelli di GPT-3: da davinci a text-davinci-003

GPT-3 non era un modello solo ma una famiglia. Nell’API c’erano quattro modelli base di dimensioni crescenti: ada, babbage, curie e davinci, il più grande. A questi si sono poi aggiunti i modelli InstructGPT, cioè versioni di GPT-3 addestrate per seguire le istruzioni invece di continuare semplicemente il testo.

Nel paper su InstructGPT gli utenti preferivano le risposte di un InstructGPT da 1,3 miliardi di parametri a quelle del GPT-3 da 175 miliardi, pur avendo 100 volte meno parametri. Era la prova che il modo in cui si addestra un modello conta quanto la sua dimensione.

A fine 2022 il modello più potente per il completamento del testo era text-davinci-003, anch’esso un InstructGPT, utilizzabile nel Playground, l’interfaccia web di OpenAI per provare i modelli. Le sue novità le abbiamo raccontate nel nostro articolo su text-davinci-003.

Chat GPT-3 e ChatGPT: il legame con GPT-3.5

“Chat GPT 3” è il nome che molti usano per la prima versione di ChatGPT, ma il modello sotto il cofano non era GPT-3. Nell’annuncio del 30 novembre 2022, OpenAI scriveva che ChatGPT era «messo a punto a partire da un modello della serie GPT-3.5, che ha terminato l’addestramento all’inizio del 2022». GPT-3.5 è la generazione successiva di GPT-3, la stessa famiglia di text-davinci-003.

La differenza principale sta nel RLHF (reinforcement learning from human feedback, apprendimento per rinforzo dal feedback umano): persone reali giudicano le risposte del modello e il modello impara a preferire quelle valutate meglio. Quando abbiamo scritto la prima versione di questo articolo vi consigliavamo ChatGPT per prendere confidenza con GPT-3 e con i prompt, per due motivi:

• si basava su un modello della serie GPT-3.5, la stessa di text-davinci-003, cioè la più potente del momento, rifinita anche con il feedback umano.
• Era completamente gratuito e permetteva di sperimentare senza consumare credito. Unico difetto: con così tanti utenti connessi da tutto il mondo, il servizio andava spesso in sovraccarico.

ChatGPT era il modo più semplice e intuitivo per usare la tecnologia di GPT-3, ma non permetteva di modificare i parametri né di scegliere il modello. Era pensato per il grande pubblico e per raccogliere feedback sulle risposte.

La prima versione di ChatGPT tendeva a essere molto prolissa rispetto ai modelli precedenti. Come si vede nell’immagine, a destra c’era un modo per “votare” la risposta: era proprio il feedback umano che serviva a migliorare il modello.

Come è stato addestrato GPT-3

GPT-3 è stato addestrato su una grande quantità di testi, tra cui libri, pagine web e articoli. Lo scopo era fargli apprendere le regole del linguaggio umano, così da poter generare testi simili a quelli scritti dalle persone.

GPT-3 e deep learning

I ricercatori di OpenAI hanno addestrato GPT-3 con una tecnica di apprendimento automatico nota come deep learning (o apprendimento profondo). Il deep learning usa reti neurali a molti strati, ispirate in modo molto approssimativo al cervello umano, per riconoscere i pattern in grandi quantità di dati.

I dati di addestramento di GPT-3: Common Crawl e non solo

Secondo il paper originale, il 60% del mix di addestramento di GPT-3 veniva da una versione filtrata di Common Crawl, pari a circa 410 miliardi di token. Common Crawl è un archivio aperto del web, nato nel 2007, che oggi conta più di 300 miliardi di pagine.

Il resto veniva, sempre secondo il paper di OpenAI, da WebText2 (22%), da due raccolte di libri (8% ciascuna) e da Wikipedia in inglese (3%). Le stime sul costo dell’addestramento variano: secondo i calcoli di Lambda, un singolo ciclo costava circa 4,6 milioni di dollari ai prezzi cloud più bassi disponibili, e nella pratica la spesa reale era più alta.

Come funziona GPT-3

GPT-3 funziona come gli altri modelli di previsione linguistica autoregressivi: riceve un testo in input e calcola, un pezzo alla volta, la continuazione più probabile secondo quanto ha imparato durante l’addestramento.

In altre parole, GPT-3 “legge” il testo e ne ricava la struttura per capire cosa gli state chiedendo. Poi genera la risposta, cercando di rispondere, completare o eseguire qualunque richiesta formulata in linguaggio naturale. Se volete vedere passo per passo cosa succede dentro un modello, dall’input all’output, lo spieghiamo nella nostra guida a come funziona un modello di AI.

GPT-3 e i token: un modello probabilistico

Per scegliere le parole da restituire GPT-3 usa un sistema probabilistico. Le unità che sceglie sono i token, cioè frammenti di testo che possono essere una parola intera, una sua parte o un segno di punteggiatura. Per questo, se fate più volte la stessa domanda a GPT-3, probabilmente risponderà ogni volta in modo leggermente diverso.

Temperatura in GPT-3

La temperatura di GPT-3 è il parametro che regola il livello di casualità delle risposte, un po’ come regolarne la creatività. Più alta è la temperatura, più le parole generate dal modello saranno casuali. Con la temperatura a zero, il modello sceglierà quasi sempre il token più probabile.

Man mano che la temperatura aumenta, i token diventano più imprevedibili, il contenuto diventa sempre meno probabile e il modello prende strade sempre più creative. Ma le informazioni potrebbero essere meno attendibili: più creatività significa meno affidabilità nelle risposte.

Inoltre, se i prompt non sono scritti bene, il modello può rispondere anche a domande di cui non conosce la risposta. Semplicemente se la inventa, scegliendo le parole più probabili: è quella che oggi chiamiamo allucinazione.

Top P in GPT-3

Il top_p è un’alternativa al campionamento con temperatura, chiamata nucleus sampling (campionamento del nucleo) e proposta nel 2019 da Holtzman e colleghi: il modello considera solo i token più probabili, fino a raggiungere una probabilità complessiva pari a top_p. Un valore di 0,1 significa quindi che vengono considerati solo i token più probabili che, sommati, formano il 10% della massa di probabilità.

Top P e temperatura servono entrambe a controllare il comportamento del modello, ma in modo leggermente diverso. La Top P limita il gruppo di parole tra cui il modello può scegliere, mentre la temperatura cambia quanto le probabilità sono distribuite in modo uniforme dentro quel gruppo. In generale è meglio modificare solo uno dei due parametri, non entrambi.

Le applicazioni di GPT-3

Con l’apertura delle API sono nati i primi programmi SaaS e le prime applicazioni costruite su GPT-3. Nel 2022 GPT-3, nella sua versione più evoluta text-davinci-003, era impressionante soprattutto in tre aree: programmazione, traduzione e scrittura.

GPT-3 per scrivere codice

Nello sviluppo software GPT-3 sapeva scrivere in Python, HTML, CSS, JavaScript e altri linguaggi partendo da istruzioni in linguaggio naturale. Si poteva chiedergli una pagina web, una funzione specifica o interi programmi, e il modello generava il codice necessario. Come in questo caso, in cui con GPT-3 abbiamo scritto un pezzo di codice in Python che illustra il teorema del limite centrale:

import random
import numpy as np
import matplotlib.pyplot as plt

list =[]
mean=[]
for i in range(1, 1000):
    list.append(random.randint(1, 1000))
    
# dimostra il teorema del limite centrale
for i in range(1, 1000):
    mean.append(np.mean(random.sample(list, 100)))

# plot
plt.hist(mean, bins=100)
plt.show()

Si poteva anche far spiegare a GPT-3 frammenti di codice o trasformarli da un linguaggio a un altro. Il salto vero è arrivato con Codex, un discendente di GPT-3 addestrato sul codice: gli autori del paper su Codex scrivevano che «una versione di produzione distinta di Codex alimenta GitHub Copilot», lo strumento di completamento automatico del codice integrato in Visual Studio Code. I modelli Codex dell’API sono stati spenti il 23 marzo 2023.

Traduzione e scrittura con GPT-3

Nella traduzione e revisione di testi, nelle nostre prove del 2022 le traduzioni di GPT-3 risultavano spesso più naturali di quelle di Google Traduttore. Il modello poteva inoltre correggere la grammatica, riscrivere testi con stili e scopi diversi e riassumere testi lunghi e complessi rendendoli più brevi e comprensibili.

Nella creazione di testi originali, con i prompt giusti GPT-3 era un ottimo assistente per la scrittura creativa, il blogging e le attività di SEO, un uso che oggi è passato a ChatGPT (ne parliamo nella guida a ChatGPT per la SEO).

Le applicazioni più divertenti di GPT-3

Con GPT-3 si potevano fare anche cose parecchio divertenti, tra cui:

• Conversare con un personaggio storico: con i prompt giusti si poteva chattare con un bot che si fingeva un personaggio storico a scelta.
• Inventare storie o trame di film o romanzi: per esempio una trama finalmente coerente e rispettosa dell’universo di Star Wars.
• Inventare ricette con ingredienti improbabili, sbizzarrendosi senza problemi.
• Giocare a D&D con GPT-3 come master in una sessione di gioco di ruolo.

GPT Prompter: un’estensione Chrome per GPT-3

Per l’uso quotidiano vi avevamo segnalato GPT Prompter, un’estensione Chrome gratuita che permetteva di usare GPT-3 senza passare ogni volta dal Playground di OpenAI. Dato che si appoggiava ai modelli GPT-3, prima di usarla oggi verificate che supporti i modelli attuali.

Quanto costava GPT-3: il taglio dei prezzi di settembre 2022

Dal 1° settembre 2022 OpenAI ha ridotto i prezzi dell’API di GPT-3 fino a due terzi, come riportava VentureBeat. Per davinci, il modello più grande, il prezzo è sceso da 0,06 a 0,02 dollari ogni 1.000 token (The Decoder).

A parità di token si spendeva quindi un terzo di prima. Ecco il listino di allora:

Il prezzo si calcolava a token, cioè sui frammenti di testo letti e scritti dal modello. Il calo è continuato: il 1° marzo 2023 OpenAI ha lanciato l’API di ChatGPT con gpt-3.5-turbo a 0,002 dollari ogni 1.000 token, dieci volte meno dei modelli GPT-3.5 esistenti.

I limiti di GPT-3

I limiti di GPT-3 erano quelli di un’AI che punta a simulare la cognizione umana ma ancora non ci riesce.

I limiti più noti erano l’enorme quantità di dati e risorse necessarie per l’addestramento e la finestra di contesto ridotta: 2.048 token, cioè poche pagine di testo tra domanda e risposta. Inoltre, come ogni modello di apprendimento automatico, anche GPT-3 poteva essere ingannato da testi con errori e imprecisioni e generare risposte sbagliate. Uno studio del 2022 ha però mostrato che prompt ben costruiti ne miglioravano l’affidabilità su quattro fronti: generalizzazione, bias sociali, calibrazione e correttezza dei fatti.

C’era poi il limite temporale. Un modello non continua a imparare dopo l’addestramento: le sue conoscenze restano ferme alla data dei dati. Quando lo abbiamo provato a fine 2022, text-davinci-003 conosceva bene il Covid-19 e sapeva dei vaccini, ma non sapeva nulla della guerra tra Russia e Ucraina, iniziata dopo la fine dei suoi dati di addestramento.

Quanto al test di Turing, la ricerca si è divisa presto. Nel 2020 Elkins e Chun si chiedevano se GPT-3 potesse superare un test di Turing da scrittore, mentre il framework Scarecrow ha catalogato gli errori tipici del testo generato da GPT-3, come contraddizioni e affermazioni false, che un lettore attento impara a riconoscere.

Come accedere a GPT-3 oggi e cosa usare al suo posto

Oggi non si può più accedere a GPT-3: dal 4 gennaio 2024 OpenAI ha spento sia i modelli base (ada, babbage, curie, davinci) sia gli InstructGPT come text-davinci-003. Come sostituti la pagina ufficiale delle dismissioni indicava davinci-002 e babbage-002 per i compiti generici e gpt-3.5-turbo-instruct per seguire le istruzioni.

Il Playground invece esiste ancora, sulla piattaforma di OpenAI, e permette di provare i modelli attuali regolandone i parametri. La nostra guida del 2022 Come accedere a GPT-3 mostra i passaggi di registrazione dell’epoca.

L’eredità di GPT-3: da GPT-3.5 alla famiglia GPT-5

GPT-3 è stato un grande passo avanti nella ricerca sull’intelligenza artificiale e nelle sue applicazioni, a partire dalla scrittura automatica di contenuti online come articoli e post. Nel 2021 MIT Technology Review lo ha inserito tra le 10 tecnologie di svolta dell’anno, una scelta commentata anche su Fundamental Research, e già nell’estate 2020 i filosofi, tra cui David Chalmers, ne discutevano su Daily Nous.

Ha anche dimostrato che un modello abbastanza grande può imparare compiti nuovi da pochi esempi nel prompt, senza bisogno di riaddestramento. Questa idea, insieme al feedback umano introdotto con InstructGPT, ha portato direttamente a ChatGPT e ai modelli general purpose di oggi, capaci cioè di svolgere molte attività diverse.

Dopo GPT-3.5, la base di ChatGPT, nel marzo 2023 è arrivato GPT-4, primo modello multimodale di OpenAI, capace di leggere anche immagini oltre al testo.

Oggi ChatGPT e l’API di OpenAI si basano sulla famiglia GPT-5, di cui abbiamo raccontato le caratteristiche nella nostra guida a GPT-5.2. Il principio però resta quello di GPT-3: un Transformer che prevede il token successivo, addestrato su enormi quantità di testo e poi affinato con il feedback umano.

Fonti:

• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems. https://doi.org/10.48550/arxiv.2005.14165
• Vaswani, A. et al. (2017), Attention Is All You Need, arXiv
• Ouyang, L. et al. (2022), Training language models to follow instructions with human feedback, arXiv
• Chen, M. et al. (2021), Evaluating Large Language Models Trained on Code, arXiv
• Holtzman, A. et al. (2019), The Curious Case of Neural Text Degeneration, arXiv
• Si, C. et al. (2022). Prompting GPT-3 To Be Reliable. https://arxiv.org/abs/2210.09150
• Dou, Y., Forbes, M., Koncel-Kedziorski, R., Smith, N. A., & Choi, Y. (2022). Is GPT-3 Text Indistinguishable from Human Text? Scarecrow: A Framework for Scrutinizing Machine Text. ACL 2022. https://doi.org/10.18653/v1/2022.acl-long.501
• Elkins, K., & Chun, J. (2020). Can GPT-3 Pass a Writer’s Turing Test? Journal of Cultural Analytics, 5(2). https://doi.org/10.22148/001c.17212
• Zhang, M., & Li, J. (2021). A commentary of GPT-3 in MIT Technology Review 2021. Fundamental Research, 1(6), 831-833. https://doi.org/10.1016/J.FMRE.2021.11.011
• Weinberg, J. (2020). Philosophers On GPT-3. Daily Nous. https://dailynous.com/2020/07/30/philosophers-gpt-3/
• OpenAI, OpenAI API (giugno 2020)
• OpenAI, Introducing ChatGPT (30 novembre 2022)
• OpenAI, Introducing ChatGPT and Whisper APIs (1° marzo 2023)
• OpenAI, Deprecations: modelli GPT-3 e Codex
• VentureBeat, OpenAI is reducing the price of the GPT-3 API (agosto 2022)
• The Decoder, OpenAI cuts prices for GPT-3 by two thirds
• Lambda, OpenAI’s GPT-3 Language Model: A Technical Overview
• Common Crawl, sito ufficiale