Gli embeddings di OpenAI sono vettori di numeri che rappresentano parole o frasi in uno spazio semantico, permettendo alle macchine di “comprendere” il significato del testo. GPT-3 è stato il primo modello basato su transformer a utilizzare gli embedding su larga scala per codificare le parole e prevedere il termine successivo in un testo. Nel dicembre 2022 OpenAI ha introdotto text-embedding-ada-002, allora il modello di embedding più avanzato della famiglia, e nel gennaio 2024 ha rilasciato la famiglia text-embedding-3, ancora più potente ed economica e oggi standard de facto per RAG e ricerca semantica. Oltre a ChatGPT, le innovazioni in casa OpenAI non si sono mai fermate.
In questo articolo scoprirai:
- Cosa sono gli embedding e perché sono centrali nei modelli di linguaggio.
- Le caratteristiche di text-embedding-ada-002 e la svolta del dicembre 2022.
- Le novità di text-embedding-3-small e text-embedding-3-large (gennaio 2024).
- Il supporto per Matryoshka Representation Learning e il parametro
dimensions. - Quale modello scegliere oggi per RAG, ricerca semantica e applicazioni enterprise nell’era di GPT-5.2.
Cosa sono gli embeddings?
Un embedding è una rappresentazione numerica di un testo che trasforma parole, frasi o interi documenti in vettori di numeri reali in uno spazio a bassa dimensione, preservando le relazioni semantiche. In altre parole, parole o frasi con significato simile producono vettori vicini nello spazio vettoriale, rendendo possibile calcolare la similarità tramite distanza coseno. Gli embedding sono oggi lo strumento di base per ricerca semantica, clustering, raccomandazione e pipeline RAG. Sono inoltre un pilastro dell’intelligenza artificiale generativa, perché permettono ai modelli di lavorare su concetti e non su stringhe letterali.
Gli embeddings vengono solitamente creati utilizzando un modello di apprendimento automatico che prende in input un grande dataset e produce una matrice di pesi. Ogni elemento di input viene mappato in un vettore di numeri (ad esempio, una parola viene mappata in un vettore di 100 numeri). Questi vettori sono noti come “embeddings” dell’elemento di input.
Gli embeddings vengono utilizzati in molti modelli di machine learning, come ad esempio i modelli di classificazione del testo, i modelli di traduzione automatica e i modelli di sintesi vocale. In questi modelli, gli embeddings vengono utilizzati come input per il modello di machine learning, che li utilizza per prendere decisioni su come elaborare il testo o le parole in ingresso.
Ad esempio, in un modello di classificazione del testo, gli embeddings delle parole possono essere utilizzati per determinare il tema di un documento o il sentimento espresso in una frase. Nei motori di ricerca semantici, invece, la query dell’utente e i documenti vengono entrambi trasformati in vettori e confrontati per similarità, superando così i limiti della corrispondenza letterale delle parole chiave.
Gli embedding di GPT-3
In GPT-3, ogni token viene mappato in un vettore di numeri di dimensione fissa (fino a 12.288 dimensioni nei modelli Davinci più grandi). Questi vettori vengono utilizzati come input per il modello di GPT-3, che li utilizza per comprendere il significato delle parole e delle frasi e prevedere il token successivo.
GPT-3 utilizza anche gli embeddings per prevedere quali parole verranno inserite successivamente in una frase o in un paragrafo. Ad esempio, se il modello vede la parola “cane” in una frase, può utilizzare gli embeddings per prevedere che la parola successiva potrebbe essere “corre” o “abbaiare”.
Gli embeddings sono una parte importante di GPT-3 e vengono utilizzati in molti modi per aiutare il modello a comprendere e generare il testo.
Gli embeddings sono rappresentazioni numeriche di concetti convertite in sequenze di numeri, che permettono ai computer di comprendere facilmente le relazioni tra questi concetti. OpenAI
text-embedding-ada-002: la prima svolta (dicembre 2022)
Il 15 dicembre 2022, OpenAI ha introdotto text-embedding-ada-002, un modello che ha segnato una svolta significativa rispetto alle versioni precedenti. Lanciato in parallelo con altri aggiornamenti della famiglia GPT-3 — tra cui text-davinci-003 — ha unificato in un’unica interfaccia cinque modelli precedenti distinti, abbattendo i costi del 99,8% rispetto ai modelli Davinci equivalenti (OpenAI, 2022).
Il nuovo modello sostituisce cinque modelli separati per la ricerca di testo, la somiglianza di testo e la ricerca di codice e supera il precedente modello più performante, Davinci, nella maggior parte dei compiti, con un prezzo notevolmente inferiore. Questo ha reso per la prima volta economicamente sostenibile costruire sistemi RAG su larga scala, accelerando l’adozione dei database vettoriali come Pinecone, Weaviate e Chroma.
Caratteristiche di text-embedding-ada-002
- Miglioramento delle performance. text-embedding-ada-002 supera tutti i vecchi modelli di embedding nei compiti di ricerca di testo, ricerca di codici e somiglianza di frasi e ottiene prestazioni comparabili nella classificazione del testo ai modelli precedenti.
- Unificazione delle funzionalità. È stata semplificata in modo significativo l’interfaccia dell’endpoint /embeddings, unendo i cinque modelli separati mostrati in precedenza (text-similarity, text-search-query, text-search-doc, code-search-text e code-search-code) in un unico nuovo modello.
- Contesto più lungo. La lunghezza del contesto del nuovo modello è aumentata di quattro volte, da 2048 a 8192 token, rendendo più conveniente lavorare con documenti lunghi.
- Dimensioni ridotte dell’embedding. Le nuove incorporazioni hanno solo 1536 dimensioni, un ottavo delle dimensioni delle incorporazioni davinci-001, il che rende le nuove incorporazioni più convenienti per lavorare con i database vettoriali.
- Prezzo ridotto. È stato significativamente ridotto il prezzo dei nuovi modelli di embedding del 90% rispetto ai vecchi modelli della stessa dimensione.
La nuova generazione: text-embedding-3 (gennaio 2024)
A gennaio 2024, OpenAI ha reso disponibile una nuova famiglia di modelli di embedding — text-embedding-3-small e text-embedding-3-large — che supera ada-002 su tutti i principali benchmark, con costi ulteriormente ridotti (OpenAI, 2024). Questo aggiornamento, avvenuto poco dopo il lancio di GPT-4, ha ridefinito lo standard per le applicazioni di ricerca semantica e RAG (Retrieval-Augmented Generation, cioè la tecnica che combina recupero di documenti ed LLM per generare risposte fondate su fonti).
text-embedding-3-small
text-embedding-3-small è il modello di nuova generazione pensato per casi d’uso ad alto volume e bassa latenza. Rispetto ad ada-002:
- Prestazioni superiori su MIRACL (benchmark multilingue): dal 31,4% al 44,0% (OpenAI, 2024)
- Prestazioni superiori su MTEB (benchmark inglese): dal 61,0% al 62,3% (MTEB Leaderboard)
- Costo ridotto del 80% rispetto ad ada-002 ($0,02 per milione di token)
- Supporto per la riduzione delle dimensioni vettoriali tramite il parametro
dimensions
text-embedding-3-large
text-embedding-3-large è il modello più potente disponibile per gli embedding di OpenAI. Produce vettori fino a 3072 dimensioni e raggiunge il 64,6% su MTEB e il 54,9% su MIRACL (OpenAI, 2024), risultando il più preciso per applicazioni che richiedono alta qualità semantica, come motori di ricerca interni, sistemi di raccomandazione e pipeline RAG avanzate.
Matryoshka Representation Learning (MRL)
Una delle innovazioni più rilevanti della famiglia text-embedding-3 è il supporto nativo per la tecnica Matryoshka Representation Learning (MRL), una metodologia di addestramento che produce vettori in cui i primi N componenti conservano già gran parte dell’informazione semantica. Attraverso il parametro dimensions dell’API è possibile ridurre la dimensionalità del vettore prodotto (ad esempio da 3072 a 256) senza addestrare un nuovo modello, con una perdita di performance controllata e prevedibile. Questo consente di bilanciare qualità e costo di archiviazione in base alle esigenze dell’applicazione, un aspetto critico quando si gestiscono miliardi di vettori in produzione.
Confronto tra le generazioni di modelli embedding OpenAI
| Modello | Dimensioni | Contesto (token) | MTEB score | Prezzo (per 1M token) |
|---|---|---|---|---|
| text-similarity-davinci-001 | 12.288 | 2.048 | ~58% | $20,00 |
| text-embedding-ada-002 | 1.536 | 8.192 | 61,0% | $0,10 |
| text-embedding-3-small | 512–1.536 | 8.191 | 62,3% | $0,02 |
| text-embedding-3-large | 256–3.072 | 8.191 | 64,6% | $0,13 |
Quale modello scegliere oggi?
Per i nuovi progetti, OpenAI raccomanda di utilizzare la famiglia text-embedding-3 al posto di ada-002, che resta supportata solo per continuità operativa. La scelta tra le varianti small e large dipende dal rapporto tra qualità richiesta, volumi di dati e vincoli di costo.
- Usa text-embedding-3-small per applicazioni ad alto volume dove il costo è prioritario e le prestazioni restano ottime (chatbot di supporto, moderazione, classificazione).
- Usa text-embedding-3-large per applicazioni dove la qualità semantica è critica, come sistemi RAG su documenti complessi, motori di ricerca enterprise o recupero cross-lingua.
- text-embedding-ada-002 rimane disponibile per compatibilità con sistemi esistenti, ma non è più il modello consigliato per nuovi sviluppi.
Va inoltre considerato che il mercato degli embedding non è più un monopolio OpenAI: modelli open-source come BGE, E5 e Nomic Embed competono oggi ai vertici della MTEB Leaderboard, spesso con licenze permissive e deployment on-premise. Per chi lavora con dati sensibili o richiede piena sovranità dei dati, valutare alternative self-hosted è ormai una pratica consolidata, mentre l’offerta OpenAI resta lo standard per time-to-market e qualità media su uso generalista.
Embeddings nell’era dei modelli di ragionamento
Nonostante l’attenzione mediatica si sia spostata sui grandi modelli di ragionamento come GPT-5 e i suoi successori, gli embedding restano il livello infrastrutturale invisibile su cui poggiano la maggior parte delle applicazioni AI in produzione. Ogni sistema RAG, ogni motore di ricerca semantica e ogni pipeline di classificazione documentale dipende ancora da una rappresentazione vettoriale dei contenuti. Anche modelli specializzati come GPT-5.3-Codex, pensati per il coding agentico, si appoggiano a embedding per recuperare il contesto rilevante da repository molto estesi prima di generare codice.
In sintesi: la rivoluzione iniziata nel dicembre 2022 con text-embedding-ada-002 non si è mai fermata. Gli embedding sono oggi un componente standard, economico e affidabile, e la scelta del modello giusto rimane una decisione architetturale chiave per qualunque progetto AI moderno.
Fonti
- OpenAI Blog – New and improved embedding model (15 dicembre 2022): openai.com/blog/new-and-improved-embedding-model
- OpenAI Blog – New embedding models and API updates (25 gennaio 2024): openai.com/blog/new-embedding-models-and-api-updates
- OpenAI Platform Docs – Embeddings guide: platform.openai.com/docs/guides/embeddings
- Hugging Face – MTEB Leaderboard: huggingface.co/spaces/mteb/leaderboard
Domande frequenti
Cosa sono gli embeddings?
Un embedding è una rappresentazione numerica di un testo che trasforma parole, frasi o documenti in vettori di numeri reali, preservando le relazioni semantiche: parole o frasi con significato simile producono vettori vicini nello spazio vettoriale, permettendo di calcolare la similarità tramite distanza coseno. Sono il livello infrastrutturale su cui poggiano ricerca semantica, RAG e classificazione documentale.
Cos'è text-embedding-ada-002?
text-embedding-ada-002 è il modello di embedding introdotto da OpenAI il 15 dicembre 2022, una svolta rispetto alle versioni precedenti: ha unificato in un'unica interfaccia cinque modelli distinti e ha abbattuto i costi del 99,8% rispetto ai modelli Davinci equivalenti, diventando per un periodo il riferimento per le applicazioni di embedding.
Cos'è la famiglia text-embedding-3?
A gennaio 2024 OpenAI ha rilasciato la famiglia text-embedding-3 (small e large), che supera ada-002 su tutti i principali benchmark con costi ulteriormente ridotti. Avvenuto poco dopo il lancio di GPT-4, questo aggiornamento ha ridefinito lo standard per la ricerca semantica e il RAG (Retrieval-Augmented Generation).
Quale modello di embedding scegliere oggi?
Per i nuovi progetti OpenAI raccomanda la famiglia text-embedding-3 al posto di ada-002, che resta supportata solo per continuità operativa. La scelta tra le varianti small e large dipende dal rapporto tra qualità richiesta, volumi di dati e vincoli di costo: small per soluzioni economiche e veloci, large per la massima qualità.
