Benchmark AI affidabili: l’audit che trova 29 test rotti e punteggi gonfiati

Trovare benchmark AI affidabili oggi è un problema pratico, non una disputa tra accademici. Il 21 settembre 2026 Horizon Analytics Labs, un laboratorio di New York, ha pubblicato un audit su 5.241 task (i singoli compiti d’esame) di 20 dataset pubblici. Ne ha trovati 29 rotti, e molti di quei difetti facevano sembrare i modelli più capaci di quanto siano. Se scegli un modello guardando una classifica, la notizia ti riguarda da vicino.

In questo articolo scoprirai:

• quali benchmark sono finiti sotto la lente, da SWE-bench Pro a Terminal-Bench 2.1;
• cosa significa in pratica un test «rotto», con cinque casi reali;
• perché i difetti gonfiano i punteggi invece di abbassarli;
• sette criteri per riconoscere un benchmark serio;
• perché un modello si sceglie sui propri dati, non sulla classifica.

Quanto sono affidabili i benchmark AI: l’audit di Horizon

I benchmark AI sono meno affidabili di quanto lascino credere i comunicati di lancio. L’audit di Horizon Analytics Labs ha scansionato 5.241 task su 20 dataset, ne ha esaminati a fondo 239 e ne ha rivisti a mano 34. Il risultato: 29 task confermati come difettosi. Ogni difetto è stato verificato in uno di tre modi: rilanciando il correttore ufficiale, provando direttamente il sistema di voto o controllando i file attuali. Nel campione rivisto a mano i task con problemi erano 20 su 34, ma gli autori avvertono che quel dato descrive quei 34 task, non l’intero mercato.

I difetti confermati si concentrano su nomi noti, gli stessi che compaiono nelle tabelle di presentazione dei nuovi modelli:

Molti di questi dataset usano Harbor, un formato comune per impacchettare i task. Ma, scrive Horizon, «Harbor è un formato, non un marchio di qualità»: standardizzare non vuol dire controllare. Per questo il laboratorio sta costruendo un indice pubblico della qualità dei dataset. Registrerà versioni, prove e date di verifica, e permetterà ai fornitori di correggere i task e farsi rivalutare. Il principio, nelle parole degli autori: «un benchmark dovrebbe sopravvivere ai modelli che intende mettere alla prova».

Quando un benchmark AI è rotto: i cinque difetti tipici

Un benchmark è rotto quando il voto non misura più la capacità che dichiara di misurare. Horizon divide i difetti in cinque famiglie, e un task può rientrare in più di una: sui 29 task confermati si contano 54 difetti in tutto. Gli esempi dell’appendice dell’audit spiegano il problema meglio di qualsiasi definizione:

• Risposta già nell’ambiente. In un task di SWE-bench Pro sul progetto Ansible, la correzione del bug era già nella cronologia Git. Recuperata e applicata, ha superato 16 test su 16 senza che nessuno risolvesse niente.
• Test incompleti. Un task su Navidrome chiedeva di modificare un intero sistema di streaming, ma i test controllavano solo il pacchetto FFmpeg. È bastato modificare un file per avere il punteggio pieno.
• Correttore aggirabile. In OpenThoughts il grader, cioè il programma che assegna il voto, legge un dizionario da una cartella che il modello può modificare. Cambiato il dizionario, la stessa risposta sbagliata passa da 0 a 1.
• Istruzioni e test in disaccordo. In Apex Agents due regole di valutazione chiedono valori diversi, 28.137 contro 28.517 dollari: chi rispetta l’una viola l’altra.
• Soluzione di riferimento che fallisce. Nel task protein-assembly di Terminal-Bench 2.1 i dati esterni sono cambiati, e la soluzione dell’autore non passa più i test. Il compito è diventato irrisolvibile.

Perché i difetti gonfiano i punteggi dei modelli AI

La maggior parte dei difetti non penalizza i modelli: li favorisce. Horizon conta 39 difetti su 54 che rientrano in quello che chiama «rumore lusinghiero». Sono i test incompleti (17 task), le risposte già nell’ambiente (14) e i correttori aggirabili (8). Come spiega Horizon, un modello può sembrare più capace «perché ha trovato una risposta nell’ambiente, ha completato la parte che per caso veniva testata o ha scoperto una scorciatoia accettata dal correttore». Gli altri 15 difetti sono istruzioni in disaccordo con i test (11) e soluzioni che falliscono (4). Questi, al contrario, rendono il voto più basso o casuale.

Per chi legge la classifica il sintomo è lo stesso dell’overfitting: il modello brilla nel test e delude nel lavoro reale. Se il meccanismo non ti è familiare, qui trovi l’overfitting spiegato con un esempio.

Benchmark per misurare l’intelligenza artificiale nel 2026

Un benchmark è un esame standard per i modelli: un insieme fisso di compiti e un correttore automatico che assegna il voto. Nel 2026 i più citati sono quelli di programmazione, come SWE-bench Verified e SWE-bench Pro, e quelli da riga di comando, come Terminal-Bench. Poi ci sono i test di ragionamento come Humanity’s Last Exam (HLE) o GSM8K. Tutti funzionano solo finché compiti e correttore restano puliti, e non sempre succede: OpenAI ha smesso di valutare i propri modelli su SWE-bench Verified. Il problema non riguarda solo il codice: anche nel riconoscimento vocale i modelli ASR trascrivono il benchmark, non l’audio.

L’audit di Horizon non è un caso isolato. Il rapporto AI Index 2026 di Stanford registra quote di domande non valide che vanno dal 2% di MMLU Math al 42% di GSM8K. Segnala anche che test pensati per durare anni si saturano in pochi mesi, cioè i modelli arrivano vicino al punteggio massimo e il test smette di distinguerli. Ad aprile i ricercatori di Berkeley RDI hanno preso otto benchmark per agenti AI, tra cui SWE-bench Verified, WebArena e GAIA. Li hanno portati a punteggi tra il 73% e il 100% con agenti che non risolvono nemmeno un compito. Su SWE-bench Verified bastavano dieci righe di codice inserite nel sistema di test. E Epoch AI, che tiene un registro di revisioni indipendenti, ha giudicato difettosi 9 dei 15 benchmark esaminati finora.

SWE-Bench Pro V2: come si corregge un benchmark AI

Un benchmark rotto si può riparare, e SWE-Bench Pro V2 mostra come. Il 22 settembre 2026, il giorno dopo l’audit ma senza citarlo, Scale Labs ha pubblicato la nuova versione, sviluppata con Reflection. I task scendono da 731 a 642, perché 89 sono stati scartati come non validi, e altri 211 sono stati sistemati. Ci hanno lavorato 23 ingegneri per 1.897 ore. Cambia soprattutto il protocollo. Durante la prova l’agente può raggiungere solo il modello, senza accesso alla rete. La cronologia Git e i file nascosti vengono ripuliti, cioè proprio il tipo di falla del caso Ansible. Il voto si calcola in un ambiente separato e intatto. Prima del rilascio ogni task deve superare un doppio controllo: la soluzione di riferimento deve passare, una soluzione vuota deve fallire. La sintesi di Scale: «una classifica è affidabile solo quanto i suoi task, i suoi controlli di qualità e la sua infrastruttura di valutazione».

Il miglior benchmark AI: sette criteri per riconoscerlo

Il miglior benchmark non è il più famoso. È quello in cui istruzioni, ambiente, soluzione e correttore dicono la stessa cosa. È il metro proposto da Horizon: conta chi pubblica con costanza task coerenti, non chi ha meno errori visibili. Per applicarlo, ad agosto 2026 MLCommons, il consorzio che cura i test MLPerf, ha pubblicato sette verifiche da fare davanti a un risultato:

1. Pertinenza: misura la capacità su cui devi decidere, non una vicina e più comoda.
2. Dati puliti: provenienza documentata e controlli contro la contaminazione, cioè la presenza delle domande d’esame nei dati di addestramento, lo stesso errore che la divisione tra train, validation e test serve a evitare.
3. Riproducibilità: dati, codice, prompt e configurazioni con versione, perché altri possano ottenere lo stesso numero.
4. Limiti dichiarati: cosa il punteggio non dice su costi, latenza, affidabilità e sicurezza.
5. Integrità: domande riservate e controllo dei singoli passaggi, perché un agente può cercare la risposta invece di risolvere il compito.
6. Giudici validati: se il voto lo dà un altro modello, deve essere tarato su giudizi umani.
7. Manutenzione: revisioni periodiche e criteri di ritiro, prima che il test si saturi.

La contaminazione pesa sui numeri. Secondo MLCommons, su SWE-Bench Pro GPT-5 scende dal 23% a meno del 15% quando si passa dai task pubblici a quelli privati. Epoch AI, nella sua metodologia, boccia un benchmark quando almeno il 20% del campione esaminato contiene errori.

Le migliori IA a confronto: la classifica non basta

Una classifica pubblica dice quale modello va meglio in quel test, non quale funzionerà nella tua azienda. Anche con benchmark AI affidabili, il compito misurato resta di qualcun altro: altri dati, altri formati, altri vincoli. E quando il test è difettoso lo scarto cresce. Nel caso Ansible documentato da Horizon, un punteggio di 16 test su 16 non corrispondeva a nessun bug risolto. Chi sceglie un modello solo dal primo posto compra un voto e scopre la differenza in produzione, dove costa di più. Non a caso, quando l’AI non genera ROI la colpa raramente è del modello.

L’AI più attendibile si misura sui tuoi dati

L’AI più attendibile è quella messa alla prova sui tuoi documenti, sui tuoi processi e sui tuoi casi limite. In pratica serve un piccolo benchmark privato. Ci vogliono esempi reali e risposte attese scritte da chi conosce il lavoro. I dati usati per mettere a punto il sistema vanno tenuti separati da quelli usati per giudicarlo: è la stessa logica della divisione tra train, validation e test. Metriche ed errori da evitare sono spiegati nella guida su come valutare un modello sui tuoi dati. Per gli agenti vale lo stesso prima del go-live, con il doppio controllo visto in SWE-Bench Pro V2: il caso giusto deve passare, una risposta vuota deve fallire.

Questo lavoro si fa nella fase di discovery, cioè l’analisi iniziale di dati e processi, ed è il motivo per cui MIMIR non si limita a vendere un prodotto. Insieme all’agente mimir.bot offriamo un servizio: un’assistenza dedicata all’onboarding, che accompagna l’azienda nel portare l’agente sui propri dati e processi invece di affidarsi a una classifica. Se hai un progetto su AI o agenti, puoi parlarne con il team di MIMIR.

Di benchmark, modelli e di come leggerne i numeri parliamo ogni giorno anche su MimírCast, il nostro podcast quotidiano sull’AI.

Fonti:

• Horizon Analytics Labs: audit dei dataset di benchmark pubblici (settembre 2026)
• Scale Labs: SWE-Bench Pro V2, nuova versione e protocollo di valutazione
• OpenAI: perché non valutiamo più i modelli su SWE-bench Verified
• Epoch AI: metodologia delle revisioni dei benchmark
• Stanford HAI: AI Index Report 2026, prestazioni tecniche
• Berkeley RDI: l’affidabilità dei benchmark per agenti AI
• MLCommons: quando un benchmark merita fiducia (agosto 2026)
• Epoch AI: registro delle revisioni indipendenti dei benchmark