Un agente che sbaglia una volta su cinque sembra un problema gestibile. Ma il numero medio nasconde la domanda che conta in azienda: se ripeto la stessa identica richiesta domani, ottengo lo stesso risultato? La risposta misurata da IBM Research è no. Il tuo agente AI riesce nell’80% dei casi, 77,4% per la precisione, eppure porta a casa il compito in tutte e cinque le ripetizioni solo nel 53% dei casi. Ventiquattro punti di differenza fra «sembra capace» e «ci si può contare». La notizia, però, non è più il divario: è che lo stesso gruppo IBM ha pubblicato un metodo per chiuderlo a metà senza toccare il modello.
In questo articolo scoprirai:
- Perché la stessa richiesta dà risultati diversi, in due minuti di recap
- Come si trova il punto esatto in cui un agente cambia idea
- Come si trasforma la diagnosi in regole che l'agente riusa da solo
- Perché la cura alza la ripetibilità di 16 punti e la media quasi per niente
- Perché abbassare la temperatura non risolve il problema
- Che cosa misurare, e quanto costa davvero, prima di andare in produzione
Il divario in breve: cosa sappiamo già e da dove ripartiamo
Il divario l’abbiamo misurato qui: consistenza degli agenti AI in produzione, i numeri del Pass^k. In sintesi, per chi arriva adesso. Un agente AI non risponde e basta: agisce, decidendo in sequenza quale strumento chiamare e con quali parametri, e ogni scelta può andare diversamente rispetto alla volta prima. Su AppWorld, l’ambiente della Stony Brook University con 9 applicazioni, 457 API e 750 task, valutato con unit test sullo stato finale, il gruppo IBM ha eseguito cinque run indipendenti su 168 task con un agente ReAct e GPT-4.1. Risultato: Mean@5 al 77,4%, Pass^5 al 53,0%, 24,4 punti di consistency gap. La metrica Pass^k, nata con τ-bench di Sierra, conta solo i task riusciti tutte le volte, e si allarga con la difficoltà perché l’errore si compone: con il 95% di affidabilità per passo, dieci passi scendono intorno al 60%, come mostra l’analisi sull’errore composto. Da qui in avanti guardiamo la cura.
Come si diagnostica il punto in cui l’agente cambia idea
La parte interessante del lavoro è la cura proposta, ed è a costo zero sul modello. Nel paper depositato su arXiv, «Colmare il divario di consistenza: agenti che si evolvono da soli e imparano a restare in rotta», 8 settembre 2026, firmato da Evelyn Duesterwald, Benjamin Elder, Lilian Ngweta, Shashanka Ubaru e Malgorzata Zimon, il metodo si articola in due pezzi, e il primo è un diagnosta.
Il Consistency Analyzer prende una traiettoria già registrata e ricampiona ogni punto di decisione, con una chiamata offline per passo, per capire dove la scelta è in bilico. È un approccio black-box, senza accesso ai logit e senza rieseguire l’ambiente, come documenta IBM Research. La differenza rispetto a un normale log di errori è tutta qui: non cerca i passi che hanno fallito, cerca i passi instabili, quelli che oggi sono andati bene ma che alla prossima esecuzione potrebbero andare diversamente. Restituisce una pagella dei punti fragili a prescindere dall’esito, ed è esattamente l’informazione che un registro dei fallimenti non contiene.
Perché questo conti serve capire cosa succede sotto. Un modello linguistico, a ogni passo, produce una distribuzione di probabilità sui token possibili. Quando la distribuzione è sharp, quasi tutta la massa su un token solo, la scelta regge alle perturbazioni. Quando è flat, con due o tre candidati praticamente pari, basta un nulla per far ribaltare la decisione. Il Consistency Analyzer, in pratica, va a cercare i passi flat senza poter guardare dentro il modello.
Perché abbassare la temperatura non basta
Il punto controintuitivo segnalato da IBM è che il problema resta anche a temperatura 0, perché non dipende dal campionamento ma dalla forma della distribuzione sottostante. Chi pensa di aver risolto la variabilità abbassando la temperatura ha risolto solo il rumore più visibile: batching, ordine delle operazioni in virgola mobile, cache e aggiornamenti dell’ambiente bastano a far ribaltare un passo flat. Se il meccanismo ti interessa a monte, lo raccontiamo in come funziona un modello di AI.
Conta anche quale modello metti sotto, ed è il secondo motivo per cui la diagnosi non è opzionale. Nello stesso studio un modello open da 120 miliardi di parametri mostrava una consistenza normalizzata di 0,30 contro lo 0,69 di GPT-4.1, con un Pass^5 fermo al 10,1% (i dati dello studio). Tradotto: sulla media un modello economico può sembrare vicino al modello di punta, sulla ripetibilità non lo è affatto. È una delle ragioni per cui, come sosteniamo in AI agent enterprise, la scelta del modello è solo una delle variabili in gioco.
Come si trasforma la diagnosi in regole che l’agente riusa
Il secondo pezzo è il Guideline Generator, e fa il salto che rende il metodo utilizzabile: trasforma la diagnosi in istruzioni riusabili, le mette in una memoria vettoriale e le recupera per iniettarle nelle esecuzioni future su task simili. Nessun fine-tuning, nessun cambio di architettura: le linee guida entrano nel contesto dell’agente quando servono.
Il punto è che sono operative, non filosofiche. Un esempio dal paper: «quando conti i marcatori in una nota, usa una regex ancorata a riga invece di un conteggio di sottostringa, perché i titoli ripetono il simbolo nella legenda». È una regola che nasce da un passo osservato come instabile e che elimina l’ambiguità proprio nel punto in cui il modello esitava, non un principio generale di buon comportamento, ma l’istruzione che chiude quella specifica biforcazione.
Da qui il nome del framework: l’agente si «evolve» perché ogni ciclo di analisi arricchisce la memoria di regole, e le esecuzioni successive partono con un contesto più preciso di quelle precedenti. Il loop è diagnosi → guideline → nuova esecuzione, e non richiede che nessuno riscriva il prompt di sistema a mano.
Le regole valgono anche su task che non sono stati analizzati
Il dato che rende il metodo interessante oltre il laboratorio è la generalizzazione: le linee guida generate su un insieme di task portano +13 punti anche su compiti soltanto simili a quelli analizzati. Significa che la regola sul conteggio dei marcatori non serve solo per quel task, ma per la famiglia di operazioni che condividono quella fragilità. Sul piano pratico cambia il conto: non devi diagnosticare ogni singolo processo per vedere un miglioramento, ti basta coprire i pattern ricorrenti.
Quanto recupera davvero: +16 punti dove serve, quasi nulla sulla media
Il risultato è asimmetrico, ed è il dato più istruttivo di tutto lo studio: Pass^5 sale dal 53,0% al 69,0% (+16 punti) mentre Mean@5 si muove appena, dal 77,4% all’81,0% (+3,6), secondo i risultati pubblicati da IBM. Il gap si dimezza, da 24,4 a 12 punti.
Quell’asimmetria va letta bene, perché è la prova che il metodo fa quello che dice. Se il guadagno fosse arrivato in egual misura su entrambe le metriche, vorrebbe dire che l’agente è semplicemente diventato più bravo, più capace su task che prima non sapeva fare. Invece la media si muove di tre punti e mezzo: l’agente sa fare più o meno le stesse cose di prima, ma le rifà uguali. Le guideline non aggiungono competenza, tolgono esitazione.
La distribuzione dei guadagni conferma: +22,9 punti sui task medi e +14,3 sui difficili, cioè proprio dove il gap era più largo e dove le sequenze lunghe moltiplicano le occasioni di ribaltamento. Il codice è pubblico in ALTK-Evolve, licenza Apache-2.0, con memoria vettoriale e server MCP inclusi: è replicabile sui propri task senza chiedere niente a nessuno.
Che cosa misurare prima di mandare un agente in produzione
La lezione pratica è che chiedere l’accuratezza media a un fornitore non è più sufficiente. Se stai valutando un agente per un processo aziendale, la domanda da mettere per iscritto è un’altra: su cento esecuzioni identiche dello stesso task, quante arrivano al risultato corretto tutte le volte? È Pass^k, e si misura in un pomeriggio, a patto di avere task rappresentativi e criteri di successo verificabili in modo automatico, non «sembra una buona risposta», ma uno stato finale controllabile, come fa AppWorld con gli unit test.
Il secondo passaggio è progettare l’agente sapendo che l’errore si compone. Meno passi liberi in sequenza, più controlli deterministici nei punti fragili, e un registro delle traiettorie che permetta, mesi dopo, di capire dove la decisione è andata diversamente, è anche il materiale su cui un Consistency Analyzer può lavorare. Chi ha già in casa un agente costruito su misura parte avvantaggiato, perché i punti di decisione sono noti e documentati. E la stessa logica spiega perché tanti progetti si fermano al pilota: ne abbiamo scritto in perché i POC si bloccano.
Quanta supervisione serve su un agente che non è ancora consistente
Il terzo passaggio riguarda le persone. Un agente con Pass^5 al 53% non è inutilizzabile: è inutilizzabile senza supervisione. Portarlo al 69% sposta la soglia, non la elimina. La differenza fra i due scenari è organizzativa, non tecnologica, e la trattiamo in quanta supervisione serve davvero. In pratica: sui processi reversibili e a basso rischio si può accettare una consistenza imperfetta, sui processi che toccano soldi, clienti o obblighi di legge no, e il punto di controllo umano va messo prima dell’azione irreversibile, non dopo.
Quanto costa la cura: non il modello, il lavoro di diagnosi
La domanda «quanto costa creare un agent AI» di solito riceve una risposta sul modello: token, licenze, infrastruttura. Lo studio IBM mostra che è la voce sbagliata su cui concentrarsi. Il Consistency Analyzer costa una chiamata LLM offline per ogni punto di decisione di una traiettoria, spesa reale, ma una tantum e fuori dal percorso critico, mentre il guadagno di 16 punti di Pass^5 arriva senza cambiare modello né architettura. Il costo vero, quindi, è il lavoro di diagnosi, istruzione e manutenzione: cioè il servizio, non il prodotto. Vale la pena metterlo nero su bianco quando si prepara il business case da presentare alla direzione, perché è la voce che di solito manca e che poi fa saltare il progetto.
Il costo è il servizio, non la licenza
È anche la ragione per cui in Mimír l’agente non viene consegnato come una licenza da attivare. L’onboarding è la fase in cui si scelgono i task che contano, si definiscono i criteri di successo verificabili, si misura la ripetibilità su casi reali dell’azienda e si scrivono le regole per i passi che tendono a ribaltare, lo stesso mestiere che IBM automatizza in laboratorio, fatto sui processi di chi lo userà. La distinzione fra le due modalità l’abbiamo raccontata in chiavi in mano o self-service, e in come funziona Mimír AI Agent.
Partire dal Pass^k invece che dalla media è il modo meno costoso di evitare una brutta sorpresa sei mesi dopo.
Fonti:
- IBM Research, ALTK-Evolve e il consistency gap
- Closing the Consistency Gap: Self-Evolving Agents That Learn to Stay on Course (arXiv)
- AppWorld, l’ambiente di benchmark
- Sierra, τ-bench e la metrica Pass^k
- StartupHub, il framework self-evolving sul consistency gap di AppWorld
- ALTK-Evolve, codice sorgente su GitHub
- Analisi dell’errore composto nei task multi-passo (arXiv PDF)
Domande frequenti
Che cos'è la metrica Pass^k per un agente AI?
Pass^k misura la probabilità che un agente porti a termine lo stesso task in tutte le k esecuzioni ripetute, non solo in media. È una metrica pessimista: un task conta come riuscito solo se riesce ogni volta. La distanza fra la media (Mean@k) e Pass^k si chiama consistency gap, e nello studio IBM su AppWorld vale 24,4 punti.
Quali sono i migliori agenti AI per un'azienda?
Non esiste una classifica valida in assoluto, perché la scelta dipende dai processi da automatizzare e dai criteri di successo verificabili. Il dato utile è che sulla ripetibilità i modelli si distanziano molto più che sull'accuratezza media: nello studio IBM un modello open da 120 miliardi di parametri si ferma a 0,30 di consistenza normalizzata contro lo 0,69 di GPT-4.1. Valuta i candidati sui tuoi task, misurando Pass^k.
Quanto si paga un agente AI in azienda?
La spesa in token e licenze è solo una parte del conto. Lo studio IBM mostra che il guadagno di 16 punti di consistenza arriva senza cambiare modello né architettura, quindi la voce dominante è il lavoro di diagnosi, istruzione e manutenzione dell'agente. In altre parole si paga il servizio, non il prodotto.
