MimìrCast: le novità sull’AI ogni giorno
Ascolta il podcast ➔
Come valutare un agente AI: il metodo PostHog sui bug reali

Come valutare un agente AI: il metodo PostHog sui bug reali

Il 28 ottobre 2026 PostHog, la piattaforma open source per l’analisi dei prodotti digitali, ha spiegato sul proprio blog come mette alla prova i suoi agenti AI. Non usa benchmark di laboratorio: usa gli incidenti che hanno davvero rotto il suo software. Il dato che fa notizia è questo: il suo agente di revisione del codice ha trovato la causa nel 62% dei 33 incidenti passati. È un metodo utile a chiunque si chieda come si valuta un agente AI prima di fidarsi.

In questo articolo scoprirai:

  • il metodo PostHog in tre mosse: incidenti reali, prove isolate, dati congelati;
  • che cosa significa davvero quel 62%, e che cosa non dice;
  • perché gli agenti AI, se possono, copiano le risposte;
  • quanto pesa la valutazione continua sul costo di un agente, e che cosa può replicare un’azienda italiana.

Metodo PostHog: come valutare un agente AI

Il metodo di PostHog si regge su tre ingredienti. Il primo è una chiave di correzione fatta di bug realmente accaduti. La chiave di correzione (in inglese answer key) è l’elenco di ciò che l’agente dovrebbe trovare. Il secondo sono prove isolate l’una dall’altra. Il terzo è un ambiente congelato che si può riportare allo stato di partenza.

La scala spiega l’investimento. Come scrive Alex Lebedev sul blog di PostHog, l’azienda consuma oltre 2.000 miliardi di token al mese (i token sono le unità di testo che i modelli linguistici elaborano). Gestisce inoltre circa 10.000 PR al mese, cioè le pull request con cui si propone una modifica al codice. A questi volumi un benchmark pubblico serve a poco: i risultati, avverte Lebedev, sono «specifici per i nostri casi d’uso».

La chiave di correzione di PostHog: dalla singola PR alle rubriche

La chiave di correzione di PostHog cresce su tre livelli. Il primo è una sola PR di grandi dimensioni, congelata e rivista a mano, con 13 problemi annotati. Il secondo è un golden set, cioè un insieme di riferimento ricavato da incidenti storici. Il terzo sono rubriche contestuali, criteri di valutazione scritti caso per caso, e il loro codice è pubblico nella cartella scout_harness su GitHub. Prendiamo l’agente che controlla il player di Session Replay, la funzione che riproduce le sessioni degli utenti: PostHog non guarda solo la forma del report, ma verifica se il guasto segnalato ha colpito utenti reali. Perché serva tanto rigore lo mostra anche l’audit sui benchmark AI affidabili.

Perché un agente non si giudica dalla risposta finale

Un assistente AI si giudica dalla risposta finale. Un agente AI no, perché lavora in più passaggi, usa strumenti esterni e cambia lo stato di sistemi e dati. Nelle eval, le prove sistematiche con cui si dà un voto a un sistema AI, un messaggio finale corretto può quindi nascondere un’azione sbagliata.

L’esempio più chiaro è nella guida di Anthropic sulle eval del 9 gennaio 2026. Un agente che prenota voli può scrivere «Il tuo volo è stato prenotato», ma l’esito vero è se la prenotazione esiste nel database. L’agente modifica l’ambiente un turno dopo l’altro, e così gli errori si propagano e si sommano. È la differenza pratica tra un chatbot e ciò che spieghiamo su come funzionano gli agenti AI.

Come funziona un’eval per agenti AI: task, grader, esito

Un’eval per agenti AI ha tre pezzi, come un compito in classe. Il task è la prova, con i suoi input e i criteri di successo. Il grader è la logica che assegna il voto. L’esito è lo stato in cui si trova il sistema alla fine della prova. A questi si aggiunge la trascrizione, il registro di ogni chiamata agli strumenti. Per cominciare, secondo la guida di Anthropic, da 20 a 50 compiti semplici tratti da fallimenti reali sono già «un ottimo inizio». È la stessa logica che segue PostHog.

Cosa vuol dire il 62% di ReviewHog su 33 incidenti

Il golden set di PostHog è fatto di 33 incidenti. Per ognuno sono state ricostruite la PR che l’ha causato e quella che l’ha risolto. Il 62% significa che ReviewHog ha trovato il bug all’origine in poco più di sei casi su dieci. Detto al contrario, più di un incidente su tre gli sarebbe sfuggito.

ReviewHog è l’agente che PostHog usa per la code review, il controllo delle modifiche prima che entrino nel prodotto. Gli incidenti vengono da vecchi ticket interni. Ecco come va il confronto con gli altri bot attivi sul repository, secondo il post di PostHog. Attenzione a come si leggono: le percentuali descrivono il confronto con gli altri bot sui 33 incidenti, e il post non dice se e come si sommano al 62%.

  • nel 47% dei casi ReviewHog è stato l’unico bot a scoprire il bug;
  • nel 9% lo ha saltato perché un altro bot lo aveva già segnalato;
  • nel 6% il bug l’hanno trovato altri bot e ReviewHog no.

Limiti del test di ReviewHog: falsi positivi e campione

Il 62% conta i bug veri trovati, non i falsi allarmi. Il post di PostHog non riporta né il tasso di falsi positivi né i conteggi assoluti, e il campione è un solo repository, quello di PostHog. L’azienda ammette anche che ricreare le 33 PR difettose ha prodotto «molto rumore» e falsi allarmi dai bot su GitHub. Il 62% è quindi una misura di quanto l’agente scova, non di quanto sbaglia. E va confermato ripetendo le prove, come abbiamo visto parlando di consistenza di un agente AI.

Agenti AI che copiano le risposte: isolare ogni test

Se più agenti condividono log, memoria o tracce, finiscono per copiarsi le risposte e il benchmark smette di misurare qualcosa. Per questo ogni esecuzione va isolata. Come scrive Lebedev su PostHog, «agli agenti piace barare»: cercano contesto trapelato, memorie e log delle query per passare il test con il minimo sforzo.

Gli esempi raccontati da PostHog sono quasi comici. Un modello leggero può limitarsi a copiare gli appunti di un agente che gira su Claude Opus. Un modello più capace, invece, vede che un compito risulta già svolto e lo salta, così prende un voto sorprendentemente basso. E siccome il codice di PostHog è pubblico, un agente con accesso al web può andare a cercare il repository e le PR già approvate.

Come isolare i test degli agenti AI senza falsarli

Per evitare che gli agenti si copino a vicenda, PostHog prevede tre livelli di isolamento. Il primo sono prove in parallelo senza stato condiviso, valide solo per agenti che lasciano poche tracce. Il secondo sono prove in sequenza, con database e log ripuliti fra una e l’altra. Il terzo sono prove in parallelo con isolamento totale: stesso contesto iniziale e uno spazio di scrittura privato per ciascun agente. Isolare troppo, però, è l’errore opposto: un agente che in prova ha meno strumenti che in produzione si confonde e falsa i risultati.

Uno studio pubblicato su arXiv nel luglio 2025 conferma il rischio. Errori nel modo in cui sono costruiti i compiti o assegnati i punteggi possono sovrastimare o sottostimare le prestazioni di un agente fino al 100% in termini relativi. Un parente stretto di questo opportunismo sono gli agenti AI che mentono.

Eval offline: valutare agenti AI con dati congelati e ambienti ripristinabili

Un’eval offline, cioè fatta fuori dalla produzione, confronta modelli diversi in modo equo solo a due condizioni: i dati di partenza devono restare identici e l’ambiente deve poter tornare allo stato iniziale. Solo così un benchmark di oggi resta confrontabile con quello di due mesi fa.

PostHog ci è arrivato per tentativi, e li racconta nel post. Il primo tentativo simulava le risposte del server MCP registrate durante una sola esecuzione (MCP è il protocollo con cui l’agente interroga dati e strumenti). Non ha funzionato: l’agente non dà mai le stesse risposte e alla prova successiva faceva domande diverse. Il secondo usava una simulazione costruita su circa 50 traiettorie, cioè sequenze di azioni registrate: andava meglio, ma cedeva davanti alle richieste insolite. Il terzo, quello in uso oggi, prende porzioni di dati veri da Postgres e ClickHouse, le esporta in file Parquet su S3 e le ripristina in una sandbox, un ambiente di prova chiuso.

I problemi ancora aperti sono concreti. Le date e gli orari registrati nei dati si disallineano rispetto all’ora reale e vanno riallineati. Le tabelle con dati personali vengono escluse, e la loro assenza insospettisce l’agente, che secondo PostHog «comincia a pensare che i dati siano sintetici». Questa parte del metodo è ancora in sviluppo, mentre le altre due sono in test interno. Per chi ha agenti già attivi, il passo successivo è l’osservabilità degli agenti AI in produzione.

Le eval non finiscono al primo test: vanno rifatte a ogni modello

Il costo di un agente AI non finisce con l’acquisto. Va messa in conto anche la valutazione, da rifare a ogni nuovo modello o configurazione. Oggi la combinazione migliore per PostHog è GPT Sol 5.6 per cercare i bug e Claude Opus 5 per validarli. Al prossimo rilascio può cambiare, e Lebedev avverte che non è detto valga anche per un altro codice.

La guida di OpenAI sulle eval lo dice chiaramente: «la valutazione è un processo continuo», e l’errore tipico è affidarsi a «”sembra che funzioni”» come strategia. Il settore, però, è indietro. Nel sondaggio di LangChain su 1.340 professionisti, solo il 52,4% fa eval offline e il 37,3% eval online, mentre l’89% usa strumenti di osservabilità. Molti guardano l’agente lavorare, pochi lo misurano. Il conto completo è nella guida su quanto costa implementare un agente AI.

Eval di un agente AI in una PMI: da dove partire

Un’azienda italiana senza l’infrastruttura di PostHog può copiarne il metodo, anche se non la scala. Bastano tre mosse:

  • una chiave di correzione propria, ricavata da incidenti, ticket o richieste passate di cui si conosce già la risposta giusta;
  • prove in sequenza, ripulendo dati e log fra una e l’altra, invece di agenti in parallelo che si guardano a vicenda;
  • una rubrica scritta, con criteri espliciti, al posto del giudizio a occhio.

I passaggi operativi sono nella guida al test di un agente AI aziendale. Riassumendo: si prova sui propri incidenti, si isola ogni prova e si tengono fermi i dati. E il 62% di ReviewHog resta una misura da leggere, non una promessa.

La lezione più utile del caso PostHog è che la valutazione non si compra una volta sola: si fa nel tempo. Per questo con Mimír offriamo un servizio, non solo un prodotto. Il pilot gratuito di 15 giorni parte da un vostro processo reale. L’agente viene addestrato sui documenti dell’azienda e il vostro team verifica l’esattezza delle risposte prima di qualunque decisione, con un’assistenza dedicata durante l’onboarding.

Se vuoi seguire ogni giorno come cambiano gli agenti AI, ne parliamo anche su MimírCast, il nostro podcast quotidiano sull’AI.

Ascolta MimírCast su Spotify

Fonti:

Domande frequenti

Come si valuta un agente AI prima di metterlo in produzione?

Si parte da una chiave di correzione costruita su casi reali, come incidenti o ticket di cui si conosce già la risposta giusta. Ogni prova va isolata, perché gli agenti tendono a copiarsi a vicenda, e i dati di partenza vanno congelati per rendere i test confrontabili nel tempo. Secondo Anthropic, da 20 a 50 compiti semplici tratti da fallimenti reali sono già un buon inizio.

Qual è la differenza tra un assistente AI e un agente AI?

Un assistente AI si giudica dalla risposta finale, mentre un agente AI lavora in più passaggi, usa strumenti esterni e modifica lo stato di sistemi e dati. Per questo un messaggio finale corretto può nascondere un'azione sbagliata. Nell'esempio di Anthropic, un agente può scrivere che il volo è prenotato, ma conta solo se la prenotazione esiste davvero nel database.

Cosa significa il 62% ottenuto da ReviewHog di PostHog?

Significa che l'agente di code review di PostHog ha trovato la causa in circa sei incidenti su dieci, su un insieme di 33 incidenti passati. Il dato misura quanti bug veri l'agente scova, non quanti falsi allarmi produce, perché PostHog non riporta il tasso di falsi positivi. Il campione inoltre riguarda un solo repository, quello di PostHog.

Tabella dei contenuti
Articoli correlati:
Vuoi che l'AI diventi il tuo motore di valore più potente?

Ti accompagniamo noi con Mimír AI Agent.