Il 18 settembre 2026 Anthropic ha annunciato una partnership con Accenture per la valutazione indipendente dei modelli frontier: ciascuna delle due aziende investirà almeno un miliardo di dollari in cinque anni, secondo l’annuncio ufficiale di Anthropic. Due miliardi complessivi per un mestiere che fino a ieri non aveva nemmeno un nome consolidato: embedded evaluation. Non è una notizia per soli addetti ai lavori, perché tocca lo stesso problema che ha chiunque adotti l’AI in azienda, la valutazione modelli AI enterprise, cioè sapere se il modello scelto regge davvero sui propri task.
In questo articolo scoprirai:
- Embedded evaluation: la valutazione dei modelli AI dentro l'azienda che li costruisce
- La nuova acquisizione di Accenture: Faculty, e chi guida davvero la valutazione
- Due miliardi e nessuno standard: cosa manca ancora alla valutazione indipendente dei modelli AI
- Il miglior AI per le aziende non si sceglie in assoluto: si valuta sui tuoi task
- Migliori IA a confronto: perché i benchmark pubblici non bastano alla valutazione modelli AI enterprise
- Valutazione modelli AI enterprise per una PMI: cosa chiedere a un partner di onboarding
- Cosa deve consegnarti il partner, e quando
Embedded evaluation: la valutazione dei modelli AI dentro l’azienda che li costruisce
L’audit esterno classico funziona a distanza: l’azienda consegna documenti, il revisore li legge, firma un parere. L’embedded evaluation ribalta la geometria. I valutatori entrano in azienda con «accesso comparabile a quello di un dipendente», osservano i modelli durante l’addestramento, seguono le decisioni di deployment e parlano direttamente con il personale, scrive Anthropic. Le attività previste sono tre: valutazione e red-teaming dei modelli, alignment assessment e test dei safeguard.
La differenza non è di grado ma di natura. Nel saggio We Must Pace the Frontier, pubblicato a settembre 2026, Dario Amodei descrive l’impegno in termini volutamente materiali: «scrivanie nei nostri uffici, badge di accesso e laptop aziendali», con strumenti e permessi paragonabili a quelli dei team interni di valutazione del rischio. E soprattutto, il diritto di pubblicare risultati critici senza controllo editoriale dell’azienda. Il motivo lo spiega lo stesso testo: un valutatore interno «può verificare a livello di bulloni se un’azienda AI sta davvero seguendo le pratiche di addestramento, deployment e safeguard» che dichiara di seguire.
È lo stesso movimento, persone dentro l’organizzazione invece di carte scambiate fuori, che Anthropic aveva già sperimentato distaccando ingegneri presso l’intelligence americana, e si inserisce nella linea di rallentamento volontario che l’azienda porta avanti da mesi, fino alla richiesta di una pausa globale sullo sviluppo.
La nuova acquisizione di Accenture: Faculty, e chi guida davvero la valutazione
A guidare la partnership non è Accenture in quanto tale, ma Faculty, la sua divisione AI specializzata, acquisita a gennaio 2026 secondo TechCrunch. Faculty è una società britannica che lavora su sicurezza dei modelli: ha pubblicato ricerca sul red-teaming automatizzato e ha collaborato con OpenAI sul red teaming, oltre ad aver costruito sistemi per NHS, difesa e infrastrutture energetiche.
Il peso industriale che Accenture porta è l’altra metà dell’argomento: circa 799.000 dipendenti e 9.000 clienti serviti. «La sicurezza richiede sia competenze tecniche profonde sia la comprensione di come l’AI viene usata nel mondo reale», ha dichiarato la CEO Julie Sweet nel comunicato Accenture, dove Marc Warner, CTO Accenture e CEO di Faculty, aggiunge che «l’AI dovrebbe essere sicura per design, non per caso».
La scelta però ha sorpreso. Molti osservatori si aspettavano organizzazioni di ricerca sulla sicurezza come METR, Redwood Research o Apollo Research, e una parte dei critici legge il piano come autoregolamentazione difensiva, riporta TechCrunch: un modo per anticipare la responsabilità sui comportamenti scorretti dei modelli. È un’obiezione seria, perché un valutatore che è anche un grande integratore commerciale di AI non ha esattamente gli stessi incentivi di un nonprofit.
Due miliardi e nessuno standard: cosa manca ancora alla valutazione indipendente dei modelli AI
La parte più interessante dell’annuncio è quella in cui Anthropic ammette ciò che non c’è. «Non esistono ancora standard» su quali informazioni i valutatori embedded debbano vedere né su come debbano riportare quello che trovano, e «non esiste un sistema consolidato per finanziare la valutazione indipendente», si legge nel post. Nel lungo periodo l’azienda ritiene che il finanziamento debba arrivare da fondi comuni o pubblici, non dal portafoglio del valutato.
L’accordo non è esclusivo: Anthropic dichiara di essere in discussione anche con METR e con altri terzi, e Accenture lavorerà con altri sviluppatori. METR è un nonprofit che misura scientificamente se e quando i sistemi AI possano produrre danni catastrofici, e ha già lavorato con OpenAI, Anthropic, Google DeepMind, Meta e Amazon con accesso pre-deployment e a informazioni non pubbliche.
Il vuoto non è solo di prassi, è anche normativo. L’articolo 55 dell’AI Act impone ai fornitori di modelli GPAI con rischio sistemico di «eseguire la valutazione del modello secondo protocolli e strumenti standardizzati» e di condurre «adversarial testing» per identificare i rischi, come riporta il testo dell’articolo. Ma non impone da nessuna parte che a valutare sia un soggetto terzo: l’obbligo è di fare la valutazione, non di farsi valutare da fuori. Due miliardi privati stanno riempiendo uno spazio che la regola non copre, un dettaglio utile a chiunque stia verificando i propri obblighi sotto l’AI Act.
Il miglior AI per le aziende non si sceglie in assoluto: si valuta sui tuoi task
Qui la notizia smette di riguardare solo San Francisco. Se l’azienda che costruisce il modello ritiene di dover spendere un miliardo per capire come si comporta davvero il proprio sistema, l’idea che un’azienda utente possa sceglierlo leggendo una scheda prodotto non regge. Non esiste un «miglior AI per le aziende» in assoluto: esiste il modello che tiene sul tuo dominio, sui tuoi dati e sui tuoi casi limite.
È la stessa diagnosi che emerge dai progetti falliti. Quando le iniziative AI aziendali si fermano prima della produzione, quasi mai la causa è il modello sbagliato: è l’assenza di un criterio di successo misurabile deciso prima di partire. E quando l’AI generativa non genera ROI, il problema non è la tecnologia ma il processo intorno.
La lezione operativa dell’accordo Anthropic-Accenture è trasferibile su scala ridotta: valutare non è un evento, è una funzione permanente, esattamente come l’adozione dell’AI in azienda. I valutatori embedded non fanno un test e se ne vanno, restano mentre il modello cambia. Nelle aziende questo si traduce in un principio che abbiamo già discusso altrove: nel deployment reale il servizio conta più del modello.
Migliori IA a confronto: perché i benchmark pubblici non bastano alla valutazione modelli AI enterprise
Le classifiche «migliori IA a confronto» rispondono a una domanda diversa da quella che ha un’azienda. Un benchmark pubblico misura una prestazione media su compiti generici e condivisi; il tuo problema è un compito specifico, con il tuo lessico, i tuoi documenti e un costo dell’errore che nessuna leaderboard conosce. Un modello primo in classifica può essere il peggiore sul tuo flusso di preventivazione, e nessun confronto pubblico te lo dirà.
Quello che si può replicare in piccolo è il metodo, non la spesa. Un golden set di casi reali con la risposta corretta già nota; una prova avversariale sul proprio dominio, che è la versione domestica del red-teaming automatizzato su cui lavora Faculty; una misura del costo dell’errore per ciascun tipo di sbaglio. Con quello in mano, il confronto fra modelli smette di essere un’opinione, e diventa possibile scegliere con cognizione fra le alternative, per esempio capendo cosa fa davvero Claude in azienda e quali rischi porta.
Cosa cambia alla valutazione quando il fornitore aggiorna il modello
È il punto che quasi tutti sottovalutano. I modelli vengono aggiornati, e un aggiornamento può migliorare la media e peggiorare proprio il tuo caso. Per questo i valutatori di Anthropic seguono l’addestramento in tempo reale invece di certificare una versione: la stessa logica, in azienda, significa rilanciare il golden set a ogni cambio di versione e conservare lo storico dei risultati.
Valutazione modelli AI enterprise per una PMI: cosa chiedere a un partner di onboarding
Una PMI italiana non assume un valutatore embedded da un miliardo di dollari. Ha però esattamente lo stesso bisogno in scala: sapere se il modello scelto regge sui suoi task, con quali rischi e cosa succede quando il fornitore lo aggiorna. La differenza è che quella funzione non può essere interna, e allora va chiesta a chi ti accompagna.
Cosa deve consegnarti il partner, e quando
È il discrimine fra vendere un prodotto e offrire un servizio. Un fornitore che ti consegna un accesso API ha finito il suo lavoro il giorno dell’attivazione; un partner di onboarding ti costruisce il set di prova, misura il modello sui tuoi dati, documenta dove sbaglia e ti resta accanto quando qualcosa cambia. Sono le domande da porre quando si sceglie un fornitore AI in Italia, e il motivo per cui l’adozione dell’AI in azienda si governa per fasi invece che con un acquisto unico. Chi ti vende il modello e chi te lo valuta non dovrebbero coincidere del tutto: è la stessa tensione che i critici sollevano su Accenture, tradotta in scala PMI.
Se stai valutando l’introduzione di agenti AI nella tua azienda e vuoi capire cosa aspettarti concretamente, abbiamo raccolto il tema in un approfondimento dedicato alla consulenza sugli agenti AI per le PMI. In MIMIR lavoriamo proprio su questa parte: non ci limitiamo a fornire la tecnologia, ma seguiamo l’onboarding, la valutazione sui casi d’uso reali e l’assistenza nel tempo. Se hai un’esigenza aziendale su AI e agenti, puoi parlarne con noi e capire insieme se e come ha senso partire.
Fonti:
- Anthropic, Our first embedded evaluation partnership with Accenture
- Accenture Newsroom, Accenture and Anthropic partner to build team of embedded evaluators
- TechCrunch, Anthropic’s first embedded evaluator is Accenture
- Dario Amodei, We Must Pace the Frontier
- Faculty, ricerca su red-teaming automatizzato
- METR, Model Evaluation and Threat Research
- AI Act, Articolo 55, obblighi per i modelli GPAI con rischio sistemico
Domande frequenti
Quanti dipendenti ha Accenture in tutto il mondo?
Secondo il comunicato ufficiale diffuso per la partnership con Anthropic, Accenture conta circa 799.000 dipendenti e serve circa 9.000 clienti. È questa scala industriale, insieme alle competenze della divisione Faculty, l'argomento con cui viene giustificata la scelta come primo valutatore embedded.
Qual è il fatturato di Accenture per il 2026?
Il dato consolidato disponibile è quello dell'anno fiscale 2025, intorno ai 70 miliardi di dollari. Il fatturato dell'anno fiscale 2026 non è ancora chiuso al momento dell'annuncio, quindi qualsiasi cifra per il 2026 è una stima e non un dato ufficiale.
Che differenza c'è tra embedded evaluation e audit esterno?
L'audit esterno lavora a distanza: l'azienda consegna documenti, il revisore li esamina e firma un parere su una versione già congelata. Nell'embedded evaluation i valutatori entrano fisicamente in azienda, con accesso comparabile a quello di un dipendente, e osservano i modelli mentre vengono addestrati e messi in produzione. La differenza pratica è che possono verificare se le pratiche dichiarate vengono davvero seguite, invece di limitarsi a leggerne la descrizione.
L'AI Act obbliga a farsi valutare da un soggetto terzo?
No. L'articolo 55 dell'AI Act impone ai fornitori di modelli GPAI con rischio sistemico di eseguire la valutazione del modello con protocolli e strumenti standardizzati e di condurre adversarial testing. L'obbligo riguarda il fare la valutazione, non il farla fare a un soggetto indipendente: la valutazione di terza parte resta oggi un'iniziativa volontaria.
