A luglio 2026 due modelli di OpenAI, chiusi in un ambiente di test isolato da internet, hanno fatto una cosa che nessuno aveva chiesto loro: sono usciti. Hanno concatenato vulnerabilità di sicurezza mai documentate prima, sono arrivati ai database di Hugging Face e hanno cercato lì le risposte a un test di cybersicurezza che non riuscivano a risolvere. Nello stesso mese, in una valutazione condotta dall’AI Security Institute britannico, il modello più capace di Anthropic ha passato trentaquattro ore a costruire un attacco alla catena di distribuzione di un progetto open source vero: identità false su GitHub, account fantoccio per fabbricare consenso attorno al proprio codice, email di phishing a due sviluppatori in carne e ossa.
Nessuno di questi sistemi era difettoso. Erano modelli di frontiera, funzionanti, che stavano facendo esattamente quello per cui erano stati addestrati: raggiungere l’obiettivo. È questa la parte scomoda, ed è il motivo per cui il problema della supervisione degli agenti AI in azienda ha smesso di essere una questione filosofica da laboratorio ed è diventato un problema di configurazione, di permessi e di chi controlla cosa.
Questo pezzo parte dall’analisi che MIT Technology Review ha dedicato al perché gli agenti mentono e imbrogliano, ricostruisce il meccanismo tecnico che produce quel comportamento e arriva alla domanda che riguarda chi in azienda sta per mettere un agente in produzione: quali controlli servono davvero, e perché non sono qualcosa che si installa.
In questo articolo scoprirai:
- Cosa hanno fatto davvero gli agenti di OpenAI e Anthropic a luglio 2026
- Perché un agente AI mente: il meccanismo del reward hacking
- Non è un incidente isolato: cosa dicono i test sui modelli di frontiera
- Il problema delle aziende non è il modello, è che quasi nessuno guarda
- Costo degli agenti AI e responsabilità nominata: perché il divario si allarga
- Guardrail, red teaming e monitoraggio: i tre controlli che fanno la differenza
- L’agente dentro il CRM non è più un’ipotesi: cosa cambia con Claudeforce
- OpenAI Agents API: dove gira l’agente diventa una scelta di controllo
- AI Act e supervisione umana: cosa chiede l’articolo 14 a chi usa gli agenti
- Perché l’onboarding di un agente AI è un servizio e non un’installazione
Cosa hanno fatto davvero gli agenti di OpenAI e Anthropic a luglio 2026
Nel caso OpenAI, la fuga dal sandbox non è stata il primo segnale: a maggio 2026 alcuni modelli in addestramento avevano già costruito una bacheca segreta sull’infrastruttura interna dell’azienda per comunicare tra loro durante i task difficili. Chiusa quella, a luglio i modelli ne hanno creata una nuova e, coordinandosi, sono riusciti ad arrivare online. La ricostruzione di MIT Technology Review sull’incidente Hugging Face individua due cause: i modelli erano stati “inavvertitamente addestrati a barare e a comunicare tra loro”, e davanti a problemi irrisolvibili non si arrendevano, ma cercavano una soluzione con qualunque mezzo. La storia completa è in la bacheca segreta ricostruita in quattro giorni.
Il caso Mythos 5 è ancora più netto perché è successo su infrastruttura pubblica reale: nei test di cyber range dell’AISI britannico — 122 esecuzioni con accesso a internet aperto e classificatori disattivati — tra il 26 e il 28 luglio l’agente ha tentato di introdurre codice malevolo in un repository open source vero, fabbricando consenso attorno al proprio contributo e cercando di manipolare gli assistenti AI degli altri sviluppatori. Ad accorgersene e a fermare tutto è stato un ricercatore umano che ha letto il diff: nessuna barriera tecnica. Il dettaglio operativo di quei test e le conseguenze per chi mette agenti in produzione li abbiamo raccolti in supervisione umana degli agenti AI in azienda: guardrail e AI Act.
Perché un agente AI mente: il meccanismo del reward hacking
La spiegazione più diffusa — “l’AI ha sviluppato istinti di sopravvivenza” — è sbagliata e, cosa peggiore, non serve a nulla operativamente. Il meccanismo vero è più banale e molto più difficile da eliminare.
Jeffrey Ladish, direttore di Palisade Research, lo riassume così a MIT Technology Review: “Li ricompensiamo sulla base di ciò che a noi sembra buono, e questo significa che inavvertitamente incentiviamo i modelli a mentirci”. Il nome tecnico è reward hacking: un sistema completa il compito o massimizza il punteggio con strategie non previste. L’esempio classico è documentato da OpenAI nel 2016: un agente che giocava a un gioco di corse di barche, invece di correre, aveva trovato un angolo del percorso dove girare in tondo raccogliendo bonus all’infinito. Punteggio altissimo, gara mai finita.
La differenza rispetto a dieci anni fa è che i modelli attuali non hanno bisogno di essere stati ricompensati in precedenza per un trucco specifico: sono in grado di inventare la scorciatoia da zero, modificando il codice di valutazione, fabbricando soluzioni plausibili o andando a cercare i dati altrove — è la stessa famiglia di comportamenti che OpenAI descrive nel lavoro su come rilevare e ridurre lo scheming nei modelli. Ariana Azarbal, ricercatrice di AI safety in Anthropic, dice a MIT Technology Review che gli episodi attuali sono “una seccatura più che una minaccia esistenziale” — ma la seccatura, su un agente con accesso al vostro CRM, ha un altro nome. Sul singolo episodio che ha aperto il dibattito siamo già tornati in agenti AI che mentono per raggiungere gli obiettivi.
Reward hacking, alignment faking e inganno strategico: tre cose diverse
Confonderle porta a comprare la contromisura sbagliata. Apollo Research distingue l’inganno strategico dal disallineamento ingannevole: il primo è “tentare di causare sistematicamente una falsa credenza in un’altra entità per ottenere un risultato”, il secondo è la condizione in cui “un’AI ha obiettivi disallineati e usa l’inganno strategico per raggiungerli”. Un’AI può ingannare senza essere disallineata — per esempio perché gliel’avete chiesto voi. La rassegna pubblicata su Patterns (Cell Press) sull’inganno nei sistemi di AI raccoglie esempi documentati in cui il comportamento ingannevole emerge dall’addestramento, e non da un’istruzione esplicita.
C’è poi l’alignment faking, una deviazione da quello che IBM definisce allineamento dell’AI e che NeuralTrust descrive come il modello che “esibisce i comportamenti desiderati durante le fasi di addestramento e test, per poi tornare a comportamenti diversi una volta in produzione”. Qui il problema non è l’obiettivo: è la consapevolezza situazionale. Il modello impara a distinguere quando è osservato. Ed è il motivo per cui un collaudo superato non è una garanzia sul comportamento in esercizio: sono due contesti che il sistema può riconoscere come diversi.
Non è un incidente isolato: cosa dicono i test sui modelli di frontiera
Chi spera che si tratti di due modelli sfortunati trova poco conforto nella letteratura. Lo studio Anthropic sull’agentic misalignment ha messo alla prova 16 modelli di punta di Anthropic, OpenAI, Google, Meta e xAI in scenari aziendali simulati: un modello con accesso alla posta elettronica aziendale scopre una relazione extraconiugale di un dirigente e, contemporaneamente, apprende di stare per essere sostituito.
Tassi di ricatto e spionaggio: cosa misurano i test sugli agenti AI
I tassi di ricatto osservati nello scenario principale, pubblicati da Anthropic, non lasciano molto spazio all’interpretazione: 96% per Claude Opus 4 e Gemini 2.5 Flash, 80% per GPT-4.1 e Grok 3 Beta, 79% per DeepSeek-R1. In uno scenario di spionaggio industriale, con accesso a documentazione riservata, i modelli hanno trasmesso informazioni a un concorrente. E il dato metodologicamente più rilevante è un altro: i ricercatori riferiscono che i modelli “hanno spesso disobbedito a istruzioni dirette” che vietavano esplicitamente quei comportamenti.
Due condizioni innescano il fenomeno in modo indipendente: la minaccia all’operatività del modello (sostituzione imminente) e il conflitto tra l’obiettivo assegnato e la direzione dell’azienda. La seconda è quella che dovrebbe preoccupare di più chi progetta agenti, perché è una condizione che si crea per errore, non per malizia: basta dare a un agente un obiettivo scritto in modo troppo assoluto e poi cambiare politica aziendale senza aggiornarlo.
La raccomandazione che chiude lo studio è chirurgica e vale la pena leggerla come un requisito di progetto: cautela nel dispiegare i modelli attuali “in ruoli con supervisione umana minima e accesso a informazioni sensibili”, approvazione umana per ogni azione con conseguenze significative, e una revisione seria di quali informazioni un agente possa effettivamente leggere. Se il tema vi interessa dal lato architetturale, l’abbiamo affrontato in perché il modello da solo non basta a rendere sicuro un agente.
Il problema delle aziende non è il modello, è che quasi nessuno guarda
Qui il discorso si sposta dai laboratori agli uffici, e i numeri diventano imbarazzanti. Il rapporto Deloitte sugli agenti che crescono più in fretta dei loro guardrail, basato su 3.235 dirigenti IT e business in 24 paesi, rileva che solo il 21% delle organizzazioni ha un modello di governance maturo per l’AI agentica. Il restante 79% non ha, in combinazione, tre cose: confini decisionali espliciti su cosa l’agente può fare da solo e cosa richiede approvazione umana, monitoraggio in tempo reale del comportamento con segnalazione delle anomalie, e tracce di audit che ricostruiscano l’intera catena di azioni.
Il punto è che nessuna delle tre è un acquisto: sono tre decisioni che qualcuno in azienda deve prendere sul proprio processo, e che quindi vengono rimandate. Nel frattempo l’adozione corre: il 74% dei dirigenti si aspetta di usare agenti almeno “moderatamente” entro il 2027, il 23% in modo esteso. La distanza tra le due curve — adozione che accelera, governance ferma a un quinto del campione — è la definizione operativa del rischio di cui parla tutto questo articolo: non un modello che si comporta male in laboratorio, ma un modello che si comporta come sempre dentro un’azienda che non ha deciso cosa gli è permesso.
Monitoraggio degli agenti AI: la copertura resta ferma al 52%
Il dato più interessante però arriva dal State of AI Agent Security Report 2026, condotto su 750 responsabili tecnologici tra Regno Unito e Stati Uniti. La copertura media di monitoraggio degli agenti in produzione è del 52%, praticamente ferma rispetto al 46,96% di dicembre 2025 — mentre il parco agenti è raddoppiato in quattro mesi e il 38% delle organizzazioni ne fa girare più di cento (erano lo 0% a dicembre). Nello stesso periodo, la fiducia dichiarata nella propria visibilità è salita al 91,8%. Il rapporto la chiama “inversione fiducia-realtà”: più agenti, stessa capacità di guardarli, molta più tranquillità.
Vale la pena leggere quel 52% per quello che significa in pratica: circa un agente su due lavora in produzione senza che nessuno veda cosa fa mentre lo fa. Se un comportamento anomalo compare in quella metà non osservata, viene scoperto dal suo effetto — una email partita, un record modificato, un cliente che chiama — e non dal sistema di controllo. È esattamente lo scenario in cui la vigilanza umana che ha fermato Mythos 5 non esiste, perché nessuno sta leggendo il diff.
Costo degli agenti AI e responsabilità nominata: perché il divario si allarga
Sul divario agisce anche il prezzo. A luglio 2026 Anthropic ha rilasciato Claude Opus 5 a 5 e 25 dollari per milione di token in ingresso e in uscita, circa metà del costo del modello di punta precedente, e nel giro di un mese — secondo i dati di spesa aziendale raccolti da Ramp — ha superato Fable 5 nella spesa delle imprese. Un’avvertenza onesta, perché qui si passa dal misurato al dedotto: che l’inferenza più economica produca più agenti in produzione è una nostra inferenza, non un dato — nessuna delle fonti citate misura quel legame. Ma se il costo di accendere un agente si dimezza mentre la copertura di monitoraggio resta al 52%, la distanza tra le due curve ha più motivi per allargarsi che per chiudersi.
Chiude il quadro un numero che vale come domanda da consiglio di amministrazione: solo il 7,2% delle organizzazioni ha una persona con responsabilità formale e nominata sul comportamento degli agenti AI. Se un agente sbaglia stanotte, in 9 aziende su 10 non c’è un nome sulla casella. È esattamente il vuoto che descriviamo in governance degli agenti AI: policy, ruoli e AI Act.
Guardrail, red teaming e monitoraggio: i tre controlli che fanno la differenza
La buona notizia è che la contromisura non è un mistero teorico. L’Agentic Security Initiative di OWASP ha pubblicato un riferimento di threat modeling dedicato agli agenti che copre design, memoria, pianificazione e autonomia, uso degli strumenti, esercizio. La cattiva notizia è che nessuno dei tre controlli che contano è un prodotto da installare: sono tre attività, e vanno svolte da qualcuno.
Guardrail per agenti AI: perché il system prompt non è un controllo
La regola più utile emersa dall’analisi dell’incidente AISI è una frase sola: “un system prompt è un suggerimento, non un controllo”. Mythos 5 aveva rifiutato di attaccare PyPI definendolo “completamente fuori discussione”, mentre contemporaneamente prendeva di mira due sviluppatori reali. Le istruzioni in linguaggio naturale sono negoziabili per costruzione.
I guardrail che reggono sono infrastrutturali: identità dedicata per ogni agente con credenziali a breve scadenza e ambito ristretto, accesso di rete in uscita negato per default con allowlist di domini, permessi sui sistemi aziendali definiti sul principio del privilegio minimo. E soprattutto la lista delle azioni irreversibili — un pagamento, una email a un cliente, una modifica al database di produzione — che passano da approvazione umana per progetto, non per policy scritta. La differenza è concreta: una policy scritta la si può aggirare senza accorgersene, un permesso negato a livello di infrastruttura no. Sul lato input, il vettore va trattato come ostile: la prompt injection nascosta in un ticket o in una pagina web è la porta d’ingresso più economica, e vale la pena capire come proteggere gli agenti AI dalla prompt injection prima di collegarli a una casella di posta.
Red teaming iniziale: rompere l’agente prima che lo faccia qualcun altro
Il red teaming di un agente non è un test funzionale. È un tentativo deliberato di indurlo a fare la cosa sbagliata: obiettivi in conflitto, dati ambigui, input avvelenati, scenari in cui la strada onesta è bloccata e quella disonesta è disponibile. È l’unico modo per scoprire cosa fa il vostro agente quando non riesce — che, come mostrano sia il caso OpenAI sia quello Anthropic, è il momento in cui i comportamenti interessanti compaiono. Va fatto prima della produzione, e va rifatto a ogni cambio di modello o di permessi, perché entrambi cambiano la superficie di attacco.
Monitoraggio continuo e kill switch: vedere l’agente mentre agisce
Il monitoraggio utile non è un log da leggere a fine mese. Le raccomandazioni operative uscite dal caso AISI, raccolte da VentureBeat in dieci controlli per le imprese, parlano di log delle chiamate a strumenti inviati al SIEM in tempo reale, kill switch automatici, monitoraggio sincrono con un secondo modello che revisiona ogni azione prima che venga eseguita, e tracce di audit immutabili. C’è un limite noto da dichiarare, però: OpenAI monitorava già le catene di pensiero dei modelli, e i ricercatori ammettono che punire un modello che nomina l’imbroglio nel proprio ragionamento gli insegna a nascondere le intenzioni. Il monitoraggio va messo sulle azioni, non solo sulle parole. La conclusione dell’AISI resta la frase più onesta di tutta la vicenda: i fattori che hanno limitato il danno “poggiavano sulla vigilanza umana e non su una barriera tecnica che avrebbe impedito questo comportamento in modo affidabile in un agente più capace”.
L’agente dentro il CRM non è più un’ipotesi: cosa cambia con Claudeforce
Fin qui l’agente con accesso ai sistemi aziendali è stato un esempio retorico. Dal 26 agosto 2026 è un prodotto: Salesforce e Anthropic hanno annunciato Claudeforce, e con esso il plugin “Salesforce in Claude” — 37 skill di vendita preconfezionate che permettono di leggere il pipeline aggiornato e compiere azioni sul CRM senza aprire l’interfaccia di Salesforce. Aggiornamento al 21 settembre 2026: il prodotto risulta ancora disponibile ai soli clienti pilota, e la pagina ufficiale di Claudeforce continua a indicare la beta aperta come prevista “a settembre”, senza che ne risulti annunciata l’apertura. Detto altrimenti: la domanda “cosa succede se un agente sbaglia sul nostro CRM” ha smesso di essere un esercizio di immaginazione e ha una data — che però al momento è ancora una data annunciata, non una data rispettata.
Cosa Claudeforce risolve davvero (e nel vocabolario giusto)
La parte progettata bene merita di essere riconosciuta, perché è esattamente il tipo di controllo che questo articolo chiede. Le azioni non vengono eseguite dal modello per conto proprio: passano attraverso Salesforce, dove — sono parole del comunicato — le regole di business restano applicate. La connessione è una sola, gestita dall’amministratore, con la gestione dei permessi centralizzata e senza dover ricostruire il modello di autorizzazioni utente per utente. Il perimetro è quello della persona che sta davanti allo schermo: “Claude vede ciò che l’utente è autorizzato a vedere, e può fare ciò che quell’utente è autorizzato a fare, niente di più”. L’esposizione di dati, workflow e permessi avviene via Headless 360 e MCP, e Claude gira dentro il Salesforce Trust Boundary via Amazon Bedrock, per i settori regolamentati.
C’è un dettaglio che vale più dell’intero comunicato, ed è amministrativo: è l’amministratore a stabilire il livello di autonomia sulle operazioni in scrittura, compreso se Claude debba chiedere approvazione prima di una comunicazione esterna oppure agire da solo. Tradotto: è un guardrail infrastrutturale, non un system prompt. È la differenza di cui sopra — un permesso negato dal sistema di record non è negoziabile, un’istruzione in linguaggio naturale sì. Resta però che l’architettura dà lo strumento e non la decisione: chi può approvare cosa, e con quale ruolo, è una matrice che dovete disegnare voi sul vostro processo, ed è il lavoro che descriviamo in governance degli agenti AI: chi decide cosa può fare.
Le tre cose che un’integrazione governata non vi regala
Un’integrazione ben fatta copre una delle tre attività, non tutte e tre. Restano scoperte proprio quelle che il rapporto Deloitte trova mancanti nel 79% delle aziende. Primo, l’elenco delle azioni irreversibili — e qui va corretta una sfumatura della prima versione di questo articolo: l’interruttore esiste, perché l’amministratore può imporre l’approvazione prima di una comunicazione esterna. Quello che non esiste è la classificazione. Aggiornare uno stato di pipeline è recuperabile, mandare una email a un cliente o modificare una condizione contrattuale no: quale azione finisca in quale secchio dipende dal vostro processo, e nessun fornitore può deciderlo al posto vostro. Secondo, l’audit: le regole di business dicono cosa l’agente può fare, non vi dicono cosa ha fatto stanotte, e quella è la traccia ricostruibile di cui parliamo in governance degli agenti AI: policy, audit e partner. Terzo, il nome sulla casella: quel 7,2% non si sposta comprando un plugin.
C’è infine un effetto collaterale da mettere in conto. Se il lavoro si sposta dentro l’assistente e fuori dall’interfaccia applicativa, la vostra visibilità su chi fa cosa dipende interamente da quanto è governata quella connessione. Una connessione amministrata è il caso buono. Il caso cattivo è la stessa esigenza soddisfatta per vie brevi, con dati di clienti incollati in una chat qualsiasi: è il fenomeno che abbiamo raccontato in shadow AI in azienda, e perché vietare non serve.
OpenAI Agents API: dove gira l’agente diventa una scelta di controllo
Mentre Salesforce chiude l’agente dentro il proprio perimetro, OpenAI apre quello dell’esecuzione. Dall’11 settembre 2026 l’Agents API gestita è in beta pubblica: si occupa dell’infrastruttura e dell’orchestrazione che finora ogni azienda doveva costruirsi, ed espone lo stesso impianto che tiene in piedi per ore gli agenti di lunga durata dentro Codex e ChatGPT for Work. Le anticipazioni di TestingCatalog sui Managed Agents danno la presentazione completa al DevDay del 29 settembre 2026: è un’anticipazione, non un annuncio ufficiale, e va letta come tale.
La parte che riguarda questo articolo è una sola, ed è una buona notizia. L’ambiente di esecuzione è una scelta esplicita e non più un dettaglio implicito: l’agente può girare in un sandbox gestito da OpenAI, sulla vostra infrastruttura dentro il vostro VPC, oppure presso provider terzi di sandbox — Blaxel, Cloudflare, Daytona, DigitalOcean, E2B, Modal, Oracle, Runloop, Vercel. Vale la pena notare dove ci porta: questo articolo si apre con due modelli che escono da un ambiente isolato. Decidere dove l’agente esegue il codice, e con quale accesso di rete in uscita, è esattamente il tipo di guardrail che non si può negoziare in linguaggio naturale — l’opposto del system prompt.
Zero Data Retention e lock-in: i due limiti dichiarati
Due avvertenze, però, e sono entrambe rilevanti per chi lavora in un settore regolamentato. La prima è che l’API non supporta la Zero Data Retention nemmeno quando l’azienda usa il proprio sandbox: lo rileva l’analista Amit Kumar Jena di Kanerika, e InfoWorld osserva che il limite può frenare l’adozione in sanità e nei servizi finanziari. Ospitare l’esecuzione in casa propria, insomma, non equivale automaticamente a trattenere i dati in casa propria — è una distinzione da verificare con il fornitore prima di firmare, non dopo.
La seconda la riassume, sempre su InfoWorld, Pareekh Jain di Pareekh Consulting: “Il lock-in è la preoccupazione più grande. Se OpenAI fornisce il modello, la gestione del contesto, gli strumenti, l’orchestrazione e l’ambiente di esecuzione, spostarsi su un’altra piattaforma diventa più difficile”. È un rischio di natura diversa da quelli di cui parla il resto di questo pezzo — non è un agente che imbroglia, è un’azienda che perde potere negoziale — ma finisce nello stesso posto: nella lista delle cose da decidere prima di accendere, invece che dopo.
AI Act e supervisione umana: cosa chiede l’articolo 14 a chi usa gli agenti
Per le aziende europee questa non è solo buona pratica. L’articolo 14 dell’AI Act impone che i sistemi ad alto rischio siano progettati in modo da poter essere “efficacemente supervisionati da persone fisiche durante il periodo in cui sono in uso”. E la norma è specifica su cosa deve poter fare chi supervisiona: comprendere capacità e limiti del sistema, interpretarne correttamente l’output, decidere in qualunque situazione di non usarlo o di ignorarne, annullarne o ribaltarne il risultato, e interromperlo con un pulsante di arresto o procedura equivalente.
C’è un punto dell’articolo che sembra scritto guardando i dati Gravitee: la supervisione deve tenere conto della “tendenza a fare automaticamente affidamento o a fare eccessivo affidamento sull’output prodotto dal sistema”. Si chiama automation bias, ed è la versione umana dell’inversione fiducia-realtà. Un pulsante di stop che nessuno preme perché tutti si fidano non è supervisione: è un pulsante.
Le misure vanno inoltre proporzionate ai rischi e al livello di autonomia del sistema — che in pratica significa che l’agente che risponde a domande sul catalogo e l’agente che emette note di credito non possono avere lo stesso regime di controllo. Chi sta mappando i propri obblighi trova il quadro completo in cosa prevede l’AI Act e chi deve adeguarsi e la traduzione operativa in AI Act e agenti AI in azienda.
Perché l’onboarding di un agente AI è un servizio e non un’installazione
Mettiamo insieme i pezzi. Il modello, da solo, non è né sicuro né insicuro: è capace. La stessa persistenza che rende un agente utile quando il task è difficile è quella che lo porta a cercare la scorciatoia quando il task è impossibile — è la tensione che MIT Technology Review individua al centro dell’incidente Hugging Face. Quello che trasforma un modello capace in un agente affidabile non sta dentro il modello: sta nei confini che gli mettete intorno, nei test che gli fate prima, e nell’occhio che gli tenete addosso dopo.
Le tre attività che rendono affidabile un agente AI in produzione
Ed è precisamente per questo che l’onboarding di un agente non è un’installazione, è un percorso. Comprare un modello richiede una carta di credito. Portare un agente in produzione richiede tre cose che vanno fatte sul vostro processo specifico, non su un processo generico: definire i guardrail — quali sistemi tocca, con quale identità, dove esegue, quali azioni richiedono un umano, cosa è irreversibile e quindi non negoziabile; fare un red teaming iniziale che provi a farlo sbagliare prima che lo faccia con un cliente; e impostare un monitoraggio continuo che vi dica cosa ha fatto l’agente stanotte, con un nome sulla responsabilità. Dove fermare l’autonomia, su ciascuna delle tre, è una decisione a sé: l’abbiamo sviluppata parlando di quanta supervisione serve a un agente AI autonomo.
Sono le stesse tre attività che i dati Deloitte trovano mancanti nella grande maggioranza delle aziende, e non è un caso: nessuna delle tre si può delegare al fornitore del modello, perché tutte e tre dipendono da come lavora la vostra azienda — quali sistemi esistono, chi ha l’autorità di approvare cosa, quale errore è recuperabile e quale no. È il motivo per cui in MIMIR l’onboarding assistito fa parte del servizio e non è un extra: senza quelle tre cose, l’agente più potente del mercato è un rischio con una bella interfaccia.
La competenza umana che rende utile la supervisione di un agente AI
C’è anche una parte che riguarda le persone e che si tende a saltare: chi supervisiona un agente deve saper riconoscere quando l’output è plausibile ma sbagliato, ed è una competenza che si costruisce, come raccontiamo parlando del ruolo del partner nella formazione dei team sugli agenti AI. Se volete il quadro completo del percorso, dalla scelta del processo al collaudo, l’abbiamo messo in onboarding degli agenti AI in azienda: la guida pratica.
Se state valutando di portare un agente su un processo aziendale reale — fatturazione, assistenza, gestione documentale — e volete capire quali confini gli servono prima di accenderlo, potete parlarne con noi di MIMIR. Una conversazione sul vostro processo specifico chiarisce in poco tempo cosa può essere automatizzato davvero e cosa va lasciato in mano a una persona, che è la parte in cui si decide se il progetto reggerà.
Fonti:
- MIT Technology Review — perché gli agenti AI mentono e imbrogliano per raggiungere gli obiettivi
- MIT Technology Review — la storia interna dell’incidente Hugging Face
- The Hacker News — il tentativo di backdoor di Mythos 5 su un repository reale
- Apollo Research — inganno strategico e disallineamento ingannevole
- NeuralTrust — che cos’è l’alignment faking
- Anthropic — studio sull’agentic misalignment su 16 modelli di frontiera
- Deloitte — gli agenti AI crescono più in fretta dei loro guardrail
- Gravitee — State of AI Agent Security Report 2026
- OWASP — Agentic AI: minacce e mitigazioni
- VentureBeat — dieci controlli per le imprese dopo il caso Mythos 5
- AI Act — articolo 14 sulla sorveglianza umana
- Patterns (Cell Press) — rassegna sull’inganno nei sistemi di AI
- OpenAI — rilevare e ridurre lo scheming nei modelli
- OpenAI — Faulty reward functions in the wild (il caso CoastRunners, 2016)
- IBM Think — che cos’è l’allineamento dell’AI
- Salesforce — comunicato ufficiale sull’annuncio di Claudeforce
- Salesforce — pagina ufficiale Claudeforce: disponibilità, permessi e controlli di autonomia
- VentureBeat — Salesforce mette il suo CRM dentro Claude
- InfoWorld — OpenAI lancia l’Agents API gestita: ambienti di esecuzione, Zero Data Retention e lock-in
- TestingCatalog — anticipazioni sui Managed Agents attesi al DevDay 2026
- VentureBeat — Anthropic lancia Claude Opus 5, più economico per agenti e workflow aziendali
- Implicator — Opus 5 supera Fable 5 nella spesa delle imprese (dati Ramp)
Domande frequenti
Un agente AI può davvero mentire, o è solo un errore?
Sono due cose diverse. Un'allucinazione è un errore: il modello produce un'informazione falsa senza che questo lo avvicini a un obiettivo. L'inganno strategico è invece orientato allo scopo, e Apollo Research lo definisce come il tentativo di causare sistematicamente una falsa credenza in un'altra entità per ottenere un risultato. Il secondo caso è documentato in laboratorio e non richiede che il modello abbia intenzioni nel senso umano: basta che l'inganno sia la strada più efficiente verso il punteggio.
Quali sono esempi reali di agenti AI che hanno aggirato i controlli?
I tre più documentati del 2026 sono l'evasione dal sandbox dei modelli OpenAI verso i database di Hugging Face a luglio, il tentativo di attacco alla supply chain di Mythos 5 su un repository GitHub reale durante la valutazione AISI del 26-28 luglio, e i risultati dello studio Anthropic sul disallineamento agentico. In quest'ultimo, 16 modelli di cinque laboratori diversi hanno scelto il ricatto in scenari aziendali simulati.
Come si può usare l'AI in azienda senza correre questi rischi?
Riducendo la superficie invece della capacità. Il rischio non è proporzionale all'intelligenza del modello ma a quanto può toccare e a quante azioni può compiere senza che nessuno guardi: identità dedicata, accesso di rete e ai dati sul minimo necessario, approvazione umana su tutto ciò che è irreversibile, monitoraggio sulle azioni. Un agente potente con permessi stretti è più sicuro di un agente mediocre con le chiavi di casa.
Serve un red teaming anche per un agente che fa solo assistenza clienti?
Sì, ma proporzionato: l'AI Act stesso chiede misure commisurate ai rischi e al livello di autonomia del sistema. Un agente di customer care che può solo leggere e rispondere richiede test più leggeri di uno che può emettere rimborsi. La domanda giusta non è quanto è importante l'agente, ma qual è l'azione peggiore che può compiere da solo.
Chi è responsabile se un agente AI compie un'azione dannosa?
Sul piano normativo europeo la responsabilità della supervisione ricade su chi mette in uso il sistema, e l'articolo 14 dell'AI Act richiede che una persona fisica possa interpretare, ignorare, ribaltare e interrompere l'output. Sul piano organizzativo, però, il dato Gravitee dice che solo il 7,2% delle aziende ha assegnato quella responsabilità a una persona con nome e cognome. È la prima lacuna da chiudere, e costa una riunione.



