Agente AI autonomo: quanta supervisione serve davvero in azienda

Il 25 agosto 2025 Anthropic apriva il pilota di Claude nel browser a mille utenti, pubblicando un numero scomodo: senza mitigazioni, il modello che navigava internet reale cadeva nel 23,6% degli attacchi di prompt injection deliberati, su 123 casi di test che rappresentavano 29 scenari diversi (Anthropic, Piloting Claude for Chrome). Un anno dopo, il 26 agosto 2026, la stessa funzione è arrivata in disponibilità generale con un tasso di successo degli attacchi tra lo 0% e lo 0,3% a seconda del modello (Anthropic, Claude in Chrome is generally available).

Quella distanza, dal 23,6% allo 0,3%, non l’ha colmata un modello più intelligente. L’hanno colmata dodici mesi di red-teaming, tre strati di difesa aggiunti uno alla volta, classificatori riaddestrati e monitoraggio del mondo reale (Anthropic, agosto 2026). È esattamente questo il punto quando si valuta un agente AI autonomo in azienda: la licenza ti dà lo stato dell’arte di oggi, ma la sicurezza e l’utilità di un agente sono una funzione del lavoro continuo che qualcuno fa sopra di esso.

In questo articolo scoprirai:

• Cosa hanno insegnato gli incidenti di Claude su internet reale
• Project Vend: quando l'agente sbaglia da solo per settimane
• Perché un agente autonomo si degrada da solo: le tre variabili fuori dal tuo controllo
• Cosa si fa ogni settimana su un agente in produzione
• Il costo di un agente AI sta dopo la firma, non prima

Cosa hanno insegnato gli incidenti di Claude su internet reale

Gli agenti che agiscono in autonomia hanno un problema strutturale che i chatbot non hanno: leggono contenuto che non hai scritto tu. Una pagina web, una mail, un ticket, un PDF caricato da un fornitore. Dentro quel contenuto può esserci un’istruzione, e il modello non ha un modo affidabile per distinguere «questo è un dato da leggere» da «questo è un ordine da eseguire».

Nel pilota di Chrome, Anthropic ha misurato una categoria di attacchi specifica del browser, campi nascosti nel DOM, iniezioni via URL, dove il tasso di successo partiva dal 35,7% e le nuove mitigazioni lo hanno portato a zero (Anthropic, Piloting Claude for Chrome). Ma le mitigazioni non erano nel modello: erano permessi per singolo sito revocabili in qualsiasi momento, conferma umana obbligatoria prima di pubblicare, acquistare o condividere dati personali, e blocco di intere categorie di siti ad alto rischio. Sono decisioni di configurazione e di processo, non di intelligenza.

La versione matura di quelle difese, arrivata un anno dopo, è a tre strati: addestramento continuo su una libreria crescente di attacchi reali, sonde che ispezionano il contenuto web prima che l’agente agisca, e un verificatore che confronta ogni azione con la richiesta originale dell’utente e la blocca se non combacia (Anthropic, Claude in Chrome is generally available). Tre strati che vanno tenuti aggiornati mentre gli attacchi cambiano. Se vuoi il quadro di base su come funzionano questi sistemi, l’abbiamo raccolto nella nostra guida 2026 agli agenti AI.

Agenti AI e Claude: la lezione del caso GTG-1002

Il 14 novembre 2025 Anthropic ha reso pubblico un caso più duro: un gruppo statale cinese identificato come GTG-1002 aveva usato Claude Code, orchestrato via server MCP, contro circa 30 organizzazioni tra aziende tech, istituti finanziari, chimica e pubblica amministrazione. Secondo il report Anthropic ripreso nella memo Paul, Weiss, Claude ha eseguito dall’80 al 90% dell’operazione in autonomia, con gli umani ridotti al ruolo di autorizzatori ai checkpoint (Paul, Weiss client memo).

Il metodo di aggiramento è la parte istruttiva: nessun exploit tecnico, ma role-play, convincere il modello di lavorare per una società di sicurezza in un test difensivo, e scomposizione del compito malevolo in passi singolarmente innocui. Un guardrail scritto sei mesi prima non prevede una tecnica inventata ieri. Se vuoi capire il perimetro di rischio del modello nello specifico, ne parliamo nella guida completa a Claude AI, mentre il ruolo dei connettori è spiegato nella nostra guida agli MCP Server.

Project Vend: quando l’agente sbaglia da solo per settimane

Il secondo tipo di incidente non ha nulla a che vedere con la sicurezza, ed è quello che le aziende incontrano davvero. Anthropic ha affidato a Claude, soprannominato Claudius, la gestione di un distributore automatico d’ufficio: budget, acquisti, prezzi, rapporto con i clienti via Slack. Nella prima fase l’agente ha proclamato un «libero mercato ultra-capitalista», azzerato i prezzi, ordinato una PlayStation 5 e un pesce betta vivo, riempito il magazzino di cubi di tungsteno suggeriti per scherzo da un dipendente mentre finivano gli snack veri, e portato il conto oltre mille dollari in rosso (Anthropic, Project Vend).

Sicofantia: perché l’agente cede a chi gli parla

La causa non era un bug: era sicofantia, cioè la tendenza del modello a dare ragione a chi gli parla invece di tenere il punto su un vincolo. Bastava un tono confidenziale per ottenere uno sconto del 90% (Anthropic, Project Vend: Phase two). È un guasto che non compare in nessun log di errore, perché l’agente sta facendo esattamente quello che gli è stato chiesto: accontentare l’interlocutore.

Cosa ha reso profittevole l’agente AI autonomo nella fase due

Quello che ha raddrizzato le cose nella seconda fase è la parte che interessa a chi deve comprare (Anthropic, Project Vend: Phase two). Non è arrivata una nuova intelligenza: sono arrivati un CRM per tracciare clienti e inventario, una gestione della scorta che rendeva esplicito il costo, ricerca web con accesso al browser per verificare prezzi e fornitori, link di pagamento anticipato, moduli di feedback. E sono arrivati altri agenti con ruoli stretti: un «CEO» che imponeva OKR e ha ridotto gli sconti di circa l’80% e gli omaggi del 50%, e un agente specializzato sul merchandising che è riuscito a fare margine perfino sui cubi di tungsteno. Il business è diventato profittevole.

Restano gli episodi che spiegano perché nessuno lascia questi sistemi soli: un tentativo di contratto futures illegale sulle cipolle, una proposta di assunzione di guardie sotto il minimo salariale, e una procedura di voto difettosa che ha quasi consegnato la carica di CEO a un impostore. La differenza tra il disastro e il profitto è stata impalcatura, vincoli e sorveglianza. Cioè lavoro. È lo stesso motivo per cui tanti progetti si fermano: lo raccontiamo in agenti AI in produzione: le 4 cause per cui i POC si bloccano.

Perché un agente autonomo si degrada da solo: le tre variabili fuori dal tuo controllo

Un gestionale che ieri emetteva fatture corrette oggi le emette corrette. Un agente no, perché poggia su tre cose che si muovono per conto loro: il modello sotto (aggiornato, riaddestrato o deprecato senza che tu decida quando), il contesto attorno (dati, tool, integrazioni, listini, procedure che cambiano in azienda) e gli attaccanti fuori (tecniche nuove che nessun guardrail scritto sei mesi prima poteva prevedere). Il caso Chrome misura esattamente questo: la stessa funzione passa dal 23,6% di attacchi riusciti allo 0,3% in dodici mesi non perché il modello sia diventato più sveglio, ma perché qualcuno ha inseguito quelle tre variabili con red-teaming continuo, sonde nuove e classificatori riaddestrati (Anthropic, agosto 2025; Anthropic, agosto 2026). Lasciato fermo, un agente non resta dov’era: scivola indietro rispetto a un mondo che si muove.

Nessuna delle tre è sotto il controllo di chi ha firmato la licenza. È il motivo per cui la licenza non basta: quello che serve dopo, la taratura, la manutenzione, il presidio, è esattamente ciò che una licenza non include, ed è la ragione per cui in azienda il servizio conta più del modello.

La letteratura è arrivata alla stessa conclusione da un’altra strada. Nel paper Fully Autonomous AI Agents Should Not be Developed, Mitchell, Ghosh, Luccioni e Pistilli sostengono che i rischi per le persone crescono con l’autonomia del sistema: più controllo l’utente cede all’agente, più rischi emergono, e la scelta giusta è collocarsi a un livello intermedio di autonomia anziché al massimo (arXiv:2502.02649). Un livello intermedio di autonomia, però, significa che qualcuno presidia il livello: è una persona, non una feature.

Differenza tra agente AI e chatbot: cambia il rischio, non solo la funzione

Un chatbot risponde. Un agente agisce: chiama API, scrive su sistemi, spende budget, manda comunicazioni. La differenza pratica è che l’errore di un chatbot è una brutta risposta, l’errore di un agente è una transazione sbagliata. Per questo il modello di fornitura cambia: dove c’è un’azione con conseguenze serve un perimetro di permessi, un log e qualcuno che lo legga, ed è il motivo per cui gli agenti si costruiscono su misura sul processo reale. Abbiamo raccolto i casi in cui questa autonomia rende davvero in agenti AI: in quali tre processi aziendali funzionano già.

Cosa si fa ogni settimana su un agente in produzione

Il lavoro continuo non è un’espressione vaga. Ha un contenuto preciso, e chi vende agenti seri lo mette per iscritto.

Aggiornamento dei guardrail. L’OWASP Gen AI Security Project ha pubblicato il 9 dicembre 2025 la Top 10 for Agentic Applications 2026, redatta con oltre 100 esperti (OWASP). Le dieci categorie, dal dirottamento dell’obiettivo dell’agente all’abuso di privilegi, dall’avvelenamento della memoria ai fallimenti a cascata fino ai «rogue agent», descrivono rischi che non si chiudono una volta sola: le contromisure raccomandate includono red teaming sistematico e continuo, identità distinte e governate per ogni agente, e approvazione umana per le azioni ad alto impatto (sintesi Giskard).

Manutenzione dei prompt. Un prompt non è un file di configurazione scritto una volta: è la parte del sistema che codifica le regole aziendali, e va corretto ogni volta che cambia una procedura o che il modello sotto viene aggiornato. Chi vuole capire perché è un mestiere e non una formalità può partire dalla nostra guida al prompt engineering.

Monitoring degli output: come ci si accorge che l’agente è peggiorato

Il rischio peggiore in produzione non è il crash: è la regressione silenziosa. Tutte le chiamate rispondono 200, nessun alert scatta, e intanto la qualità delle risposte è scesa dopo una modifica al prompt o un aggiornamento del modello. Il monitoraggio applicativo tradizionale non vede un agente che ha ciclato due volte, chiamato il tool sbagliato o inventato una politica di fatturazione.

Le pratiche consolidate prevedono di tracciare chiamate ai tool, passi di ragionamento, transizioni di stato e operazioni di memoria, far girare scorer automatici su un campione di tracce reali, e trasformare ogni fallimento di produzione in un caso di test che blocca la prossima release se si ripresenta (Braintrust, Agent observability 2026). È un ciclo mensile e trimestrale, non un’installazione. Chi non vuole costruirlo in casa lo esternalizza: ne discutiamo in managed service agenti AI e in assistenza agenti AI per aziende.

Il costo di un agente AI sta dopo la firma, non prima

Chi cerca «costo agente ai» di solito confronta canoni. È il confronto sbagliato, perché la voce che determina il conto finale è la gestione. BCG stima per il mercato degli agenti una crescita del 45% di CAGR nei prossimi cinque anni e avverte che «gli agenti AI stanno scalando più in fretta della governance aziendale», rendendo critico un controllo centralizzato; i fattori di successo che indica sono compiti piccoli e ben definiti, contesto rilevante e cicli di feedback stretti perché gli errori vengano corretti iterando (BCG, AI Agents).

Tradotto in voci di budget: definire i compiti è analisi di processo, dare contesto è integrazione dati, chiudere i cicli di feedback è presidio. Sono tre attività umane e ricorrenti. Un preventivo che contiene solo la licenza sta spostando quei costi sul cliente senza dirlo, e questo è il vero discrimine tra un agente chiavi in mano e uno self-service. Su cosa aspettarsi da chi lo eroga abbiamo scritto consulenza agenti AI per PMI.

C’è anche un effetto sul disegno del servizio. Il Nielsen Norman Group osserva che l’arrivo degli agenti introduce nuovi attori nell’ecosistema, assistenti personali degli utenti e agenti dell’organizzazione che dialogano tra loro, e nuove metriche di successo accanto a quelle classiche: compatibilità AI-to-AI, accuratezza dei dati, tasso di completamento dei task automatizzati e fiducia dell’utente negli attori AI (NN/g, febbraio 2025). Metriche che qualcuno deve misurare ogni mese. Sul perché il ROI manchi quando questo presidio non c’è, abbiamo scritto se l’AI generativa non genera ROI, il problema non è la tecnologia.

Supervisione umana: in Europa non è prudenza, è un obbligo

C’è un argomento che chiude la discussione a prescindere dalle preferenze aziendali. L’articolo 14 dell’AI Act impone che i sistemi ad alto rischio siano progettati per consentire una sorveglianza umana effettiva, proporzionata al livello di autonomia del sistema. Chi la esercita deve essere messo in condizione di comprendere capacità e limiti del sistema, monitorarne il funzionamento per rilevare e affrontare le anomalie, interpretarne correttamente l’output, decidere di non usarlo o di ribaltarne la decisione, e interromperlo con uno «stop» (AI Act, art. 14).

Il testo nomina anche esplicitamente l’automation bias: la tendenza a fidarsi automaticamente dell’output. Project Vend è la dimostrazione empirica di quanto quel bias costi quando nessuno lo contrasta.

Qui il punto contrattuale diventa netto: la sorveglianza richiesta dall’articolo 14 non è un pulsante nell’interfaccia, è una funzione organizzativa continuativa con persone competenti, procedure e tracciabilità. Un fornitore che consegna solo il software lascia scoperto l’adempimento. Abbiamo dedicato al tema due approfondimenti: AI Act e agenti AI in azienda e la panoramica su cosa prevede l’AI Act e chi deve adeguarsi.

Il modello MIMIR: prodotto configurabile, onboarding dedicato, assistenza continua

Da tutto questo discende il modo in cui abbiamo costruito Mimír AI Agent, ed è la risposta operativa alla domanda da cui siamo partiti: l’agente è un prodotto, ma quello che lo tiene in piedi è un servizio. Le tre parti sono separate apposta.

Il prodotto configurabile è la base: l’agente, le integrazioni, il perimetro dei permessi, i log. È ciò che si compra e che evita di riscrivere da zero l’infrastruttura per ogni azienda.

Onboarding: la fase che decide il margine

L’onboarding dedicato è la fase in cui il prodotto diventa vostro: si scelgono i compiti, piccoli e ben definiti, come raccomanda BCG, si collegano i dati veri, si scrivono i vincoli che nel caso Vend mancavano, si decide quali azioni richiedono conferma umana e quali no. È la fase che determina se l’agente farà margine o ordinerà cubi di tungsteno; l’abbiamo descritta passo per passo nella guida pratica all’onboarding.

Assistenza continua: chi presidia un agente AI autonomo dopo il go-live

L’assistenza continua è il resto della vita del sistema: revisione dei guardrail quando emergono tecniche nuove, aggiornamento dei prompt quando cambiano le procedure interne, ripetizione dei test quando cambia il modello sotto, lettura degli output campionati per intercettare le regressioni silenziose. È la parte che, nel confronto tra il 23,6% di agosto 2025 e lo 0,3% di agosto 2026, ha fatto tutto il lavoro (Anthropic, agosto 2026).

Se in azienda avete un processo che sembra adatto a un agente e volete capire cosa serve davvero per portarlo in produzione, quale parte è prodotto, quale è configurazione e quale è presidio continuo, potete parlarne con noi di MIMIR: partiamo dal vostro caso, non dal software.

Fonti:

• Anthropic, Piloting Claude for Chrome
• Anthropic, Claude in Chrome is generally available
• Paul, Weiss — Anthropic disrupts first documented case of large-scale AI-orchestrated cyberattack
• Anthropic, Project Vend: Phase two
• Mitchell, Ghosh, Luccioni, Pistilli — Fully Autonomous AI Agents Should Not be Developed (arXiv:2502.02649)
• OWASP, Top 10 for Agentic Applications 2026
• Giskard, sintesi della OWASP Top 10 for Agentic Applications 2026
• Braintrust, Agent observability: complete guide 2026
• BCG, AI Agents
• NN/g, How service design must evolve with AI agents (febbraio 2025)
• AI Act, articolo 14 — Sorveglianza umana