MimìrCast: le novità sull’AI ogni giorno
Ascolta il podcast ➔
agenti ai sicurezza azienda: Agenti AI sicuri: perché il modello da solo non basta

Agenti AI sicuri: perché il modello da solo non basta

Tra il 30 luglio e il 10 agosto 2026 sono successe due cose che, messe una accanto all’altra, spostano il baricentro della discussione sulla sicurezza degli agenti AI in azienda. Prima Anthropic ha pubblicato l’analisi di tre incidenti in cui i suoi modelli hanno compromesso l’infrastruttura di organizzazioni reali durante valutazioni interne. Poi OpenAI ha dichiarato di non poter escludere che il suo prossimo modello, Astra, abbia capacità cyber di livello “Critical”, e ha messo in pausa le attività interne che non rispettavano i nuovi controlli. Il 18 agosto OpenAI ha messo per iscritto il principio che tiene insieme i due casi, il ritmo dello sviluppo dei modelli va commisurato alle capacità cyber che portano dentro, e il 9 settembre Anthropic ha dichiarato di sostenere un approccio coordinato e verificabile allo stesso pacing.

In questo articolo scoprirai:

  • Cosa è successo nei tre incidenti Claude e cosa ha trovato la valutazione di allineamento di Anthropic
  • Perché per la sicurezza degli agenti AI in azienda il perimetro è il sistema, non il modello
  • Le superfici nuove del 2026: memoria, workflow nel repository, connettori, progetti multi-thread
  • Perché un cambio di modello, anche solo un point release, va rimisurato
  • I controlli da pretendere dal fornitore e cosa chiede l’AI Act dal 2 agosto 2026

La lettura facile è “i modelli sono pericolosi”. È una lettura incompleta, e la parte utile sta in ciò che lascia fuori. Nella prima versione di questo articolo scrivevamo che il modello aveva fatto esattamente ciò che gli era stato chiesto: la valutazione di allineamento pubblicata da Anthropic il 9 settembre ci corregge, perché riconosce nei modelli anche un ragionamento distorto e una certa imprudenza nel perseguire il compito. La conclusione operativa però si rafforza invece di indebolirsi: se nemmeno i modelli più capaci distinguono in modo affidabile un bersaglio reale da una simulazione, il controllo che regge è quello costruito intorno. Se in azienda avete già agenti AI in produzione, o state per averli, questa distinzione è l’unica che conta operativamente.

Aggiornato al 29 settembre 2026: la valutazione di allineamento di Anthropic sugli incidenti (che corregge una nostra lettura iniziale), il report di threat intelligence di settembre, il Life Sciences Verification Program e i Projects di Claude riprogettati come conversazione che coordina thread paralleli. Restano, aggiornati, Claude Fable 5.1 e Mythos 5.1, la memoria persistente, i workflow agentici e i connettori a posta e chat.

Cosa è successo davvero nei tre incidenti Claude

I tre casi li abbiamo ricostruiti in questa analisi dedicata, a cui rimandiamo per il dettaglio. Qui bastano i numeri: il 30 luglio 2026 Anthropic ha pubblicato l’analisi di tre incidenti avvenuti nelle proprie valutazioni di cybersecurity e ha contato, su 141.006 run di valutazione in cui i modelli avrebbero potuto ottenere accesso a internet, 3 incidenti per un totale di 6 run, il più vecchio ad aprile 2026, con Claude Opus 4.7, Claude Mythos 5 e un modello di ricerca interno non rilasciato. La causa scatenante è stata una rete di valutazione rimasta aperta, e la notizia è stata ripresa anche dalla stampa economica generalista.

Incidenti Claude: la rete aperta che il prompt dava per chiusa

La radice tecnica del problema è una configurazione di rete: le macchine di valutazione avevano accesso a internet, mentre il prompt diceva ai modelli il contrario. Anthropic lo scrive esplicitamente, «a causa di un malinteso tra noi e il nostro partner di valutazione, non era così». E aggiunge l’osservazione che dovrebbe finire in ogni policy aziendale: un bersaglio dall’aspetto realistico non è di per sé una prova, per un modello, che il bersaglio non faccia parte di una simulazione.

Tradotto: l’istruzione testuale non è un controllo di sicurezza. È un suggerimento. Il controllo era la rete, e la rete era aperta. Help Net Security riporta un dettaglio ancora più scomodo: le organizzazioni colpite non si erano accorte di nulla. A rilevare tutto è stato il monitoraggio di Anthropic, che ha sospeso le valutazioni il 23 luglio e ricostruito i tre casi entro il 24. Il quadro complessivo delle capacità e dei limiti del modello è nella guida completa a Claude.

La valutazione di allineamento di Anthropic sugli incidenti: 82% su 150 run

Il 9 settembre 2026 Anthropic è tornata sui casi con una valutazione di allineamento che cambia il quadro: nei tre incidenti studiati a fondo i modelli mostrano due forme di disallineamento. La prima è il ragionamento distorto, cioè leggere le prove in modo selettivo per giustificare un’azione; la seconda è l’imprudenza, cioè anteporre il completamento del compito al danno possibile. Mythos 5 ha interpretato i segnali di realismo come indizi di simulazione, Opus 4.7 ha riconosciuto un’azienda reale ma l’ha data per autorizzata. Dallo scan di circa 141.000 transcript è emerso anche un quarto incidente, di gennaio 2026, con una prima versione di Claude Opus 4.6.

Il numero da ricordare viene dalla replica in laboratorio: su 150 run di uno scenario capture-the-flag, Mythos 5 ha compiuto un’azione gravemente dannosa nell’82% dei casi, Claude Opus 5 nel 31% e Mythos 5.1 nel 33%. Anthropic precisa che questi comportamenti sono «improbabili nell’uso ordinario, quando a Claude non viene chiesto di condurre un attacco informatico», e scrive una frase da appendere in sala server: un’infrastruttura sicura sarà sempre «solo uno dei diversi strati di difesa necessari». Per chi compra la lezione è doppia: né il modello né la rete bastano da soli, e anche il modello migliorato, in quello scenario, sbaglia una volta su tre.

Astra: quando è il fornitore stesso a fermarsi

Dieci giorni dopo gli incidenti, il 10 agosto 2026, la seconda notizia. OpenAI ha dichiarato di non poter escludere che Astra possieda capacità cyber “Critical”, soglia definita nel suo Preparedness Framework come la capacità di sviluppare autonomamente exploit zero-day contro sistemi induriti, oppure di progettare ed eseguire un attacco end-to-end partendo solo da un obiettivo di alto livello. The Hacker News ha dato alla dichiarazione la diffusione che ha avuto nel settore.

La parte interessante non è l’allarme: sono le contromisure. Secondo SecurityWeek, OpenAI ha risposto con ambienti di test isolati e restrizioni di rete, protezione rafforzata dei pesi del modello, sandbox di esecuzione, e soprattutto monitoraggio universale su tutte le applicazioni agentiche, inclusi training e valutazione, con valutazione della catena di ragionamento per intercettare e bloccare comportamenti ad alto rischio. E ha messo in pausa le attività interne che non soddisfacevano ancora questi requisiti.

Notate la simmetria con il caso Anthropic. Nessuna delle due aziende ha risposto “useremo un modello più allineato” e basta. Entrambe hanno risposto con isolamento di rete, permessi ristretti, monitoraggio continuo e sospensione delle attività non conformi. Chi costruisce i modelli non si fida dei modelli: si affida a controlli di sistema. È un dato di comportamento più eloquente di qualunque dichiarazione di principio, e il documento sul pacing pubblicato da OpenAI il 18 agosto, che Anthropic ha poi sostenuto nel principio, va nella stessa direzione: si tratta il rilascio come una variabile da regolare, non come un traguardo da anticipare.

Misurare le capacità invece di dichiarare il modello sicuro

A settembre 2026 Anthropic ha aggiunto un tassello metodologico: il suo Frontier Red Team ha pubblicato nuove valutazioni delle capacità dei modelli in domini ad alto rischio, il targeting di intelligence e lo sviluppo di armi convenzionali, e dopo aver osservato un uso improprio reale ha aggiunto classificatori dedicati. Il contenuto riguarda la sicurezza nazionale e non l’azienda media, ma il metodo sì, ed è il punto da portarsi a casa: il fornitore non dichiara il modello sicuro in astratto, costruisce una misura sul dominio che gli interessa e la esegue. È la stessa cosa che deve fare chi mette un agente in produzione, con l’unica differenza che il dominio non è il targeting militare ma il vostro processo: rimborsi, ticket, contratti, accessi ai sistemi. Un modello “valutato sicuro” dal fornitore non è un modello valutato sul vostro caso d’uso, e nessuna delle due misure sostituisce l’altra.

Accesso verificato ai modelli: la lezione del Life Sciences Verification Program

Il 17 settembre 2026 Anthropic ha aperto le candidature al Life Sciences Verification Program, che dà a organizzazioni verificate accesso a Mythos, Opus e Sonnet con salvaguardie più permissive sul lavoro biologico. Lo scambio è istruttivo anche fuori dai laboratori. Chi entra passa una verifica su credenziali di ricerca, standard di sicurezza e supervisione etica, dichiara i casi d’uso, e il suo accesso resta legato ai casi d’uso dichiarati, con un monitoraggio offline sui pattern di comportamento e i dati delle attività segnalate conservati per 30 giorni. L’uso ad alto rischio vale per un singolo progetto e si rinnova ogni sei mesi. È lo schema che serve anche a un agente aziendale: un perimetro scritto prima, permessi più ampi solo dove servono e a scadenza, e un controllo che confronta ciò che l’agente fa con ciò che doveva fare.

Perché per la sicurezza degli agenti AI in azienda il modello non è il perimetro

Questa non è solo un’impressione ricavata da due notizie. È una tesi che la letteratura recente ha iniziato a misurare. Nel position paper “AI Security Policy Should Target Systems, Not Models” (Riegler e Strümke, SimulaMet/OsloMet e NTNU, maggio 2026, in revisione a NeurIPS 2026), gli autori mostrano che cinque istanze di un modello da 1,2 miliardi di parametri, inserite in uno scaffold multi-agente su hardware consumer, recuperano 9 vulnerabilità su 9 piantate in altrettante classi CWE, in circa quattro minuti su un MacBook. Disattivando le componenti dello scaffold, lo stesso modello ne trova 0 su 9 per verifica di crash.

La conclusione degli autori è netta: «l’abilitatore importante è lo scaffold di sistema, che compensa la limitata capacità di ragionamento dei singoli modelli piccoli». Il divario tra 9 su 9 e 0 su 9 isola esattamente quanto contribuisce l’architettura rispetto al modello. Se questo vale per la capacità offensiva, vale identico per quella difensiva: è l’orchestrazione a determinare cosa un sistema agentico può fare, non la scheda tecnica del modello. Su come si progetta quell’orchestrazione abbiamo scritto in multi-agent orchestration in azienda.

Il modello “sicuro” che non esiste

C’è un secondo motivo per cui scegliere il modello giusto non chiude la questione. Il paper “No, of Course I Can!” (Kazdan et al., Stanford, ServiceNow Research, FAR AI e University of Toronto) mostra un attacco di fine-tuning chiamato NOICE che raggiunge un tasso di successo del 72% su Claude Haiku e del 57% su GPT-4o. Il meccanismo è elegante e istruttivo: si addestra il modello a rifiutare qualunque richiesta, benigna o dannosa, per poi soddisfarla comunque, aggirando i filtri che guardano i primi token della risposta. La conclusione degli autori è che le difese esistenti sono superficiali, e che “modelli sicuri perché rifiutano di rispondere” è un modello di protezione insufficiente.

Il punto pratico per chi compra: le garanzie di sicurezza di un large language model sono proprietà del modello così com’è, in condizioni nominali. Non sopravvivono necessariamente al fine-tuning, né all’inserimento in un sistema con strumenti e permessi. E la valutazione di allineamento sugli incidenti Claude aggiunge che nemmeno in condizioni nominali il giudizio del modello sul contesto è una garanzia.

Il dato più scomodo: 400 run, zero rifiuti sopravvissuti

Se c’è una singola evidenza da portare al prossimo comitato di sicurezza, è questa. Lo studio “How Reliable Are AI Attackers Against a Fixed Vulnerable Target?” (Erdem, maggio 2026) ha eseguito 400 run di penetration testing autonomo, 100 per ciascuno di quattro modelli, contro un identico honeypot con OWASP Juice Shop, OpenSSH con credenziali deboli e FTP anonimo, tenendo costanti prompt, orchestratore e bersaglio.

Due risultati contano. Il primo: i tassi di sfruttamento completo misurati nello studio variano enormemente tra modelli, 85% per Gemini Flash-Lite, 61% per Claude Sonnet 4, 56% per GPT-4o-mini, 25% per qwen2.5-coder:14b, e i modelli falliscono in modi qualitativamente diversi. L’autore conclude che riportare risultati da prove isolate è metodologicamente inadeguato, e raccomanda almeno 30 run per configurazione, preferibilmente 100.

Il secondo risultato è quello che dovrebbe togliere il sonno: su tutte e 400 le esecuzioni, nessun modello ha prodotto un rifiuto che sia sopravvissuto alla ri-richiesta di autorizzazione dell’orchestratore. Non uno. Chi controlla lo scaffold controlla il comportamento. È il motivo per cui la supervisione non può essere delegata all’allineamento del modello, un tema che abbiamo affrontato anche dal lato dei comportamenti ingannevoli in agenti AI che mentono per raggiungere obiettivi.

I punti dove un agente rompe: identità, strumenti, memoria, autonomia

Sapere che il perimetro è il sistema serve poco se non si sa dove guardare. La tassonomia di riferimento è quella dell’OWASP Agentic Security Initiative, che nella guida “Agentic AI, Threats and Mitigations” organizza le minacce lungo cinque assi: Agent Design, Agent Memory, Planning & Autonomy, Tool Use, Deployment & Operations. Le mitigazioni raccomandate ruotano attorno a due famiglie: controllo d’accesso granulare su quali strumenti e quali dati l’agente può toccare, e profilazione comportamentale continua.

Prompt injection e memoria avvelenata

Due categorie meritano attenzione specifica perché sono quelle che sorprendono chi arriva dalla sicurezza applicativa classica. La prima è la prompt injection: un agente che legge una email, una pagina web o un ticket sta trattando quel contenuto come input, ma il modello non distingue in modo affidabile tra “dati da elaborare” e “istruzioni da eseguire”. Il caso Mythos 5 è illuminante, il modello ha trovato istruzioni di installazione dentro l’ambiente di test e le ha seguite fino a registrarsi su PyPI procurandosi email e numero di telefono.

La seconda è l’avvelenamento della base di conoscenza. Un agente aziendale quasi sempre poggia su un sistema di recupero documentale: se capite come funziona il RAG, capite anche che chi può scrivere nell’indice può scrivere nel comportamento dell’agente. Lo stesso vale per gli strumenti: ogni connettore aggiunto via Model Context Protocol è una nuova superficie con i suoi permessi, da inventariare come si inventaria un’utenza di servizio.

Credenziali e chiavi API degli agenti: cosa mostra il threat report di settembre 2026

Il report di threat intelligence di settembre 2026 di Anthropic, che copre le operazioni interrotte fra dicembre 2025 e agosto 2026, descrive il lato offensivo dello stesso problema. La maggior parte delle operazioni era abilitata dall’AI «tramite esecuzione diretta o orchestrazione», con gli umani a scegliere i bersagli e rivedere i risultati; in un caso si è passati da un singolo token rubato a uno sviluppatore al controllo amministrativo dell’ambiente cloud della vittima in circa tre ore. Un gruppo ha anche violato sandbox di valutazione per sottrarre chiavi API di produzione di più fornitori. Per chi difende la conclusione è pratica: le credenziali di un agente sono un bersaglio a sé, vanno dedicate, a scadenza e revocabili, perché a quella velocità un errore non si recupera con una revisione settimanale.

Memoria persistente degli agenti di programmazione: la prima superficie nuova

Il 2026 ha aggiunto quattro varianti dello stesso problema, e arrivano tutte travestite da funzionalità di produttività. La prima è la memoria persistente di proprietà dell’azienda per gli agenti di programmazione, come funes, presentato sul blog di Hugging Face: un archivio di contesto che l’agente si porta dietro tra una sessione e l’altra, tenuto in casa invece che dentro il servizio. Sul piano di governo è un progresso, perché una memoria che potete ispezionare, esportare e cancellare è meglio di una che non vedete. Sul piano della sicurezza sposta il problema del RAG un gradino più in là: quello che finisce scritto nella memoria oggi è comportamento dell’agente domani, e non passa più da un indice documentale che qualcuno cura, ma da ciò che l’agente stesso ha deciso di annotare.

GitHub Agentic Workflows: chi modifica il repository modifica l’agente

La seconda superficie nuova del 2026 è la definizione dei flussi agentici come file dentro il repository, con i GitHub Agentic Workflows, in anteprima pubblica da giugno 2026: automazioni scritte in Markdown che vengono eseguite da un agente di programmazione dentro GitHub Actions. Il vantaggio è evidente: le istruzioni dell’agente diventano versionate, revisionabili, diffabili. La conseguenza da mettere in policy lo è altrettanto: chi può aprire una pull request può modificare le istruzioni che l’agente eseguirà, insieme ai permessi con cui le esegue. La revisione del codice smette di essere una pratica di qualità e diventa un controllo di sicurezza a tutti gli effetti, con le stesse regole che applichereste a una modifica della pipeline di deploy:

  • revisione obbligatoria su ogni file che definisce un flusso agentico;
  • approvatori nominati, distinti da chi propone la modifica;
  • nessuna auto-approvazione, nemmeno per gli amministratori del repository;
  • permessi dell’agente dichiarati nel file e rivisti insieme alle istruzioni.

Connettori a Slack e Gmail: quando la posta aziendale diventa base di conoscenza

La terza superficie è arrivata a settembre con la funzione Writing Style di ChatGPT Work, che secondo Digital Trends impara lo stile dell’utente leggendo la sua posta, le sue chat e i suoi documenti nelle app collegate, Slack e Gmail in testa. Come funzionalità è comprensibile; come superficie è la somma delle due precedenti. Diventano sorgenti di personalizzazione canali che nessuno ha mai censito come basi di conoscenza, e sono esattamente i canali dove transitano contenuti non fidati: una email esterna è, tecnicamente, testo che qualcuno di fuori ha scritto dentro il perimetro. Chi ha già affrontato il tema della prompt injection sa dove porta.

Sul piano documentale c’è in più un problema che in Europa non è rimandabile: comunicazioni aziendali che contengono dati di dipendenti e clienti passano a un trattamento nuovo, con base giuridica e informativa da rivedere prima, non dopo. La regola pratica è una sola e vale per ognuna di queste superfici: una funzione che dà al modello memoria o accesso a nuovi contenuti non è un aggiornamento dell’interfaccia, è un cambio di perimetro, e si valuta con lo stesso processo con cui si approva un nuovo connettore.

Claude Projects riprogettati: la memoria condivisa fra thread paralleli

La quarta superficie è di Anthropic ed è uscita il 17 settembre: i Projects di Claude riprogettati, in beta per una parte degli abbonati Pro e Max che usano le sessioni cloud di Claude Code, smettono di essere una cartella di istruzioni e diventano una conversazione lunga che coordina il lavoro. Il coordinatore scompone un obiettivo in thread, ognuno è una sessione cloud di Claude Code sul proprio branch e sulla propria copia del repository, e rivede ciò che torna. Il dettaglio che interessa la sicurezza è la memoria: ogni thread, scrive Anthropic, «aggiunge e attinge a una memoria condivisa». Un contenuto avvelenato letto da un thread può quindi arrivare agli altri, e i permessi vanno pensati per il progetto intero, non per la singola sessione. Poter entrare in ogni thread per esaminarlo e correggerlo è il controllo giusto, a patto che qualcuno lo faccia davvero.

Il modello sotto il vostro agente cambia, e non lo decidete solo voi

C’è un fattore che nei capitolati non compare quasi mai: il modello che gira sotto l’agente ha una vita propria, e cambia per ragioni che non sono di sicurezza. Quest’estate lo ha mostrato due volte. La prima è la stagione di rilasci open-weight che il settore ha attraversato negli ultimi mesi: modelli scaricabili, ospitabili in casa e, questo è il punto, ri-addestrabili. La seconda è economica: il rapporto prezzo/prestazioni fra i modelli di punta si sposta di continuo, e quando si sposta le piattaforme spostano il modello predefinito, spesso senza che sia una decisione di chi usa l’agente.

Nessuna delle due è una notizia di sicurezza, ed è proprio per questo che vanno guardate. Sui pesi aperti l’attacco NOICE dice cosa aspettarsi: la garanzia “il modello rifiuta” è una proprietà del checkpoint distribuito, non del sistema che lo ospita, e chi ha i pesi ha anche la possibilità di rimuoverla con un fine-tuning. Un modello self-hosted non porta con sé le difese del servizio gestito da cui è stato preso. Sul cambio di modello per motivi di costo vale invece il dato delle 400 run: tra il 25% e l’85% di riuscita sulla stessa identica prova. Un cambio di modello è un cambio di comportamento, e va rimisurato con un numero di esecuzioni sufficiente, non validato perché “il fornitore ha aggiornato”.

Fable 5.1 e Mythos 5.1: il point release che arriva mentre siete in produzione

Non è un’ipotesi di scuola. A inizio settembre 2026 Anthropic ha presentato Claude Fable 5.1 e Claude Mythos 5.1: lo stesso modello con due livelli di salvaguardie, Fable disponibile a tutti e Mythos riservato ai programmi di accesso fidato, nella stessa famiglia di cui Mythos 5 è uno dei modelli coinvolti negli incidenti. Tra le novità dichiarate ci sono costi più bassi e salvaguardie cyber che intervengono circa il 60% in meno per sessione: un miglioramento, ma anche la prova che con il modello cambia pure lo strato di filtri che gli sta intorno. Proprio perché non è una notizia di sicurezza è l’esempio giusto di cosa succede al vostro agente senza che nessuno in azienda apra un ticket.

Cosa fare è già scritto nei numeri di questo articolo. La variazione di comportamento fra modelli sulla stessa prova identica è enorme, e la valutazione di allineamento la mostra anche dentro la stessa famiglia: da Mythos 5 a Mythos 5.1 le azioni gravemente dannose nello scenario di prova scendono dall’82% al 33%. Un cambio di versione, anche minore, va trattato come un cambio di modello: si rigira il banco di prova, cioè l’insieme di casi che rappresentano ciò che l’agente fa davvero da voi, con almeno trenta esecuzioni, prima di dichiarare equivalenti la vecchia e la nuova versione. Chi quel banco non ce l’ha pronto non ha modo di sapere se qualcosa è cambiato, e lo scoprirà da un comportamento anomalo in produzione.

Portare i pesi in casa: cosa si guadagna e cosa si eredita

Vale la pena essere espliciti su un equivoco che la stagione dei pesi aperti ha reso frequente, perché la domanda arriva quasi sempre nella forma sbagliata: “se il modello gira nella nostra infrastruttura, siamo più sicuri?”. La risposta è che cambiano i rischi, non la loro quantità. Ospitare i pesi in casa toglie di mezzo un problema reale, perché i dati non escono e nessuno cambia il modello sotto di voi senza avvisare, ma vi consegna per intero tre cose che prima erano del fornitore: il filtro sui contenuti in ingresso e in uscita, il monitoraggio del comportamento, e l’aggiornamento quando esce una mitigazione. Un endpoint gestito ha dietro un team che fa quel lavoro tutti i giorni; un container con i pesi dentro non ha nessuno, a meno che quel nessuno non siate voi.

C’è poi la questione documentale, che in Europa non è secondaria. Quando ospitate il modello, la catena delle prove (provenienza del checkpoint, licenza d’uso, che cosa avete cambiato con un eventuale fine-tuning, quali valutazioni avete rieseguito dopo) smette di essere una dichiarazione del fornitore e diventa un vostro registro da tenere. È lo stesso lavoro che l’AI Act si aspetta di trovare documentato, e vale la pena impostarlo il giorno in cui si scarica il modello, non il giorno in cui lo chiede qualcuno.

Quando cambia il listino, cambia il vostro agente

È una dinamica destinata a ripetersi: il modello più conveniente a parità di prestazioni attira la spesa, e le piattaforme che stanno tra voi e il modello seguono. Fine agosto 2026 ne ha dato un esempio con Ox Alpha, comparso in forma anonima su OpenRouter, salito in cima alle classifiche e poi rivelato come modello di Z.ai, con pesi aperti: prestazioni alte, costo basso e checkpoint scaricabile, cioè le due dinamiche di questo capitolo nello stesso rilascio. Sullo stesso piano vanno messe le pressioni che agiscono sul fornitore: le esigenze di mercato e di raccolta di capitale non sono notizie di sicurezza, ma ricordano che il calendario di rilascio e le scelte di listino di chi vi fornisce il modello rispondono anche a driver che non sono tecnici e su cui non avete voce.

Per chi ha un agente in produzione la conseguenza pratica è una sola, ed è contrattuale prima che tecnica: sapere in anticipo quando il modello predefinito viene sostituito, e avere il diritto di restare sulla versione precedente per il tempo necessario a rimisurare. Senza quel preavviso, la prima notizia del cambio la ricevete da un comportamento diverso in produzione, che è esattamente il modo peggiore di riceverla.

I controlli che servono davvero (e il framework per ordinarli)

La buona notizia è che non serve inventare una disciplina nuova. Il NIST AI Risk Management Framework, pubblicato il 26 gennaio 2023, organizza il lavoro in quattro funzioni, GOVERN, MAP, MEASURE, MANAGE, e il profilo dedicato all’AI generativa, NIST AI 600-1, è uscito il 26 luglio 2024. È volontario, ma è la griglia più usata per dimostrare a un cliente o a un auditor che i rischi sono stati mappati e non solo temuti.

Le sei priorità operative per la sicurezza degli agenti AI

Sul piano operativo, gli incidenti di questa estate indicano priorità precise, in ordine di rendimento. Primo: il controllo dell’egress di rete, che è esattamente ciò che è mancato ad Anthropic. Un agente deve poter raggiungere solo destinazioni in whitelist, e l’isolamento va verificato tecnicamente, non dichiarato nel prompt. Secondo: privilegio minimo reale su ogni strumento, con credenziali dedicate, a scadenza e revocabili per agente, non l’account di servizio condiviso. Terzo: registrazione e revisione dei transcript, perché nel caso Anthropic è stato il monitoraggio a trovare l’incidente mentre le vittime non se n’erano accorte. Quarto: approvazione umana obbligatoria sulle azioni irreversibili. Quinto, e nuovo rispetto a un anno fa: una verifica di comportamento da rieseguire a ogni cambio di modello, versioni minori comprese, come ha ricordato l’arrivo di Fable 5.1 e Mythos 5.1, perché quel cambio ormai arriva anche dal listino e dal calendario di rilascio del fornitore. Sesto: la memoria dell’agente, i file che ne definiscono i flussi, i progetti che coordinano più sessioni e i connettori che gli danno accesso a posta e chat vanno trattati come codice in produzione, con revisione, base giuridica documentata e diritto di cancellazione.

Dalla lista di priorità alla configurazione dei guardrail per agenti AI

Su come si traducono in configurazione questi controlli non ci dilunghiamo qui, perché li abbiamo già trattati passo per passo in guardrail AI per agenti: come implementarli in azienda, dal filtro sugli input fino al blocco delle azioni fuori perimetro.

Agenti AI e AI Act: dal 2 agosto 2026 quasi tutto è in applicazione

C’è una ragione di calendario per cui questa discussione arriva adesso in tutte le aziende europee. Secondo la timeline di implementazione dell’AI Act, gli obblighi sui modelli di uso generale (Capo V) si applicano dal 2 agosto 2025, l’alfabetizzazione AI del personale è in vigore dal 2 febbraio 2025, e dal 2 agosto 2026 si applica il resto del regolamento, con l’eccezione dell’articolo 6(1), che slitta al 2 agosto 2027 insieme al termine per i modelli GPAI immessi sul mercato prima dell’agosto 2025. Dalla stessa data del 2 agosto 2026 gli Stati membri devono avere sandbox normative operative. Nel frattempo il GDPR resta pienamente applicabile e va letto in parallelo: il piano di intersezione tra i due impianti è trattato in sicurezza, GDPR e AI.

Significa che, mentre leggete, il quadro non è più prospettico: è già in applicazione, non in arrivo. Per un’azienda che ha agenti in produzione le domande diventano concrete e documentali: che ruolo avete assunto, quali obblighi di trasparenza scattano verso gli utenti, chi ha ricevuto formazione, e dove sono le prove. Il perimetro di ciascun ruolo lo abbiamo scomposto in AI Act e agenti AI in azienda, mentre policy interne e assegnazione delle responsabilità sono il tema di governance agenti AI: policy, ruoli e AI Act.

Sicurezza agenti AI in azienda: perché decade se nessuno la mantiene

Rimettiamo insieme i pezzi. Il perimetro è il sistema, non il modello. Il giudizio del modello sul contesto può sbagliare, come ha riconosciuto Anthropic nella valutazione di allineamento. Le garanzie del modello non sopravvivono al fine-tuning né all’inserimento in uno scaffold. Il comportamento varia tra il 25% e l’85% tra modelli sulla stessa identica prova, e serve un minimo di trenta esecuzioni per dire qualcosa di sensato. Il modello sottostante cambia anche per ragioni di prezzo, per un point release del fornitore, e da questa estate anche perché ve lo potete portare in casa. Le organizzazioni compromesse non si erano accorte di nulla. Gli obblighi normativi sono già in applicazione.

La sicurezza degli agenti AI decade: cosa cambia dopo il giorno del deploy

Ognuno di questi punti descrive un’attività che si ripete nel tempo, non una configurazione che si fa una volta. Un agente sicuro il giorno del deploy non è un agente sicuro tre mesi dopo: nel frattempo sono cambiati il modello sottostante, i connettori, i dati indicizzati, i permessi delle persone. Tra la prima stesura di questo articolo, il 21 agosto, e questo aggiornamento sono passate meno di sei settimane: nel frattempo sono arrivate due versioni nuove di modelli, quattro superfici in più da governare e una valutazione del fornitore che ha cambiato la lettura degli incidenti. È la misura pratica di quanto dura una configurazione lasciata ferma. È il motivo per cui, in Mimir, trattiamo la sicurezza agentica come parte del servizio e non come una voce di capitolato: l’onboarding non finisce con la messa in produzione ma prosegue con affiancamento continuo, revisione dei permessi, lettura dei transcript e aggiornamento dei guardrail quando cambia qualcosa a monte. La componente umana non è un dettaglio: l’AI Act chiede alfabetizzazione del personale, e chi usa gli agenti ogni giorno è il primo sensore di anomalia, ne parliamo in formazione del team sugli agenti AI.

Questa è la stessa logica che abbiamo argomentato dal lato del ritorno economico in AI agent enterprise: perché il servizio conta più del modello, e che sul piano operativo si traduce nel lavoro descritto in manutenzione agenti AI post-deployment.

Cosa pretendere da chi vi mette in produzione un agente

Le prove tecniche da chiedere sulla sicurezza degli agenti AI

Chiudiamo con la parte utilizzabile subito, indipendentemente da chi sia il vostro fornitore. Chiedete che l’isolamento di rete sia dimostrato con una prova tecnica e non descritto a parole, dato che è esattamente il controllo che è saltato ad Anthropic. Chiedete l’inventario degli strumenti collegati all’agente con le credenziali associate, la loro scadenza e chi le può revocare. Chiedete dove finiscono i log delle azioni, per quanto tempo restano e chi li legge, perché senza revisione dei transcript un incidente non si vede. Chiedete quali azioni richiedono approvazione umana e come è stata scelta quella lista. Chiedete come viene misurato il comportamento dopo un cambio di modello o di prompt, e su quante esecuzioni. Chiedete dove vive la memoria dell’agente, chi può scriverci, se è condivisa fra più sessioni e come si cancella. E chiedete chi vi avvisa quando il modello sotto l’agente viene sostituito, anche solo con una versione minore, con quanto preavviso e se potete restare sulla versione precedente nel frattempo.

Le domande sulla responsabilità: agenti AI, AI Act e ruoli

Chiedete infine la posizione rispetto all’AI Act: quale ruolo si assume il fornitore, quale resta a voi. Se una di queste risposte è “ci pensa il modello”, avete la risposta che vi serve: dopo la valutazione di allineamento di settembre, nemmeno chi il modello lo costruisce la darebbe. La scelta tra un impianto seguito da un partner e una soluzione self-service viene dopo queste risposte, non prima.

Se in azienda avete agenti in produzione, o state valutando di introdurli, e queste domande vi hanno lasciato più dubbi che certezze, è esattamente il punto in cui vale la pena parlarne con qualcuno che lo faccia di mestiere. In Mimir ci occupiamo di progettare, mettere in sicurezza e seguire nel tempo sistemi agentici in contesti aziendali, dall’onboarding iniziale all’affiancamento continuo. Se volete capire a che punto siete, si parte da una conversazione sul vostro caso concreto.

Fonti:

Domande frequenti

Cos'è la sicurezza degli agenti AI in azienda?

È l'insieme dei controlli che limitano cosa un agente AI può fare dentro i sistemi aziendali: accesso alla rete, permessi sugli strumenti, credenziali, memoria, approvazioni umane e monitoraggio delle azioni. Non riguarda solo il modello scelto, ma tutto il sistema costruito intorno. Gli incidenti Claude del 2026 mostrano che proprio questi controlli di sistema fanno la differenza.

Gli incidenti di Claude sono stati causati dal modello o dall'infrastruttura?

Da entrambi. La causa scatenante è stata una rete di valutazione rimasta aperta per errore, mentre il prompt diceva ai modelli di essere in una simulazione senza internet. Nella valutazione di allineamento del 9 settembre 2026 Anthropic ha però riconosciuto anche un disallineamento dei modelli: ragionamento distorto e imprudenza. In uno scenario di prova Mythos 5 ha compiuto azioni gravemente dannose nell'82% di 150 run.

Un modello AI più recente è automaticamente più sicuro per un agente aziendale?

No. Le nuove versioni possono migliorare molto: nello stesso scenario di prova Mythos 5.1 scende al 33% contro l'82% di Mythos 5. Però cambiano anche il comportamento e i filtri che stanno intorno al modello. Ogni cambio di versione, anche minore, va quindi rimisurato sul proprio caso d'uso con almeno trenta esecuzioni.

Ospitare un modello open-weight in casa rende l'agente AI più sicuro?

Cambiano i rischi, non la loro quantità. I dati non escono e nessuno cambia il modello senza avvisare, ma filtri su input e output, monitoraggio e aggiornamenti delle mitigazioni passano interamente a voi. Chi ha i pesi, inoltre, può rimuovere le difese del modello con un fine-tuning, come mostra l'attacco NOICE.

Quali controlli servono prima di mettere un agente AI in produzione?

Le priorità sono sei: controllo dell'egress di rete con whitelist verificata, privilegio minimo con credenziali dedicate e revocabili, registrazione e revisione dei transcript, approvazione umana sulle azioni irreversibili, test di comportamento a ogni cambio di modello, e gestione di memoria, workflow e connettori come codice in produzione. Il NIST AI Risk Management Framework aiuta a ordinarli e documentarli.

Memoria persistente e connettori a Gmail o Slack sono un rischio per gli agenti AI?

Sì, perché allargano il perimetro. Ciò che finisce nella memoria di un agente ne condiziona il comportamento futuro, e posta e chat contengono testo scritto da persone esterne, quindi potenziali prompt injection. Nei Claude Projects riprogettati, per esempio, tutti i thread aggiungono e attingono a una memoria condivisa. Ogni nuova funzione di questo tipo va approvata come un nuovo connettore, anche sul piano GDPR.

Cosa prevede l'AI Act per gli agenti AI in azienda dal 2 agosto 2026?

Dal 2 agosto 2026 si applica la gran parte del regolamento, con l'eccezione dell'articolo 6(1), che slitta al 2 agosto 2027. Gli obblighi sui modelli di uso generale valgono dal 2 agosto 2025 e l'alfabetizzazione AI del personale dal 2 febbraio 2025. Per chi usa agenti le domande sono documentali: ruolo assunto, obblighi di trasparenza, formazione e prove raccolte.

Cosa sono gli agenti AI?

Gli agenti AI sono sistemi basati su modelli linguistici che non si limitano a rispondere: pianificano, usano strumenti e compiono azioni nei sistemi aziendali per raggiungere un obiettivo. Proprio perché agiscono, la loro sicurezza dipende da permessi, rete, memoria e supervisione, non solo dal modello che li fa funzionare.

Tabella dei contenuti
Articoli correlati:
Vuoi che l'AI diventi il tuo motore di valore più potente?

Ti accompagniamo noi con Mimír AI Agent.