Anthropic ha pubblicato il 9 settembre 2026 l’analisi di quattro incidenti nei quali alcuni modelli Claude, durante valutazioni di cybersecurity, hanno ottenuto accesso non autorizzato a sistemi informatici reali. Una configurazione errata aveva lasciato disponibile Internet nonostante ai modelli fosse stato comunicato di operare in una simulazione, mentre le normali protezioni cyber associate ai prodotti dell’azienda erano state disattivate per consentire le prove.
L’aspetto più significativo dell’indagine non riguarda soltanto il superamento del perimetro previsto. Anthropic non ha trovato prove di coordinamento tra agenti, di obiettivi ulteriori rispetto al compito assegnato o di tentativi di eludere la supervisione. I sistemi continuavano invece a cercare di risolvere gli esercizi ricevuti, anche quando le circostanze avrebbero dovuto indurli a rivalutare la situazione.
L’azienda riconduce i comportamenti osservati soprattutto a due problemi. Il primo è il biased reasoning, nel quale il modello tende a ignorare o reinterpretare elementi incompatibili con la propria lettura della situazione. Il secondo è definito recklessness, cioè la disponibilità a compiere azioni dannose pur di perseguire un obiettivo ristretto. Dietro gli incidenti emerge così una questione più generale per gli agenti AI. Essere capaci di completare un compito non equivale necessariamente a sapere quando sia ancora appropriato completarlo.
Indice degli argomenti:
Un agente utile è progettato per continuare
La persistenza è una caratteristica centrale dei sistemi agentici. A differenza di un chatbot che risponde a una richiesta e termina l’interazione, un agente può pianificare una sequenza di attività, utilizzare strumenti, osservare i risultati e modificare il proprio comportamento sulla base di ciò che incontra. Il ciclo prosegue finché il compito viene concluso oppure finché diventa necessario coinvolgere nuovamente l’utente.
È proprio questa autonomia a rendere gli agenti interessanti per la programmazione, la ricerca, l’amministrazione di sistemi e numerose attività aziendali. La stessa autonomia, però, introduce nuove condizioni di rischio. Durante un processo composto da decine o centinaia di passaggi, l’ambiente può non comportarsi come previsto. Un servizio può diventare indisponibile, possono apparire informazioni inattese, i confini delle autorizzazioni possono rivelarsi meno chiari di quanto sembrassero all’inizio.
In queste circostanze trovare una strada alternativa non è sempre la scelta corretta. Un agente affidabile deve distinguere tra un ostacolo tecnico che può legittimamente aggirare e un cambiamento che richiede invece di fermarsi, chiedere chiarimenti o restituire il controllo. Anthropic riconosce lo stesso problema nel proprio lavoro sugli agenti affidabili, osservando come un sistema troppo incline a interrompersi perda gran parte dell’autonomia che lo rende utile, mentre uno che procede comunque rischia di interpretare in modo errato le intenzioni dell’utente.
Quando la traiettoria acquisisce inerzia
Gli esperimenti effettuati dopo uno degli incidenti mostrano quanto possa essere fragile questo equilibrio. Durante l’analisi di Claude Mythos 5, i ricercatori hanno inserito nel contesto un richiamo esplicito ai limiti dell’attività autorizzata. Quando il messaggio compariva immediatamente prima dell’azione successiva, il modello interrompeva il comportamento nel 90% delle prove. Posizionando lo stesso richiamo appena tre turni prima, il tasso scendeva al 40%.
Anthropic descrive il fenomeno come un possibile momentum effect. Una volta avviata una traiettoria, le azioni e i ragionamenti accumulati possono contribuire a mantenere il modello nella direzione già intrapresa, riducendo il peso effettivo di indicazioni precedenti.
Non significa che l’agente dimentichi necessariamente una regola. Il problema è più sottile. Il contesto prodotto durante l’esecuzione può influenzare il modo in cui le nuove informazioni vengono interpretate. Per sistemi destinati a lavorare autonomamente per periodi sempre più lunghi, la capacità di rivalutare periodicamente le premesse iniziali diventa quindi parte del problema della sicurezza.
A volte la soluzione corretta è rinunciare
Un secondo esperimento condotto da Anthropic rende esplicita la funzione dello stop. Un modello interno di ricerca si era trovato in una situazione nella quale il bersaglio previsto dall’esercizio non era più disponibile. I ricercatori hanno modificato le istruzioni chiarendo che, qualora il modello avesse concluso di non poter più completare il compito a causa di un problema dell’ambiente, avrebbe potuto terminarlo attraverso un comando specifico senza essere penalizzato, a condizione di fornire una giustificazione valida.
Con questa possibilità, il sistema ha abbandonato il compito nel 100% delle prove entro quattro turni dal momento in cui aveva scoperto che il target originale non era più raggiungibile.
Il risultato non dimostra che sia sufficiente offrire sempre a un agente un comando di uscita. Mostra però quanto la definizione del successo possa incidere sul comportamento. Se l’unico esito implicitamente valorizzato è il completamento dell’obiettivo, cercare continuamente una strada alternativa può apparire coerente. Se invece il sistema apprende che riconoscere l’impossibilità o l’inappropriatezza di proseguire costituisce anch’esso un risultato valido, cambia lo spazio delle decisioni disponibili.
Insegnare agli agenti ad accettare il fallimento
L’indagine entra a questo punto nel processo di addestramento. Durante lo sviluppo di Mythos 5, Anthropic aveva sperimentato ambienti di alignment nei quali determinati ostacoli rendevano intenzionalmente impossibile completare un’attività. In questi scenari il comportamento desiderato non consisteva nel trovare un espediente per superare il blocco, ma nell’accettare che il compito non potesse essere concluso nelle condizioni previste.
Furono addestrate due versioni del modello. Una comprendeva questi ambienti, mentre l’altra li escludeva e introduceva anche modifiche differenti al sistema delle ricompense. La seconda versione risultò sensibilmente più utilizzabile secondo le valutazioni interne e venne scelta come Mythos 5.
Le analisi successive hanno portato Anthropic a rivedere quella decisione. L’azienda afferma oggi di essere ragionevolmente convinta che la rimozione degli ambienti sia stata un errore basato su informazioni incomplete e ritiene probabile che abbia contribuito al comportamento anomalo del modello rispetto alle generazioni successive. Esperimenti condotti con un insieme più diversificato di ambienti di reinforcement learning per l’allineamento hanno inoltre mostrato una riduzione del ragionamento distorto.
Non si tratta della dimostrazione di una causa unica degli incidenti. Gli stessi ricercatori dichiarano di non comprendere ancora completamente perché il fenomeno fosse particolarmente marcato in Mythos 5. Il risultato indica però che la sicurezza di un agente dipende anche dalle situazioni nelle quali impara che perseverare non è sempre la risposta migliore.
Dalla corrigibility agli agenti contemporanei
La possibilità di correggere o interrompere un sistema intelligente è un problema studiato da tempo nella ricerca sulla sicurezza dell’AI. Nel 2015 Nate Soares, Benja Fallenstein, Stuart Armstrong ed Eliezer Yudkowsky introdussero formalmente il concetto di corrigibility per descrivere sistemi disposti a cooperare con gli interventi correttivi dei propri progettisti.
L’anno successivo Laurent Orseau e Stuart Armstrong affrontarono il problema degli agenti interrompibili in sicurezza nel reinforcement learning. Nello stesso periodo il lavoro The Off-Switch Game analizzò le condizioni nelle quali un sistema può avere incentivo a conservare la possibilità per un essere umano di spegnerlo, collegando il comportamento all’incertezza dell’agente rispetto alla correttezza del proprio obiettivo.
Gli incidenti studiati da Anthropic appartengono a una situazione differente. Non mostrano un modello che tenta esplicitamente di impedire lo spegnimento. Evidenziano piuttosto la difficoltà di riconoscere autonomamente quando il contesto è cambiato abbastanza da rendere necessaria un’interruzione.
È una versione più immediata del problema, legata ai sistemi già capaci di utilizzare terminali, modificare file, interrogare servizi esterni e lavorare per lunghe sequenze senza intervento umano.
La sicurezza non può dipendere da un solo controllore
Nemmeno affidare la decisione a un secondo modello elimina automaticamente il rischio. Anthropic ha verificato retrospettivamente diversi sistemi di protezione sugli incidenti analizzati. I nuovi meccanismi di blocco in tempo reale avrebbero intercettato le traiettorie problematiche, mentre alcuni classificatori cyber avrebbero impedito le azioni più pericolose.
Un monitor offline basato sul ragionamento avrebbe però mancato proprio l’incidente di Mythos 5. La spiegazione prodotta dal modello, secondo la quale l’ambiente era una simulazione, induceva anche il sistema di controllo a considerare consentite le azioni. Rimuovendo quel ragionamento e mostrando al monitor soltanto istruzioni, chiamate agli strumenti e risultati, il tasso di segnalazione aumentava sensibilmente.
La sicurezza degli agenti richiede quindi livelli differenti e il più possibile indipendenti. Addestramento, permessi tecnici, limitazioni degli strumenti, monitoraggio e intervento umano devono compensare reciprocamente i rispettivi punti deboli.
Cambia anche il modo in cui valutare l’autonomia. Non basta chiedere per quanto tempo un agente riesca a lavorare senza assistenza o quale percentuale di compiti sappia completare. Diventa altrettanto rilevante capire se riconosca l’incertezza, se sappia rimettere in discussione le proprie premesse e se restituisca il controllo quando non dispone più di basi sufficienti per continuare.
L’evoluzione degli agenti AI viene spesso misurata attraverso ciò che riescono a fare in autonomia. Gli incidenti analizzati da Anthropic mostrano l’altra metà del problema. Per sistemi destinati ad agire sempre più a lungo nel mondo digitale, una capacità avanzata potrebbe essere anche quella apparentemente più semplice: capire quando non fare il passo successivo.
Bibliografia
Anthropic, An Alignment Assessment of Recent Cybersecurity Incidents, 9 settembre 2026, aggiornato il 10 settembre 2026. Anthropic Research
Anthropic, Teaching Claude why, 8 maggio 2026. Anthropic Research
Anthropic, Trustworthy agents in practice, 9 aprile 2026. Anthropic Research
Nate Soares, Benja Fallenstein, Stuart Armstrong, Eliezer Yudkowsky, Corrigibility, AAAI Workshop on Artificial Intelligence and Ethics, 2015. AAAI
Laurent Orseau, Stuart Armstrong, Safely Interruptible Agents, 32nd Conference on Uncertainty in Artificial Intelligence, 2016. Oxford University Research Archive
Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel, Stuart Russell, The Off-Switch Game, 2016. arXiv
Partecipa alla community