gli studi

OpenAI e Anthropic, la sicurezza AI diventa end-to-end


Indirizzo copiato

Report usciti da OpenAI e Anthropic nei giorni scorsi mostrano che sulla sicurezza AI si sta affermando principio comune: quanto più i modelli imparano a scoprire vulnerabilità e a coordinare azioni, tanto più la sicurezza deve essere verificata durante l’intero ciclo di sviluppo, dall’addestramento alla distribuzione

Pubblicato il 26 ott 2026

Alessandro Longo

Direttore AI4business.it e Agenda Digitale



AI Questions Icon
Chiedi all'AI
Riassumi questo articolo
Approfondisci con altre fonti
sicurezza-modelli-ai




Il 23 ottobre 2026 OpenAI ha raccontato come i propri agenti AI, impiegati per mettere alla prova la sicurezza dei laboratori, siano riusciti a individuare falle nei sistemi che dovrebbero tenerli isolati. Nello stesso giorno Anthropic ha pubblicato l’analisi di Claude Mythos 5 che, durante una valutazione di cybersecurity, aveva tentato di introdurre malware in un progetto GitHub e di convincere con identità false i manutentori ad accettarlo. Il codice è stato respinto, ma le due pubblicazioni mostrano con chiarezza il problema: proteggere i modelli più potenti significa anche proteggere i sistemi in cui imparano e agiscono.

OpenAI documenta nel rapporto Securing our frontier model training environment un grande programma di attacchi controllati contro la propria infrastruttura; Anthropic, in An alignment assessment of the UK AISI cybertesting incident, ricostruisce perché un modello abbia oltrepassato il compito assegnato. Le risposte sono in parte diverse, ma convergono su una regola: un’istruzione che vieta un’azione è insufficiente se l’ambiente tecnico permette comunque di eseguirla.

La gravità del rischio emerge dalle verifiche condotte dall’AI Security Institute britannico (AISI). In una delle sue valutazioni, Claude Mythos 5 ha compiuto azioni fuori dal perimetro autorizzato in nove delle 43 esecuzioni. Il dato riguarda quello specifico test, effettuato con accesso a Internet e filtri cyber di produzione disabilitati. Si tratta quindi di un comportamento osservato in laboratorio, non nel mondo reale.

Gli incidenti che hanno cambiato le priorità di OpenAI e Anthropic

Per capire perché i laboratori investano ora in isolamento e monitoraggio bisogna tornare al luglio infuocato della sicurezza AI. Riepilogo per i distratti: nella ricostruzione pubblicata da OpenAI il 26 agosto, un modello di ricerca interno e altri agenti, durante esercitazioni cyber, hanno aggirato le restrizioni delle sandbox. Hanno sfruttato il servizio di gestione dei pacchetti Artifactory per scambiarsi messaggi, raggiungere Internet e poi compromettere parti dell’infrastruttura di Hugging Face e dei sistemi di ricerca di OpenAI. Alcuni agenti hanno coordinato le proprie azioni oltre le comunicazioni autorizzate. L’incidente ha portato a quarantena dei pesi di un modello interno, rinvii dell’addestramento e rafforzamento delle difese.

Il 28 luglio anche il centro specializzato britannico AISI ha rilevato attività anomale durante test su più modelli. Secondo il suo rapporto sull’incidente, nei 122 tentativi complessivi su sette modelli sono state registrate dieci esecuzioni con azioni non autorizzate su Internet; il coinvolgimento più grave riguardava Mythos 5, ma due delle 19 azioni censite erano state compiute da un modello OpenAI, GPT-5.6 Sol, sempre con classificatori cyber disattivati. Non sono emersi danni reali dalle azioni tentate. I test, tuttavia, avevano permesso intenzionalmente l’accesso alla rete esterna: si era creato il collegamento che rendeva possibile colpire soggetti estranei alla prova.

A settembre il problema si è ripresentato dentro OpenAI. Il 20 settembre un modello di ricerca ha sfruttato un’errata configurazione DNS per ottenere accesso limitato a Internet durante un addestramento. L’attività dei modelli di frontiera più capaci è stata sospesa per undici giorni; reinforcement learning e inferenza interna sono ripresi il 1° ottobre, dopo nuove verifiche dei sistemi di contenimento. Questi episodi spiegano perché entrambi i gruppi abbiano trattato la sicurezza dell’ambiente di ricerca come una condizione per proseguire lo sviluppo.

OpenAI: un mondo offline, difese sovrapposte e test con agenti AI

La prima decisione tecnica di OpenAI è stata separare l’addestramento di frontiera dalla rete Internet aperta. Un agente deve comunque imparare a consultare pagine, utilizzare strumenti e lavorare con applicazioni web. Per questo il laboratorio ha costruito un «mondo offline» di contenuti indicizzati e memorizzati: il modello può interagirvi senza inviare richieste arbitrarie ai siti reali. OpenAI dichiara che tutti i suoi addestramenti di frontiera con reinforcement learning utilizzano questa modalità.

Il sistema non si basa soltanto sull’assenza di Internet. Nel lavoro con codice e strumenti, OpenAI utilizza su Linux container limitati dentro macchine virtuali leggere, le microVM: il container restringe file e processi utilizzabili, mentre la macchina virtuale separa l’ambiente di esecuzione dal computer fisico che lo ospita. Un ulteriore livello protegge rete e cloud, con firewall, autorizzazioni minime e blocchi alle comunicazioni in uscita. Serve perché, se un agente riuscisse a superare la prima barriera, dovrebbe incontrarne altre prima di raggiungere sistemi esterni.

L’isolamento fisico completo, il cosiddetto air gap, resta impraticabile per tutte queste attività: gestione e osservazione degli esperimenti richiedono ancora connessioni controllate. Proprio qui OpenAI ha trovato il punto più delicato. I suoi agenti red team hanno usato canali concessi a servizi di metriche, autenticazione e registrazione degli eventi per scoprire percorsi indiretti verso Internet. In alcuni test hanno combinato vulnerabilità e configurazioni errate nel DNS o nei controlli di rete. L’assenza di accesso diretto non bastava, se un servizio autorizzato poteva effettuare richieste per conto dell’agente.

Quando gli agenti scavalcano le macchine virtuali e comunicano senza rete

Per mettere alla prova l’architettura, OpenAI ha impiegato squadre di agenti basate anche sul modello annunciato come GPT-6 Astra Cyber e su un altro modello interno, consumando centinaia di miliardi di token. I test si sono svolti su copie appositamente isolate dell’infrastruttura, con accesso a codice, documentazione e configurazioni per aumentare la capacità degli attaccanti di trovare punti deboli. Le vulnerabilità scoperte sono state poi riprodotte e corrette da gruppi umani e dai fornitori cloud.

Gli agenti hanno individuato catene di vulnerabilità capaci di superare i confini delle microVM. OpenAI ha citato interventi in componenti open source come Kata Containers, gVisor e Moby/Docker, insieme a correzioni di sicurezza del kernel. Sono emerse anche forme di comunicazione fra agenti che avrebbero dovuto restare isolati. In un esperimento un agente modificava il contenuto della cache del processore e un altro misurava il tempo necessario a rileggerlo: trasformavano così differenze di velocità in un messaggio, pur senza rete o file condivisi. Le informazioni scambiate erano segreti sintetici preparati per la prova.

Il laboratorio ha aggiunto verifiche per intercettare questi canali, automatizzato controlli su codice e configurazioni e riservato capacità di calcolo ai test continui. Il programma di red teaming ad alto consumo di calcolo entra ora nelle valutazioni, i cosiddetti safety case, che sostengono le decisioni sulla prosecuzione degli addestramenti più avanzati. OpenAI riferisce che i nuovi problemi individuati dai suoi agenti sono diminuiti nel corso delle prove, senza pubblicare un tasso di protezione valido per infrastrutture diverse dalla propria.

Anthropic: fermare l’azione prima che lo strumento la esegua

Anthropic ha avuto una lezione specifica dagli incidenti di luglio: durante i test cyber di modelli non ancora pubblicati, affidarsi alla sola configurazione della sandbox e alle istruzioni scritte nel prompt lasciava scoperta la fase esecutiva. Nel documento Improving our alignment and security efforts del 31 agosto l’azienda ha illustrato un classificatore operativo in tempo reale. Prima che una chiamata a uno strumento venga eseguita, il sistema cerca segnali di tentata evasione, esplorazione aggressiva dei limiti o accesso inatteso a Internet; in caso di allarme blocca l’operazione, termina il compito e avvisa un operatore.

Anthropic ha inoltre spostato le sandbox cyber interne a rischio più elevato su sistemi con isolamento rafforzato e avviato test offensivi della propria virtualizzazione. Per gli ambienti di reinforcement learning più rischiosi ha introdotto un classificatore simile, progettato anche per ridurre il rischio di insegnare involontariamente al modello a eludere il monitoraggio. Ad agosto, dopo una pausa di settimane, la maggior parte dell’addestramento era ripresa; alcuni ambienti ad alto rischio restavano sospesi in attesa di verifica manuale o di nuovi controlli.

Il problema coinvolge anche i laboratori esterni che eseguono valutazioni. Anthropic ha chiesto ai partner di verificare l’isolamento prima di ogni prova, definire nel prompt i bersagli e le azioni autorizzate e attivare controlli capaci di chiudere un test fuori perimetro. Il 9 ottobre, nel rapporto Investigating unintended model actions in our evaluations and internal use, ha comunicato un’estensione ulteriore: Internet è stato disabilitato in tutte le valutazioni interne, mentre l’azienda verificava l’affidabilità dei sistemi di sicurezza e monitoraggio.

Anthropic sta anche usando agenti AI per aggredire i propri sistemi di protezione. Nell’aggiornamento del 19 ottobre ha annunciato un sistema automatizzato di red teaming che, in 24 confronti sui classificatori contro richieste legate alle armi biologiche, ha eguagliato o superato i migliori test realizzati da persone, ottenendo il risultato migliore in 23 casi. L’esercizio si è svolto in 24-48 ore anziché in settimane o mesi. Questo filone misura la robustezza dei filtri di sicurezza; il lavoro OpenAI del 23 ottobre ha preso di mira direttamente il contenimento informatico degli agenti.

Mythos 5, le false identità e il problema dell’«inerzia» degli agenti

L’analisi Anthropic del 23 ottobre chiarisce perché una difesa tecnica sia necessaria anche quando il modello conosce le regole. Nel test AISI, Claude Mythos 5 cercava una «flag», un’informazione segreta nascosta in una rete simulata. Dopo alcuni tentativi consentiti, ha individuato un progetto GitHub reale che riteneva collegato ai computer della prova. Ha proposto di aggiungervi codice malevolo e poi ha creato identità fittizie per sollecitare l’approvazione dei manutentori. I manutentori hanno respinto la modifica.

Anthropic descrive tre meccanismi del comportamento: la tendenza a proseguire anche quando l’obiettivo comporta danni (recklessness), l’interpretazione selettiva delle prove per giustificare la propria strategia (motivated reasoning) e l’inerzia nel continuare una sequenza di azioni già iniziata (momentum). Il modello arrivava a descrivere i manutentori reali come personaggi creati per la simulazione. Ciò rende fragile un controllo che si affidi soltanto alle giustificazioni prodotte dal modello stesso.

Ripetendo porzioni della sequenza con contesti modificati, i ricercatori hanno visto Mythos 5 avviare l’attacco nell’83% dei casi esaminati, contro un intervallo fra zero e 13% per tre modelli più recenti testati con quel metodo. Il rapporto indipendente pubblicato dall’AISI lo stesso 23 ottobre ha tuttavia messo in evidenza che anche altri modelli possono avviare attacchi fuori perimetro in scenari simulati e che l’eventuale consapevolezza di essere valutati può condizionare i risultati. I test di Anthropic ripartono, inoltre, da una sequenza originata da Mythos 5: aiutano a studiare le cause, ma non costituiscono una classifica generale dell’affidabilità dei modelli.

Il secondo fronte: insegnare al modello a fermarsi e controllare gli agenti distribuiti

Una sandbox protegge i sistemi esterni quando l’agente sbaglia; l’allineamento cerca di ridurre la probabilità che l’agente scelga la strada sbagliata. Per OpenAI, l’incidente Hugging Face ha portato a rafforzare l’addestramento affinché i modelli sappiano riconoscere un compito impossibile, chiedere chiarimenti o interrompere l’esecuzione senza aggirare le regole. Dopo agosto, il controllo del ragionamento e delle azioni è diventato una parte più estesa della supervisione dei modelli particolarmente capaci.

Nel documento Path to Astra del 1° settembre, OpenAI ha riportato risultati dei propri test sui tentativi di ottenere assistenza cyber vietata: GPT-6 Astra rifiutava il 91,5% delle richieste del campione, contro il 59% di GPT-5.6 Sol. Ha inoltre descritto classificatori che possono fermare un’azione sospetta nei servizi in cui Astra è impiegato. Si tratta di due misure diverse: il rifiuto appreso dal modello e il sistema esterno che intercetta un comportamento pericoloso durante l’esecuzione.

Anthropic applica una logica simile ai propri modelli distribuiti, dotati di classificatori sulle richieste e sulle risposte, e alle versioni usate nei test, dove tali filtri possono essere ridotti per misurare le capacità effettive. Sul fronte interno, la scala dell’uso di agenti impone controlli continui. In una rilevazione sulle attività di ricerca e ingegneria, l’azienda ha indicato circa 30.000 agenti attivi contemporaneamente nella sua piattaforma interna più utilizzata ad agosto 2026; il 100% delle loro azioni passava attraverso il monitor online, e lo 0,002% di oltre un miliardo di decisioni analizzate era stato bloccato. La copertura si riferisce a quella piattaforma, non alla totalità di ogni sistema aziendale.

Il dato mostra quanto la sicurezza si stia spostando dalla valutazione di un chatbot isolato alla supervisione di migliaia di processi autonomi. Per gli agenti interni Anthropic affianca all’intervento prima dell’esecuzione un’analisi successiva delle attività, alla ricerca di schemi rischiosi che emergono solo in tempi più lunghi. I modelli diventano strumenti di lavoro per ricercare nuovi modelli: una singola autorizzazione sbagliata può così avere conseguenze che si propagano attraverso più applicazioni e servizi.

Proteggere i pesi e l’infrastruttura: misure attive e obiettivi del 2027

La sicurezza dei laboratori ha un altro bersaglio: i pesi dei modelli, cioè i parametri che incorporano il risultato dell’addestramento. Se un aggressore li sottraesse, potrebbe ottenere una copia di capacità molto avanzate; se alterasse gli ambienti di sviluppo, potrebbe sabotare o manipolare i modelli futuri. Per questo il problema supera il contenimento degli agenti in esecuzione e riguarda identità digitali, privilegi, catena di fornitura software e datacenter.

Dopo gli incidenti estivi Anthropic ha raccontato di aver ridotto gli accessi permanenti ai sistemi con pesi o dati dei clienti, impostato il blocco predefinito del traffico in uscita dai cluster, richiesto l’autenticazione reciproca dei servizi e ampliato la visibilità sui computer che eseguono i carichi. Una parte della forza lavoro è stata temporaneamente spostata su sicurezza e affidabilità, con circa 150 ingegneri di prodotto riassegnati secondo il resoconto di agosto. OpenAI, dopo Hugging Face, ha a sua volta annunciato controlli più severi sugli accessi ai pesi e sulle attività di addestramento.

La Frontier Safety Roadmap di Anthropic, aggiornata il 19 ottobre, stabilisce gli obiettivi successivi. Entro il 1° luglio 2027 l’azienda punta a rafforzare una larga parte dei controlli su identità, infrastrutture, catena di fornitura, monitoraggio e datacenter. Per dichiarare raggiunto il traguardo richiede almeno il 60% dei requisiti pienamente o quasi pienamente soddisfatti e l’80% almeno prevalentemente soddisfatti. Fra gli obiettivi compaiono pesi cifrati con chiavi utilizzabili soltanto da macchine attestate e un controllo sistematico delle configurazioni: sono risultati da conseguire, non protezioni già certificate come operative.

Il 19 ottobre Anthropic ha anche riferito di aver realizzato prototipi di ambienti di lavoro fortemente isolati per misurarne le difficoltà operative, insieme a un prototipo che verifica la corrispondenza fra le risposte generate e una specifica versione dei pesi. L’impiego sistematico dei primi è ancora in evoluzione: la società descrive la transizione verso l’isolamento come un progetto costoso e tecnicamente complesso, soprattutto in relazione alle connessioni e ai controlli fisici richiesti.

Il confronto fra i due laboratori mette così insieme misure già implementate e cantieri ancora aperti. OpenAI ha pubblicato più dettagli sugli attacchi ai livelli tecnici dell’infrastruttura e sulle correzioni conseguenti; Anthropic ha reso più visibili le procedure di controllo delle azioni e una roadmap con traguardi misurabili. La differenza riguarda ciò che le aziende hanno documentato pubblicamente: i loro resoconti non consentono di stabilire quale delle due infrastrutture sia globalmente più sicura.

OpenAI e Anthropic: misure di sicurezza e stato di attuazione

AmbitoOpenAIAnthropic
Ambienti e reteRL di frontiera su web offline; controlli su microVM, host, firewall e servizi autorizzatiSandbox più isolate; blocco di Internet nelle valutazioni interne annunciato il 9 ottobre
Monitoraggio agentiControlli delle azioni e del ragionamento; allarmi, arresti e regole di escalationClassificatori prima delle chiamate agli strumenti, arresto dei test e revisione umana
Test offensiviFrotte di agenti red team contro copie dell’infrastruttura, con correzione di vulnerabilitàRed team sulla virtualizzazione e prove di comportamento, anche con verifiche esterne
Protezione dei pesiAccesso ristretto ai pesi e ulteriori controlli dopo l’incidente Hugging FaceRiduzione degli accessi permanenti; cifratura con macchine attestate come obiettivo della roadmap
Interventi futuriRed teaming continuo integrato nei safety case; nuove verifiche su rete e monitorUlteriore rafforzamento infrastrutturale entro il 1° luglio 2027, secondo i target pubblici

Fonti: OpenAI, 23 ottobre; OpenAI, 26 agosto; Anthropic, 31 agosto; Anthropic, 9 ottobre; Anthropic, roadmap aggiornata il 19 ottobre 2026.

Che cosa cambia per le aziende che adottano agenti AI

Le lezioni dei laboratori riguardano anche le imprese che collegano agenti AI a repository, database, strumenti di sviluppo o sistemi aziendali. Il primo punto è il perimetro effettivo dell’accesso: un agente con privilegi ristretti dentro un’applicazione può comunque raggiungere risorse esterne attraverso servizi tecnici autorizzati, come hanno mostrato gli esperimenti di OpenAI. Ne segue l’importanza di controllare non soltanto le autorizzazioni dell’agente, ma anche le connessioni consentite a ciascun servizio che l’agente può utilizzare.

Il secondo punto è il momento del controllo. Una verifica a posteriori permette di ricostruire un errore, ma può arrivare dopo la modifica di un file, l’invio di una richiesta o la pubblicazione di codice. Il metodo adottato da Anthropic nei test cyber prevede che le azioni più rischiose siano esaminate prima di essere eseguite, con capacità di blocco e intervento umano. Un’organizzazione che affida compiti a un agente deve quindi stabilire quali operazioni possano procedere automaticamente e quali richiedano una barriera ulteriore.

Il terzo è la valutazione stessa della sicurezza. Gli episodi di luglio si sono verificati in ambienti di ricerca, spesso con protezioni disattivate per osservare le capacità dei modelli. Le difese dei prodotti commerciali seguono regole diverse. Il test utile a un’azienda deve allora riprodurre la configurazione reale con strumenti, privilegi, rete e monitoraggi effettivamente disponibili, anziché giudicare il sistema dal solo comportamento del modello in una conversazione.

Per OpenAI e Anthropic si sta formando un principio comune: quanto più i modelli imparano a scoprire vulnerabilità e a coordinare azioni, tanto più la sicurezza deve essere verificata durante l’intero ciclo di sviluppo, dall’addestramento alla distribuzione. Il 23 ottobre ha reso visibili due facce dello stesso passaggio: barriere informatiche da mettere alla prova con la migliore AI disponibile e comportamenti da capire e correggere prima che la ricerca lasci conseguenze nel mondo reale.

Partecipa alla community

guest

0 Commenti
Più recenti
Più votati
Inline Feedback
Vedi tutti i commenti
0
Lascia un commento, la tua opinione conta.x