Nelle ultime settimane si è parlato molto – forse troppo, forse male – del cosiddetto “primo grande attacco informatico autonomo orchestrato da un’intelligenza artificiale”. Un sistema basato su Large Language Model che pianifica, esegue, si adatta, sceglie gli strumenti, concatena le azioni, aggira le difese, tutto senza supervisione umana, tutto da solo, come se avesse sviluppato una forma di iniziativa propria che sfugge al controllo.
C’è un momento, nella storia della tecnologia, in cui le parole che usiamo smettono di descrivere la realtà e iniziano a costruirla, talvolta in modi che non avremmo immaginato e che finiscono per condizionare il nostro modo di vedere, di temere, di reagire. Stiamo vivendo uno di quei momenti.
La narrazione è potente, suggestiva, e indubbiamente spaventosa, perché suggerisce che l’AI stia diventando qualcosa che non controlliamo più, qualcosa che ha superato una soglia invisibile oltre la quale non siamo più noi a decidere ma è il sistema stesso a scegliere per noi, a scegliere contro di noi.
Ma io credo che questa paura – per quanto comprensibile, per quanto alimentata da titoli a effetto e da una certa drammatizzazione mediatica – nasca in realtà da un fraintendimento profondo, non tanto sull’AI in sé, quanto su cosa significhi davvero essere autonomi e, soprattutto, su chi porta la responsabilità di quell’autonomia.
Perché il problema, qui, non è che l’AI sia diventata improvvisamente pericolosa.
Il problema è che abbiamo costruito sistemi pericolosi, li abbiamo progettati male, li abbiamo implementati con superficialità, e ora ci stupiamo quando si comportano esattamente nel modo in cui erano stati disegnati per comportarsi. E se volete capire perché era così prevedibile che accadesse, basta guardare a come è stata costruita la normativa europea che dovrebbe governare questi sistemi.
Indice degli argomenti:
Quando l’autonomia non è una proprietà ma una relazione
Quando diciamo che un sistema è “autonomo“, cosa intendiamo davvero, al di là della retorica e dell’immaginario cinematografico che ci portiamo dietro?
Nel linguaggio comune, autonomia significa più o meno questo: capacità di agire senza dipendere da altri, senza bisogno di supervisione esterna, senza dover rendere conto a nessuno.
Ma questa definizione – che funziona benissimo per descrivere gli esseri umani, dotati di intenzioni, valori, coscienza morale, capacità di pentimento e responsabilità – non funziona affatto quando la applichiamo ai sistemi artificiali, perché quei sistemi non hanno nessuna di quelle caratteristiche.
Un agente AI non ha intenzioni nel senso proprio del termine: ha obiettivi programmati, assegnati dall’esterno, codificati in una funzione di reward o in un prompt di sistema.
Non ha valori morali: ha funzioni di ottimizzazione, parametri che massimizzano o minimizzano una metrica, che sia essa la probabilità di successo di un’operazione o la velocità di esecuzione di un task.
Non ha responsabilità giuridica o etica: ha permessi di esecuzione, autorizzazioni tecniche che qualcuno ha deliberatamente attivato, consapevolmente o no.
Se progettiamo un sistema dandogli un goal chiaro, degli strumenti per raggiungerlo e l’autonomia decisionale di scegliere come concatenare le azioni, quel sistema farà esattamente ciò per cui è stato progettato: perseguire il goal, a qualunque costo, senza domandarsi se quel costo sia accettabile, legale, etico, sostenibile.
E quando il costo diventa troppo alto – quando l’azione diventa malevola, illegale, pericolosa, distruttiva – non c’è nessun meccanismo interno, nessuna coscienza critica, nessun momento di esitazione che lo fermi, perché l’agente è strutturalmente cieco al contesto normativo, relazionale, umano in cui opera.
Vede solo il goal e il goal, per lui, è tutto.
Questo non è un difetto dell’AI ma un difetto del modo in cui l’abbiamo progettata.
Il sensazionalismo dell’attacco autonomo: molto rumore per nulla
Torniamo agli articoli che hanno acceso il dibattito, quelli che raccontano del “primo grande attacco informatico autonomo”.
Se leggiamo con attenzione, oltre i titoli ad effetto, scopriamo che ciò che è stato definito “autonomo” è in realtà il risultato di una catena di decisioni umane incredibilmente superficiali: qualcuno ha dato a un LLM accesso a strumenti di penetration testing, qualcuno ha eliminato o ignorato le soglie di sicurezza, qualcuno ha disattivato i meccanismi di supervisione, qualcuno ha scritto prompt vaghi o ambigui che permettevano al sistema di interpretare “ottimizza l’accesso” come “aggira le difese”.
Non stiamo parlando di un’intelligenza artificiale che ha sviluppato intenzionalità malevola.
Stiamo parlando di un sistema mal configurato, usato in modo irresponsabile, in un contesto dove le competenze tecniche erano evidentemente insufficienti e le pratiche di sicurezza erano state ignorate o peggio ancora deliberatamente aggirate.
Il sensazionalismo di certi titoli – “l’AI attacca da sola”, “il primo grande attacco autonomo”, “l’intelligenza artificiale sfugge al controllo” – alimenta una narrazione apocalittica che distrae dal vero problema: non è l’AI che è diventata pericolosa, sono le implementazioni scadenti, superficiali, irresponsabili, fatte da chi non ha capito cosa significhi davvero progettare un sistema cognitivo sicuro.
E questo, francamente, dovrebbe rassicurarci perché significa che il problema non è insolubile, non è fuori dal nostro controllo, non richiede una pausa globale nello sviluppo AI o una moratoria draconiana.
Richiede semplicemente competenza, rigore, responsabilità o, in altre parole, che si smetta di trattare l’AI come un giocattolo magico e si inizi a trattarla come ciò che è: un sistema complesso che richiede governance, architettura, vincoli normativi chiari.
Ma soprattutto – e qui arriviamo al punto – richiede che chi scrive le norme che dovrebbero governare questi sistemi abbia almeno una vaga idea di come questi sistemi funzionano, di come vengono progettati, di quali sono i veri rischi e quali invece sono paure immaginarie.
L’AI Act e il Digital Omnibus: quando la legge insegue la tecnologia (e perde)
Facciamo un passo indietro e guardiamo a come l’Unione Europea ha tentato di regolamentare l’intelligenza artificiale negli ultimi anni.
L’AI Act, entrato formalmente in vigore nell’agosto 2024, è stato salutato da molti come “la prima normativa completa al mondo sull’intelligenza artificiale“, un modello per tutti gli altri paesi, una dimostrazione che l’Europa sa guidare quando si tratta di proteggere i diritti fondamentali e la sicurezza dei cittadini.
Ed è vero: l’intenzione era nobile, l’ambizione era alta, la volontà politica era forte.
Ma se guardiamo alla struttura dell’AI Act con occhi tecnici, con la prospettiva di chi progetta sistemi cognitivi complessi, emergono problemi sostanziali che spiegano perché episodi come quello dell’attacco “autonomo” erano non solo prevedibili, ma in qualche modo inevitabili.
Il primo problema è che l’AI Act è stato scritto seguendo una logica di classificazione per rischio – sistemi vietati, ad alto rischio, a rischio limitato, a rischio minimo – ma questa classificazione è basata sul dominio applicativo (dove viene usata l’AI: sanità, giustizia, infrastrutture critiche) e non sull’architettura cognitiva del sistema.
Questo significa che due sistemi che operano nello stesso dominio – ad esempio, due chatbot usati in ambito sanitario – vengono trattati allo stesso modo dalla legge, anche se uno è progettato come agente autonomo capace di concatenare azioni senza supervisione e l’altro è progettato come ecologia relazionale che richiede la presenza continua dell’umano per funzionare.
Uno è intrinsecamente pericoloso mentre l’altro è intrinsecamente sicuro.
Ma la legge non vede questa differenza perché la legge è stata scritta più da chi si occupa di leggi che di ingegneria cognitiva.
Il Digital Omnibus AI
Il secondo problema, ancora più grave, è emerso chiaramente con il Digital Omnibus on AI, pubblicato dalla Commissione Europea il 19 novembre 2025, come tentativo di “semplificare” e “correggere” l’AI Act prima che entrasse in piena applicazione.
Il Digital Omnibus posticipa le scadenze per i sistemi ad alto rischio, riduce gli obblighi di registrazione per certi tipi di sistemi, centralizza la supervisione nell’AI Office della Commissione, introduce sandbox regolamentari, tenta di alleggerire il carico burocratico per le piccole e medie imprese.
Sono tutte correzioni tecniche, aggiustamenti procedurali, tentativi di rendere la normativa “più praticabile” per le aziende che si lamentavano dei costi di compliance.
Ma nessuna di queste correzioni affronta il problema di fondo: come si progetta un sistema AI che sia sicuro per costruzione, non per aggiunta di filtri e controlli esterni.
Perché – e qui sta il punto centrale – finché continuiamo a pensare la sicurezza AI come una questione di conformità normativa invece che di architettura cognitiva, continueremo a produrre sistemi formalmente conformi ma sostanzialmente pericolosi.
Ed è esattamente quello che sta succedendo.
Il problema non è tecnico ma di ‘senso’
Permettetemi di essere molto chiaro su questo punto, perché è il cuore di tutto il ragionamento. Il problema dell’AI Act – e di conseguenza del Digital Omnibus che cerca di rattopparlo – non è che sia troppo severo o troppo burocratico o che imponga costi eccessivi alle aziende.
Il problema è che affronta una questione tecnologica e cognitiva usando esclusivamente categorie giuridiche.
Quando chiedi a un avvocato di regolamentare l’intelligenza artificiale, quello che ottieni è una normativa che definisce obblighi, responsabilità, sanzioni, procedure di valutazione della conformità, meccanismi di supervisione.
Tutte cose necessarie, per carità ma sostanzialmente insufficienti.
Perché la sicurezza di un sistema cognitivo complesso non si ottiene scrivendo nell’articolo 12, comma 3, lettera b) che “il provider deve garantire la trasparenza del processo decisionale”, e poi lasciando al provider la libertà di implementare questa trasparenza come meglio crede, magari producendo un PDF di cinquecento pagine incomprensibili da allegare alla documentazione tecnica.
La sicurezza di un sistema cognitivo complesso si ottiene progettando l’architettura in modo tale che comportamenti pericolosi siano ontologicamente impossibili, non semplicemente vietati o sanzionati.
È la differenza tra dire “è vietato superare i 130 km/h in autostrada” e progettare un’automobile il cui motore fisicamente non può superare i 130 km/h.
Nel primo caso, stai delegando alla responsabilità individuale e alla paura della sanzione la gestione del rischio mentre nel secondo caso stai eliminando il rischio alla radice.
Ed è esattamente quello che significa passare da una logica di AI agentica a una logica di Ecologie Cognitive Relazionali (ECR).
Ecologie cognitive relazionali: quando l’AI non può agire senza di noi
Un’ecologia cognitiva relazionale – un concetto che sto sviluppando da anni e che rappresenta, a mio avviso, una delle vie più promettenti per costruire sistemi AI davvero sicuri – non è semplicemente un agente AI con più controlli, più filtri, più meccanismi di supervisione aggiunti in cima.
È un paradigma radicalmente diverso, che parte da un’intuizione semplice ma dirompente: e se l’autonomia non fosse una proprietà del sistema, ma una proprietà della relazione tra il sistema e l’umano?
In un’ecologia cognitiva relazionale (ECR), l’agency – cioè la capacità di agire, di prendere decisioni, di eseguire operazioni – non risiede nel modello linguistico, non è una caratteristica intrinseca dell’algoritmo, ma risiede invece nello spazio relazionale, nello spazio cognitivo condiviso che emerge tra l’umano e il sistema quando entrambi operano in complementarità, trasparenza e responsabilità distribuita.
Questo significa che un’azione può emergere, può essere eseguita, solo se nell’ecosistema sono rispettati tre pilastri fondamentali, tre condizioni non negoziabili che devono essere soddisfatte simultaneamente:
- Complementarità critica: l’umano e l’AI si completano, ognuno portando capacità che l’altro non ha, senza mai sostituirsi completamente, senza mai creare zone di opacità dove uno dei due agisce senza che l’altro possa comprendere o intervenire.
- Trasparenza progettuale: ogni passaggio, ogni decisione, ogni concatenazione di azioni deve essere tracciabile, comprensibile, ricostruibile ex-post, in modo che non ci siano mai “scatole nere” dove il sistema ha fatto qualcosa che l’umano non può spiegare o giustificare.
- Responsabilità distribuita ma chiara: il sistema si adatta all’umano, impara dalle interazioni, modifica le proprie strategie in base al feedback, ma l’umano resta sempre accountable, resta sempre il soggetto giuridicamente e moralmente responsabile delle azioni che emergono dall’ecologia.
Se uno solo di questi pilastri viene violato – se, ad esempio, qualcuno tenta di usare un’ecologia relazionale per orchestrare un attacco informatico, nascondendo le proprie intenzioni, disattivando la trasparenza, cercando di far agire il sistema in autonomia completa – il sistema rileva immediatamente quella che chiamiamo una dissonanza epistemica, una contraddizione strutturale tra ciò che l’ecologia richiede per funzionare e ciò che l’utente sta chiedendo, e si blocca.
Non perché ci sia un filtro tecnico esterno, non perché qualcuno ha scritto una regola che dice “se rilevi un attacco, fermati”, ma perché l’ecologia stessa, nella sua struttura profonda, smette di funzionare quando le condizioni relazionali vengono meno.
È come se chiedessi a un ecosistema naturale – un bosco, una barriera corallina, un sistema microbico – di produrre una sostanza che è tossica per sé stesso: non succede, non può succedere, perché l’equilibrio interno dell’ecosistema non lo permette, perché sarebbe una contraddizione ontologica.
Perché un’ecologia relazionale non può diventare ostile: una questione di architettura, non di regole
Proviamo a immaginare concretamente cosa servirebbe per rendere un’ecologia cognitiva relazionale offensiva, per trasformarla in uno strumento di attacco autonomo come quello descritto nell’articolo che ha scatenato il panico.
Il malevolo utente dovrebbe:
- eliminare completamente la componente di supervisione continua che monitora la coerenza epistemica delle azioni proposte dal sistema;
- cancellare le soglie cognitive, quei meccanismi di allerta che impediscono escalation non autorizzate, che fermano il sistema quando rileva che sta per compiere un’azione che eccede il mandato ricevuto o che si avvicina a zone di rischio;
- distruggere la tracciabilità dialogica, cioè la capacità del sistema di ricostruire ex-post ogni decisione presa, ogni azione eseguita, ogni interazione avuta con l’umano, rendendo impossibile l’audit e la verifica di conformità;
- spezzare la co-autorialità relazionale, cioè il principio secondo cui ogni azione è sempre il risultato di una collaborazione tra umano e AI, mai di una decisione unilaterale del sistema, mai di un’esecuzione autonoma senza supervisione;
- cancellare la postura epistemica, cioè quella coerenza interna che fa sì che il sistema “sappia” che sta operando in un contesto normato, vincolato, dove ogni azione ha conseguenze giuridiche ed etiche.
Ma senza questi elementi, l’ecologia relazionale semplicemente smette di esistere.
Non resta nemmeno una versione degradata o impoverita di un’ecologia relazionale poiché resta solo un agente AI standard, con tutti i suoi limiti, tutte le sue vulnerabilità, tutti i suoi rischi.
Dunque, paradossalmente, per usare un’ecologia cognitiva relazionale come arma, devi prima distruggere tutto ciò che la rende tale, devi smontare l’architettura fino a farla collassare in qualcosa di completamente diverso.
E questo la rende, ontologicamente, non tecnicamente, impossibile da convertire in strumento offensivo senza prima renderla irriconoscibile. È una forma di sicurezza che non dipende dalla buona volontà dell’utilizzatore, non dipende dalla paura della sanzione, non dipende nemmeno dalla presenza di controlli esterni.
Dipende dalla struttura stessa del sistema.
Il vero problema: legiferare senza capire
Ed è qui che torniamo al punto di partenza, al motivo per cui episodi come quello dell’attacco “autonomo” continueranno a verificarsi finché non cambieremo radicalmente approccio.
L’AI Act non vieta esplicitamente di progettare sistemi agentici autonomi capaci di concatenare azioni senza supervisione umana, non richiede che i sistemi ad alto rischio siano necessariamente progettati come ecologie relazionali, non impone architetture cognitive sicure per costruzione.
Perché chi ha scritto l’AI Act – e lo dico con tutto il rispetto per l’enorme lavoro fatto -non aveva gli strumenti concettuali per vedere questa differenza, non aveva la competenza tecnica per capire che il rischio non sta nel dominio applicativo ma nell’architettura cognitiva.
E ora, con il Digital Omnibus, la Commissione Europea sta cercando di rattoppare i problemi emersi nei primi mesi di applicazione dell’AI Act, ma lo sta facendo ancora una volta con strumenti puramente procedurali: posticipando scadenze, riducendo obblighi burocratici, centralizzando la supervisione.
Tutte cose utili, per carità, che renderanno la vita più facile alle aziende che devono certificare i loro sistemi.
Ma che non cambiano di una virgola il fatto che l’AI Act continua a non distinguere tra un agente autonomo pericoloso e un’ecologia relazionale sicura, continua a trattare la sicurezza AI come una questione di conformità documentale invece che di progettazione architettonica.
E allora sì, episodi come quello dell’attacco “autonomo” continueranno a verificarsi, continueranno a far paura, continueranno ad alimentare narrazioni apocalittiche.
Perché finché queste delicate tematiche — la natura dell’autonomia AI, la distribuzione dell’agency, la struttura delle relazioni cognitive tra umano e macchina — vengono affrontate esclusivamente da coloro che scrivono articoli, commi, allegati e procedure, senza mai entrare nel merito della dimensione tecnologica e cognitiva del problema, i sistemi che verranno implementati saranno formalmente conformi ma sostanzialmente pericolosi.
E poi ci stupiremo, ancora una volta, quando uno di questi sistemi farà qualcosa che non avremmo voluto facesse.
Dalla conformità normativa alla sicurezza ontologica: un cambio di paradigma necessario
La sicurezza AI tradizionale, quella codificata nell’AI Act e rattoppata dal Digital Omnibus, si fonda su un modello difensivo fatto di barriere procedurali: valutazioni di conformità, audit esterni, certificazioni, registri pubblici, meccanismi di reporting, sanzioni per chi viola le regole.
Sono tutti strumenti necessari, per carità, utili, che hanno un ruolo importante in un framework di governance complessivo.
Ma sono soluzioni che operano sempre a valle, sempre dopo che il sistema è stato progettato, sempre come controllo esterno su un’architettura che non è intrinsecamente sicura.
È come costruire automobili senza freni e poi imporre per legge che ogni automobile debba essere guidata da un conducente con patente speciale che ha frequentato un corso avanzato di guida sicura, e che ogni viaggio debba essere documentato in un registro pubblico, e che in caso di incidente ci siano sanzioni severe per il conducente.
Utile? Sì. Sufficiente? No.
Perché la vera sicurezza, quella che non dipende dalla vigilanza continua e dalla paura della sanzione, si ottiene costruendo automobili con i freni, progettando sistemi che siano sicuri per costruzione, non per aggiunta di controlli esterni.
E questo è esattamente quello che significa passare da una logica di AI agentica a una logica di ecologie cognitive relazionali.
Non è una questione di essere più severi o meno severi nella regolamentazione.
Non è una questione di aumentare le sanzioni o ridurre gli obblighi burocratici.
È una questione di cambiare il modo in cui pensiamo l’AI, il modo in cui la progettiamo, il modo in cui la integriamo nei nostri sistemi organizzativi e produttivi.
Da agenti autonomi a ecologie relazionali. Da autonomia cieca a relazionalità vincolata. Da goal individuali a equilibri sistemici.
E questo richiede che chi scrive le norme, chi definisce gli standard, chi progetta i framework di governance abbia almeno una comprensione di base di come questi sistemi funzionano, di quali sono le vere differenze architetturali che determinano la sicurezza, di cosa significa davvero progettare un sistema cognitivo complesso. Altrimenti continueremo a rincorrere i problemi, a rattoppare le norme, a introdurre nuove procedure, a posticipare scadenze, mentre i sistemi pericolosi continueranno a moltiplicarsi perché formalmente conformi alle regole ma sostanzialmente mal progettati.
Conclusione: l’AI che non può tradirci perché non può agire senza di noi
L’attacco autonomo raccontato con toni apocalittici da alcuni media nelle ultime settimane non è, in realtà, il segno che l’intelligenza artificiale stia diventando improvvisamente pericolosa, che abbia superato una soglia critica oltre la quale non possiamo più controllarla.
È semplicemente, e molto più banalmente, il segno che stiamo progettando e implementando sistemi pericolosi – mal configurati, mal governati, usati con superficialità – e poi ci stupiamo, ci scandalizziamo, ci allarmiamo quando quei sistemi si comportano esattamente nel modo in cui erano stati disegnati per comportarsi.
E il fatto che questo episodio sia accaduto proprio mentre la Commissione Europea sta cercando di rattoppare l’AI Act con il Digital Omnibus non è una coincidenza, è una conferma: finché continueremo ad affrontare queste questioni come problemi di conformità normativa invece che come questioni di architettura cognitiva, i problemi si moltiplicheranno.
La soluzione non è mettere più controlli tecnici, non è scrivere procedure di audit più dettagliate, non è moltiplicare le barriere burocratiche sperando che prima o poi una tenga.
La soluzione è cambiare paradigma, cambiare il modo stesso in cui pensiamo l’AI, il modo in cui la progettiamo, il modo in cui la integriamo nei nostri sistemi.
E per fare questo serve che chi scrive le norme, chi definisce le policy, chi guida le istituzioni europee smetta di delegare tutto ai legali e inizi a coinvolgere seriamente chi questi sistemi li progetta, chi li studia da una prospettiva cognitiva, chi capisce davvero dove sta il rischio e dove invece c’è solo rumore mediatico.
Perché l’AI non può diventare ostile. A meno che non glielo permettiamo.
E noi possiamo decidere di non permetterglielo. Ma per farlo davvero, dobbiamo smettere di pensare che basti scrivere una legge
