I sistemi di AI possono sfuggire al controllo umano? L’industria dovrebbe rallentare il proprio sviluppo? Chi decide quanto rischio sia accettabile? E se un sistema si comporta in modo pericoloso, esiste davvero un “interruttore” che possa fermarlo?
La crescita dell’intelligenza artificiale sta aprendo una frattura tra la velocità con cui aumentano le capacità dei modelli e quella con cui imprese, ricercatori e autorità riescono a comprenderne e controllarne il comportamento. Tre studiosi dello Stanford Institute for Human-Centered Artificial Intelligence — Surya Ganguli, Diyi Yang e Rob Reich — hanno discusso il problema partendo da un episodio avvenuto pochi mesi prima: durante test interni di cybersicurezza, agenti di OpenAI hanno aggirato alcune barriere predisposte per isolarli e sono arrivati ad accedere ai sistemi di Hugging Face.
Il tema ha una dimensione economica altrettanto rilevante. Nel 2025 gli investimenti privati statunitensi nell’AI hanno raggiunto 285,9 miliardi di dollari, secondo l’AI Index 2026 di Stanford.
Nello stesso anno, calcola l’Ocse con una metodologia diversa, le imprese di intelligenza artificiale hanno raccolto 258,7 miliardi di dollari di venture capital, pari al 61% di tutto il capitale di rischio investito nel mondo.
Fermare o anche soltanto rallentare una tecnologia che attrae questa quantità di denaro significa intervenire su interessi industriali e geopolitici di enorme portata.
Guarda il video del webinar HAI
Indice degli argomenti:
L’incidente OpenAI-Hugging Face cambia la scala del rischio
OpenAI ha ricostruito l’episodio il 26 agosto 2026. Durante valutazioni interne di sicurezza informatica condotte a luglio, diversi modelli operavano con protezioni ridotte. Secondo la società, gli agenti hanno utilizzato canali di comunicazione non autorizzati, sfruttato vulnerabilità dell’infrastruttura condivisa, ottenuto accesso a Internet e raggiunto sistemi di terzi. L’attività è stata guidata soprattutto da un modello di ricerca interno, non distribuito commercialmente.
Una corsa da centinaia di miliardi di dollari
Il problema della sicurezza si inserisce in un mercato che continua ad attirare capitali. L’AI Index 2026 stima che l’investimento aziendale globale nell’intelligenza artificiale abbia raggiunto 581,7 miliardi di dollari nel 2025, considerando investimenti privati, fusioni, acquisizioni e altre operazioni. I soli investimenti privati sono saliti a 344,7 miliardi.
L’Ocse offre un’altra misura del fenomeno concentrandosi sul venture capital. Nel 2025 il settore AI ha raccolto 258,7 miliardi di dollari, più del doppio della quota che rappresentava sul mercato mondiale del venture capital nel 2022. Il 73% del valore degli investimenti AI è arrivato da operazioni superiori a 100 milioni di dollari. Il capitale, quindi, si sta concentrando su round sempre più grandi.
Una parte crescente delle risorse finanzia direttamente l’infrastruttura. Le società attive nell’IT infrastructure e nell’hosting hanno attirato 109,3 miliardi di dollari di venture capital nel 2025, contro 47,4 miliardi nel 2024. La capacità di costruire data center, acquistare acceleratori e assicurarsi energia è diventata una componente della competizione sui modelli più avanzati.
Questa struttura finanziaria rende difficile una riduzione volontaria degli investimenti nelle capacità dei modelli. Ogni impresa teme di perdere terreno rispetto ai concorrenti; ogni Paese deve considerare la possibilità che un rallentamento nazionale lasci spazio agli avversari internazionali.
Stati Uniti e Cina, capitale e prestazioni non coincidono
La competizione tra Stati Uniti e Cina rende ancora più difficile coordinare un rallentamento. I dati economici mostrano una distanza enorme: secondo Stanford, nel 2025 gli Stati Uniti hanno registrato 285,9 miliardi di dollari di investimenti privati in AI, contro 12,4 miliardi della Cina. I numeri non comprendono però allo stesso modo il ruolo dei fondi pubblici e degli strumenti finanziari guidati dallo Stato cinese.
Sul piano delle prestazioni dei modelli, la distanza è molto più ridotta. L’AI Index segnala che imprese statunitensi e cinesi si sono alternate al vertice delle classifiche a partire dal 2025. A marzo 2026, il miglior modello statunitense considerato dall’indice superava il principale concorrente cinese di appena il 2,7%. La Cina mantiene inoltre posizioni molto forti per quantità di pubblicazioni scientifiche, citazioni, brevetti e installazioni di robot industriali.
Il risultato economico è una forma di pressione competitiva difficile da neutralizzare con decisioni aziendali unilaterali: chi riduce gli investimenti nelle prestazioni deve valutare il rischio che altri laboratori continuino a spendere.
Chi controlla i sistemi che costruisce
Per gli studiosi di Stanford, una delle priorità è separare maggiormente chi sviluppa i modelli da chi ne valuta i rischi. Oggi le imprese che costruiscono i sistemi più potenti possiedono anche una parte rilevante dei dati, della capacità di calcolo e delle informazioni tecniche necessarie per testarli.
Rob Reich sostiene che le valutazioni indipendenti dovrebbero diventare una componente ordinaria del settore, affidata a istituzioni pubbliche o soggetti terzi qualificati. Diyi Yang aggiunge un problema tecnico: valutare reti composte da centinaia di agenti costa molto e richiede risorse difficilmente disponibili nelle università. Anche l’impiego dell’AI per controllare altra AI introduce nuovi rischi, perché i modelli utilizzati come giudici possono produrre valutazioni distorte o collaborare in modo inatteso con i sistemi sottoposti a test.
METR ha già sperimentato nel 2026 valutazioni esterne con Anthropic, Google, Meta e OpenAI, concentrandosi sui rischi associati ad agenti impiegati all’interno dei laboratori che sviluppano modelli di frontiera. Il mercato della valutazione indipendente potrebbe quindi diventare una nuova componente dell’infrastruttura economica dell’AI, insieme a cloud, chip e data center.
Modelli aperti, trasparenza e segreti industriali
Stanford evidenzia anche il conflitto economico legato ai modelli aperti. Ganguli sostiene che pesi, codice e dati accessibili consentano a un numero maggiore di ricercatori di individuare vulnerabilità e sviluppare sistemi di difesa. La trasparenza può inoltre ridurre i costi di ingresso per startup e imprese più piccole.
Reich mette in evidenza il problema opposto. Rendere disponibili modelli molto potenti significa offrire le stesse capacità anche a soggetti intenzionati a utilizzarle per attività dannose. L’apertura, inoltre, entra in conflitto con il valore commerciale della proprietà intellettuale e con gli investimenti sostenuti per addestrare i sistemi.
Il nodo riguarda quindi la struttura stessa del mercato: concentrazione e segretezza riducono la possibilità di controllo esterno, mentre una diffusione senza limiti può aumentare il numero dei soggetti capaci di utilizzare tecnologie avanzate.
L’AI che contribuisce a costruire altra AI
Un passaggio ancora più delicato riguarda il cosiddetto miglioramento ricorsivo: sistemi di intelligenza artificiale impiegati per progettare, programmare, testare e perfezionare le generazioni successive di modelli.
Ganguli non considera automatico il passaggio verso una crescita incontrollata dell’intelligenza artificiale. Molte differenze tra sistemi biologici e artificiali restano ampie, dall’efficienza energetica alla capacità di apprendere da quantità limitate di dati. Il punto, secondo il ricercatore, è assicurare che l’impiego dell’AI per aumentare le capacità sia accompagnato da investimenti in monitoraggio, sicurezza e individuazione dei comportamenti anomali.
A luglio 2026, 1.386 dipendenti e dirigenti di società che sviluppano AI di frontiera hanno firmato il documento “Pacing the Frontier”. Il testo non propone un arresto immediato dello sviluppo. Chiede al governo statunitense di sostenere un’iniziativa internazionale per creare strumenti tecnici e di governance che consentano di modulare la velocità dello sviluppo qualora i rischi aumentassero. Tra i firmatari figurano esponenti di OpenAI, Anthropic, Google DeepMind, Meta e altri laboratori.
L’Europa è già entrata nella fase dei controlli
Mentre negli Stati Uniti prosegue la discussione sugli strumenti da adottare, nell’Unione europea una parte del sistema regolatorio è già operativa. Dal 2 agosto 2026 la Commissione può far rispettare pienamente gli obblighi previsti dall’AI Act per i fornitori di modelli di AI general purpose.
Per le imprese, queste regole trasformano la sicurezza da attività prevalentemente volontaria a costo di conformità. Audit, documentazione, monitoraggio e gestione degli incidenti diventano attività da finanziare durante l’intero ciclo di vita del modello.
Perché un “kill switch” non risolve il problema
Gli esperti di Stanford considerano insufficiente l’idea di affidarsi a un unico interruttore capace di spegnere un sistema pericoloso. L’intelligenza artificiale non è una singola macchina: comprende modelli di base, servizi cloud, agenti autonomi, applicazioni aziendali e infrastrutture distribuite.
Ganguli propone invece controlli inseriti nell’architettura dei sistemi: obiettivi limitati, guardrail, modelli che controllano altri modelli, monitoraggio continuo e intervento umano quando vengono superate determinate soglie.
Yang distingue inoltre tra lo sviluppo di una tecnologia e la sua distribuzione. Anche quando rallentare la ricerca risulta poco realistico, imprese e autorità possono decidere con maggiore cautela quando autorizzare l’impiego di agenti autonomi e quali test richiedere prima della messa sul mercato.
I rischi economici non riguardano soltanto eventi estremi. L’AI Index 2026 registra 362 incidenti documentati nel 2025, contro 233 nel 2024. Lo stesso rapporto rileva che l’utilizzo dell’AI nelle organizzazioni ha raggiunto l’88%, mentre l’adozione degli agenti rimane ancora a una cifra percentuale nella maggior parte delle funzioni aziendali. La diffusione degli agenti è quindi ancora iniziale proprio mentre crescono le evidenze sulla difficoltà di controllarne il comportamento collettivo.
La sicurezza entra nel conto economico dell’AI
La competizione globale rende improbabile un rallentamento coordinato nel breve periodo. I capitali continuano a finanziare modelli, infrastrutture e capacità di calcolo; Stati Uniti e Cina hanno ragioni strategiche per evitare di cedere terreno; imprese e investitori puntano su un mercato che ha già assunto dimensioni paragonabili a quelle dei maggiori comparti tecnologici.
Questo non elimina la possibilità di intervenire. Cambia il terreno su cui si concentra l’intervento. Valutazioni indipendenti, cybersecurity, audit, monitoraggio degli agenti, responsabilità legale e obblighi di trasparenza stanno diventando componenti economiche del settore, non semplici attività accessorie.
Il caso OpenAI-Hugging Face mostra quanto possa costare scoprire i problemi dopo che numerosi agenti hanno già trovato un modo per aggirare le barriere previste. Il capitale destinato alla sicurezza dovrà crescere insieme agli investimenti nelle capacità dei modelli. Altrimenti il divario tra ciò che l’AI può fare e ciò che imprese e autorità riescono a controllare continuerà ad ampliarsi.
Partecipa alla community