Le minacce basate sull’intelligenza artificiale generativa, come ad esempio le e-mail di spam e gli attacchi di phishing estremamente ingannevoli che possono essere elaborati e diffusi, continuano a evolversi e ad aumentare, ma non sono gli unici modi in cui gli aggressori sfruttano questa tecnologia. È stata individuata, infatti, anche una crescente manipolazione degli strumenti AI delle aziende e la manomissione delle loro funzionalità di sicurezza basate sull’AI con lo scopo di rubare e compromettere informazioni e indebolirne le difese.
Indice degli argomenti:
Attacchi e-mail contro gli assistenti AI
Gli assistenti AI e i modelli LLM che ne supportano le funzionalità possono essere vulnerabili ai cyber attacchi, come ad esempio prompt malevoli nascosti all’interno di e-mail apparentemente innocue. In questi casi, i payload malevoli sono progettati appositamente per manipolare il comportamento degli assistenti informatici AI.
Ad esempio, una vulnerabilità recentemente segnalata – e risolta – in Copilot, l’assistente AI di Microsoft 365, avrebbe potuto permettere a chiunque di estrarre informazioni da una rete senza autorizzazione. Una situazione che gli hacker possono sfruttare per raccogliere ed estrarre dati sensibili.
Tutto ciò avviene facendo leva sulla capacità degli assistenti AI interni all’azienda di cercare e raccogliere dati contestuali da e-mail, messaggi e documenti quando devono rispondere a delle richieste o svolgere dei task.
- Innanzitutto, gli aggressori inviano a uno o più dipendenti un’e-mail apparentemente legittima che nasconde però un prompt dannoso al suo interno.
- Questa e-mail non richiede alcuna interazione da parte dell’utente e rimane nella casella di posta senza creare alcun danno.
- Quando il dipendente richiede l’assistenza dell’AI per completare un task, questa analizza e-mail, file e dati dello storico per raccogliere gli elementi necessari a fornire una risposta. Di conseguenza, il sistema AI finisce inconsapevolmente per “infettarsi” con il prompt malevolo.
- Questo prompt può quindi indurre il sistema AI a prelevare informazioni sensibili, eseguire comandi pericolosi o modificare dati.
Le e-mail infette vengono anche sfruttate per alterare la memoria interna o la logica di recupero dei dati degli assistenti AI; in alcuni casi, ad esempio, si servono di alcune vulnerabilità presenti nelle implementazioni RAG (Retrieval-Augmented Generation), ossia una tecnica che consente ai modelli linguistici di recuperare e incorporare nuove informazioni al di là del proprio set di addestramento.
Attacchi di questo tipo possono portare i sistemi AI a prendere decisioni errate, fornire informazioni false o eseguire azioni indesiderate basate su dati compromessi.
Manomissione delle misure di sicurezza basate sull’AI
I criminali informatici stanno anche imparando a manipolare i componenti AI delle tecnologie di protezione. Ad esempio, quelli delle piattaforme di sicurezza e-mail che ne facilitano ed efficientano l’uso grazie a funzionalità quali la risposta automatica, l’inoltro “intelligente”, lo smistamento automatico dello spam e la creazione automatica di richieste di assistenza.
Tutto questo non fa che aumentare la superficie d’attacco a disposizione dei malintenzionati che, in caso riuscissero a fare breccia, potrebbero:
- far sì che gli strumenti di sicurezza intelligenti dell’e-mail inviino risposte automatiche contenenti dati sensibili;
- sfruttare le funzionalità di sicurezza dell’AI per aumentare le richieste di assistenza senza verifica. Ciò potrebbe comportare un accesso non autorizzato ai sistemi o ai dati, poiché gli aggressori potrebbero utilizzare i privilegi ottenuti per svolgere attività dannose;
- attivare l’automazione dei flussi di lavoro sulla base di un prompt maligno. Questo potrebbe causare l’esecuzione di azioni dannose, come la diffusione di malware, la modifica di dati critici o l’interruzione delle operazioni aziendali.
Mettere in discussione la realtà: falsificazione dell’identità e spoofing
Quando i sistemi AI operano con un alto livello di autonomia, possono essere portati a impersonare gli utenti oppure a fidarsi di chi li impersona. Questo può comportare:
Attacchi di tipo “Confused Deputy”, che si verificano quando un agente AI con privilegi elevati esegue attività non autorizzate per conto di un utente con privilegi inferiori (ad esempio, un aggressore).
Accesso API falsificato tramite spoofing, che consiste nella manipolazione di integrazioni esistenti e basate su AI per Microsoft 365 o Gmail al fine di esfiltrare dati sensibili o inviare e-mail fraudolente.
Allucinazioni a catena: fidarsi del falso
Come detto, gli attacchi via e-mail nei confronti degli assistenti AI possono compromettere il funzionamento del sistema stesso, ad esempio portandolo a scandagliare la casella di posta di un utente, generare report o impostare l’agenda basandosi su dati falsi o manipolati.
In questi casi, una sola e-mail compromessa potrebbe:
- Invertire le priorità delle attività. Ad esempio, inviando e-mail “urgenti” da parte di finti dirigenti.
- Distorcere riassunti e raccomandazioni.
- Influenzare decisioni aziendali critiche basate sulle cosiddette allucinazioni, ovvero informazioni false generate dall’AI.
Come devono evolvere le difese dell’e-mail
I gateway di posta elettronica tradizionali, i protocolli convenzionali di autenticazione delle e-mail quali SPF (Sender Policy Framework) o DKIM (DomainKeys Identified Mail) e le normali blacklist di indirizzi IP non sono più sufficienti per difendersi da minacce di questo genere. Per questo, è necessario implementare piattaforme di sicurezza della posta elettronica che siano resilienti alle minacce dell’AI generativa e dotate di:
- Filtro avanzato in ottica LLM. La capacità di comprendere il contesto dell’e-mail (argomento, destinatario, tipologia, ecc.), il tono e i modelli comportamentali, oltre al semplice contenuto del testo.
- Validazione contestuale dell’apprendimento. Questo processo aiuta a “sanificare” ciò che i filtri basati sull’AI apprendono nel tempo, prevenendo così la manipolazione a lungo termine.
- Isolamento della toolchain. Gli assistenti AI devono operare in ambienti isolati (o sandbox) e prevedere misure per bloccare qualsiasi azione non verificata richiesta da un’e-mail.
- Gestione mirata delle identità. Questo approccio implica l’uso di token con privilegi minimi e l’applicazione di limiti di identità per le integrazioni con l’AI.
- Approccio zero trust all’esecuzione AI. Anche se un’e-mail sembra provenire dall’amministratore delegato di un’azienda, l’AI non dovrebbe prendere in carico la richiesta in modo automatico: gli strumenti devono essere configurati per verificare ogni aspetto prima di procedere con l’esecuzione.
Il futuro della sicurezza dell’e-mail è “agent-aware”: incentrato sugli agenti AI
Gli strumenti di AI utilizzati nelle aziende sono sempre più basati sull’AI agentica, ovvero sistemi di intelligenza artificiale capaci di processi decisionali indipendenti e di comportamenti autonomi. Questi sistemi possono quindi ragionare, pianificare ed eseguire azioni, adattandosi in tempo reale per raggiungere obiettivi specifici.
Questa potenzialità può essere sfruttata dai criminali informatici e, per questo motivo, le misure di sicurezza devono passare da un filtraggio passivo a una modellizzazione proattiva delle minacce specifiche per gli agenti AI.
L’e-mail ne è un esempio emblematico: la posta elettronica sta diventando uno spazio di lavoro sempre più potenziato dall’intelligenza artificiale, ma rimane anche uno dei principali vettori di attacco. Le strategie di sicurezza devono smettere di considerare l’e-mail come un semplice canale di comunicazione: è un ambiente di esecuzione che richiede l’applicazione di un approccio zero trust e una validazione continua e attenta al contesto AI.
