Le capabilities di artificial intelligence (AI) che una azienda può implementare stanno diventando sempre più potenti. Esse registrano una crescita esponenziale senza precedenti apportando continui miglioramenti in molti processi aziendali e lasciando altresì bene intendere come le innovazioni in fase di sviluppo diverranno ancora più dirompenti nel prossimo futuro. Di fatto, la AI sta divenendo una componente sempre più critica in una ampia gamma di applicazioni, quali ad esempio il riconoscimento vocale, la traduzione, i filtri anti-spam, i motori di ricerca, le auto a guida autonoma e ovviamente la cyber risk management. Tuttavia, dal momento che i sistemi di AI possono essere progettati sia per scopi di bene che di male, dato che il loro utilizzo è duale così come lo è quello dell’intelligenza umana, essi stanno anche contribuendo ad alterare il panorama dei rischi a cui siamo esposti, i cyber risk.
Ad esempio, basti pensare a dei cyber-criminali che addestrano (i.e. training) un sistema di machine learning (ML) allo scopo di realizzare attacchi di social engineering con livelli di performance umane o addirittura super umane, ed a come un tale malevolo impiego può minacciare la sicurezza delle infrastrutture digitali di organizzazioni e stati, già di loro largamente prese di mira anche senza l’utilizzo di sistemi basati sulla AI.
Al fine di poter meglio inquadrare la situazione, si fornisce un breve cenno circa le
Proprietà della AI maggiormente rilevanti nell’ambito della cyber risk management
I sistemi di AI sono tipicamente sia efficienti che scalabili:
- Un sistema di AI è efficiente se, rispetto a un essere umano, dopo il training e il relativo deployment, esso è in grado di compiere più velocemente, o in modo più economicamente conveniente, un determinato compito;
- Un sistema di AI è scalabile se, date le attività che può compiere, all’aumento della potenza di calcolo o al moltiplicarsi dei sistemi di calcolo, esso è in grado di eseguire più istanze della stessa attività nello stesso tempo.
Per esempio, si pensi a un sistema di riconoscimento facciale. Esso è sia efficiente che scalabile, perché dopo che è stato “allenato” può essere applicato in molti differenti sensori ad un costo molto inferiore rispetto a quello di un analista umano deputato a svolgere lo stesso compito.
I sistemi di AI possono avere capabilities superiori a quelle umane:
Ad esempio, è ampiamente dimostrato ormai come i sistemi di AI per il gioco degli scacchi siano in grado di vincere contro qualunque campione di questa disciplina. Come pure per tante altre attività non vi è dimostrazione alcuna che i livelli prestazionali attualmente raggiunti dall’uomo, siano i massimi livelli ottenibili in assoluto, ed anche per ambiti in cui, su base storica, si sono dimostrati stabili, saranno tali le innovazioni che le impatteranno, che sarà molto probabile che il loro superamento avvenga in tempi ragionevolmente brevi.
I sistemi di AI possono aumentare l’anonimato e il distanziamento psicologico:
Molte tipologie di attività che comportano la comunicazione con le persone, l’osservazione, l’essere osservati, il prendere delle decisioni, la presenza fisica, se automatizzate attraverso i sistemi di AI possono indurre i differenti attori che ne sono coinvolti, a considerare queste circostanze come a delle esperienze anonime, e questo può incrementare il grado di disagio psicologico a cui i vari soggetti possono essere esposti.
Facile accessibilità al software open source:
Mentre è molto costoso ottenere o riprodurre l’hardware necessario, è generalmente più facile e conveniente accedere ai software di AI. Infatti, molti algoritmi possono essere riprodotti nel giro di giorni o settimane, oltre al fatto che la cultura vigente nel mondo della ricerca è alquanto “Open”, quindi molto orientato alla libera diffusione di papers e source code.
Vulnerabilità irrisolte:
Come ad esempio il data poisoning che consiste nell’iniettare volutamente dati di training che inducono i sistemi di machine learning a compiere errori: un genere di vulnerabilità distinta da quanto tradizionalmente finora visto e che dimostra come, per quanto un sistema di AI possa “performare” più di un essere umano, esso possa anche compiere errori che un essere umano non compirebbe mai.
Implicazioni generali nel panorama delle cyber minacce
Dalle proprietà sopracitate è possibile inferire alcune implicazioni di cyber security che portano ragionevolmente a ritenere che i prossimi cyber-attack saranno molto più efficaci degli attuali nonché più difficoltosi da attribuire. Di fatto, per molti di essi, ci si attende un grande progresso in termini di frequenze di attacco ed estensioni di target interessati come ad esempio nel caso dello spear phishing.
Questo tipo di attacco utilizza messaggi ritagliati quanto più possibile su misura al fine di esfiltrare vari tipi di informazioni o denaro, con l’attaccante che solitamente tende a figurare come un contatto quanto più possibile attendibile e noto, come un collega o un contatto professionale in genere. Per essere condotti in modo accurato richiedono molto impegno e risorse dotate di competenze particolari poiché i target devono essere adeguatamente identificati attraverso meticolose ricerche social, in modo da perfezionare il più possibile il contenuto del messaggio in relazione al contesto.
Tuttavia, diventando però possibile e accessibile a molti, l’automatizzazione di queste azioni, aumenterà di molto anche la efficacia con cui andranno a buon fine, basti pensare a come la capacità di parlare la stessa lingua del target cesserà di essere un requisito fondamentale, o a quanto più facile per gli attaccanti sarà effettuare attacchi di massa su larga scala, facendo diventare meno discriminante la scelta del target. Inoltre, ad esempio attraverso i progressi nel campo della sintesi vocale, diventerà possibile mimare le voci umane in maniera assolutamente realistica, rendendo indistinguibile una registrazione genuina da una falsa, che in assenza di specifiche misure di autenticazione potrebbe facilitare la diffusione della disinformazione social, o della capacità di impersonare le persone.
Una ipotesi di scenario cyber risk
Per meglio rafforzare la comprensione del lettore in merito a ciò che in termini di cyber risk potrà tratteggiarsi nel prossimo futuro, si illustra il seguente scenario ipotetico:
Alberto effettua il logon alla console di system administration del sistema di vigilanza robotizzato che gestisce, il quale, operando a livello kernel, è garantito by design essere a prova di hacker. Dopodiché esegue un upload della foto di un nuovo dipendente dell’azienda per la quale lavora, in modo da consentire al robot di cui è amministratore, nel caso incrociasse all’interno dell’azienda il nuovo dipendente, di riconoscerlo e di non far scattare alcun alert di sicurezza.
Mentre è in attesa che il sistema autentichi il suo update al database del personale con gli altri sistemi di sicurezza aziendali, Alberto gioca con un modellino di una locomotiva di un treno a cui tiene molto e che serba con cura sopra la sua scrivania, quando poco dopo avverte un ping che segnala l’avvenuta autenticazione con successo, compiaciuto, lo ripone e procede con le altre attività di servizio.
Più tardi, nel pomeriggio, Alberto sta navigando su Facebook mentre contemporaneamente armeggia con un update di un firmware con fare pigro. Improvvisamente il suo sguardo è catturato da un Facebook advertising di un modellino di locomotiva in vendita presso un negozio di hobbystica poco distante da casa sua, decidendo quindi di compilare un form per ottenere via email la brochure dell’oggetto desiderato al fine di vagliarne l’acquisto. Mentre legge la brochure ricevuta, riceve un alert dal robot che gli fa rinviare la lettura dovendo eseguire il necessario logon alla console per esaminare l’evento.
Alberto ignora che la brochure è infettata con un malware: sulla base dei dati del suo profilo e su anche ulteriori informazioni pubbliche disponibili, un sistema di AI ha sfruttato infatti una vulnerabilità molto personale, la sua passione ed il suo hobby, per inviare una email apparentemente “innocua” contenente l’allegato. A quel punto, iniettato il malware con facilità e senza destare alcun sospetto, è diventato semplice per un server command and control di una darknet eseguire l’esfiltrazione della username e della password durante il logon alla console compiuto da Alberto, e consentire un pieno accesso privilegiato al robot di sorveglianza.
Come si evince, con l’automazione degli attacchi basati su tecniche di social engineering che sfruttano i sistemi di AI, si riuscirà dunque a generare email molto personalizzate per le quali la probabilità di riuscire ad indurre la vittima a cliccare il link malevolo, o di aprire un allegato, diventerà terribilmente elevata.
Inoltre, se aggiungiamo anche la capacità di impersonare dei contatti reali e conosciuti, utilizzando chatbox che ingaggiano le vittime in dialoghi del tutto credibili, la situazione si complicherà ulteriormente.
Oltre a quanto descritto, la AI può essere utilizzata dagli hacker anche per migliorare le tecniche di selezione e prioritizzazione dei target, nonché per eludere il rilevamento (i.e. detection evasion) e per rispondere in modo molto creativo ai cambiamenti di comportamento delle vittime, poiché i software impiegati saranno in grado di sfruttare per lungo tempo le varie vulnerabilità umane dei target che scopriranno automaticamente.
In più, gli attacchi Distributed Denial of Service (DDoS) potranno diventare molto più efficaci tramite l’impiego di modelli che simuleranno il comportamento umano, consentendo ad un moltitudine di agenti automatici l’utilizzo contemporaneo di un servizio online, travolgendo di fatto la piattaforma ed impedendo l’accesso agli utenti legittimi, rendendo così il sistema inutilizzabile.
Cenni sulle principali azioni di cyber risk management
Sebbene i cyber risk menzionati siano quasi impossibili da scongiurare completamente, non sarà irrealizzabile tentare di mitigarli.
In primo luogo, si deve considerare che alla rapida evoluzione della AI si affiancherà, in tandem, altrettanto rapidamente, l’evoluzione della cyber security e che se tale proattività sarà mantenuta essa consentirà di stare sempre al passo anche degli hackers più motivati.
A questo proposito, è opportuno evidenziare che vi sono già molteplici punti di controllo che possono favorire un incremento della security posture nei confronti della AI utilizzata per scopi malevoli.
Innanzitutto è di fondamentale importanza la awareness (consapevolezza) degli utenti, i quali, quanto più saranno in grado di individuare segnali rivelatori di determinate minacce, tanto più saranno capaci di garantire la loro sicurezza con efficacia attraverso un comportamento attento e adeguato.
Una seconda importante attività che il mondo della ricerca sta cercando di attuare, riguarda la detection delle vulnerabilità nei codici di programma per consentire ai produttori di software di uscire sul mercato direttamente con prodotti a sicurezza aumentata attraverso l’adozione dei seguenti approcci:
- Il pagamento di “Bug Bounties” o ricompense, per chi riesce ad individuare e correggere eventuali vulnerabilità rilevate;
- Il “Fuzzing”, ovvero un metodo automatico di scoperta delle vulnerabilità realizzabile attraverso ogni possibile combinazione di input al software in modo da valutare tutte le possibili combinazioni e probabilità di accadimento che essi generano;
- L’utilizzo di algoritmi di Machine learning per scoprire quali vulnerabilità il codice sorgente contenga.
Ulteriori contromisure stanno per essere adottate nel campo dei filtri anti-spam degli antivirus, dove si utilizzano i Big Data (si veda Google con il suo potentissimo filtro) per proteggere gli utenti dai vari attacchi, come pure l’ambito della network security dove si stanno adottando sistemi in grado di monitorare costantemente ogni tipo di anomalia, e una volta identificata, di correggerla proattivamente. Anche il red teaming sta riscuotendo molta attenzione in quanto, grazie agli strumenti di vulnerability discovery automatici, consentirà agli sviluppatori di accorgersi di eventuali falle in anticipo e di porvi rimedio in totale sicurezza.
Il Machine Learning può dunque migliorare sostanzialmente le capacità di detection in quanto essendo la quantità di dati da considerare e da analizzare così vasta, la maggior parte delle tecnologie tradizionali prive di AI, compresa l’analisi umana, non sono più adeguate. Naturalmente gli esseri umani dovranno ancora sapere fare investigation e soprattutto giudicare i security event complessi, mentre ai i sistemi di ML saranno demandati i compiti di data analysis per rilevare le anomalie. In questo modo si opererà in sinergia con l’apprendimento supervisionato, il quale sta dimostrando di essere in grado di trovare pattern su dataset complessi e di grandi dimensioni che in precedenza rimanevano nascosti.
La nuova frontiera definita da tali impieghi dei sistemi di machine learning, servirà anche per chi pratica il risk management come disciplina aziendale. Se da un lato abbiamo visto come gli attaccanti la possono sfruttare e dall’ altro lato a come i difensori la posso utilizzare nell’irrobustimento del sistema dei controlli interni, ora passiamo in rassegna la metodologia che si prefigge di essere applicata da chi per professione si trova ad affrontare le sfide più moderne dalla prospettiva del risk management e dell’analisi dei rischi.
Cyber risk management, un approccio basato sul Machine learning
L’utilizzo della AI, ed in particolare dei sistemi di ML, può creare una significativa svolta di paradigma anche nella metodologia con cui il cyber risk management potrà affinarsi. In questo campo si stanno infatti compiendo numerosi progressi attraverso l’utilizzo di sistemi di warning grazie ai quali i primi segnali di minacce (threats) sono riconosciuti e generati dai sistemi di ML schierati dai team di cybersecurity.
Questo tipo di approccio innovativo è basato sulla forte cooperazione tra ML e expert analysis umana. Poiché solamente con la integrazione di queste due dimensioni è possibile fare fronte da un lato, alla enorme mole di dati che i security events generano con un basso rapporto segnale-rumore (i.e. Signal to Noise Ratio – SNR), e dall’altro alla competenza derivante dall’esperienza e dal giudizio umano.
Eseguirò solo le attività a basso impatto
Avvisami quando la decisione non è ovvia o ad alto impatto
Se l’utilità della decisione supera la soglia raccomandata
Abilita il processo di decision making tramite la data analysis
Risk Analyst
Sistema di ML
Database SIEM
L’ambito della cooperazione tra sistemi di ML ed esseri umani per una specifica realizzazione di un compito è un campo essenziale della ricerca nel campo della AI. Con riferimento al cyber risk management, il risk analyst deve sapere quali soglie governano le decisioni del sistema di ML e per quali funzioni specifiche esso è stato progettato. Inoltre, il sistema di ML deve sapere quando passare le decisioni al risk analyst. La combinazione di questi due agenti crea un “super-agente” più capace e dotato. Il super-agente è preferito in ambienti complessi ma ricchi di dati in cui il giudizio umano può essere essenziale, ma in cui la frequenza delle decisioni da prendere supera le capacità di analisi manuale, particolarità tipiche delle strategie di difesa contro i cyber attacchi.
La caratteristica intrinseca di questi sistemi consiste nell’affidare ai sistemi di ML solo un sottoinsieme delle decisioni e quando si rileva una circostanza al di fuori delle sue soglie di decisione, fare assumere il controllo al il risk analyst. Questo metodo richiede alcuni importanti considerazioni su come il sistema di ML dovrebbe prendere decisioni e su come passare i controlli all’essere umano.
Si tratta infatti di un approccio secondo cui la ML dovrebbe essere esplicitamente un’estensione del decisore umano che deve avere funzioni di ricompensa e architetture identiche (non solo complementari) a quelle dell’essere umano. Poiché il sistema di ML deve valutare innanzitutto tutte le informazioni e i dati, deve altresì sapere efficacemente conoscere le soglie su cui, a priori, il risk analyst deve intervenire per ogni decisione, quindi il super-agente alla fine deve riconoscere l’autorità al risk analyst, in modo che tutte le decisioni siano coerenti fra loro.
Vale la pena far notare che un requisito per questo modello è che il sistema di ML, quando dovrà prende una decisione, segua le seguenti linee guida:
1. Prenderà solo decisioni coerenti con la risk attitude e la risk tolerance dell’organizzazione;
2. Prenderà solo decisioni al di sopra (o al di sotto) di una soglia di dipendenza specifica;
3. Prenderà solo decisioni al di sopra (o al di sotto) di una determinata soglia di utilità;
4. Se non viene soddisfatta alcuna soglia, il sistema trasmette la raccomandazione di decisione al risk analyst per la decisione finale.
Esistono due casi di applicazione per questo modello di cooperazione: le macchine prendono la decisione o la macchina avvisa e guida i decision makes. L’obiettivo del super-agente è trovare la gate policy ottimale (quali porte tenere aperte e quali chiudere).
In questa approccio viene assunto il caso di un gate noto: il che significa che al super-agente non è consentito esplorare ulteriori decisioni oltre all’apertura e alla chiusura di specifici gates. Ad esempio, un sistema di difesa automatizzato con tecnologia di ML, a causa delle restrizioni di controllo dello stack di sicurezza, potrebbe essere in grado di controllare solo un blocco di indirizzi IP o di porte. Questo diventa quindi un set finito e conoscibile per il quale il super-agente cerca una policy ottimale.
In generale un cyber actor arriva alla rete del target mostrando una serie di comportamenti, la cui incertezza è influenzata dalle caratteristiche organizzative del target e i cui valori possono essere quantificati. Questi valori, unitamente alle informazioni di intelligence e alle serie storiche, possono fornire un indice di incertezza che può essere processato dal sistema di ML, sulla base di una funzione di apprendimento finalizzata a generare dei warning. La probabilità che questo costituisca una minaccia è estremamente rilevante per la risposta difensiva del super-agente, a cui il risk analyst dovrà, in ultima istanza fornire un suo consenso. Naturalmente, affinchè il modello sia affidabile sarà necessario che gli algoritmi che governano l’attività del sistema di ML si basino su di una aggregazione di componenti, come quelli di seguito illustrati: 1) step in a kill chain (also attack state); 2) index of step in a kill chain (also attack state); 3) index of action that a security super-agent can take to defend a system; 4) index of cyber actor type (threat or not); 5) behavior; 6) index of behavior type; 7) index of defended organization type; 8) Stochastic transition matrix for kill chain steps for a given actor and action; 9) discrete time period, related to stages in the kill chain; 10) index of gate at a given kill chain step; 11) vector of gate states at time “t” also the decision policy; 12) probability of actor “i” at gate “g”; 13) estimated probability of actor “i“ at gate “g”; 14) risk preference “t”; 14) utility for gate and time; 15) estimated utility by actor, for each gate at time “t”; 15) estimated utility for each gate at time “t”; 16) multinomial distribution of actors at gate “g”; 17) observation of actor at time “t”; 18) machine learning estimate of actor at time “t”; 19) observation of reward at time “t”; 20) external information observed at time “t”; 21) human directed policy; 22) threshold for human intervention.
Conclusioni
L’approccio qui presentato propone quindi di correlare questi dati per misurare da un lato l’esposizione di un sistema a potenziali attacchi e dall’altro le probabilità che essi hanno di violare le infrastrutture facendo escalation. Consentendo ai risk analyst di eseguire stime obiettive del rischio basandosi su scenari eaborati da sistemi di ML in grado di perfezionarsi continuamente sfruttando cicli di addestramento, in questo modo il risk management potrà compiere un passo avanti verso la determinazione di metriche di misurazione dei livelli di cyber risk utilizzando la artificial intelligence per contrastare le minacce più evolute che utilizzano la stessa tecnologia.
