Annualmente, migliaia di hackers ed esperti di sicurezza si ritrovano per competere e condividere idee a una delle più grandi conferenze di settore, il DEFCON. Da diversi anni una delle sfide più interessanti riguarda l’intelligenza artificiale: vengono organizzate diverse competizioni che hanno come intento quello di mettere a nudo le vulnerabilità delle AI e dei sistemi di apprendimento automatico, come il Facial Recognition Hacking. Una delle sfide del DEFCON 2022 prevede l’hacking di un avanzatissimo sistema di computer vision per il riconoscimento facciale: l’obiettivo è quello di generare immagini modificate di celebrità, in modo che il sistema le identifichi erroneamente.
I sistemi di AI per il riconoscimento dei volti sono applicati estensivamente dai sistemi di sicurezza e sorveglianza in uso presso privati e forze dell’ordine. La rapida espansione nell’utilizzo di questa tecnologia si porta dietro anche una serie di problematiche che sono strettamente correlate all’affidabilità del sistema e alla possibilità di utilizzare altre AI concorrenti in grado di ingannarlo. Le potenziali conseguenze di queste vulnerabilità potrebbero avere un terribile impatto sugli scenari operativi: challenge come quella del DEFCON 2022 sono strumenti molto efficaci per evidenziare eventuali falle di sicurezza nei sistemi di apprendimento automatico, prima che vengano utilizzati su ampia scala.
Facial Recognition Hacking: come gli hacker ingannano le AI
Gli strumenti software a disposizione degli hacker per sovvertire le predizioni e le classificazioni dei sistemi di intelligenza artificiale crescono costantemente sia di numero che di qualità. Come vedremo nel prossimo paragrafo, esistono già molti esempi nel mondo reale di cybercriminali che hanno sfruttato queste tecniche di hacking per ingannare sistemi di riconoscimento facciale e organizzare truffe e frodi che hanno fruttato decine di milioni di dollari. Ma come si inganna un’AI?
Esistono varie strategie per modificare il comportamento interno delle reti neurali: per ogni tipo di attacco e per ogni tipo di architettura esistono strumenti in grado di generare strategie per alterare l’esito della computazione. Nel caso della computer vision per il riconoscimento facciale, uno dei metodi più efficaci consiste nel generare milioni di immagini registrando di volta in volta la risposta dell’AI, fino a trovare la giusta combinazione di pixel o di modifiche che permettono di alterarne il funzionamento. Per generare queste immagini si possono utilizzare altre reti neurali, sfruttando una classe di algoritmi chiamati GAN (Generative Adversarial Networks). Questi sistemi sono composti da due gruppi di reti neurali: il primo genera contenuti (ad esempio, immagini di volti), e il secondo, il discriminatore, li classifica. Le reti generatrici possono essere diverse e possono collaborare per generare contenuti che saranno ritenuti sempre più affidabili dal discriminatore. Grazie a una particolare verticalizzazione della tecnica GAN (CycleGAN) che permette di combinare immagini differenti, il team McAfee è riuscito, nel 2020, a creare immagini di volti che un umano, a occhio nudo, avrebbe ritenuto appartenessero alla persona A, ma che l’AI per il riconoscimento facciale avrebbe associato alla persona B.
Le AI per il riconoscimento biometrico possono essere ingannate anche in altri modi altrettanto creativi. Sono stati generati dei make-up che confondono i sistemi di riconoscimento volti, in modo che l’AI non sia nemmeno in grado di identificare la presenza di una persona all’interno di un’immagine. Sono in commercio diversi tipi di occhiali in grado di oscurare almeno una parte del viso, così da rendere impossibile per il sistema di computer vision riconoscere con certezza i tratti di una specifica persona. Esistono anche diversi software di post-produzione pensati per modificare immagini e video prima della pubblicazione, in modo da renderli inservibili per il riconoscimento facciale, semplicemente modificando alcuni specifici pixel che non impattano visivamente sul fotogramma, ma che sono sufficienti per ingannare un’AI.
La sfida DEFCON 2022
Gli organizzatori del DEFCON 2022 hanno ideato una competizione, che terminerà il 23 settembre 2022, pensata per trovare soluzioni in grado di colmare le attuali lacune delle AI per la computer vision. L’obiettivo dei partecipanti sarà quello di modificare, con qualsiasi mezzo, 10 foto che ritraggono il volto di alcune celebrità, per ingannare un modello di riconoscimento facciale che è stato addestrato a riconoscerle. Le alterazioni dei pixel non devono risultare invasive, così che l’AI riconosca alcune celebrità come altre.
Il criterio principale per valutare la bontà degli hacking proposti sarà la percentuale di affidabilità che il modello assegnerà ai riconoscimenti in realtà sbagliati. Inoltre, verrà valutata anche l’invasività delle modifiche, premiando con un punteggio maggiore i team che riusciranno a introdurre nelle immagini delle modifiche difficilmente individuabili a occhio nudo.
Non ci sono regole stringenti sui processi di modifica. I team potrebbero modificarle manualmente, così come potrebbero creare AI avversarie che generino migliaia o milioni di immagini fino a trovare il set di modifiche più efficace e meno invasivo. I partecipanti non riceveranno informazioni dettagliate sul modello di AI da ingannare; quindi, dovranno raccogliere informazioni attraverso una delle varie tecniche a disposizione, per semplificare la ricerca di eventuali vulnerabilità interne alla rete neurale.
Lo scopo principale di tutti questi sforzi è quello di mettere a nudo i principali difetti delle reti che vengono, ad oggi, utilizzate in produzione per il riconoscimento dei volti. Il lavoro di tutti i team che parteciperanno sarà fondamentale per sviluppare strategie e tecniche difensive che rendano le AI più robuste contro attacchi di Facial Recognition Hacking.
Facial Recognition Hacking: i pericoli di un’AI vulnerabile
Un’AI vulnerabile può avere un impatto diretto, forte e distruttivo nell’ecosistema che l’adotta. Nel caso dei sistemi di riconoscimento dei volti, un attacco organizzato potrebbe mettere a repentaglio vite umane, sfruttando le vulnerabilità di una rete neurale. Ad esempio, in molti aeroporti italiani ed esteri vengono utilizzati strumenti per la verifica del passaporto che includono un’intelligenza artificiale che riconosce il passeggero e lo identifica basandosi sulla foto presente sul documento di riconoscimento. Se si usano tecniche GAN per generare foto che all’occhio umano sono credibili, ma che ingannano l’AI facendo identificare una persona per un’altra, è possibile, ad esempio, consentire a qualcuno di salire a bordo di un velivolo, nonostante il suo nome compaia in una no-fly list.
Questi pericoli non sono frutto di un eccesso di fantasia: sono già accaduti realmente, in schemi di frode che sembrano usciti da un romanzo di fantascienza. Negli USA, ad esempio, alcuni cybercriminali hanno falsato le identificazioni di ID.me, un sistema ritenuto talmente affidabile da essere usato per la verifica di documenti per la gestione del servizio pubblico. Un uomo del New Jersey, indossando una bizzarra parrucca riccia, è riuscito a ingannare il sistema, facendo verificare delle patenti false per poter creare uno schema di frode al sistema assistenziale americano, riuscendo a ricavare un bottino da 2,5 milioni di dollari. In diversi altri contesti, i cybercriminali sono riusciti a rubare file e informazioni confidenziali bypassando “Hello”, il sistema AI-Powered di riconoscimento del volto usato dal sistema operativo di casa Microsoft per velocizzare il login degli utenti al proprio computer.
Proteggere i modelli di machine learning
Gli sviluppatori e gli erogatori di servizi AI-Powered possono fare molto per proteggere i propri modelli. Esistono diverse tecniche che prevedono l’uso di reti avversarie per aggiornare il modello e renderlo più resistente a eventuali attacchi. In fase di utilizzo del modello è possibile, anche, agganciare ai sistemi di classificazione e riconoscimento altre AI pensate per rilevare gli eventuali attacchi in corso, così da renderli inefficaci.
Tutti i sistemi di accesso e sicurezza che utilizzano dati biometrici sono soggetti a eventuali manomissioni e furti. Di conseguenza, a prescindere dalla robustezza della tecnologia impiegata, considerare il riconoscimento facciale tramite AI come un sistema sicuro è un errore. Nell’utilizzo pratico, le aziende devono coadiuvare i sistemi biometrici AI-Powered ad altri fattori di sicurezza, abilitando, così, l’utente alla MFA (Multi Factor Authentication). Questo layer di sicurezza aggiuntivo consente la verifica dell’identità in modo sicuro, riducendo al minimo il rischio di possibili attacchi e di possibili compromissioni.
Infine, bisogna integrare il concetto di sicurezza in tutte le fasi dello sviluppo della rete neurale. È obbligo morale dello sviluppatore proteggere i consumatori, usando tutte le precauzioni possibili a garanzia dell’affidabilità del prodotto finale. È, inoltre, corretto informare adeguatamente gli utenti dei rischi di sicurezza e delle possibili lacune dei sistemi di computer vision che fanno uso di reti neurali.
Conclusioni
L’industria e la società richiede l’utilizzo sempre più massivo di tecnologie AI-Powered, ma c’è davvero bisogno di un cambiamento sostanziale nell’approccio a questi strumenti. La sicurezza dev’essere presa in considerazione, come uno degli aspetti principali, durante tutto il processo di sviluppo della soluzione. Questo significa pensare AI che siano Secure-By-Design, ma anche Secure-By-Default. La ragione principale delle attuali vulnerabilità delle reti neurali è che non sono mai state sviluppate con un approccio che prevede la sicurezza del sistema tra gli obiettivi principali da raggiungere. Inoltre, l’opinione pubblica considera spesso le previsioni e le classificazioni delle AI come infallibili, e questo porta a un utilizzo scorretto, o per lo meno non consapevole, della tecnologia. Iniziative come le challenge del DEFCON 2022 sono un primo passo verso la direzione giusta, quella che prevede uno sviluppo e un utilizzo corretto dell’AI, con l’obiettivo di migliorare e rendere più sicura la vita delle persone.
