L’intelligenza artificiale gioca un ruolo sempre più importante nella società. Così accade anche nei procedimenti penali: algoritmi di polizia predittiva sono già implementati dalle forze dell’ordine negli Stati europei e consentono di identificare l’ora e il luogo dei crimini che verranno commessi o di identificare gli autori di un crimine attraverso l’analisi di una serie di reati preesistente. Allo stesso tempo, sono stati avanzati diversi dubbi per quanto riguarda l’esattezza dei risultati prodotti dai sistemi di polizia predittiva, del loro impatto nella lotta al crimine e, soprattutto, con riferimento al rischio di discriminazione. In particolare, si evidenzia il pericolo che detti sistemi prevedano il comportamento delle vittime e della polizia piuttosto che dei criminali. Alcune associazioni per i diritti umani considerano pertanto la polizia predittiva come un uso inammissibile dell’intelligenza artificiale.[1]
L’elaborazione basata sui dati di arresto riproduce i pregiudizi della polizia
In un’analisi del sistema PredPol realizzata dal Human Rights Data Analysis Group nel 2016, si evidenziava che l’obiettivo di ogni algoritmo di apprendimento automatico è di sviluppare i modelli a partire dai dati che vengono inseriti nel software. Pertanto, se nutrito con i dati della polizia, l’algoritmo apprende sulla base di questi: ciò significa che il sistema non elabora modelli relativi agli illeciti ma piuttosto modelli relativi a come la polizia registra il crimine. Poiché la polizia registra i reati in modo non uniforme in una città, i modelli di criminalità registrata possono differire sostanzialmente dai modelli reali di criminalità. Di conseguenza, il modello che l’algoritmo probabilmente apprenderà è che la maggior parte dei crimini si verifica nei luoghi sovra-rappresentati, che potrebbero non essere necessariamente i luoghi con il più alto livello di criminalità.
Utilizzando i modelli che ha appreso, l’algoritmo può quindi fare previsioni sulla futura distribuzione del crimine e la polizia verrà inviata nei luoghi con il più alto tasso di criminalità previsto. Poiché l’algoritmo ha appreso che i luoghi sovra-rappresentati hanno il maggior numero di reati, più la polizia verrà inviata in quelle aree, più saranno trovati crimini in quei luoghi. Gli illeciti così osservati vengono quindi reinseriti nell’algoritmo per ripetere questo processo nei giorni successivi creando un circolo vizioso in cui la polizia viene inviata in determinati luoghi perché l’algoritmo considera questi luoghi come aventi un più alto tasso di criminalità sulla base del fatto che quelli erano i luoghi in cui sono stati inviati.
Allo stesso modo, molti sono dell’avviso che dai dati basati sugli arresti derivino pregiudizi sui risultati degli algoritmi predittivi perché la polizia arresta più persone nei quartieri dove sono maggiormente presenti le minoranze etniche, portando gli algoritmi a dirigere sempre più le attività di polizia in quelle aree. Ne risulta che gli strumenti predittivi orientano in modo errato le pattuglie di polizia e che alcuni quartieri sono ingiustamente designati punti caldi della criminalità mentre altri sono sottovalutati.
Nutrire gli algoritmi con i dati forniti dalle vittime non elimina la discriminazione
In questo contesto è stato suggerito che l’apprendimento degli algoritmi sulla base delle denunce da parte delle vittime piuttosto che sui dati di arresto potesse ridurre le distorsioni dei sistemi predittivi. Questo perché, in teoria, le segnalazioni delle vittime dovrebbero essere meno distorte perché meno influenzate dai pregiudizi della polizia o dai circuiti di feedback.
Uno studio su un algoritmo predittivo elaborato da ricercatori dell’Università del Texas evidenzia, però, che le elaborazioni predittive basate sulle segnalazioni delle vittime porta ad altrettanti pregiudizi nei risultati. Confrontando le previsioni del sistema basato su dati delle denunce con i dati reali sulla criminalità per determinate zone, sono apparsi errori significativi. Così, in una zona in cui sono stati segnalati pochi crimini, lo strumento ha previsto solo circa il 20% dei punti caldi effettivi. Al contrario, in una zona in cui sono stati segnalati un numero elevato di crimini, lo strumento ha previsto il 20% in più di hot spot rispetto a quelli realmente esistenti.
Infatti, il primo problema che viene evidenziato con le denunce delle vittime è che i neri hanno maggiori probabilità di essere denunciati per un crimine rispetto ai bianchi. I bianchi, generalmente più ricchi, segnalano tendenzialmente con più probabilità una persona nera più povera, anziché il contrario. Lo studio evidenza come anche i neri hanno maggiori probabilità di denunciare altri neri. Di conseguenza, come per i dati sugli arresti, questo porta i quartieri con prevalenza di popolazione di colore a essere designati come punti caldi della criminalità più frequentemente di quanto dovrebbe essere.
Inoltre, è evidente come la segnalazione delle vittime sia collegata anche alla fiducia della comunità o alla sfiducia di essa nei confronti della polizia. Quindi, se sei in una comunità con un dipartimento di polizia storicamente corrotto o con pregiudizi notoriamente razzisti, ciò influenzerà in modo sostanziale i dati relativi alla criminalità. In questo caso, il sistema predittivo potrebbe sottostimare il livello di criminalità in una determinata area, aumentando quindi il sentimento di impunità e la criminalità stessa.
Come andare oltre le discriminazioni degli algoritmi
Sembra dunque che, allo stato attuale, il problema dei pregiudizi degli algoritmi di polizia predittiva non si possa risolvere. Questo a dimostrazione ancora una volta che non sono gli algoritmi a essere discriminatori, ma che essi riproducono le discriminazioni e i pregiudizi presenti nella nostra società. Più che lamentare le discriminazioni frutto degli algoritmi, occorre quindi intervenire a monte per rimuovere i comportamenti discriminatori dalla lotta alla criminalità.
Questi risultati dimostrano, altresì, che l’utilizzo delle nuove tecnologie nei procedimenti penali deve rimanere uno strumento di assistenza dei diversi attori, ma non può sostituirsi al ruolo centrale delle persone. Infatti, i benefici dell’abbinamento tra sistemi di polizia e l’analisi umana sono in grado di limitare le criticità relative agli algoritmi e, così, rispondere al necessario equilibrio tra lotta al crimine e protezione dei diritti fondamentali nella giustizia penale.
Pertanto, lo sviluppo di strumenti di polizia predittiva non discriminatori passa innanzitutto da politiche volte a rimuovere ogni tipo di discriminazione nella raccolta delle statistiche criminali e nella condotta delle attività di polizia in generale così come dal ristabilire la fiducia dei cittadini verso le forze dell’ordine. Perché non è l’algoritmo a essere discriminatorio ma riproduce semplicemente i pregiudizi ancorati nella società; è dunque su questi che bisogna intervenire in primo luogo.
Note
- EDRi, “Can the EU make AI “trustworthy”? No – but they can make it just”, https://edri.org/our-work/can-the-eu-make-ai-trustworthy-no-but-they-can-make-it-just/. ↑
