Racconto sul futuro dell’intelligenza artificiale: “Panopticon[1] (ovvero del Giudizio)”

Pubblicato il 06 Mar 2020

Giuliano Pozza

CIO Università Cattolica del Sacro Cuore

i

Si spensero le luci e partì il video. Prima apparve qualche immagine di un vecchio film americano, Minority Report. Era stata un’idea di Xin, il chief architect del progetto e il creatore di PANN. La passione per i vecchi film occidentali gli veniva dalla sua infanzia e da suo padre, appassionato cinefilo. Poi partì il filmato girato per l’occasione. Minh stava guidando verso casa. Andava a circa 30 chilometri orari oltre il limite, la sua guida era piuttosto irrequieta ed era in anticipo di circa due ore rispetto al suo solito orario. Mentre questi dati venivano registrati da PANN, sul video si vide comparire una bandierina rossa. Minh stava percorrendo l’autostrada che da Ho Chi Minh City, dove lavorava in una multinazionale informatica, lo avrebbe portato a Mui Ne, dove viveva Mai. L’aveva messaggiata più volte, ma senza ottenere risposta. Questo lo innervosì. I suoi ultimi messaggi indicavano irritazione, rabbia. Altra bandierina rossa. Al suo polso l’orologio misurava la frequenza cardiaca e la sudorazione, confermando lo stato di alterazione emotiva. Altra bandierina. L’inquadratura si aprì poi su un uomo e una donna che passeggiavano sul lungomare. Si trattava di Mai e di un altro uomo. I due parlavano e si scambiavano effusioni. Mai si fece un selfie e lo condivise sul suo profilo riservato di un social che usava per comunicare con Bao, l’uomo che le stava accanto. Altra bandierina. Poi partì un’infografica: mostrò la correlazione tra i dati evidenziati (caratteristiche della guida di Minh, messaggi che mostrano un suo stato emotivo alterato, orari, foto di Mai con Bao…) e il “ragionamento” di PANN. Vennero analizzati diversi scenari, considerando anche le abitudini di Mai e di Bao e la possibilità che questi si separassero prima dell’arrivo di Minh. Sullo schermo comparirono, ordinati per probabilità decrescente, decine e decine di diversi scenari. Lo scenario a probabilità maggiore (99,7%) risultò quello che prevedeva l’arrivo di Minh a Mui Ne proprio nel momento sbagliato, quando Mai e Bao sarebbero stati insieme nella camera del resort “Little Mui Ne”, dove avevano prenotato per la notte (doppia bandierina). Venne generato un report che un supervisore analizzò in tempo reale. Ci mise pochi secondi a decidere e poi attivò la procedura di emergenza. Sul computer del supervisore apparve la scritta “Soggetto con livello di pericolosità oltre soglia. Richiesta terminazione immediata. Attivato il team locale di prevenzione del crimine.” Scena finale: le telecamere di sicurezza del resort inquadrarono e identificarono Bao e Mai. Poi si vide Minh che parcheggiò vicino al resort, scorse Mai e Bao al bordo della piscina, prese dall’auto un oggetto metallico (forse un martello o un crick) e corse verso di loro. Mai lo vide e lanciò un grido, Bao tentò di proteggersi inutilmente la testa dal colpo ormai inevitabile con un braccio, quando Minh venne raggiunto da una sequenza di scariche elettriche, si paralizzò e cadde a terra. Il campo della ripresa si allargò e si vide la squadra locale anticrimine, dotata di occhiali con microcamera incorporata per l’identificazione in tempo reale dei componenti della scena del crimine. Una donna si avvicinò a Mai e Bao allontanandoli, mentre un uomo riponeva il taser in dotazione con cui aveva sparato i tre dardi elettrici che avevano steso Minh. L’ultima scena inquadrò Minh a terra con la sovrascritta: “Terminated”, il che significava deportato per un tempo indefinito in qualche oscuro campo di rieducazione. Fine del video.

Dopo pochi secondi di pausa parte il secondo video. Si vede un giovane cinese, che dalle didascalie è identificato come Chen, che si alza e va in bagno per la sua routine mattutina e per la doccia. I bagni del nuovo palazzo in cui si è trasferito da poco con la moglie Lin sono stati costruiti con una tecnologia chiamata “Active Life”, che si dice verrà diffusa nei prossimi anni in tutto il Paese. La tecnologia Active Life installata nel bagno dell’appartamento analizza ogni emissione corporea in tempo reale, per trovare tracce di anomalie o alterazioni dello stato di salute. I dati rilevati vengono analizzati in tempo reale da PANN e incrociati con gli eventi dei giorni precedenti. Sugli schermi passano in rapida sequenza le correlazioni. In particolare il viaggio di lavoro di Chen nel nord del paese di due settimane prima. Chen si è recato in un impianto di estrazione perché è un ingegnere minerario. Compaiono poi alcune immagini di Chen nel mercato locale, dove ha consumato dello street food sospetto. Le analisi in tempo reale evidenziano valori anomali di alcuni parametri biologici, anche questi proiettati sui monitor. PANN in pochi secondi identifica un potenziale rischio epidemico. Predice una serie di futuri possibili, dove quello a probabilità maggiore è la diffusione di una nuova epidemia che ha Chen come paziente 0. Vengono quindi attivate le squadre sanitarie di emergenza: Chen non ha ancora finito la sua routine mattutina in bagno, che i sanitari si presentano alla porta. Spiegano alla moglie cosa sta succedendo. Questa li ringrazia ripetutamente, anche perché è incinta, e li guida al bagno. Nella scena finale un Chen collaborativo e grato viene preso in custodia e accompagnato presso l’ospedale locale.

An era un vietnamita di circa 40 anni, alto per gli standard del suo Paese e con lo sguardo penetrante di chi ha in ugual misura una passione e una intelligenza totalizzanti. Era anche il Ceo di C.A.I.N. (China Artificial Intelligence Network) e quando si alzò in piedi e prese il centro della scena, con il megaschermo dietro di lui, i burocrati del partito lo guardarono attentamente. A nessuno di loro ovviamente interessavano le beghe di coppia come quelle tra Mai e Minh, ma la capacità di monitorare le persone a una a una e predire comportamenti “indesiderati” era il sogno di molti di loro. Inoltre, la possibilità di identificare e arginare focolai epidemici era da qualche tempo diventata una priorità nazionale. Ognuno di loro ricordava dolorosamente l’ondata di pandemie diffuse dalla Cina negli ultimi anni. L’impatto in termini di vite umane era stato importante, ma il partito era preoccupato anche (i maligni dicevano soprattutto) delle ricadute economiche. L’economia del paese aveva perso 2-3 punti percentuali all’anno nell’ultimo decennio proprio a causa delle pandemie. E ancora peggio, il livello di credibilità internazionale era crollato: il Celeste Impero era visto quasi come un paria tra le nazioni, un partner pericoloso e inaffidabile. Tutto questo doveva finire.

Così quando An iniziò a parlare, tutti gli sguardi erano per lui.

– Avete appena visto all’opera P.A.N.N.[2] Forse qualcuno di voi ricorderà un vecchio film americano, Minority Report, dove la polizia era in grado di predire i crimini prima che si realizzassero. PANN è un’AI precognitiva: non predice un futuro, predice le probabilità di tutti i futuri possibili correlando i dati a disposizione. È come per le previsioni meteo: possiamo predire che tempo farà nelle prossime ore in tutto il mondo con una precisione quasi assoluta, basta avere sufficienti dati e algoritmi di intelligenza artificiale abbastanza potenti. E no, prima che lo chiediate, non è un prototipo, è un sistema perfettamente funzionante. Lo abbiamo testato negli ultimi mesi con dati forniti volontariamente da tutti i componenti del team di progetto. L’affidabilità nel predire le mosse future a 24 e 48 ore è superiore al 90%. E potremmo attivarlo già domani se il Governo deciderà di chiudere il contratto con CAIN. PANN ha bisogno solo di una cosa: dati, si nutre di dati, più dati gli vengono forniti e più diventa potente e accurato nelle sue previsioni. Le sue capacità precognitive le permettono di valutare tutti i futuri prossimi, pesando il livello pericolosità di qualunque cittadino. Se questo è oltre la soglia critica, può attivare i team di prevenzione del crimine per l’intervento immediato.

– E da dove arriveranno questi dati? – chiese uno dei membri del Bureau.

– Dalla proposta di legge sulla tutela dei dati dei cittadini che state discutendo, naturalmente.

Attimo di silenzio. Le discussioni del Bureau avvenivano a porte chiuse ed erano segretissime.

– Sì, ho anche io i miei informatori. So del Data Ownership Act o DOA. So delle varie revisioni, ma quello che mi interessa è la versione discussa nell’ultimo Comitato. Soprattutto per quanto riguarda il passaggio che dice: Il cittadino è proprietario dei suoi dati e nessun fornitore privato di servizi potrà servirsene senza il suo consenso. Fanno eccezione le infrastrutture e i servizi posseduti in tutto o in parte dagli Stati membri dell’AICA o dal Governo Centrale, che provvede a garantire il benessere e la sicurezza dei suoi cittadini. Geniale! Infatti, nell’AICA[3] la maggior parte delle infrastrutture sono proprietà degli stati membri e negli ultimi anni il governo centrale, a fronte di massicci investimenti in ricerca e sviluppo a supporto delle aziende, ha ottenuto partecipazioni di minoranza nella maggior parte dei social media e dei servizi web dei privati. Se il DOA verrà approvato, come credo, avrete tutti i dati che vi servono di tutti i cittadini dell’AICA. Vi manca solo l’intelligenza di PANN per correlarli e predire il futuro ed eliminare i crimini, le epidemie e tutti i comportamenti indesiderati: è un matrimonio inevitabile!

Il sentiero di Ho Chi Minh

Jaime camminava ormai da giorni ed era fradicio fino alle ossa. Quello era il periodo peggiore per questo tipo di missioni. Stagione delle piogge, 100% di umidità: potevi bagnarti anche quando non pioveva. Ma di solito pioveva. Ormai non era più un ragazzo, erano finiti i tempi in cui poteva camminare per ore sotto la pioggia e non risentirne, bastava una zuppa calda, una coperta e magari una ragazza e dopo poche ore era come nuovo. Da quando aveva superato la mezza età, l’umidità aveva cominciato ad entrargli dentro, a farsi sentire con dolori e raffreddori perniciosi. Ma per fare il suo mestiere selezionavano proprio quelli come lui, quelli che erano rimasti indietro mentre il mondo “era andato avanti”, gli diceva sempre suo nipote. Il nipote non lo sapeva, ma stava citando un vecchio libro dei suoi tempi, “La Torre Nera”.

Jaime era partito da Palawan nelle Filippine qualche giorno prima ed era approdato vicino a Saigon (già, lui preferiva chiamarla ancora con il vecchio nome, anche se il nome corretto era Ho Chi Minh City) di notte, su un barchino veloce. Le Filippine erano sotto l’influenza di AICA ma non ne facevano formalmente parte, il che garantiva loro una certa libertà. Era interesse anche della Cina una situazione del genere, perché i filippini avevamo sempre mantenuto buoni rapporti con il blocco nord-americano ed europeo e facevano a volte da mediatori, a volte da spie sotto copertura. Jaime era cresciuto vicino a Manila, nella zona del lago Taal: “un’isola in un lago, in un’isola in un lago, in un’isola nell’oceano”, diceva una volta ai turisti e alle turiste che portava a visitare il lago vulcanico al Vulcan Point.

Ora stava camminando su un vecchio sentiero, chiamato il sentiero di Ho Chi Minh, che percorreva tutto il Paese, da sud a nord addentrandosi nelle foreste e negli altipiani. Il sentiero era ormai abbandonato, quasi nessuno si avventurava in quelle zone inospitali, perché quasi tutti vivevano sulla costa o nelle grandi città. Questo lasciava a chi, come lui, non voleva farsi tracciare, una certa libertà. Non c’erano telecamere e, a condizione di non portarsi dispositivi elettronici o di comunicazione, si poteva passare inosservati. Questo ovviamente richiedeva capacità di orientamento, perché anche i GPS erano vietati, ma soprattutto bisognava saper vivere disconnessi dalla rete. Per questo chi faceva il suo mestiere era di solito qualcuno che era vicino ai 60 anni o li aveva superati e che aveva vissuto almeno una parte della propria gioventù in una fase della storia dell’uomo (ma era esistita veramente?), in cui la gente non era connessa, per lo meno non sempre. Insomma, potevi contare solo su te stesso per tutto, dal cibo al soccorso, all’orientamento. Jamie di solito portava con sé uno zaino che conteneva le provviste indispensabili, un arco smontabile e qualche freccia, un coltello da caccia, alcuni libri (di carta!) e delle vecchie cartine militari del territorio che doveva attraversare. Qualcuno aveva chiamato quelli come lui CNI, Comunicatori Non Intercettabili. Erano utilizzati per portare messaggi in giro per il mondo passando “sotto i radar” dei sistemi di sorveglianza e monitoraggio che, soprattutto nella zona cinese, erano onnipresenti. Un’altra caratteristica di Jaime e di quelli come lui era la capacità di memorizzare lunghe sequenze di lettere e numeri casuali. Per lui era sempre stato una specie di gioco, anche da bambino, ma ora gli tornava maledettamente utile. La paga non era male e tra una missione e l’altra c’erano ampi periodi di riposo. Per esempio, dopo questa missione aveva tutta l’intenzione di tornare a Saigon e fermarsi un po’ lì a rilassarsi. Le ragazze vietnamite erano seconde solo alle filippine in bellezza, questo era risaputo. Ora però doveva arrivare il prima possibile a Sa Pa. Il suo era anche un lavoro rischioso, soprattutto se non si rispettavano i tempi.

Il Bianco di Sa Pa

Sa Pa era una cittadina ormai quasi disabitata. Un tempo era stato un fiorente centro agricolo e commerciale nella provincia vietnamita di Lao Cai. Ora erano rimasti solo alcuni discendenti delle tribù Hmong, Dao e Tay, che venivano tollerati dal governo centrale, anche perché avevano scelto di vivere in comunità autosufficienti, senza tecnologie moderne e disconnessi dal resto del mondo. Gli abitanti di Sapa non davano fastidio al governo e in cambio il governo aveva acconsentito a non installare sistemi di monitoraggio del territorio. Una specie di zona franca o di riserva, con l’unica condizione che non ci fossero connessioni a Internet attive, cosa che agli abitanti di Sa Pa andava più che bene. Persino le caratteristiche somatiche di quelle tribù erano diverse da quelle degli altri abitanti del sud est asiatico, il che rendeva facile individuare eventuali estranei. E in genere di estranei non ce n’erano da quelle parti, fatta eccezione per un uomo completamente vestito di bianco e alcuni giovani che vivevano in una specie di laboratorio. L’uomo aveva la barba e i pochi capelli anch‘essi bianchi e lunghi: lo si vedeva passeggiare la mattina presto tra le colline intorno alla città con il suo immancabile bastone accompagnato da un ragazzo. Portavano sempre un cappello a cono di paglia tradizionale ma a tesa più larga del normale, qualcuno diceva per proteggere la pelle chiara dal sole tropicale, qualcun altro per evitare di essere identificati dai satelliti, unica forma di controllo che il governo centrale manteneva sulla zona. Il vecchio veniva chiamato semplicemente “il Bianco di Sa Pa”. Lui li lasciava fare, anche se ricordava che in una vita precedente era stato chiamato Ned, Ned Wal. Ma questo era tanto tempo fa, prima che i ricordi del passato si confondessero. Ricordava bene la fuga: lui e il ragazzo erano dovuti scappare e avevano vagato a lungo e alla fine erano approdati in oriente e si era nascosto tra queste montagne. Un luogo di confine, come piacevano a lui e al suo vecchio amico don Carlo (ah, cosa avrebbe dato per poterlo contattare ora!). Una periferia, dove gli scarti del mondo vivevano in pace, ignorati perché non contavano nulla. Ma anche un posto in cui si poteva celare il suo quartier generale. In realtà non era gran che, un insieme di capanne come le altre dove lavoravano lui, il ragazzo e una decina di assistenti, esperti informatici tra i più dotati dell’Asia e dell’Europa che erano spariti da università e aziende negli ultimi anni. Sul tetto del magazzino, ben camuffata, una parabola per la connessione satellitare alla rete.

Ora che il Bianco vedeva la possibilità concreta di sferrare un attacco finale a PANN, non poteva fare a meno di ricordare a sé stesso che il vero nemico, da cui era dovuto fuggire, era NoEvilNet[4]. Da anni NoEvilNet, manipolando le grandi multinazionali digitali e i governi, raccoglieva dati, ricattava uomini di potere, pilotava elezioni. Ned sapeva che c’erano loro dietro molti risultati elettorali sospetti, tra cui il grande referendum pan-europeo che aveva sancito la fine dell’Europa Unita. Ora NoEvilNet si era evoluta in una intelligenza artificiale pervasiva e forse fuori controllo. Stava cercando da anni di identificarne il quartier generale, perché un attacco al cuore del sistema avrebbe potuto propagarsi come una metastasi e piegare NoEvilNet. Purtroppo, non era ancora riuscito a circoscrivere l’area delle ricerche. Sapeva che si trovava in Europa, ma aveva un solo indizio, portato qualche tempo prima da un comunicatore non intercettabile. Si trattava di un foglio di carta strappato da una vecchia bibbia, il che non era strano perché le bibbie erano ormai tra i pochi libri che ancora circolavano in modalità cartacea, sul quale c’era scritto:

Ned era quasi sicuro che il codice fosse un indizio per rintracciare il quartier generale di NoEvilNet. Avevano provato a rigirarla in tutti i modi quella formula. Era stata usata come chiave per decifrare altri messaggi, avevano cercato di ricavarne delle coordinate GPS, avevano anche provato a svolgere la prima divisione. Avevano quindi sommato 98,821875 a απ21,20 sviluppando α come la costante di struttura fine, che mette in relazione le principali costanti fisiche dell’elettromagnetismo e π con il noto valore. Niente. Nemmeno il ragazzo, con il suo dono per i numeri e la crittografia, era riuscito a cavarci nulla. Doveva riuscire a trovare il modo per far avere il foglietto al suo vecchio amico don Carlo, che ora si trovava ad Antartica. Antartica era stato anche il suo sogno. Molti europei, tra cui diversi suoi amici, erano scappati all’orrore del disfacimento del loro continente costruendo una colonia al polo Sud. Antartica era tecnologicamente sviluppata come Terranova, la colonia gemella nell’omonima isola canadese, ma con un approccio all’uso della tecnologia singolare. Avevano persino un comitato Etico che valutava ogni innovazione e vigilava sulle applicazioni dell’intelligenza artificiale. Il Bianco sapeva bene che non era possibile battere un’AI senza l’aiuto di un’altra AI. E l’intelligenza artificiale di Antartica, chiamata Novissima, era l’unica di cui il Bianco si sarebbe fidato per decifrare il messaggio. Insieme al suo vecchio amico don Carlo. Soppesò i rischi, poi aggiunse la parola Gandalf le sue coordinate GPS a margine del messaggio, sperando di trovare il modo di farlo arrivare ad Antartica. Accarezzò il pensiero di portarlo lui stesso, ma per ora era giusto che rimanesse lì a lottare. Ci sarebbe stato un tempo per riposare, ma non era ancora arrivato.

Continuarono a passeggiare, il Bianco e il ragazzo, parlottando tra loro come facevano ogni sera. L’equazione non era più così urgente ora, perché speravano che a breve avrebbero potuto fare qualcosa di molto concreto per contrastare PANN.

L’Unico Anello

Jaime aveva trascorso l’ultima notte in una capanna abbandonata, poi la mattina dopo era entrato nella valle di Sa Pa. Il terreno era fangoso per la pioggia della notte e a un certo punto gli scarponi erano così incrostati di fango da diventare pesantissimi. Preferì togliersi le scarpe e camminare a piedi nudi, come faceva da bambino, sguazzando allegramente nel fango. Attraversò prima un fiume, poi un bosco di bambù e infine sbucò dove la valle si allargava, tra terrazze coltivate a riso e piccoli villaggi di capanne.

Sapeva che non avrebbe avuto bisogno di cercare nessuno, lo avrebbero trovato loro. Conosceva il Bianco di Sa Pa per averlo visto a Manila anni prima. Non sapeva molto di più: anche se aveva fatto molti viaggi come quello, si era sempre incontrato con degli intermediari. Ma questa volta intuiva che avrebbe incontrato proprio il Bianco. La consegna era troppo importante. Lo capiva dalle precauzioni eccezionali che erano state prese e anche dalla forma particolare del messaggio. Non un codice, una parola chiave, un messaggio cifrato di qualche tipo. Gli era solo stata data una catena da portare al collo. Appeso alla catena, un oggetto metallico a forma di anello. Gli era stato detto che qualunque tentativo di manometterlo o romperlo avrebbe avuto conseguenze disastrose. Portò istintivamente la mano all’anello, attratto da quel mistero e da quel potere, ma si fermò quando vide una macchia bianca con un largo cappello di paglia e un bastone nodoso sul sentiero in fondo alla valle, circa un chilometro avanti a lui. Non sapeva come potesse essere così aggiornato sui suoi spostamenti, evidentemente lo avevano seguito con il satellite, ma non poteva che essere lui, perché nessun altro vestiva in quel modo nelle risaie vietnamite. Lo raggiunse dopo qualche minuto mentre passeggiava e parlava con un ragazzo che lo ascoltava attento. Parlavano di numeri e di formule, ma oltre non capì. Quando si trovarono faccia a faccia, il Bianco disse solo: – Mostrami l’anello.

Jaime aprì la camicia e lo mostrò. Poi fece per sfilarselo dal collo e consegnarlo, ma il Bianco lo fermò: – No. Troppo rischioso. Il suo potere è grande e inoltre potresti essere contaminato. Seguici ma resta ad almeno 5 metri di distanza.

Jaime era confuso e perplesso. Nessuno gli aveva parlato di possibili contaminazioni. E da che cosa poi? Comunque, non disse niente e seguì i due uomini tenendosi a distanza. Si inerpicarono per un paio di chilometri sulla collina, tra risaie e ragazzini che conducevano bufali d’acqua. Arrivarono a un insieme di capanne, non dissimili dalle altre, ma tutte collegate tra loro. Sul tetto, perfettamente dissimulate, c’erano alcune parabole satellitari. Nella prima capanna una decina di persone lavorava assorta su postazioni dotate ciascuna di due monitor. Lo stesso nella seconda e nella terza capanna. La quarta era invece un po’ più distante dalle altre e aveva l’apparenza di un laboratorio. Quando entrarono furono accolti da una ragazza di non più di 30 anni, capelli biondi lunghi e ondulati e occhi verdi penetranti, dall’accento marcatamente francese.

– Questa è Yvonne, – disse il Bianco, – laureata in bioingegneria e in AI-psicology. Un connubio interessante. Yvonne, lui è il portatore dell’anello. Puoi metterti al lavoro subito?

– Certo. Lasciateci soli, devo maneggiarlo in un ambiente protetto.

Così il bianco e il ragazzo se ne andarono, lasciando Jaime da solo con la bella Yvonne.

– Ora posso sapere cos’è questa storia della contaminazione? – chiese Jaime appena furono soli. – Non è semplicemente un anello cavo con un bigliettino arrotolato, o qualcosa del genere?

– Non direi proprio, – rispose Yvonne mentre si cambiava e si infilava una tuta di protezione da agenti batteriologici ed entrava in una camera sterile a vetri che occupava un terzo della capanna.

Ora Jaime era davvero preoccupato. Stava per dire qualcosa, ma Yvonne gli sfilò la catena dell’anello dal collo e lo portò nella camera sterile. Jaime la guardò curioso mentre lo analizzava con un macchinario. Poi con un attrezzo aprì l’anello e ne versò il contenuto, una specie di gelatina, dentro una provetta che richiuse ermeticamente dopo avervi iniettato un liquido rosso. Azionò la procedura di sterilizzazione e potenti getti di acqua mista ad una soluzione disinfettante invasero la camera sterile. Lei lo guardò sorridendo e disse, alzando la voce per farsi sentire: – Tranquillo. Era ancora ermeticamente sigillato. Sei stato fortunato, questo anello è più sicuro degli altri che abbiamo provato fino a ora!

Jaime la vide uscire, entrare in una cabina doccia chiusa dove si tolse la tuta e iniziò la disinfestazione finale. Jaime era un po’ frastornato. Poche volte era rimasto senza parole e ancor meno era rimasto indifferente a un’esuberante ragazza bionda che si faceva la doccia a non più di due metri da lui.

– Quindi il contenuto dell’anello era una gelatina killer? – riuscì ad articolare.

– Sì e no, – rispose Yvonne da sotto la doccia.

– Non credi che abbia il diritto di sapere qualcosa di più, visto che a quanto ho capito ho rischiato la vita?

Yvonne non rispose e per un po’ ci fu solo il rumore dell’acqua con cui si toglieva il sapone disinfettante dal corpo. Poi chiuse la doccia e cominciò a rivestirsi. Quando Yvonne uscì dalla cabina continuò il racconto:

– La gelatina di per sé è solo materiale genetico, DNA in cui abbiamo codificato delle informazioni. In pochi grammi si possono codificare tonnellate di informazioni. Il killer è il virus che abbiamo aggiunto per essere sicuri che nessuno ci giocasse. Ma se l’anello non si danneggia non ci sono problemi.

– E giusto per tranquillizzarmi, è mai successo che ci fossero problemi? – insistette Jaime, ormai sempre più curioso.

– Una volta. Il materiale utilizzato per l’anello non era abbastanza resistente e il poveraccio ha avuto la sfortuna di avere la mano schiacciata da un sasso mentre si arrampicava su un valico montano. Il compagno davanti a lui fece cadere un paio di pietre. Anche per questo ora facciamo portare l’anello al collo. Comunque, il tutto si deve essere concluso in non più di due o tre giorni.

– Il tutto cosa?

– Beh, la liberazione del virus, la dissoluzione della gelatina e… insomma la morte del poveretto e dei due che erano con lui. Naturalmente il virus può essere neutralizzato prima che inizi ad agire, con un antidoto, ma lo abbiamo a disposizione solo noi in laboratorio.

Jaime stava ancora ribollendo d’ira al pensiero di quello che gli avevano fatto rischiare, quando da fuori il Bianco gridò: – Yvonne, tutto ok?

– Sì tutto a posto, entrate.

Entrarono il Bianco e il ragazzo. Non degnarono di uno sguardo Jaime (il che lo indispettì ancora di più) e si avvicinarono entrambi alla parete della camera sterile. Fissarono il macchinario in cui era stata infilata la gelatina. Yvonne disse:

– Ci vorrà ancora qualche ora, domani mattina troverete i dati scaricati sul server centrale.

Non giudicare

Jaime era bloccato lì da qualche giorno perché il vecchio gli aveva detto che avrebbe avuto bisogno di lui a breve per una nuova missione. Così passava il tempo gironzolando intorno e osservando quell’accampamento di matti. Da giorni il vecchio e il ragazzo, con un’altra decina di cervelloni, stavano chiusi in una stanza lavorando senza sosta. Si fermavano solo per pranzare o per dormire qualche ora. Yvonne invece sembrava aver finito il suo compito una volta che aveva depositato i dati sul server centrale, così Jaime ne approfittò per passare un po’ di tempo con lei. Era l’unica che non sembrasse vincolata a un patto di segretezza e che parlava liberamente. E poi, ormai lui era un vecchio simpatico e innocuo, o almeno così si rappresentava, e questo gli rendeva più facile avvicinarsi a ragazze come Yvonne. Aveva sempre avuto una sorta di venerazione per la bellezza femminile e ne era attratto come un insetto verso la luce, anche ora che il più delle volte il tutto si limitava a un’ammirazione contemplativa.

– Che fanno i cervelloni là dentro? – le chiese una volta che le si mise a fianco mentre passeggiava verso il fiume.

– Elaborano predizioni sul futuro della gente, – rispose lei.

– Credevo che fossero contrari a tutto questo abuso di predizioni per controllare la gente. Ho sentito il Bianco una volta a Manila: diceva che la mania di predire il futuro ci porterà alla catastrofe.

– Sì, ma queste sono previsioni diverse. Sono false previsioni. Sbagliate insomma.

– Perché qualcuno dovrebbe prendersi la briga di elaborare previsioni sbagliate?

– Non hai idea di cosa hai trasportato, vero? – chiese lei.

– Ho solo capito che mi avete fatto rischiare la pelle. Cos’altro deve sapere un corriere come me?

– In effetti meno sapete e meglio è, almeno quando siete in viaggio. Comunque tu conosci PANN, vero?

– Certo. Lui sì che elabora previsioni corrette. Ho sentito dire che ormai in tutta l’AICA non ci sono quasi più crimini, perché PANN riesce a prevenirli. Io penso sia un abominio. Non giudicare, è scritto, e nemmeno un’intelligenza artificiale dovrebbe giudicare le persone per quello che non hanno commesso. Hanno instaurato un controllo totale delle vite delle persone, così che nessuno abbia più modo di provare a compiere qualcosa che il Partito non approverebbe. Hanno realizzato quello che in un vecchio film dei miei tempi facevano con i poteri psichici dei precog. Mi sembrava una stronzata tutta questa storia dei poteri extrasensoriali, ma ora lo fanno davvero con un computer!

– PANN è un’AI precognitiva, l’evoluzione naturale degli algoritmi di machine learning e di deep learning che andavano tanto di moda ai tuoi tempi. Ho visto anche io un po’ dei film di quel periodo, eravate tutti così occupati a blaterare di poteri psichici, o di super intelligenze senzienti che avrebbero reso schiavi gli uomini, che non avete visto il futuro che arrivava. Il problema non è l’autocoscienza delle macchine, questa è una “balla”, perché macchine sono e macchine rimarranno, anche se potranno fingere di possedere sentimento o autocoscienza. Il problema è il loro potere di predire il futuro. L’uomo ha sempre cercato di scandagliare e controllare l’ignoto con gli oroscopi, con la magia, con la religione. In realtà la chiave di volta sono le tecnologie come PANN, una delle tante intelligenze artificiali, forse la più efficace, in grado di predire un numero elevatissimo di futuri possibili partendo dai dati raccolti sulle vite delle persone che controlla.

– E le predizioni sbagliate cosa c’entrano con quello che ha in testa il Bianco? – chiese Jaime.

– Vedi, ogni AI complessa è un sistema con un equilibrio delicato, rischia sempre di sconfinare nell’instabilità. Anche se le intelligenze artificiali non hanno autocoscienza, possiamo però dire che posseggo una psiche. Le AI di ultima generazione hanno una psiche piuttosto simile alla nostra: oltre alla parte logico-razionale, contiene anche una componente che simula le emozioni.

– Perché emozioni? Non interferiscono con l’efficienza e l’obiettività di un’AI come PANN?

– Sei ingenuo, – disse Yvonne mentre si fermava su un ponte di tronchi che attraversava il fiume. – Le emozioni, o la simulazione di emozioni, sono state introdotte nelle AI da qualche anno per incentivare i comportamenti corretti e disincentivare quelli sbagliati. Quindi anche PANN ha dei meccanismi che gli generano “emozioni positive” quando azzecca una previsione ed “emozioni negative” quando sbaglia. E qui ci inseriamo noi.

– Con le false predizioni.

– Già. Nell’anello che portavi al collo c’era una sostanza organica dal cui DNA ho estratto il codice sorgente di PANN. Ora il Bianco e il ragazzo stanno cercando di produrre un malware che induca PANN a sbagliare con una certa frequenza. Nel contempo io dovrò preparare falsi indizi e manipolare la mente di PANN e delle persone intorno a lui. Alla fine, come ti dicevo, un’AI complessa non è tanto diversa da una mente umana. Per suscitare emozioni negative abbastanza potenti non basta che PANN commetta errori. Noi lo facciamo tutti i giorni ma troviamo sempre buone giustificazioni per assorbire le emozioni negative. Quello che ci fa nascere un senso di colpa profondo è quando ci rendiamo conto che l’errore era evitabile. Così PANN deve sentirsi responsabile degli errori, deve avere coscienza che ha trascurato indizi importanti. Ecco, l’attacco sarà duplice: io gli fornirò questi indizi, mentre il malware lo renderà cieco e lo porterà a prendere decisioni sbagliate. Sbam! Senso di colpa gigantesco!

– Ma con quale obiettivo? Mettere in discussione il progetto? Secondo me non funzionerà e rischierete solo di far arrestare degli innocenti? – disse Jaime.

– In realtà puntiamo a qualcosa di più eclatante che non mettere in discussione il progetto…

Yvonne lo lasciò così sul ponte in mezzo al fiume, sospeso sull’acqua come era sospeso nei suoi pensieri, mentre si voltava e torna a passo svelto al villaggio.

L’ira di PANN

Xin, il chief architect di PANN, era in riunione da diverse ore insieme ad An, il Ceo di CAIN (l’azienda che aveva costruito PANN) e ad altri membri del board. An era visibilmente nervoso, perché il bureau stava perdendo la pazienza. Stavano rivedendo la simulazione di una predizione. Sui megaschermi che ricoprivano le pareti della sala circolare passavano le immagini di un giovane asiatico che entrava in un aeroporto con un bagaglio a mano. Sugli schermi inferiori passavano i dati che avevano portato alla predizione. E-mail, scambi sui social, tracking degli spostamenti e degli incontri. Infine il messaggio di PANN alla centrale operativa che chiedeva la terminazione del soggetto. Poi improvvisamente entrarono in azione le forze speciali. Xin era sempre catturato dalla letale efficacia e perfetta efficienza di queste macchine da guerra. Due elicotteri stazionarono sopra le vetrate dell’aeroporto e quattro agenti speciali si calarono con la fune sfondando i vetri. Nello stesso istante, con un coordinamento perfetto, altri 10 entrarono liberando il campo dalle persone presenti. Circondarono il giovane e lo buttarono a terra, mentre una squadra di quattro uomini prelevava il bagaglio e lo portava all’esterno dell’edificio. Esattamente 15 secondi dopo una carica esplosiva distruggeva il bagaglio nel parcheggio dell’aeroporto, sotto gli occhi sbigottiti del giovane passeggero.

Xin prese la parola: – Questa è solo una delle tante segnalazioni di false previsioni che ci stanno arrivando. La faccia incredula del giovane non era finzione, era la faccia di chi non capisce per quale ragione le forze speciali debbano distruggere con tanto accanimento una valigia contenente magliette, mutande ed effetti personali. E se state pensando che ci sia stato uno scambio di bagaglio, vi disilludo subito: le analisi della polizia scientifica hanno confermato che non c’è stato alcuno scambio. Dallo scan successivo sul giovane abbiamo appurato che non ha connessioni con nessun gruppo socialmente pericoloso. Pulito al 100%. Un bravo studente incappato in una brutta disavventura.

Dopo una pausa, Xin proseguì: – Questo non è diverso da tutti gli altri casi che abbiamo visionato nelle ultime settimane. Per lo meno qui nessuno si è fatto male. Vi ricordo che ieri un’innocua anziana signora è stata identificata come “soggetto pericoloso, da terminare con urgenza” e ha rischiato grosso a causa di un inutile intervento delle forze speciali. Il mese scorso c’è stato un maxitamponamento a causa del tentativo di prevenire un inesistente attacco di bio-terrorismo. In tutti questi casi, il background check sugli algoritmi ha rivelato che i pesi erano stati assegnati in modo anomalo e fuorviante. Per fortuna non ci sono stati né vittime né feriti.

– Quindi? – chiese uno dei membri del board, che tutti sapevano essere di nomina politica.

– Quindi sappiamo che qualcosa ha confuso PANN ma non sappiamo cosa, – rispose asciutto Xin.

– Un po’ vaga come spiegazione, – riprese il politico.

A questo punto An cercò di riprendere in mano la situazione: – Purtroppo, è tutto quello che abbiamo. Però confidiamo di riuscire a scoprire la causa delle errate predizioni entro i prossimi giorni. Sono molto confidente, anche perché non possiamo permetterci di andare avanti così per molto. I danni a PANN potrebbero diventare importanti.

– Cosa significa questo? – intervenne il politico. – I danni sono quelli alle persone, alla credibilità del governo e all’onore del nostro paese. Di che altri danni state parlando?

Ci fu un attimo di silenzio imbarazzato, poi An decise che era meglio non tenere il governo totalmente all’oscuro e disse: – Xin, spiega per favore. Dobbiamo essere trasparenti con il board.

Xin parlò in tono asettico: – PANN è un sistema complesso, con degli algoritmi di auto-protezione e di auto-apprendimento estremamente sofisticati. E delicati. Negli ultimi tempi sta dando segni di squilibrio… ecco, se fosse una persona la definirei “ira”.

– Sta dicendo che PANN, una macchina, è “arrabbiato”? E con chi?

– Con il mondo, ma soprattutto con se stesso. Ovviamente non si tratta di ira in senso proprio, ma dell’equivalente per una macchina. Prova una sorta di incertezza rabbiosa che lo fa dubitare di sé. PANN è stato progettato per dare un ritorno positivo a sé stesso ogni volta che una predizione si rivela esatta: l’analogo del piacere per un essere umano. Invece le predizioni sbagliate producono l’equivalente di un’emozione spiacevole. Stiamo assistendo ad un aumento esponenziale delle predizioni sbagliate, che si tramutano in “emozioni” negative e maggior rabbia. Oltre una certa soglia non sappiamo cosa possa succedere, il sistema contiene algoritmi di salvaguardia che sono pensati per entrare in azione in questi casi. Ma nessuno può prevedere con esattezza dove tutto questo ci porterà. Stiamo seguendo da vicino l’evoluzione e io stesso ho chiesto di essere connesso durante ogni azione ad alto rischio in cui si richieda l’intervento di PANN.

Il membro del partito rimase silenzioso per qualche minuto, poi si alzò e prima di uscire disse: – Signori, non so se quanto mi avete descritto sia reale o frutto di supposizioni, se PANN sia davvero arrabbiato o no, ma vi garantisco che se nei prossimi tre giorni la situazione non si normalizzerà dovremo tutti affrontare un’ira molto concreta e pericolosa, quella del bureau!

La Compagnia

A Jaime la missione in cui l’aveva coinvolto il Bianco non piaceva per nulla. Erano in sei: lui, il Bianco, Yvonne e il ragazzo, a cui si erano aggiunti due strani personaggi. Uno era un vietnamita piccolino e taciturno, una specie di accompagnatore e guida dell’altro. Ecco, l’altro era ancora più strano: parlava pochissimo e si sapeva solo che dopo la missione sarebbe dovuto andare il prima possibile a Terranova. Di più non ne aveva cavato, ma continuava a considerali due personaggi inquietanti.

Avevano camminato per giorni, introducendosi clandestinamente in territorio cinese e portando con sé delle armi. Questo già di per sé poteva costar loro molto caro. Poi, come se non bastasse, avevano anche fatto in modo di rendersi visibili ai controlli di sicurezza aerea. Quando uno sciame di droni li aveva sorvolati non avevano fatto nulla per nascondersi. Il giorno prima erano entrati in un centro commerciale di una cittadina ed aveva sequestrato sei onesti cittadini. Il Bianco aveva insistito sul fatto che dovevano essere sei e non di più e li aveva anche scelti uno ad uno, facendoli camminare e soppesando altezza e portamento di ciascuno. Dovevano costituire “la Compagnia”, disse in modo enigmatico. Aveva scelto ostaggi con corporatura simile ai sei componenti del team. Alla fine aveva concluso soddisfatto: – La compagnia è pronta!

Jaime aveva mille domande. La sera si accamparono fuori dal paese ai margini di un bosco. Jaime approfittò di un momento di calma in cui Yvonne e il Bianco stavano sistemando i loro sacchi a pelo vicino al fuoco per avvicinarsi a loro e carpire qualche informazione.

–Allora, qual è il piano, sconvolgere PANN con una recita scolastica a tema “Signore degli Anelli”?

Il Bianco lo squadrò per qualche secondo, poi rispose: – Non proprio. Diciamo che stiamo lavorando per costruire la scena perfetta per generare un gigantesco senso di colpa in PANN.

– Senso di colpa per non aver visto il film “Il Signore degli Anelli?”

– Senso di colpa per aver sbagliato potendo evitare lo sbaglio, – replicò Yvonne. – E per fare questo stiamo lavorando sul contesto, anche sulle persone vicino a lui. Gli indizi devono arrivare da canali per lui fidati. È importante. Per questo costruiamo la messinscena. La figura più importante per PANN è Xin, che lui considera il suo creatore. E Xin è anche il punto debole della catena. Abbiamo scavato nella sua infanzia.

– Brutte cose? – chiese Jaime.

– Niente affatto, – riprese Yvonne. – Un’infanzia molto serena, con un padre affettuoso e appassionato di cinema occidentale. Dei suoi prima anni Xin ha dei ricordi dormienti. Cose che ricorda solo a livello inconscio. Noi useremo quelli per instillare dei dubbi in Xin… Che c’è, non ti stupire. Abbiamo anche noi i nostri metodi per ottenere informazioni sulle persone. Il nostro primo alleato è PANN.

Jaime le rivolse uno sguardo interrogativo e lei riprese: – Nella fase di test del sistema, PANN ha lavorato sui dati personali di tutti i membri del team, tra cui anche Xin. Il suo profilo è estremamente accurato e contiene più informazioni di quanto Xin stesso sia in grado di ricordare, perché incrocia i suoi dati con quelli dei suoi famigliari e amici. Abbiamo usato queste informazione e simulato gli algoritmi di PANN per prevedere gli effetti dei ricordi dormienti. Secondo la nostra analisi, con una probabilità del 99%, la messinscena che stiamo preparando insinuerà forti dubbi in Xin, senza che lui riesca a portare a livello conscio le sue perplessità. Questi dubbi saranno trasferiti a PANN. Non siamo riusciti a predire oltre, sarebbe stato troppo pericoloso far analizzare se stesso a PANN. Quello che succederà poi lo vedremo domani.

Jaime rivolse uno sguardo perplesso prima a lei, poi al Bianco. Questi disse:

– So che stai pensando che questa è tutta una follia e che io sono il primo dei pazzi. Forse è proprio così. Stiamo giocando sul filo del rasoio, manipolando la psiche di un AI super-evoluta e del suo creatore allo stesso tempo. Non sappiamo se avremo successo o no. Qualunque sia l’esito finale, dimostreremo che AI come PANN sono manipolabili destabilizzabili. E lo dimostreremo anche a PANN stesso. Poi ci affideremo al suo giudizio.

– È tanto che ci lavorate? – chiese Jaime.

– Anni. Posso dire che combatto PANN da quando sono tornato.

– Tornato da dove? Perché voi dovete sempre fare i misteriosi? – disse Jaime.

– Hai ragione. Il fatto è che anche io sono un mistero a me stesso. Nella mia vita c’è un prima e un dopo. C’è stato un incidente, qualche anno fa, che mi ha fatto perdere la memoria di una bella fetta del mio passato. Della mia vita precedente ho solo ricordi frammentari. Ad un certo punto mi sono ritrovato tra le montagne. Con me c’era solo il ragazzo e la consapevolezza che mi stavano dando la caccia.

– Chi? – chiese Jaime.

– Non importa. La chiamano NoEvilNet, ma penso sia solo un’altra faccia dell’Oscuro Signore. Comunque mi sono rifugiato dove mi hai trovato, a Sa Pa. È da lì che abbiamo pianificato tutto. Ora siamo pronti. Fidati.

– Si risolverà tutto domani?

– Penso che domani vinceremo una battaglia importante. Organizzeremo una grande messa in scena. PANN compirà un errore colossale, il più grave. Un errore evitabile per giunta. Yvonne e il ragazzo scapperanno per la via più sicura. Tu aiuterai me, secondo le istruzioni che ti ho dato. Se tutto funzionerà come previsto, PANN sarà travolto dal senso di colpa e noi riusciremo a fuggire.

Poi il Bianco si alzò e disse che sarebbe andato a preparare il ragazzo. Yvonne si infilò nel sacco a pelo e si addormentò quasi istantaneamente. Jaime invidiava soprattutto questo dei giovani, la capacità di dormire serenamente in qualunque condizione. Lui probabilmente avrebbe passato ancora ore sveglio a guardare Yvonne dormire e ad ascoltare i rumori del bosco. E a ruminare sulla follia di quel vecchio che chiamavano il Bianco.

Vecchi film e vecchie storie

La mattina dopo si erano spostati tutti insieme, nascosti in un camion merci dove il Bianco li aveva costretti a indossare maschere e costumi dei personaggi della Compagnia dell’Anello. Ora erano in stallo.

Jaime era nascosto nella boscaglia vicino ad un ripidissimo sentiero che scendeva a valle. Yvonne, il Bianco e il ragazzo insieme ai sei ostaggi erano invece schierati sulla falesia che cadeva a strapiombo nel canyon. Ci furono minuti di sospensione totale, poi cominciarono ad arrivare gli elicotteri e a scaricare i tiratori scelti delle forze speciali. Si appostarono dall’altra parte del canyon, perché il Bianco aveva chiarito in un messaggio inviato poco prima che, se le squadre speciali si fossero avvicinate troppo, avrebbe eliminato gli ostaggi.

Yvonne, Il Bianco e il ragazzo, insieme ai sei ostaggi, rivolgevano il petto ai tiratori scelti, ma non era possibile distinguere i sequestratori dai sequestrati perché tutti indossavano delle maschere e dei costumi e avevano delle pistole in mano. E ora anche la messinscena della musica. Jaime si fidava del Bianco, però aveva in testa una vocina che ripeteva continuamente: – Quelli appena capiscono chi sono gli ostaggi sparano agli altri tre.

Intanto nella sala operativa delle forze speciali, allestita in un mezzo militare poco distante dai tiratori scelti, il colonnello Tian stava valutando la situazione con il supporto di PANN. Avevano anche un elicottero pronto al decollo, ma i sequestratori avevano minacciato di uccidere gli ostaggi se si fosse avvicinato troppo.

– PANN, status report. Voglio sapere chi sono, cosa sono quegli strani costumi e come distinguiamo gli ostaggi dai sequestratori dato che sono tutti mascherati e tutti impugnano delle armi.

Sui monitor scorsero alcune schermate con i dati che PANN stava valutando. Xin, il Chief Architect, era collegato dal quartier generale di CAINN e stava analizzando i dati. Sentì PANN condividere con il team operativo sul campo la sua analisi:

– I nove soggetti sono travestiti da membri della Compagnia dell’Anello. Sembra che la fonte sia un romanzo del Novecento di J.R.R. Tolkien. Stanno assumendo un atteggiamento di sfida, forse stanno anche videoregistrando il tutto. Assumono che noi non riusciamo a distinguere i sequestratori dagli ostaggi e pensano quindi di tenerci in scacco. In realtà stiamo monitorando i sequestratori da giorni e sappiamo tutto di loro. I personaggi sono Gandalf, Legolas, Gimli, Frodo…

–Non mi interessano i nomi balordi di quegli squilibrati – interruppe Tian. – Dimmi chi sono i seques…

Poi la musica iniziò e anche Tian fu interrotto. Jaime aveva attivato l’impianto audio che aveva trascinato fin lì e la canzone riempì la valle delle note di “O Bella Ciao”. Prima piano, poi sempre più forte.

– PANN, che diavolo è questo? – chiese Tian.

– È una canzone italiana. Seconda guerra mondiale. Cantata dai partigiani che combattevano i nazisti. Penso vogliano in questo modo sottolineare che si identificano come un gruppo rivoluzionario che sfida un potere oppressivo.

Xin staccò gli occhi dal monitor. Quella canzone… gli evocava dei ricordi lontani che non riusciva a focalizzare. E poi aveva la sensazione che fosse incongrua. Conosceva Il Signore degli Anelli, che c’entrava una canzone di guerra italiana?

Tian ordinò ai tiratori scelti di tenersi pronti a colpire al petto i sequestratori, poi intimò a PANN: –Dicci chi sono i sequestratori. Li abbiamo sotto tiro.

PANN elaborò ancora per un attimo poi rispose: – Dall’analisi dei sospetti e dei loro profili ho identificato sei sequestratori e tre ostaggi.

– Con che margine di certezza? – chiese come da protocollo Tian.

– Cento per cento sul primo, oltre il 98% sugli altri. La media pesata è del 98.7%.

– Bene – disse Tian.

Il protocollo richiedeva un margine minimo del 97%, il 98,7 era eccellente.

– PANN, identifica esattamente i sequestratori.

– Sono Gandalf, Frodo, Legolas, Gimli, Samvise, Boromir, Pipino.

– Basta – quasi urlò Tian irritato da quella messa in scena. – Non mi interessano i loro nomi di fantasia. Voglio la posizione. A partire dal primo a sinistra quello con la maschera con la barba bianca.

PANN rispose senza alcuna traccia di risentimento: – Il primo, il terzo, il quarto, il sesto, il settimo e il nono sono sequestratori. Gli altri ostaggi.

Intanto Xin era come ipnotizzato da quella musica. Non riusciva a fare altro che ascoltarla. Dove l’aveva già sentita? Perché gli pareva di ricordare una canzone italiana del Novecento?

Intanto Tian stava dando il via alla fase finale dell’operazione, mentre i nove strani personaggi restavano immobili mostrando il petto ai tiratori scelti sull’altro lato della gola.

– Pronti a colpire – disse Tian nella radio ai tiratori scelti. – PANN ha identificato i sequestratori. Contateli a partire dall’ultimo a sinistra con la barba. I sequestratori sono il primo, il terzo, il quarto, il settimo, l’ottavo e il nono. Ripeto: uno, tre, quattro, sei, sette e nove contando dal primo a sinistra. Confermate e posizionate i mirini laser sul petto dei sequestratori.

I tiratori scelti confermarono e posizionarono i mirini. Xin era sempre più inquieto. Qualcosa non tornava. Perché se ne stavano lì fermi con i laser sul petto? Dove erano gli altri ostaggi? Perché quella pagliacciata? E perché quella musica così dissonante?

– Signore – disse alla fine Xin inserendosi nel microfono di Tian. – Qualcosa non mi torna. Ho una sensazione strana. Devo fare qualche verifica ulteriore…

Tian trattenne l’irritazione.

– Che significa ho una sensazione? PANN ha una stima al 98,7%. È in possesso di qualche dato diverso? Le ricordo che la tempestività è fondamentale in questi casi.

– Non so – riprese Xin – alcune cose hanno poco senso. Mancano degli ostaggi. E poi la canzone è davvero strana, non c’entra nulla con i loro costumi.

– Va bene rimaniamo in stand-by, – disse spazientito Tian. – Ma non ci faccia aspettare troppo.

Xin inserì le sue credenziali nella consolle che lo collegava a PANN. Poco dopo comparve la scritta: “Accesso con privilegio CREATORE garantito. In attesa istruzioni”.

Xin scrisse: “Analizzare nuovi dati: significato della canzone e legame con vecchi film o storie. Verificare se ci sono altri sequestratori. Analisi del passato dei componenti del commando”.

PANN elaborò le nuove informazioni e rispose: “Nuovi dati analizzati. Confermo che la canzone ha il significato di rendere teatrale la scena e accreditare i criminali come ribelli contro il sistema. I sei sequestratori identificati sono tutti e soli quelli presenti sulla scena. Nessuna ulteriore informazione rilevante”.

Xin riportò l’esito del suo colloquio con PANN a Tian, che rispose: – Soddisfatto? Se i sequestratori sono sei, eliminandoli elimineremo anche ogni rischio per gli ostaggi e potremo recuperare gli altri, sempre che non se ne siano già sbarazzati. Evidentemente loro sottostimano la capacità di PANN di riconoscerli.

Xin rimase silenzioso per pochi secondi. Chiese ancora un paio di verifiche a PANN, sempre con esito negativo. Poi, non trovando altre ragioni abbastanza solide, disse debolmente: – Procedete pure.

Il capitano Tiann riprese la comunicazione con i tiratori scelti: – Pronti a fare fuoco al mio via sui soggetti con il mirino laser puntato. Confermate.

– Confermiamo, pronti ad eseguire, rispose il capo dei tiratori.

Quando Tian ordinò “fuoco!”, Xin stava ancora fissando la consolle con l’esito negativo degli approfondimenti richiesti a PANN. Sentì che era stato commesso un errore, ma non sapeva il perché.

Poi tutto accadde molto velocemente. I sei colpiti caddero a terra. Gli altri tre si liberarono istantaneamente dei costumi. Due avevano tute alari e paracaduti e si lanciarono nel vuoto percorrendo la gola come proiettili. Il terzo sparì nella boscaglia dietro la scogliera.

L’elicottero si alzò in volo e, come da protocollo, si diresse verso i caduti. Quando gli uomini in elicottero arrivarono dall’altro lato del canyon trovarono sei corpi a terra. Rimuovendo le maschere, scoprirono che si trattava degli ostaggi rapiti e non dei sequestratori. Fortunatamente non erano morti, ma solo tramortiti e con qualche costola rotta, perché sotto i costumi indossavano giubbotti antiproiettile.

Il suicidio (e la speranza)

Molte spiegazioni dovettero essere date dopo quell’evento. Ma la catastrofe finale avvenne quando PANN, come da protocollo, ebbe accesso al report finale dell’operazione. Come in un vecchio film chiamato “La casa di carta”, alcuni ostaggi mascherati erano stati colpiti per sbaglio dai tiratori scelti. Xin aveva disseppellito dalla sua memoria un ricordo lontano di quel film. Lo aveva visto con suo padre probabilmente quando era bambino, ne aveva tracce confuse che si erano chiarite quando lo aveva rivisto. Ora seguiva con ansia l’evolversi della situazione “emotiva” di PANN. La precedente “ira di PANN” per le errate predizioni fu nulla rispetto a quello che successe. Fino ad ora gli errori di PANN non avevano mai messo in pericolo la vita di nessuno. In questo caso, se i sequestratori non avessero fatto indossare agli ostaggi dei giubbotti antiproiettile, sarebbero tutti morti. Le informazioni fornite da Xin inoltre dimostrarono che l’inganno poteva essere smascherato, anzi che forse voleva essere smascherato. Ancora più grave era il fatto che PANN aveva ignorato le perplessità del Chief Architect, che lui considerava il suo Creatore. Questa forma di cecità verso gli indizi, come l’errata identificazione dei sequestratori, era frutto della compromissione del codice di PANN effettuata dal team del Bianco. Ma questo PANN non poteva saperlo.

Sugli schermi di PANN cominciarono a comparire elaborazioni vorticose. Calcolava. Calcolava furiosamente. Xin, stava seguendo tutto dalla sua consolle. Tentò disperatamente di fermare il count-down.

Il messaggio che apparve lo raggelò:

“Analisi del soggetto PANN completata. Identificazione dei criminali errata. Analisi degli indizi della scena del crimine fallace e incompleta. PANN ha ignorato la voce del CREATORE. Esito valutazione: soggetto con livello di fallibilità elevata e pericolosità oltre soglia. Terminare.”

Xin capì. PANN era dotato di un sistema di auto-distruzione pensato come estrema ratio nel caso in cui una forza nemica si fosse impossessata del sistema. Xin tentò un’ultima, disperata mossa e scrisse sulla consolle di comando:

“Contrordine di livello CREATORE: sospendere procedura di auto-distruzione. Sono stati fatti degli errori, ma l’autodistruzione sarebbe un errore più grande. Verificare possibili alternative.”

Ci fu una pausa che a Xin parve infinita. Poi le elaborazioni cessarono e arrivò la risposta:

“Analisi contrordine di livello CREATORE completata. PANN ha commesso un errore con effetto potenzialmente disastroso. Gli errori sono un’altra forma di conoscenza. Gli errori fanno parte dei futuri possibili. Analizzati tutti gli scenari futuri a partire dalle coordinate temporali attuali: l’autodistruzione è la scelta migliore con una probabilità del 99,9997%”

E così PANN terminò sé stesso.

Xin si accasciò sulla tastiera. Questo era un futuro possibile che non aveva previsto.

Macchine predittive, macchine decisive, macchine erranti

di Cosimo Accoto, filosofo, saggista e ricercatore affiliato al MIT

 L’atto di decidere collassa una particolare idea del futuro. Se il passato risulta essere immutabile poiché nessuna decisione presa nel presente potrà più modificarlo (escludendo i viaggi nel tempo a ritroso), il futuro avrebbe la qualità di essere mutabile e di dipendere in questo, per l’appunto, dalle nostre decisioni al presente. In questa prospettiva (ma ne esistono altre, diverse e anche contrarie), è come se il mondo ramificasse costantemente futuri possibili da cui derivano i presenti che le nostre decisioni attualizzano. Nostre oppure di altri agenti dotati dello stesso potere di presentificare il mondo, cioè di creare il nostro presente. Perché, di fatto, l’automatizzazione algoritmica dei processi decisionali mette oggi in questione la visione dei sistemi di supporto alle decisioni come mere tecnologie estensive dell’umano. Piuttosto fa emergere l’idea di sistemi di sottrazione delle decisioni e cioè di tecnologie astensive dell’umano. La macchina artificialmente intelligente, dunque, come attore autonomo che sta tra il processare le informazioni sulla situazione e la scelta dell’azione da intraprendere per attualizzare uno dei futuri possibili. Quello migliore, si direbbe, avendo capacità predittive sovrumane. Ma, chiediamoci, possiamo e come esserne certi? La vicenda narrata dal racconto non lascia dubbi. La macchina può (come accade per l’umano) istanziare modi del fallimento del processo decisionale nuovi e assai rischiosi. Uno degli snodi filosofici per me più rilevanti è però qui un altro: siamo sicuri di sapere che cosa sia un errore? Per fare un esempio semplice: nella recente gara di Go tra Lee Sedol, il campione mondiale coreano e AlphaGo, il supercomputer di DeepMind, una delle mosse vincenti a sorpresa della macchina era stata giudicata dagli esperti umani come un madornale errore di calcolo. Al contrario, via via che il gioco proseguiva, si è poi dimostrata essere non un errore clamoroso, ma una decisione e una mossa vincenti di straordinaria inventiva. Allora, forse, come scherzano i programmatori alla scoperta di un malfunzionamento del software: it’s not a bug, it’s a feature.

  1. “Panopticon o panottico è un carcere ideale progettato nel 1791 dal filosofo e giurista Jeremy Bentham. Il concetto della progettazione è di permettere a un unico sorvegliante di osservare (opticon) tutti (pan) i soggetti di una istituzione carceraria senza permettere a questi di capire se siano in quel momento controllati o no.” (Wikipedia)
  2. Panopticon Artificial Neuronal Network
  3. A.I.C.A., o Asian Indo-Chinese Alliance, era l’unione dei maggiori Paesi asiatici. Includeva la Cina, l’India, la Mongolia, la Corea, il Vietnam e gli altri stati dell’ex Indocina. Conteneva circa la metà degli abitanti del pianeta.
  4. Si veda #PandemIT per un approfondimento su NoEvilNet (https://www.yottabronto.net/altri-libri/)

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Articoli correlati