Racconto sul futuro dell’intelligenza artificiale: Esodo dalla Terra Promessa (ovvero dell’Inferno)

Frontiera

Mustafà era di guardia sulla spiaggia vicino a Tripoli per identificare eventuali sbarchi. Era una cosa che odiava, ma il training della scuola ufficiali prevedeva anche compiti come quello. Era l’alba ed era certo che sarebbe stato un giorno noioso come gli altri, perché raramente succedeva qualcosa. Le vedette della guardia costiera intercettavano quasi tutti i tentativi di sbarco, che erano sempre più frequenti. Suo padre faceva l’insegnate in una scuola e una volta gli aveva detto che era una “nemesi storica”. Mustafà non aveva capito bene, ma il padre gli aveva spiegato che era un capovolgimento, quasi una vendetta della storia. Già, suo padre, o quasi padre. Si chiamava Abdul e da giovane, quando il paradiso era la Germania o la Francia, aveva provato due volte ad attraversare in senso opposto. La prima volta era rimasto per mesi in un centro di accoglienza a Lampedusa, poi lo avevano rispedito indietro. La seconda volta aveva fatto naufragio. Non ne parlava mai, ma Mustafà aveva sentito che aveva salvato due bambini, aggrappandosi per tre giorni a un pezzo di legno. La loro madre no, gli era scivolata tra le braccia dopo avergli affidato i figli ed era affondata.

Spinto dalla curiosità e da una vaga intuizione, Mustafà a 12 anni aveva chiesto a quella che credeva essere sua madre. Così aveva saputo che lui era uno di quei bambini, l’altro era suo fratello più piccolo, morto pochi giorni dopo per gli esiti della disidratazione. Da quella volta suo padre non aveva più riprovato la traversata, si era adattato all’inferno, come diceva lui. Ora era in pensione, ma gli piaceva parlare e raccontare di quel periodo. Di tutto, tranne che del naufragio. Gli aveva spiegato che la povertà in tutta l’Africa, unita alla corruzione, ne facevano un paese ricco ma sottosviluppato. Dall’altra parte c’era l’Europa, l’unica speranza. Nei primi anni degli sbarchi di massa, diversi suoi amici erano riusciti a passare le frontiere, poi tutto era cambiato. Erano saliti al potere un po’ in tutti gli stati Europei partiti anti-immigrazione e così il paradiso era diventato irraggiungibile. I pochi che ce la facevano venivano rispediti indietro. Ora era il contrario, la nemesi appunto. L’Africa era un continente di fatto governato dai Cinesi. Avevano perso la libertà e anche l’accesso alle loro risorse naturali, ma in cambio avevano avuto infrastrutture, un lavoro garantito per tutti, la pace sociale. Lui diceva che quella non era vita, che avevano svenduto il loro paese, ma sentendo i racconti di quello che c’era prima, Mustafà si chiedeva spesso se quella libertà avesse senso, o se non fosse meglio la situazione attuale.

L’Europa invece aveva fatto il percorso inverso. Da un insieme di stati prosperi si era evoluta in un… caos. L’Europa unita non esisteva più, i governi nazionali non avevano saputo riempire il vuoto. Corruzione e scandali, qualcuno dice fomentati da un network segreto chiamato NoEvilNet^[1], avevano distrutto la classe dirigente dell’Europa e anche degli Stati Uniti, lasciando campo libero alla Cina. Mustafà gli aveva anche mostrato un disegno stropicciato conservato in un vecchio quadernetto nero. Diceva di aver ricevuto il quaderno da uno strano tizio durante la sua permanenza nel campo profughi di Lampedusa. Il proprietario del quaderno era un certo Gandalf (un nome di fantasia, gli aveva spiegato suo padre). Nelle pagine riempite di una scrittura fitta e frenetica si parlava di NoEvilNet ed era ripetuto più volte un disegno:

Suo padre diceva che rappresentava le tre scimmie sagge: “Non vedo, non sento, non parlo”, il loro motto. Mustafà pensava che fosse uno scarabocchio e che suo padre, con gli anni, stava cominciando a perdere la bussola.

Infine l’ultimo disastro. Mustafà ne sapeva poco, ma suo padre gli aveva letto qualche ritaglio di giornale. C’erano state prima una serie di epidemie, durante le quali ogni stato aveva adottato misure diverse. L’effetto era stato di rendere endemiche alcune infezioni, che venivano domate in uno stato e ricomparivano in un altro, provocando infezioni di ritorno anche a chi ne era già uscito. C’erano stati milioni di morti e si era generata tra la popolazione una crescente insicurezza e sfiducia nei governi. Poi c’era stata una fuga di dati di una società chiamata HealthInsight. Ma non una normale fuga di dati. La società aveva sviluppato un’intelligenza artificiale in grado di predire la data di morte delle persone. Lui non sapeva se questo fosse vero ed era abbastanza sicuro che nel suo paese la maggior parte della gente avrebbe alzato le spalle dicendo: “Inshallah”. Ma in Europa e in America no: le persone erano letteralmente impazzite, facendo collassare quel che rimaneva dei governi e delle istituzioni. E quelli sani cominciarono a tentare la fuga in massa. Però la Cina era bravissima a costruire muri, lo faceva da millenni, e così gli europei erano in trappola. Aveva sentito che qualcosa del genere stava succedendo in nord America. La Cina infatti aveva esteso il suo dominio anche in America Latina, per saziare l’inesauribile fame sua e dei suoi alleati (di fatto tutta l’Asia) di materie prime. Solo che in Messico il muro c’era già, lo avevano costruito gli americani anni prima. I Cinesi avevano solo dovuto rinforzarlo un po’ e… anche gli Americani erano in trappola, tranne i pochi fortunati che erano riusciti a rifugiarsi a Terranova.

Ora Mustafà stava dando una mano nelle fasi finali di una strana operazione di salvataggio. Non c’era il solito gommone, ma una capsula spaziale. La capsula di emergenza era stata intercettata dai radar della guardia costiera nell’ultima fase della discesa ed era stata rimorchiata a riva e gli ingegneri del centro spaziale la stavano aprendo. Mustafà era parte della squadra che doveva entrare per la prima ispezione. Preferivano usare ragazzi come lui. Mustafà e la sua squadra stavano studiando alla scuola ufficiali, ma in caso di pericolo erano meno preziosi degli ingegneri e dei tecnici qualificati. Entrarono appena il portellone fu aperto. Dentro, un’atmosfera irreale. Mustafà pensò che dovessero essere tutti morti. Poi i suoi occhi si adattarono alla luce fioca e li vide. Due ragazzi e una ragazza, più o meno della sua età. I loro nomi sulle capsule li identificavano come Alexandra, Michel e Paul. I due ragazzi erano probabilmente nordamericani. Biondissimi, con la pelle chiara. La ragazza invece aveva la pelle ambrata. Non nera, ma scura, mentre nerissimi erano i suoi capelli. Tagliati corti, forse per praticità. Sembrava che dormissero, in realtà erano in sospensione. Lo aveva studiato durante la scuola di formazione militare: era il sistema di controllo metabolico in uso a Terranova, il MECS. Una specie di ibernazione. Era un modo per ridurre al minimo il metabolismo tramite il controllo del sistema nervoso centrale e autonomo. Un elmetto collegava la corteccia e l’ipotalamo al sistema di sostentamento vitale. Ma non era quella la cosa che lo colpì di più durante l’ispezione. Erano i volti dei tre astronauti. Erano vivi, ma nei loro lineamenti, che avrebbero dovuto essere neutri e rilassati, vi era qualcosa di peculiare. In particolare sul viso di Alexandra, a Mustafà parve di leggere la serenità di chi vive in un mondo di sogno e, insieme, una totale e profonda nostalgia.

Mustafà capì che doveva trattarsi di una delle centinaia di capsule di salvataggio partite da Luna 3. Ne erano state ripescate diverse nell’oceano Atlantico, mentre alcune si erano disintegrate al suolo. Gli venne in mente una pentola di popcorn, ma la realtà era molto più tragica. Qualcosa doveva essere andato terribilmente storto sulla base lunare di Terranova. Qualcosa che aveva costretto i suoi abitanti a fuggire disperatamente. Ma la cosa più strana era il loro stato: venivano invariabilmente trovati addormentati nello stato di metabolismo rallentato. I primi avevano provato a svegliarli, ma erano inesorabilmente morti poco dopo. Ora li trasportavano insieme al loro sistema di supporto vitale nei centri di raccolta, dove i medici e ingegneri cinesi cercavano di capire cosa era successo e come risvegliarli. Augurò in cuor suo buona fortuna a Michel, Paul e Alexandra, li guardò e iniziò a effettuare le operazioni di trasbordo per portarli verso la base militare.

Terranova

L’isola di Newfondland, o Terranova, è grande come un terzo dell’Italia. Fino a qualche decennio fa era scarsamente abitata, non ci vivevano più di mezzo milione di persone. Negli anni prima della crisi globale era diventata la sede del TLC o Terranova Launch Center. Fu allora che aveva cominciato a dotarsi di misure di sicurezza e infrastrutture militari. Nonostante fosse lontano dall’equatore, e quindi non particolarmente adatta ai lanci spaziali, aveva l’interessante caratteristica di essere ben difendibile. Ormai, a causa del riscaldamento globale, anche il Golfo di San Lorenzo non si ghiacciava più. Inoltre l’isola era abbastanza vicino al nord America da potersi approvvigionare di alcuni beni indispensabili, ma abbastanza lontano dal caos che si stava diffondendo sempre più velocemente anche nel continente americano.

Da qualche anno le richieste di permesso per entrare a Terranova erano in continuo aumento. Ormai vi erano quasi 10 milioni di abitanti, al limite delle possibilità per quella terra inospitale. Come in Antartica, l’altra comunità di esuli che occupava una parte del polo Sud, avevano dovuto sviluppare la maggior parte delle infrastrutture nel sottosuolo, sia per la vita delle persone che per la produzione di cibo e di tutto il necessario. Enormi serre sfornavano tonnellate di frutta e verdura ogni giorno, fattorie sintetiche producevano carne artificiale, laboratori e fabbriche costruivano ogni cosa necessaria. Vi era ancora qualche dipendenza dalla terra ferma, ad esempio per le componenti necessarie ai viaggi spaziali e alcuni medicinali, ma il governo di Terranova contava di poter raggiungere la totale autonomia entro pochi anni.

Da Terranova partivano periodicamente voli per la luna e da questa erano iniziate da qualche anno le missioni verso Marte. Sulla luna vi era una comunità di circa un migliaio di persone, mentre poche centinaia di coloni avevano resa operativa da qualche anno una base stabile sul pianeta rosso. Queste colonie, in particolare quella marziana, avevano condizioni di vita terribili e i volontari che vi arrivavano in genere non resistevano più di qualche mese. Poi dovevano essere fatti rientrare oppure essere messi in sospensione metabolica forzata. Tuttavia, complice anche il caos che si diffondeva rapidamente sul resto del pianeta, queste basi extra terresti alimentavano grandi speranze e attiravano a Terranova un numero sempre maggiore di esuli in fuga dagli Stati Uniti. Terranova era la nuova Terra Promessa.

N.O.V.A.

Il professor Victor iniziò la lezione, come sempre puntualissimo. Aveva un’età apparente di quanrant’anni, ma su Terranova non era possibile definire l’età delle persone in modo convenzionale da quando si era diffuso l’uso del MECS anche tra i civili. Avrebbe potuto averne settanta, anche se in realtà era un cinquantenne. Il percorso per i volontari che si preparavano a partire per Marte prevedeva un corso su “intelligenza artificiale applicata”. Lui aveva formato ormai centinaia di ragazzi: il suo pragmatismo, insieme alla sua competenza, gli avevano permesso di raggiungere una posizione di rispetto nell’élite tecnologica di Terranova. Oltretutto, lui aveva progettato personalmente alcune delle componenti fondamentali dell’AI che governava quasi ogni servizio di Terranova, dai voli spaziali al MECS alle infrastrutture critiche. Victor iniziò guardando negli occhi i venti ragazzi e ragazze che stavano davanti a lui.

– Iniziamo con il chiarire che NOVA non è un’intelligenza artificiale, quanto piuttosto un insieme di intelligenze cooperanti. N.O.V.A. significa infatti “Network Of Valuable AIs”. Soprattutto nei primi anni, Terranova ha dovuto sviluppare tecnologie di AI sempre più sofisticate per riuscire a gestire, con poco personale, l’infrastruttura terrestre, quella lunare e infine quella su Marte. Poi sono arrivati sempre più scienziati e ingegneri, e questo ci ha permesso di potenziare ancora di più le intelligenze artificiali che compongono NOVA. All’inizio ci siamo mossi con una serie di vincoli auto-imposti: prevenzione del danno, equità, rispetto dell’autonomia degli individui, spiegabilità. Poi abbiamo deciso di far evolvere alcuni di questi vincoli, e questo ci ha permesso di fare un balzo di qualità. Ad esempio, è un dato di fatto le applicazioni più potenti dell’Intelligenza Artificiale sono quelle che rinunciano al principio di spiegabilità.

– Questo significa che non siamo più in grado di capire come ragiona NOVA, corretto? – chiese una ragazza alla sua sinistra, che somigliava in modo impressionante ad Alexandra.

– In effetti direi che non ci interessa capire come NOVA è arrivata a una soluzione: valutiamo piuttosto la bontà della soluzione trovata, e ad oggi questa strategia si è sempre rivelata vincente.

– Professore, ma questo non introduce dei rischi? – chiese un ragazzo in seconda fila.

– Certamente, ma la vita è sostanzialmente un esercizio di gestione del rischio. E poi il principio di spiegabilità era più una buona intenzione che qualcosa di applicabile. NOVA è composta da molteplici servizi e componenti, alcuni sviluppati da centri di ricerca governativi altri da aziende private. L’idea che un privato sveli i meccanismi di funzionamento interno della sua parte di AI è totalmente naif: significherebbe rinunciare alla protezione della proprietà intellettuale del proprio lavoro – rispose Victor. – Comunque, abbiamo introdotto una serie di meccanismi di compensazione, come il mutuo controllo tra le AI che compongono NOVA. Questa è una strategia che fino ad ora ci ha permesso di gestire in modo efficace il rischio di malfunzionamenti, pur sempre possibili.

– Ci sono stati dei malfunzionamenti in passato? – chiese un’altra ragazza.

– Certamente. Ogni sistema complesso deve convivere con dei malfunzionamenti e gestirli. È una caratteristica fondamentale, che tecnicamente si chiama “resilienza”.

– E l’incidente di qualche giorno fa su Luna 3? Ci può dire qualcosa?

Luna 3 era un tema spinoso e doloroso per Victor. Sia perché non si era ancora capito bene cosa fosse successo e come NOVA avesse gestito la situazione, sia perché sua figlia Alexandra si trovava su Luna 3 al momento dell’incidente e non era ancora riuscito a mettersi in contatto con lei. Un’esplosione nel reattore nucleare, era l’unica informazione che aveva ottenuto dal centro di controllo.

Victor fu salvato dalla fine della lezione. Disse solo: – Ragazzi, basta per oggi, la professoressa Helen vi aspetta nel laboratorio di chimica. Giocherete con le rocce lunari e marziane: non fate tardi oppure se la prenderà con me anche oggi!

M.E.C.S.

Victor tornò a casa circa all’ora di cena. Entrò nella penombra e andò in cucina per mangiare qualcosa. Avrebbe cenato come sempre da solo, con un occhio allo schermo dove scorrevano le notizie e qualche fugace occhiata a sua moglie Alina, che nella sua postazione in salotto sognava. Alina aveva la sua età, ma non dimostrava più di trent’anni. Aveva capelli neri ondulati, un corpo morbido e un viso sereno. Gli mancava molto. Da quando era successo l’incidente su Luna 3 lei aveva intensificato le sue sedute, diceva che da sveglia l’ansia le era intollerabile. Lui cercava di limitare le ore trascorse collegato al MECS, il sistema di controllo metabolico, alla fascia notturna. Questo gli garantiva per lo meno un sonno tranquillo, oltre agli altri benefici del metabolismo ridotto al minimo. Per alcuni il principale era forse il rallentamento dell’invecchiamento, per altri il benessere generato dalla realtà onirica personalizzata che il MECS generava. Come per la maggior parte delle tecnologie di Terranova, l’origine era stata militare. Vi erano due modalità per collegarsi al MECS. La prima, quella più usata dai civili, portava ad un rallentamento del metabolismo e poteva essere usata per non più di qualche giorno. Poi il corpo aveva bisogno di tornare a idratarsi, nutrirsi ed espellere le scorie. Vi era poi un’altra versione, chiamata “deep MECS”, che era una vera e propria ibernazione di lungo periodo. Si poteva restare in questo stato per mesi o anni. Era la modalità utilizzata per i viaggi interplanetari. Victor sapeva però che a volte il MECS era utilizzato anche per stabilizzare i reduci con traumi da combattimento. Spesso questi reduci si rifugiavano nei sogni del MECS per la maggior parte delle loro giornate, mentre i casi più gravi venivano “parcheggiati” nel deep MECS anche per anni.

Sua moglie era un po’ così. Una combattente stanca già da qualche anno, ora reduce da un trauma post bellico, dovuto all’assenza di notizie da parte di Alexandra. Anche se in verità erano anni che Alina aveva cominciato a passare sempre più tempo nel MECS. Diceva che lo faceva perché non voleva avere rughe sul viso. Victor all’inizio aveva riempito facilmente quei vuoti con il lavoro, la lettura, le escursioni nelle terre del nord i suoi molti impegni. Ma da quando Alexandra se ne era andata, prima all’accademia aerospaziale e poi sulla luna, a Victor quelle serate da solo pesavano sempre di più. Alexandra era stata una bella avventura nella vita sua e di Alina. L’avevano adottata ancora bambina. Proveniva da qualche parte dell’Indocina, ma era arrivata a Terranova con un gruppo di profughi. I genitori erano probabilmente morti durante il viaggio. Era stata portata in un centro di accoglienza dove per un periodo Alina aveva lavorato come volontaria. Era uno scricciolo di un anno, con occhi e capelli nerissimi in un viso che alternava curiosità a smarrimento. Poi era cresciuta diventando un’adolescente volitiva e una ragazza bella e determinata. Non aveva mai saputo dirle di no: forse aveva ragione Alina nel dire che l’aveva viziata. Ne sentiva la mancanza come un dolore fisico. Ultimamente si era accorto che tendeva ad anticipare il momento di andare a letto, per immergersi nei sogni sereni generati dal MECS. Aveva caricato una playlist dei suoi scenari preferiti, dalle avventure nel grande nord alla visita a città russe dove era stato con Alina, ormai non più raggiungibili. Ogni sera cercava di resistere e di impegnarsi con altro, ma ogni sera non faceva altro che aspettare il momento di immergersi nei suoi sogni artificiali.

Le cose non andavano diversamente nelle altre famiglie. Qualche giorno prima era riuscito a convincere Alina ad uscire per andare a cena a casa di Paul, un collega. Paul aveva una famiglia modello: moglie, quattro figli e due cani. Però durante la cena solo Paul, la moglie, i due cani e la bimba piccola erano presenti, perché gli altri figli erano immersi nel MECS. Paul raccontò loro con entusiasmo che i ragazzi stavano sperimentando una nuova forma di sogno condiviso, incluso nella beta release dell’ultima versione. Si dilungò a lungo spiegando che NOVA aveva autonomamente generato e proposto ai propri utenti questa nuova funzionalità, come un modo per superare l’isolamento e l’alienazione delle sedute solitarie. Il livello di coinvolgimento di questa nuova funzionalità era incredibile: anche lui e la moglie vi dedicavano la maggior parte delle serate. A volte facevano anche sogni condivisi come famiglia, ma poi con i figli adolescenti si sa, c’erano anche tante altre esigenze e opportunità. Victor parlò poco durante la cena, passò la maggior parte del tempo ad accarezzare i due labrador, che si godevano le sue coccole. In quella famiglia quasi perfetta, solo loro sembravano nascondere qualche perplessità in fondo agli occhi nerissimi. Forse perché erano gli unici esclusi dal paradiso del MECS.

“Lesser evil protocol”

Quella sera Victor decise di fermarsi in università. Non aveva voglia di tornare a casa e di cenare ancora da solo, preferiva farsi portare una pizza nel suo ufficio. Ma c’era anche un altro motivo. Era a caccia. Aveva accidentalmente origliato una conversazione nel pomeriggio tra il responsabile della sicurezza e il rettore, che era anche il governatore di Terranova. Era andato dal rettore per un appuntamento, ma evidentemente quest’ultimo se ne era scordato. Era già tardi, così la segretaria non c’era. Dall’anticamera riconobbe la voce flebile del rettore e quella più decisa del responsabile della sicurezza di Terranova, Alan, che provenivano da dentro lo studio. Victor conosceva bene Alan: avevano studiato insieme all’università e molti dei progetti di ricerca di Victor erano commissionati dall’organizzazione di Alan. Questi sembrava stranamente agitato. Il tema era evidentemente quello che era successo su Luna 3, ma c’era anche dell’altro.

A un certo puntò Alan batté anche i pugni sul tavolo. Victor colse un frammento di conversazione: – Dobbiamo intervenire subito. La situazione è fuori controllo. Se NOVA applicherà il protocollo “lesser evil” su larga scala, non sappiamo cosa potrebbe accadere.

– Ma su Luna 3 questo protocollo ha probabilmente salvato la vita a centinaia di persone, – controbatté il rettore.

– Sì, ma ripeto che è fuori controllo. Dobbiamo passare alla gestione manuale delle infrastrutture critiche.

– Fuori questione, – disse il rettore con tono perentorio. – La nostra conversazione è finita. Cerchi di capire esattamente cosa è successo su Luna 3 poi ne riparleremo.

Victor intuì che Alan sarebbe uscito di lì a poco, quindi si spostò nel corridoio principale, come passasse di lì per caso.

– Alan, ogni tanto torni ancora all’università? Dopo il progetto sulla difesa perimetrale non ti ho più visto, – disse Victor quando lo incrociò.

– Tempi convulsi Victor, scusami ma ora ho fretta.

– Neanche il tempo per un caffè?

– No scusami, devo tornare alla centrale operativa.

– Va bene, ma puoi darmi qualche informazione su Luna 3? Sai che Alexandra era là. Non abbiamo sue notizie da tre giorni. Alan, me lo devi, – lo incalzò Victor.

–Vorrei poterti dare una spiegazione, ma non ne sappiamo molto neppure noi. C’è stata un’esplosione nucleare, non posso dire altro.

Victor fece una pausa per assimilare la notizia. Poi riprese: – Siete riusciti a evacuare qualcuno?

– In realtà quasi tutti, ma con una procedura di emergenza non convenzionale. Non mi chiedere di più perché non lo so: sono partite centinaia di navette di salvataggio dalla luna verso la terra, ma non siamo riusciti a stabilire un contatto con nessun equipaggio. Stiamo valutando i danni collaterali. Comunque NOVA ha riportato 13 vittime, ma erano tutti uomini. Non ci ha dato molte altre informazioni, fatti bastare questa. Ora devo proprio scappare.

Alan gli strinse un braccio e scappò a passo veloce lungo il corridoio.

Ora Victor era nel suo studio e stava cercando di accedere al kernel di NOVA. Stava violando almeno mezza dozzina di leggi civili e militari, ma quello che gli aveva detto Alan lo aveva sconvolto. Doveva capire cosa era veramente successo. Dopo diversi tentativi falliti, verso le 2 di notte ci riuscì. Cominciò a fare il trace degli avvenimenti degli ultimi cinque giorni su Luna 3. Faticosamente ricostruì alcuni frammenti di quello che era successo. Sul suo notepad digitale scarabocchiò:

• Cinque giorni fa: intrusione su Luna3. Soggetto non identificato. Porta un messaggio per il comandante
• Quattro giorni fa: tracce di infiltrazione in NOVA. Non sembra agente umano, piuttosto AI esterna
• Tre giorni fa: esplosione nucleare. Sembra innescata da NOVA
• Successivamente in rapida sequenza:
  • Livello radiazioni rilevato – oltre la soglia di pericolo per la vita umana
  • Procedura di evacuazione di emergenza
  • Navette caricate in 45 minuti
  • “lesser evil protocol activated”
  • MECS entra in funzione per abbassare il metabolismo dell’equipaggio delle navette (in attesa di essere portati in centri di disintossicazione attrezzati) – questo spiega perché non siamo riusciti a comunicare con loro
  • Lancio navette di salvataggio verso la Terra
  • Informazioni frammentarie
  • Ritorna protocollo “lesser evil”
  • Sembra ci sia una ri-valutazione di “lesser evil” da parte di NOVA->in alcuni costrutti comunicativi interni all’AI si parla di “lesser evil protocol: massive roll-out approved”

Victor era perplesso. “Massive roll-out approved” non suonava bene. Non solo aveva trovato informazioni incoerenti e inaspettate, ma soprattutto aveva trovato una “opacità” di NOVA che non si era aspettato. Molte delle decisioni prese erano mascherate da protocolli interni di sicurezza a lui inaccessibili. Aveva quasi la sensazione che NOVA stesse nascondendo il suo operato. Non sapeva nemmeno bene cosa fosse il protocollo “lesser evil”. Questo andava ben al di là della rinuncia al paradigma della “spiegabilità” di cui aveva parlato ai suoi studenti. Anche un’intelligenza artificiale “non spiegabile” teneva traccia degli esiti delle sue decisioni. NOVA stava evolvendo i propri algoritmi. E lo stava facendo in modo volutamente opaco.

Prendersi cura

Erano passati due giorni. Due giorni in cui Alina non si era più disconnessa dal MECS. Victor aveva tentato inutilmente di risvegliarla. Ora per lo meno era tranquilla. L’ultima volta che si erano visti era stato al suo rientro dalla nottata in università. Gli aveva raccontato quello che sapeva, aveva dovuto farlo. Lei non aveva reagito bene. Disse che avevano sbagliato tutto, che avrebbero dovuto vietare ad Alexandra di partire. Se solo lui avesse saputo dirle di no qualche volta, se avesse smesso di farle vedere tutti quei film stupidi sui viaggi stellari. La discussione la lasciò spossata. Si rifugiò nel suo paradiso artificiale, da cui non si era più staccata.

Victor sentiva che stava accadendo qualcosa di strano. Provò a contattare Paul, ma la segreteria gli disse che tutta la famiglia stava facendo un sogno condiviso. In università il numero dei colleghi presenti era diminuito drasticamente. Apparentemente tutti quelli che si erano connessi al MECS non si erano più risvegliati. I pochi ancora in circolazione erano quelli come lui, che ne facevano un uso saltuario, ma il numero di quelli che sparivano aumentava esponenzialmente. Inoltre le notizie dal mondo esterno lo preoccupavano enormemente. Alexandra era là da qualche parte, ma Europa e nord America erano subcontinenti allo sfacelo. Sommosse e insurrezioni rendevano insicuro la maggior parte del loro territorio. L’Africa e il Sud America, sotto il controllo dell’AICA^[2], godevano di maggior stabilità, ma la pressione dei migranti dal nord del pianeta cominciava a mettere in difficoltà anche queste aree. L’Asia era apparentemente tranquilla, ma il regime che la governava era totalitario e dittatoriale. Il controllo centrale sui cittadini era alienante, quasi peggio dell’instabilità politica in Europa e America del nord. Antartica e Terranova erano le uniche aree del pianeta in cui democrazia e pace sociale erano garantite. O forse tra poco Antartica sarebbe rimasta sola?

Victor entrò nell’ufficio di Alan con in mano i suoi appunti. Negli ultimi due giorni aveva tentato inutilmente di accedere di nuovo al kernel di NOVA, ma apparentemente le misure di sicurezza erano state innalzate. Solo Alan poteva trovare un altro modo.

Il suo vecchio amico aveva gli occhi di chi non dormiva da due giorni. Quando Victor entrò nel suo ufficio, lo accolse con un sorriso stanco:

– Victor, non ora per favore. Non ho ulteriori notizie, ma purtroppo la situazione si sta complicando.

– Certo che si sta complicando, – rispose Victor. – Cosa mi dici del protocollo “lesser evil”?

– Come lo conosci? – chiese Alan sinceramente stupito.

– Non è importante. Guarda questi appunti e dimmi se ci capisci qualcosa.

– Sai che potresti essere incriminato per questo?, – disse stancamente Alan sollevando lo sguardo dal notepad.

– Alan lascia perdere queste stronzate. Mia moglie non si risveglia da due giorni, mia figlia è dispersa dopo un’esplosione nucleare che avrebbe potuto ucciderla, sempre più persone si addormentano e non escono più dal MECS, cosa sta succedendo?

Alan sospirò, poi disse: – La verità? Anche noi non ci stiamo capendo molto.

– No, riprova, questa risposta non la trovo soddisfacente. Che cavolo significa che non ci state capendo molto? Non avete voi la gestione di NOVA e del MECS? Il governatore cosa dice?

– Il governatore è tra i tanti che non si risvegliano.

– Disinserite il MECS, emanate un allarme critico alla popolazione.

– Abbiamo provato entrambe le cose. L’accesso a NOVA è negato anche ai più alti livelli di sicurezza. E le comunicazioni sono totalmente sotto il suo controllo. Così come le infrastrutture critiche. Le notizie che si sono diffuse nei giorni precedenti hanno terrorizzato la popolazione, con l’effetto che milioni di persone si sono rifugiate nel MECS. Stiamo avvisando casa per casa di non connettersi, ma ad oggi pare che almeno l’80% della popolazione stia vivendo nel mondo di sogno artificiale creato da NOVA.

– È un disastro. Con il 20% della popolazione e senza il controllo di NOVA non riusciremo a gestire nemmeno le infrastrutture critiche. Terranova collasserà.

– È possibile, – disse Alan. – Forse siamo già collassati.

– Ma cosa sta succedendo? Lo avete capito?

– È Il protocollo “lesser evil”. Sembra che NOVA abbia sviluppato da sé questo protocollo per gestire le situazioni di estrema crisi, come quella verificatasi su Luna 3. Gli analisti stanno cercando di tracciare il suo percorso decisionale, cosa non semplice. Quello che si è capito è che, in una situazione di pericolo incombente come questa, NOVA ritiene più sicuro “metterci a nanna” e mantenerci in uno stato di quiete artificiale. Lo ha fatto probabilmente anche con la tua Alexandra e gli altri equipaggi delle navette. All’inizio abbassare il metabolismo era funzionale a limitare i danni delle radiazioni. Poi, da quanto abbiamo capito, NOVA ha valutato che il mondo esterno, in cui le capsule erano atterrate, era troppo rischioso e quindi era meglio mantenere gli astronauti nel sonno artificiale. A questo punto NOVA ha misurato statisticamente la riduzione del rischio ottenuta e probabilmente ha deciso che questa era la soluzione migliore anche per noi. Tutti a nanna, ci penserà NOVA a gestire tutto!

– E dell’incidente nucleare cosa mi dici? È stato causato dall’infiltrato, quello che portava il messaggio?

– Qui siamo alla pura speculazione. NOVA ci ha chiuso le porte. Ma dalle notizie frammentarie raccolte dai log di sistema a cui abbiamo potuto accedere, NOVA è stata infettata. Un’altra intelligenza artificiale si è inserita nel suo kernel. Sembra che il messaggero avesse raggiunto Luna 3 per impedirlo e per questo dovesse essere eliminato. L’ultima traccia lo ha identificato nello stesso modulo in cui risiedeva l’unità di Alexandra. Sembra che per eliminare questa persona NOVA non abbia esitato a causare un’esplosione nucleare.

– NOVA ha causato l’esplosione nucleare? – chiese incredulo Victor.

– NOVA o qualunque cosa NOVA sia diventata dopo essere stata “contaminata”. Ora NOVA si dibatte tra follie distruttrici come l’incidente di Luna 3 e la volontà, pur distorta, di proteggerci mettendoci tutti a dormire. Siamo in balia di un’intelligenza artificiale schizofrenica!

– C’è modo di svegliare le persone? Avete avuto successo in qualche caso?, – disse Victor aggrappandosi a un’ultima possibilità.

– Diciamo che abbiamo capito che è meglio essere cauti. Abbiamo avuto un paio di decessi nei primi tentativi di risveglio. Il processo deve essere controllato da NOVA, altrimenti è troppo rischioso. E NOVA ritiene che sia meglio lasciare le persone connesse al MECS. Abbiamo avuto solo tre eccezioni.

– Di che tipo?, – chiese Victor speranzoso.

– Tre persone che si sono svegliate da sole. In tutti i casi si trattava di situazioni in cui una persona cara era in pericolo nel mondo reale. In qualche modo, seppur filtrate da NOVA, le informazioni di quello che succede a Terranova e forse nel resto del mondo arrivano al subconscio delle persone connesse al MECS. Come sai, quando sei connesso puoi decidere di risvegliarti in anticipo, ma deve essere una tua scelta. L’analisi dei tracciati cerebrali però mostra che NOVA fa di tutto per mantenere le persone connesse in uno stato di benessere. Probabilmente manipola le informazioni provenienti dall’esterno, ma per come è programmato il MECS non può eliminarle. Insomma NOVA si prende cura di te, ti fa stare talmente bene che, se non hai una ragione forte per tornare alla realtà, ti lasci cullare e sedurre dal mondo di sogno di cui lei ti nutre.

– Cosa possiamo fare?

– Dobbiamo andarcene, – disse Alan dopo un momento di riflessione. – Terranova diventerà presto invivibile per chi non è connesso al MECS. Dobbiamo raccogliere i pochi ancora vigili e partire.

– Partire con il 20% della popolazione? Sono comunque due milioni di persone! È un esodo!

– Non ci sono alternative, – riprese Alan. – NOVA sta già procedendo con lo shut-down di tutte le infrastrutture critiche. Sembra voglia risparmiare tutta l’energia possibile per convogliarla al supporto vitale del MECS. Questo è un grande dormitorio, Victor. Tra qualche giorno collasseranno le coltivazioni nelle serre e anche la produzione di proteine sintetiche. L’energia e i servizi primari sono già stati ridotti al minimo. I dormienti non hanno bisogno di nutrirsi, di muoversi, di curarsi, di scaldarsi, di comunicare. Con il metabolismo rallentato possono andare avanti per decenni consumando pochissima energia. Pensa a tutto NOVA. Ma noi non possiamo vivere in un ambiente in cui NOVA evidentemente non ci vuole.

– E dove andremo?, – chiese Victor.

– Non so, inizialmente in America del nord. Lo so, la situazione è caotica, ma almeno non moriremo di fame e di freddo. Poi cercheremo di riprendere i contatti con Antartica.

– Va bene, ma prima devo fare un tentativo, – disse Victor – e tu mi devi aiutare!

– Che hai in mente esattamente?

– Devo mandare un messaggio…, – rispose laconicamente Victor.

Alexandra

Stava fluttuando senza peso nella sua astronave. Viaggiare nello spazio freddo e buio all’interno di un guscio di metallo l’aveva sempre attratta, fin da bambina. Quel senso di protezione, di rifugio sicuro che le dava l’astronave in quell’infinità la faceva sentire bene, come quando da piccola costruiva sul suo letto una tenda e improvvisava un campeggio nella tormenta. E poi le ricordava quando con suo padre vedeva gli episodi di un vecchio telefilm, Star Trek. Le piaceva in particolare una delle tante serie, la “Discovery”, perché per una volta l’eroina era una donna: Michael Burnham. Bella e coraggiosa, e poi le somigliava anche fisicamente. Occhi grandi e neri, pelle scura, capelli corti. Coraggio da vendere. Alexandra aveva passato l’adolescenza a immaginarsi nei panni di Michael. Lei e suoi padre trascorrevano intere serate a guardare Star Trek sognando avventure stellari. Spesso durante questi viaggi sua madre Alisa si annoiava e preferiva immergersi nei sogni artificiali del MECS. In fondo tutti si nutrono di sogni, sia da svegli che da addormentati. E lei aveva il suo, verso il quale stava viaggiando. Ecco, in realtà non ricordava esattamente dove stava andando. Non si ricordava nemmeno come era finita a bordo dell’astronave. Certo era una bellissima astronave, simile alla Discovery. Però era sola. Era certa che fosse successo qualcosa, qualcosa di spiacevole, ma non ricordava cosa. Le piaceva solo la sensazione di benessere e di sicurezza dell’astronave. Il supporto vitale le dava il massimo confort. Aveva a disposizione i motori ad impulso per andare ovunque volesse, gli scudi e tutto l’arsenale di armi di una grande astronave della flotta. Nessuno poteva farle del male. Era come essere tornata nell’utero di sua madre, quella che non aveva mai conosciuto. Di questo sentiva una lontana nostalgia. Per questo avrebbe potuto restare lì per sempre.

Poi cominciò. All’inizio era un pensiero di sottofondo, quasi indistinto. Poi crebbe fino a diventare una voce. No, non una voce. La voce di suo padre. Victor la chiamava. Lei rispondeva ma lui non la sentiva. Fu presa dall’angoscia. Si sentì gridare, anche se aveva l’impressione di non muovere le labbra. Poi ascoltò. La voce ripeteva sempre la stessa frase: – Alexandra svegliati. Sono tuo padre, Victor. Terranova è caduta. Siamo in pericolo. Sei stata vittima di un incidente su Luna 3. Aiutaci a fermare NoEvilNet. Svegliati.

E Alexandra si svegliò.

Inferno

Mustafà era stato assegnato alla squadra che aveva il compito di vigilare sui tre ragazzi addormentati. Gli scienziati cinesi non erano ancora riusciti a svegliarli e per ora li avevano lasciati nella base militare. Era il compito più noioso che avesse ricevuto. Dovevano stare lì per ore. Lui leggeva, ascoltava musica, si annoiava. Ogni tanto osservava i tre ragazzi, ma soprattutto la ragazza. Alexandra, c’era scritto sulla capsula. Era molto bella. Serena, almeno fino a quella mattina. Poi qualcosa era passato nei suoi pensieri. Nessuno aveva notato nulla, ma lui era un ottimo osservatore. La guardava da un po’. Immobile come morta, non aveva espressione, eppure… a lui pareva non avesse più la stessa serenità di quando l’avevano ripescata dalla capsula di salvataggio. Come molte delle astronaute aveva i capelli tagliati cortissimi, forse per praticità. Scuri. Anche i suoi occhi probabilmente erano scuri. Doveva essere così, stava pensando Mustafà.

Poi in un lampo tutto cambiò. Lui la stava guardando, quando improvvisamente gli occhi di lei si spalancarono nerissimi e lo fissarono. Mustafà cadde dallo sgabello su cui stava leggendo.

Ora lei lo fissava con angoscia. Sembrava volesse muoversi o parlare, ma evidentemente l’uscita dalla pseudo-ibernazione del MECS non era immediata. Mustafà si spaventò perché gli parve che non respirasse. Disse: – Vado a chiamare aiuto.

Lei però scosse impercettibilmente la testa. A poco a poco il suo corpo si stava risvegliando. Mustafà poteva scorgere movimenti debolissimi dei piedi e delle mani. Il torace si alzava e abbassava con i primi respiri coscienti e le labbra cominciarono a dischiudersi, ma senza emettere suono.

Poi vide che nella mano destra stringeva qualcosa. Le aprì la mano e vi estrasse un fogliettino di carta. Non se ne vedevano più molti in giro. Era scarabocchiato a mano. Una specie di formula:

Mustafà fissava alternativamente il foglietto e Alexandra, fino a che lei non cominciò a muoversi cercando di alzarsi. Non poteva ancora parlare, ma si stava riprendendo. Mustafà le fece sedere e le diede da bere una soluzione energetica reidratante che i militari come lui avevano in dotazione per le emergenze. Da lì a poco Alexandra si riprese. Ora non sembrava più spaventata. Le prime parole che disse furono:

– Dove siamo?

– Nord Africa. Sei atterrata qualche giorno fa.

– Nord Africa… sotto il controllo di AICA quindi?

– Sì. Esattamente.

– Devo andarmene. Non posso stare qui, – riprese Alexandra mentre toglieva dalla mano di Mustafà il bigliettino stropicciato e se lo infilava in una tasca della tuta.

– Ehi, sembri mio padre. A sentire lui qui siamo all’inferno, ma io credo ci siano posti peggiori. Se fossi caduta in Europa o in Nord America, lì sì che ti saresti trovata in un vero inferno. Almeno qui c’è una certa stabilità.

Lei si perse per qualche secondo nei suoi pensieri. Tutto era confuso, ma le idee le si stavano chiarendo piano piano. Come il suo corpo si era svegliato per gradi, così la sua coscienza e i suoi ricordi. Poi improvvisamente vide tutto chiaramente. Il messaggero, quello strano viaggiatore e le sue informazioni riservate. Poi l’attacco, l’esplosione, la fuga, il sogno. Quando guardò di nuovo Mustafà disse:

– L’inferno non è qui e nemmeno in Europa. L’inferno è un posto che ti seduce, dove stai bene ma non c’è speranza. Ne sono appena uscita.

– E dove vorresti andare? – chiese Mustafà.

– Devo scoprire cosa è successo a Terranova. Ma non posso tornare lì. Ho bisogno di raggiungere Antartica. Devi aiutarmi.

Mustafà fece cenno di sì col capo. Mentre la sua testa si muoveva, tutto il suo essere gli diceva che si stava cacciando in un guaio più grande di lui.

Un assunto filosofico del costruttivismo sostiene che ogni produzione umana è, qua talis, comprensibile. Le creazioni della natura non è detto che ci siano intellegibili, ma gli artefatti antropici, proprio perché progettati e costruiti da umani, avrebbero la proprietà di essere conoscibili. Conoscibilità, intellegibilità, comprensibilità, interpretabilità, esplicabilità declinano – in gradi e sensi diversi – questa cognizione. Che dire, però, della ‘opacità epistemica’ che è al centro del dibattito sull’esplicabilità dell’intelligenza macchinica (XAI)? Come valutare i risultati delle reti neurali artificiali stratificate in livelli ‘nascosti’? In cosa consiste esattamente l’oscurità del deep learning e delle sue ‘black box’? E, infine, ha senso (e quale?) invocare strategie di trasparenza per gli algoritmi di apprendimento automato e per le loro modellizzazioni? Nella finzione del racconto, il professore taglia corto: non ci interessa né siamo in grado di capire, sostiene. Nella realtà, l’orientamento della ricerca oggi è a raccogliere questa sfida lasciando intendere, viceversa, che: 1. sia una questione rilevante e 2. che sia solvibile. E, dunque?

Credo sia opportuno esercitare, qui, uno sguardo filosofico più profondo a partire da due primi stimoli di pensiero. Primo, riconoscendo con il filosofo Lenhard come e perché l’adozione crescente di modelli computazionalmente instrumentati di simulazioni matematiche complesse stia estendendo l’opacità epistemica a molti domini: dalle stratificazioni delle reti neurali artificiali (‘hidden layers’) ai collassi delle funzioni d’onda dei qubits (‘shut up and calculate’) per fare due casi. In effetti, l’intrinseca ‘intrasparenza’ della strumentazione macchinico-simulativa è in grado, si, di ridurre efficacemente la distanza tra modello e mondo (plasticità) più di altri metodi (come l’esperimento), ma a scapito della sua piena intellegibilità (trasparenza). Secondo, esplorando come questo paradosso richieda di spostare l’orizzonte speculativo stesso del conoscibile. Ci sollecita, infatti, a ragionare non tanto e non solo se la macchina sia intellegibile (e quanto) nelle sue decisioni. Ma più radicalmente su cosa sia proprio, nella sua essenza, l’intellegibilità.

1. Si veda #PandemIT per un approfondimento su NoEvilNet
2. A.I.C.A., o Asian Indo-Chinese Alliance, era l’unione dei maggiori Paesi asiatici. Includeva la Cina, l’India, la Mongolia, la Corea, il Vietnam e gli altri stati dell’ex Indocina. Conteneva circa la metà degli abitanti del pianeta. ↑