AI21 Labs, azienda concorrente di OpenAI, ha pubblicato i risultati di un esperimento sociale, un gioco online chiamato “Umano o no”, che ha rivelato che ben il 32% delle persone non è in grado di distinguere un essere umano da un bot di intelligenza artificiale.
Il gioco, definito dai ricercatori come il Turing Test su larga scala più grande mai effettuato, ha messo in contatto i giocatori per conversazioni di due minuti utilizzando un bot di intelligenza artificiale basato sui principali modelli di grande linguaggio (LLM) come GPT-4 di OpenAI e Jurassic-2 di AI21 Labs. In totale, sono state analizzate più di un milione di conversazioni e tentativi di indovinare se si stesse parlando con un essere umano o un bot.
I risultati sono stati sorprendenti: quando le persone parlavano con altri esseri umani, indovinavano correttamente l’identità dell’interlocutore il 73% delle volte. Ma quando parlavano con i bot, indovinavano solo il 60% delle volte.
Secondo i ricercatori, i partecipanti al gioco hanno utilizzato diverse strategie per cercare di capire se stessero parlando con un umano o un bot. Ad esempio, molti hanno supposto che i bot non commettessero errori di battitura o grammatica e non usassero gergo, anche se molti dei modelli nel gioco erano stati addestrati a fare proprio queste cose. Inoltre, molti partecipanti hanno fatto domande personali, pensando che i bot non avessero una storia personale o un background, ma i bot sono stati in grado di rispondere a molte di queste domande grazie all’addestramento su molte storie personali.
Dopo le conversazioni di 2 minuti, ai partecipanti è stato chiesto di indovinare se avessero parlato con un essere umano o un bot. Dopo oltre un mese di gioco e milioni di conversazioni, i risultati hanno mostrato che il 32% delle persone non è in grado di distinguere un essere umano da un bot di intelligenza artificiale.
Ma il gioco “Umano o no” ha uno scopo più ampio: come spiega Amos Meron, creatore del gioco e lead prodotto di AI21 Labs, l’obiettivo è educare le persone sull’AI e far loro conoscere le sue capacità, in modo che l’AI possa essere utilizzata per il bene. “Il nostro mondo online sarà sempre più popolato da bot di intelligenza artificiale”, spiega Meron, “e vogliamo lavorare per il loro utilizzo positivo, facendo sapere alle persone di cosa la tecnologia è capace”.
In un mondo sempre più popolato da AI, è importante che le persone sappiano come interagire con queste tecnologie e capire quando stanno parlando con un essere umano o un bot. L’esperimento condotto da AI21 Labs rappresenta un passo importante nella giusta direzione.
AI21 Labs utilizza il gioco per l’educazione all’AI
Questa non è la prima volta che AI21 Labs utilizza il gioco come strumento educativo sull’AI. Un anno fa, ha fatto notizia con il rilascio di “Ask Ruth Bader Ginsburg”, un modello AI che prevedeva come Ginsburg avrebbe risposto alle domande. Il modello si basa su 27 anni di scritti legali di Ginsburg presso la Corte Suprema, oltre a interviste e discorsi pubblici.
“Umano o AI” è una versione più avanzata di quel gioco, ha detto Amos Meron, creatore del gioco e lead prodotto di AI21 Labs, che ha aggiunto di non essere molto sorpreso dai risultati. “Penso che abbiamo assunto che alcune persone non sarebbero state in grado di distinguere la differenza”, ha detto. Ciò che lo ha sorpreso, tuttavia, è ciò che il gioco insegna effettivamente sugli esseri umani.
“Il risultato è che le persone ora assumono che la maggior parte delle cose che gli esseri umani fanno online possa essere maleducata, il che penso sia divertente”, ha detto, aggiungendo che le persone hanno sperimentato i bot in modo molto specifico, come se fossero un servizio.
Perché i responsabili delle politiche dovrebbero tenere conto di questo test
Tuttavia, con le elezioni statunitensi in arrivo, è importante considerare se gli esseri umani siano in grado di distinguere un altro essere umano da un’AI. “Ci saranno sempre attori malintenzionati, ma ciò che, secondo me, può aiutarci a prevenirlo è la conoscenza”, ha detto Meron. “Le persone dovrebbero essere consapevoli che questa tecnologia è più potente di quanto abbiano mai sperimentato prima”.
Ciò non significa che le persone debbano essere sospettose online a causa dei bot, ha sottolineato Meron. “Se si tratta di un attacco di phishing umano, o di una persona con un’identità alternativa convincente online, questo è pericoloso”, ha detto.
Inoltre, il gioco non affronta il problema della senzienza, ha aggiunto Meron. “È una discussione diversa”, ha detto.
Ma i responsabili delle politiche dovrebbero prendere nota, ha detto Meron. “Dobbiamo assicurarci che se sei un’azienda e hai un servizio che utilizza un agente AI, devi chiarire se si tratta di un essere umano o meno”, ha detto. “Questo gioco può aiutare le persone a capire che si tratta di una discussione che devono avere, perché entro la fine del 2023 si può presumere che qualsiasi prodotto potrebbe avere questo tipo di capacità AI”.
Per provare a giocare a “Umano o no”.
