Si annunciano tempi duri per chi farà il furbo utilizzando l’intelligenza artificiale al posto delle proprie capacità creative. OpenAI ha infatti messo a punto uno strumento per rilevare se un pezzo di testo è stato generato dal suo chatbot ChatGPT. Chiamato AI Text Classifier, lo strumento gratuito è disponibile per il pubblico; OpenAI sta raccogliendo feedback sulla sua efficacia. Per avviare il processo di rilevamento si deve semplicemente inserire il testo nel modello di intelligenza artificiale. Si può provare AI Text Classifier qui.
Le preoccupazioni sull’uso di ChatGPT nelle scuole
Il rilascio dello strumento di OpenAI arriva in momento in cui gli educatori stanno esprimendo preoccupazioni sul fatto che gli studenti utilizzeranno ChatGPT per generare saggi e rapporti invece di scrivere i propri compiti. Diverse associazioni scolastiche in tutto il mondo hanno vietato l’accesso al chatbot. Un evento annuale di apprendimento automatico ha persino vietato l’uso di modelli linguistici di grandi dimensioni per scrivere documenti.
OpenAI ha sviluppato una pagina di risorse preliminari per gli educatori sull’uso di ChatGPT, che delinea alcuni degli usi e delle limitazioni e considerazioni associate. La società ha anche osservato che lo strumento può essere utilizzato da giornalisti, ricercatori di disinformazione e altri gruppi.
La società di intelligenza artificiale sostenuta da Microsoft ha affermato che AI Text Classifier è un modello GPT ottimizzato che migliora “significativamente” il suo modello precedente, rilevatore di uscita GPT-2, rilasciato a febbraio 2021, è stato costruito sopra il modello RoBERTa ed è considerevolmente più obsoleto in termini di prestazioni rispetto alla sua sostituzione.
Tuttavia, OpenAI ha avvertito che il nuovo strumento Classifier “non è completamente affidabile”. Nelle sue valutazioni, OpenAI ha rilevato che Classifier ha identificato correttamente solo il 26% del testo scritto dall’AI come “probabile scritto dall’AI”, etichettando erroneamente il testo scritto dall’uomo come scritto dall’AI il 9% delle volte.
Il nuovo strumento ha anche bisogno di un input di almeno 1.000 caratteri (150-250 parole) per essere affidabile e può essere ingannato se l’utente modificare il testo generato dall’intelligenza artificiale. È anche probabile che fallisca se utilizzato in lingue diverse dall’inglese.
OpenAI ha inoltre avvertito che i risultati di Classifier “non dovrebbero essere l’unica prova quando si decide se un documento è stato generato con l’intelligenza artificiale. Il modello è addestrato su testo scritto dall’uomo da una varietà di fonti, che potrebbero non essere rappresentative di tutti i tipi di testo scritto dall’uomo”.
Il classificatore di testo AI funziona?
OpenAI afferma che il suo AI Text Classifier è stato messo a punto su un set di dati di coppie di testo scritto dall’uomo e testo scritto dall’AI sullo stesso argomento da una varietà di fonti, come i “dati di pre-addestramento e le dimostrazioni umane su prompt inviati a InstructGPT“.
Il nuovo modello di OpenAI non dice definitivamente che un pezzo di testo non è stato generato dall’AI, ma prevede la probabilità che sia così.
AI4Business ha testato AI Text Classifier per verificarne il funzionamento.
Abbiamo dapprima creato un testo con ChatGPT
Per raggiungere la dimensione minima di 1000 caratteri abbiamo aggiunto una domanda sulla cucina italiana.
Successivamente abbiamo sottoposto il testo a AI Text Classifier
Come si può vedere, il risultato è stato: Il classificatore considera il testo poco chiaro se generato dall’intelligenza artificiale.
In pratica, AI Text Classifier di OpenAI non è stato in grado di riconoscere con certezza un testo generato da ChatGPT.
Lasciamo a voi trarre le conclusioni.
