ChatGPT bocciata per l’uso nel settore legale

Un legale e un linguista hanno messo alla prova lo strumento di OpenAI con tre brani di un contratto bancario, uno dei tipi di testo meno comprensibili persino dagli addetti ai lavori. Con il prompt “Puoi riscrivere meglio questa frase?” gli è stato chiesto di fare tre versioni. Ecco perché non ha superato l’esame

Pubblicato il 08 Mar 2023

Giovanni Acerboni

Linguista, consulente e formatore di scrittura

Maria Roberta Perugini

Avvocata, diritto e nuove tecnologie – Studio legale MRPerugini - Co-founder IUSINTECH

ChatGPT business società

ChatGPT scrive. Ma come scrive? Cioè scrive meglio o peggio di noi umani? L’abbiamo messo alla prova con tre brani di un contratto (bancario), notoriamente uno dei tipi di testo meno comprensibili persino dagli addetti ai lavori.

Abbiamo interrogato ChatGPT con il prompt “Puoi riscrivere meglio questa frase?” e gli abbiamo chiesto di fare tre versioni.

Poiché le riformulazioni di ChatGPT non differiscono di molto, presentiamo solo una sintesi della ricerca, che abbiamo svolto nel modo seguente:

  • verifica dell’affidabilità tecnica delle versioni di ChatGPT;
  • misurazione automatica della qualità linguistica di ChatGPT (la misurazione è stata condotta con il software Writexp, che identifica le frasi e le parole che non rispettano i requisiti di chiarezza fissati dalla norma UNI 11482:2013 Elementi strutturali e aspetti linguistici delle comunicazioni scritte delle organizzazioni).
ChatGPT scrivere
Immagine generata da DALL-E di OpenAI

L’affidabilità tecnica di ChatGPT

Eliminazione delle informazioni: scorretta.

In ogni sua versione ChatGPT riduce il numero di parole:

  • eliminando alcune informazioni dell’originale;
  • riformulando alcune informazioni.

Consideriamo questo brano di un contratto bancario:

A parziale deroga di quanto riportato nei commi che precedono, resta espressamente convenuto che in caso di esercizio del diritto di recesso (con o senza giustificato motivo) da parte del Cliente o da parte della Banca dall’intero Contratto, il Servizio di Consulenza e di Collocamento – salvo che la comunicazione di recesso non contempli, in modo espresso, anche la volontà di recedere da tali due servizi – rimangono comunque attivi qualora il Cliente abbia in essere in veste di intestatario o di cointestatario, alla data di efficacia del recesso, almeno uno o più Prodotti di Investimento Assicurativi e/o quote di OICR collocati in precedenza dalla Banca e comunque riferibili a compagnie e/o Società di gestione del risparmio appartenenti al Gruppo.

Prima di analizzarlo, dobbiamo precisare che la dicitura “il Servizio di Consulenza e di Collocamento” non è corretta perché si tratta di due servizi diversi, sicché si sarebbe dovuto scrivere “il Servizio di Consulenza e il Servizio di Collocamento”, coerente del resto con il successivo “recedere da tali due servizi – rimangono…”.

L’analisi

Veniamo ora all’analisi. L’originale ha 119 parole, ChatGPT lo riformula in 90. Nella tabella, abbiamo evidenziato in corsivo e grassetto le informazioni che ChatGPT ha tagliato e il nostro giudizio sul taglio.

Originale ChatGPTCommento
A parziale deroga di quanto riportato nei commi che precedono, resta espressamente convenuto che in caso di esercizio del diritto di recesso (con o senza giustificato motivo) da parte del Cliente o da parte della Banca dall’intero Contratto, il Servizio di Consulenza e di Collocamento – salvo che la comunicazione di recesso non contempli, in modo espresso, anche la volontà di recedere da tali due servizi – rimangono comunque attivi qualora il Cliente abbia in essere in veste di intestatario o di cointestatario, alla data di efficacia del recesso, almeno uno o più Prodotti di Investimento Assicurativi e/o quote di OICR collocati in precedenza dalla Banca e comunque riferibili a compagnie e/o Società di gestione del risparmio appartenenti al Gruppo.In eccezione a quanto previsto nei paragrafi precedenti, è esplicitamente stabilito che in caso di esercizio del diritto di recesso da parte del cliente o della banca dal contratto, i servizi di consulenza e collocamento rimarranno attivi se il cliente è intestatario o cointestatario di uno o più prodotti di investimento assicurativi e/o quote di OICR collocati in precedenza dalla banca e relativi a compagnie e/o società di gestione del risparmio del gruppo, a meno che la comunicazione di recesso non espliciti anche la volontà di recedere da tali servizi.Accettabile

Scorretto: si doveva scrivere “in qualsiasi caso di esercizio”.

Scorretto: la specifica “intero Contratto” è indispensabile per escludere il caso (previsto in via generale dal complessivo contratto originale) che il recesso nel caso di specie possa riguardare una parte del contratto.

Scorretto: il riferimento alla data è essenziale.

Riformulazione delle informazioni: non sempre corretta

Nel brano precedente, al taglio scorretto di alcune informazioni corrisponde una riformulazione terminologicamente corretta. Ma non in tutti i brani riscritti è sempre così.

Originale ChatGPTCommento
Qualora vi sia un giustificato motivo, la Banca può altresì recedere dal Contratto anche senza preavviso, dandone immediata comunicazione al ClienteLa Banca può recedere dal contratto in qualsiasi momento se ci sono ragioni valide per farlo, senza preavviso e dando immediata comunicazione al clienteScorretto

La riscrittura aumenta gravemente il rischio di ambiguità nella lettura dell’assetto dei rapporti tra le parti e dunque di contenzioso.

Analoga facoltà di recessoLa Banca ha anche la facoltà di rescindere il contrattoScorretto

Recedere e rescindere sono due istituti giuridici diversi regolati da due diversi articoli del Codice Civile (1373 e 1447 e successivi).

Il diritto di recesso si esercita con l’invio, entro i suddetti termini, di una comunicazione scritta al seguente indirizzo […]. In caso di mancato esercizio del diritto di recesso il contratto […] avrà esecuzione tra le partiIl diritto di recesso va esercitato inviando una comunicazione scritta all’indirizzo della Banca entro i termini specificati […]. In caso contrario, il contratto sarà regolarmente in esecuzione tra le partiScorretto

L’espressione scelta da ChatGPT è generica, non è chiaro che per “caso contrario” si intende il mancato esercizio del recesso nei termini e con le formalità previste.

Costituiscono giustificato motivo di recesso […]: mancata prestazione di quelle promesse in relazione alla prestazione dei Servizi prestati dalla BancaTra i motivi di recesso giustificati […] la mancata prestazione delle promesse relative ai Servizi prestati dalla BancaLa riscrittura falsa completamente il contenuto originale

Non è giustificato motivo di recesso la mancata prestazione di fantomatiche promesse relative ai Servizi, ma la mancata prestazione delle garanzie promesse in relazione alla prestazione dei Servizi da parte della Banca.

Prima conclusione: ChatGPT non è tecnicamente affidabile

Niente di sorprendente: anche ChatGPT ammette e anzi avverte che le sue versioni non sono tecnicamente affidabili, hanno bisogno di un controllo umano esperto. Nella nostra indagine abbiamo verificato che sono scorrette l’omissione di informazioni indispensabili e la sostituzione della terminologia tecnica con termini non appropriati.

Ma dobbiamo aggiungere un ultimo dato: ChatGPT non rispetta, se non occasionalmente, le maiuscole, che, nel contesto contrattuale, contraddistinguono un termine il cui significato è stato predefinito e il cui uso contribuisce a rendere univoca la lettura dell’assetto dei rapporti tra le parti.

Analisi linguistica

I requisiti della norma UNI

Indipendentemente dall’inaffidabilità tecnica, abbiamo analizzato la scrittura di ChatGPT calcolando:

  • la riduzione delle parole;
  • la frequenza di frasi e parole troppo complesse;
  • i KPI della qualità linguistica.

Allo scopo, abbiamo riformulato il brano originale senza considerare le informazioni tagliate da ChatGPT (evidenziate in giallo). Il brano risulta dunque di 107 parole, contro le 90 di ChatGPT (-15,9%) e le nostre 78 (-27,2%).

Originale ChatGPTCommento
A parziale deroga di quanto riportato nei commi che precedono, resta espressamente convenuto che in caso di esercizio del diritto di recesso (con o senza giustificato motivo) da parte del Cliente o da parte della Banca dall’intero Contratto, il Servizio di Consulenza e il Servizio di Collocamento – salvo che la comunicazione di recesso non contempli, in modo espresso, anche la volontà di recedere da tali due servizi – rimangono comunque attivi qualora il Cliente abbia in essere in veste di intestatario o di cointestatario, alla data di efficacia del recesso, almeno uno o più Prodotti di Investimento Assicurativi e/o quote di OICR collocati in precedenza dalla Banca e comunque riferibili a compagnie e/o Società di gestione del risparmio appartenenti al Gruppo.In eccezione a quanto previsto nei paragrafi precedenti, è esplicitamente stabilito che in caso di esercizio del diritto di recesso da parte del cliente o della banca dal contratto, i servizi di consulenza e collocamento rimarranno attivi se il cliente è intestatario o cointestatario di uno o più prodotti di investimento assicurativi e/o quote di OICR collocati in precedenza dalla banca e relativi a compagnie e/o società di gestione del risparmio del gruppo, a meno che la comunicazione di recesso non espliciti anche la volontà di recedere da tali servizi.In deroga ai commi precedenti, il Servizio di Consulenza e di Collocamento resta attivo quando il Cliente o la Banca recedono dal Contratto. Ma solo se il Cliente è intestatario o cointestatario di almeno un Prodotto di Investimento Assicurativo o di quote di OICR che siano già stati collocati dalla Banca o da una Società di gestione del risparmio del Gruppo. Per recedere anche dal Servizio di Consulenza e di Collocamento, è necessario esplicitarlo nella comunicazione di recesso.

Per quanto riguarda i requisiti linguistici fissati dalla norma UNI, l’originale ne viola 1 ogni 10,7 mentre ChatGPT fa poco meglio: 1 ogni 12,8 parole. Noi siamo riusciti a rispettare tutti i requisiti.

Da notare che la prestazione di ChatGPT, cioè 12,8 parole tra due errori, è abbondantemente peggiore delle medie nazionali[1], che dicono che commettono un errore ogni:

  • 36 parole le pubbliche amministrazioni
  • 38 parole gli avvocati
  • 45 parole le imprese

Per quanto riguarda la qualità linguistica e rispetto ai limiti fissati dalla norma UNI, l’originale e ChatGPT:

  • non rispettano il limite di 40/45 parole per periodo;
  • raggiungono il limite di 4/5 complementi indiretti per verbo.

I valori chiaramente migliori della nostra versione si spiegano soprattutto con l’aumento dei verbi (7 contro 6 dell’originale e 5 di ChatGPT) e una diversa costruzione delle frasi. La combinazione di queste due strategie comunicative produce una riduzione delle parole del 27,2% contro il 15,9% di ChatGPT.

Correttezza grammaticale

Nel brano considerato ChatGPT scrive senza errori grammaticali. Ma non in tutti i brani riscritti è sempre così. Ecco qualche esempio:

ErroreCommento
In caso di esercizio del diritto di recesso (con o senza giustificato motivo) da parte del Cliente o della Banca dall’intero Contratto, il Servizio di Consulenza e di Collocamento rimarrà attivo, a meno che la comunicazione di recesso non esplicitamente menzioni la volontà di recedere anche da questi due servizi.

Ciò vale se, alla data di efficacia del recesso, il Cliente è intestatario o cointestatario di almeno uno o più Prodotti di Investimento Assicurativi […]

Consideriamola pure semplice una bruttura, ma questa anticipazione dell’avverbio realizza una frase in non italiano.

Questa connessione non è per niente chiara.

In deroga a quanto stabilito nei commi precedenti, si convengono espressamente che in caso di esercizio del diritto di recesso (con o senza giustificato motivo) da parte del Cliente o della Banca dall’intero Contratto, i Servizi di Consulenza e Collocamento rimangono attivi, a meno che la comunicazione di recesso non contempli espressamente anche la volontà di recedere da tali servizi, se il Cliente è intestatario o cointestatario, alla data di efficacia del recesso, di almeno uno o più Prodotti di InvestimentoScorretto: si conviene

Questa connessione non è per niente chiara.

provvedimenti restrittivi sulla libertà personaleReggenza scorretta: della
La Banca può recedere dal Contratto senza preavviso e con giustificato motivo, in tal caso darà immediata comunicazione al ClienteVirgola scorretta

Ci vuole un punto o un punto e virgola o i due punti.

La raccomandata si considera spedita in tempo utile se consegnata all’ufficio postale entro i termini indicati e l’avviso di ricevimento non è necessario per dimostrare l’esercizio del diritto di recesso.Congiunzione scorretta

Meglio separare le due frasi con un punto.

Seconda conclusione: la qualità linguistica di ChatGPT non è migliore dell’originale

Diversamente dall’inaffidabilità tecnica, che era prevedibile, la cattiva qualità della lingua di ChatGPT è almeno in parte sorprendente. Infatti, far meglio dei contratti non è molto difficile.

Se interrogato su altre questioni, ChatGPT mostra di saper scrivere in un buon italiano. Facciamo l’esempio di un’altra nostra conversazione su un argomento linguistico coerente con questo articolo:

Domanda: Sai che cosa è un complemento indiretto?

ChatGPT: Sì, conosco cosa è un complemento indiretto. In grammatica italiana, un complemento indiretto è una parola o un gruppo di parole che indica a chi o a cosa si riferisce l’azione espressa dal verbo. Solitamente viene introdotto dalle preposizioni ”a” o ”di”. Ad esempio, nella frase ”Ho detto la verità a mia madre”, ”a mia madre” è il complemento indiretto.

Mentre da un punto di vista tecnico la definizione di complemento indiretto non è molto precisa (e dunque non molto affidabile), dal punto di vista della qualità e della chiarezza linguistica è evidente che ChatGPT in questo caso performa molto meglio rispetto alla riformulazione del contratto bancario:

  • media parole per periodo: 15
  • parole per verbo: 8,5
  • complementi indiretti per verbo: 1,1

Poiché ChatGPT è stato addestrato con testi di stili anche molto diversi, dobbiamo trarre la conclusione che sceglie di imitare lo stile del testo che gli si chiede di scrivere.

Conclusioni

La nostra indagine conferma che ChatGPT restituisce quello che abbiamo pubblicato, soprattutto in Internet, negli ultimi quindici anni. Ha quella cultura, riproduce quegli stili. Ma, mentre un esperto si accorge dei suoi limiti (noi ci siamo messi in due), chi non è esperto potrebbe prendere per buono il testo di ChatGPT o persino entusiasmarsi per avere risolto il suo problema senza aver pagato la parcella del professionista.

Più in particolare, al momento ChatGPT combina i due limiti seguenti:

  • rispetto ai contenuti, non può produrre un testo perfettamente aderente a tutte le esigenze di un contesto specifico (i contratti bancari sullo stesso argomento non necessariamente riportano clausole identiche, anzi: le scelte di contenuto dipendono da procedure, condizioni, strategie ecc. diverse da banca a banca);
  • rispetto allo stile, conosce la grammatica ma non conosce la lingua e dunque non sa scegliere tra uno stile e l’altro: si limita a riprodurre lo stile del tipo di testo che gli si chiede di scrivere.

Lo spauracchio che ChatGPT sta suscitando a livello globale pare essere eccessivo, perlomeno per chi produce contenuti:

  • nuovi, cioè non si limita a riformulare contenuti esistenti;
  • con un suo stile originale, cioè non si limita a riprodurre lo stile convenzionale.

In altri termini, i contenuti di qualità formulati con originalità non devono al momento temere che ChatGPT li surroghi, ma potrebbero o dovrebbero temere piuttosto gli effetti indiretti della concorrenza di ChatGPT sul loro pubblico o i loro clienti: ChatGPT, infatti, può mettere in seria difficoltà il mercato dei contenuti di qualità facendo leva su un pubblico che non ne percepisce la preziosità.

  1. Questi calcoli sono stati elaborati sul corpus CITPRO e in vari progetti per i clienti di Writexp

Bibliografia

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Articoli correlati

Articolo 1 di 4