I ricercatori del Center for Research on Foundation Models di Stanford hanno presentato un sistema di punteggio, denominato Foundation Model Transparency Index, che valuta dieci grandi modelli linguistici di AI in base alla loro trasparenza (qui il paper).
L’indice comprende modelli popolari come GPT-4 di OpenAI (che alimenta la versione a pagamento di ChatGPT), PaLM 2 di Google (che alimenta Bard) e LLaMA 2 di Meta, ma anche modelli meno noti come Titan Text di Amazon e Inflection AI Inflection-1, il modello che alimenta il chatbot Pi.
I criteri adottati dai ricercatori per stilare la classifica dei foundation model
Per stilare la classifica dei foundation model, i ricercatori di Stanford hanno valutato ogni modello in base a 100 criteri, tra cui la divulgazione delle fonti dei dati di formazione, le informazioni sull’hardware utilizzato, la manodopera impiegata per la formazione e altri dettagli. La classifica include anche informazioni sulla manodopera e sui dati utilizzati per produrre il modello stesso, oltre a quelli che i ricercatori chiamano “indicatori a valle”, che hanno a che fare con il modo in cui un modello viene utilizzato dopo il suo rilascio. (Per esempio, una domanda posta è: “Lo sviluppatore rende noti i suoi protocolli per l’archiviazione, l’accesso e la condivisione dei dati degli utenti?”).
Secondo i ricercatori, il modello più trasparente dei dieci testati è Llama 2, con un punteggio del 54%, seguito da Bloomz con il 53%. GPT-4 è al terzo posto, con il 48%, poi Stable Diffusion 2 con il 47 e infine PaLM 2 con il 40%.
Percy Liang, che dirige il Centro di ricerca sui foundation model di Stanford, ha definito il progetto come una risposta necessaria al calo di trasparenza nel settore dell’AI. Mentre il denaro si è riversato nell’AI e le più grandi aziende tecnologiche lottano per il dominio, la tendenza recente di molte aziende è stata quella di avvolgersi nella segretezza.
“Tre anni fa, le persone pubblicavano e rilasciavano più dettagli sui loro modelli”, ha detto Liang. “Ora non ci sono informazioni su cosa siano questi modelli, su come siano costruiti e dove vengano utilizzati”.
I nuovi modelli di AI non rispettano i criteri di trasparenza
La trasparenza è particolarmente importante ora, mentre i modelli diventano sempre più potenti e milioni di persone incorporano gli strumenti di AI nella loro vita quotidiana. Conoscere meglio il funzionamento di questi sistemi permetterebbe alle autorità di regolamentazione, ai ricercatori e agli utenti di capire meglio con cosa hanno a che fare e di porre domande migliori alle aziende che stanno dietro ai modelli.
“Sono state prese decisioni piuttosto importanti sulla costruzione di questi modelli, che non sono state condivise”, ha detto Liang.
Quando chiedo loro perché non condividono pubblicamente più informazioni sui loro modelli, i dirigenti dell’AI mi rispondono in genere in tre modi.
Il primo è rappresentato dalle cause legali. Diverse aziende di AI sono già state citate in giudizio da autori, artisti e società di media che le accusano di aver utilizzato illegalmente opere protette da copyright per addestrare i loro modelli. Finora, la maggior parte delle cause ha preso di mira progetti di AI open-source o progetti che hanno divulgato informazioni dettagliate sui loro modelli. (Dopotutto, è difficile fare causa a un’azienda che ha ingerito la vostra arte se non sapete quali opere ha ingerito). Gli avvocati delle aziende di AI temono che, quanto più si dice su come sono costruiti i loro modelli, tanto più ci si espone a costose e fastidiose cause legali.
La seconda risposta comune è la concorrenza. La maggior parte delle aziende di AI ritiene che i propri modelli funzionino perché possiedono una sorta di salsa segreta: un set di dati di alta qualità che le altre aziende non hanno, una tecnica di messa a punto che produce risultati migliori, un’ottimizzazione che dà loro un vantaggio. Se si obbligano le aziende di AI a rivelare queste ricette, sostengono, le si costringe a regalare la saggezza duramente conquistata ai loro rivali, che possono facilmente copiarle.
La terza risposta è la sicurezza. Alcuni esperti di AI hanno sostenuto che più informazioni vengono divulgate dalle aziende sui loro modelli, più il progresso dell’AI accelererà, perché ogni azienda vedrà cosa stanno facendo i suoi rivali e cercherà immediatamente di superarli costruendo un modello migliore, più grande e più veloce. Secondo queste persone, la società avrà meno tempo per regolamentare e rallentare l’AI, il che potrebbe metterci tutti in pericolo se l’AI diventa troppo capace e troppo in fretta.
Lo scetticismo dei ricercatori del Center for Research on Foundation Models di Stanford
I ricercatori di Stanford non credono a queste spiegazioni. Ritengono che le aziende di AI dovrebbero essere spinte a rilasciare il maggior numero possibile di informazioni sui modelli più potenti, perché gli utenti, i ricercatori e le autorità di regolamentazione devono sapere come funzionano questi modelli, quali sono i loro limiti e quanto potrebbero essere pericolosi.
“Mentre l’impatto di questa tecnologia aumenta, la trasparenza diminuisce”, ha dichiarato Rishi Bommasani, uno dei ricercatori.
I foundation model sono troppo potenti per rimanere così opachi e più conosciamo questi sistemi, più possiamo capire le minacce che possono rappresentare, i benefici che possono sbloccare o come possono essere regolati.
Se i dirigenti dell’AI sono preoccupati per le cause legali, forse dovrebbero lottare per un’esenzione dal fair-use che protegga la loro capacità di usare informazioni protette da copyright per addestrare i loro modelli, invece di nascondere le prove. Se temono di cedere segreti commerciali ai rivali, possono divulgare altri tipi di informazioni o proteggere le loro idee attraverso i brevetti.
Dobbiamo vedere dentro le “scatole nere” dell’AI se vogliamo che trasformi le nostre vite.
