Negli ultimi anni sono stati costruiti sistemi di intelligenza artificiale in grado di imparare da migliaia o milioni di esempi per aiutarci a comprendere meglio il mondo o a trovare nuove soluzioni a problemi difficili. Questi modelli su larga scala hanno portato a sistemi in grado di capire quando parliamo o scriviamo, come i programmi di elaborazione e comprensione del linguaggio naturale che usiamo ogni giorno, dagli assistenti digitali ai programmi speech-to-text. Altri sistemi, addestrati su elementi come l’intera opera di artisti famosi o tutti i testi di chimica esistenti, ci hanno permesso di costruire modelli generativi in grado di creare nuove opere d’arte basate su quegli stili o nuove idee di composti basate sulla storia della ricerca chimica. La prossima ondata di AI mira a sostituire i modelli specifici per le attività che hanno dominato il panorama dell’AI fino ad oggi. Il futuro è rappresentato da modelli addestrati su un ampio insieme di dati non etichettati che possono essere utilizzati per compiti diversi, con una messa a punto minima. Si tratta dei cosiddetti foundation model, un termine reso popolare dallo Stanford Institute for Human-Centered Artificial Intelligence. Abbiamo visto i primi barlumi del potenziale dei foundation model nel mondo delle immagini e del linguaggio. I primi esempi di modelli, come GPT-3, BERT o DALL-E 2, hanno mostrato cosa è possibile fare. Inserendo una breve richiesta (prompt), il sistema genera un intero saggio o un’immagine complessa in base ai parametri, anche se non è stato specificamente addestrato a eseguire quell’esatto argomento o a generare un’immagine in quel modo.
Foundation model, una base per i modelli di AI
Ciò che rende diversi i foundation model è che, come suggerisce il nome, possono essere la base per molte applicazioni del modello di AI. Utilizzando l’apprendimento auto-supervisionato e l’apprendimento per trasferimento, il modello può applicare le informazioni apprese su una situazione a un’altra. Sebbene la quantità di dati sia notevolmente superiore a quella necessaria a una persona media per trasferire la comprensione da un compito all’altro, il risultato finale è relativamente simile: si impara a guidare un’auto, per esempio, e senza troppi sforzi si può guidare la maggior parte delle altre auto, o anche un camion o un autobus.
Abbiamo visto quella che sembra quasi una creatività intrinseca in alcuni dei primi modelli di fondazione, con AI in grado di mettere insieme argomenti coerenti o di creare opere d’arte del tutto originali. Ma il valore dei foundation model può teoricamente estendersi a qualsiasi ambito. IBM Research sta studiando da anni come rendere l’applicabilità dell’AI più ampia e flessibile e, sin dal primo documento di Stanford del 2021, abbiamo cercato di portarlo nel mondo dell’industria.
Prendiamo un esempio nel mondo dell’elaborazione del linguaggio naturale, una delle aree in cui i foundation model sono già abbastanza consolidati. Con la precedente generazione di tecniche di AI, se si fosse voluto costruire un modello in grado di riassumere corpi di testo sarebbero occorsi decine di migliaia di esempi etichettati solo per il caso d’uso della sintesi. Con un modello di base pre-addestrato possiamo ridurre drasticamente i requisiti di dati etichettati. In primo luogo, possiamo mettere a punto un corpus non etichettato specifico per il dominio per creare un modello di base specifico per il dominio. Poi, utilizzando una quantità molto minore di dati etichettati, potenzialmente solo un migliaio di esempi etichettati, possiamo addestrare un modello per la sintesi. Il modello di base specifico per il dominio può essere utilizzato per molti compiti, a differenza delle tecnologie precedenti che richiedevano la creazione di modelli da zero per ogni caso d’uso.
Sebbene molti nuovi sistemi di intelligenza artificiale stiano aiutando a risolvere ogni tipo di problema del mondo reale, la creazione e l’implementazione di ogni nuovo sistema richiede spesso una notevole quantità di tempo e risorse. Per ogni nuova applicazione, è necessario assicurarsi che esista un set di dati ampio e ben etichettato per il compito specifico che si vuole affrontare. Se il dataset non esistesse, le persone dovrebbero impiegare centinaia o migliaia di ore per trovare ed etichettare immagini, testi o grafici appropriati. Poi il modello di intelligenza artificiale deve imparare a riconoscere tutto quello che c’è nel dataset e quindi può essere applicato al caso d’uso desiderato, dal riconoscimento del linguaggio alla generazione di nuove molecole per la scoperta di farmaci. L’addestramento di un modello di elaborazione del linguaggio naturale di grandi dimensioni, ad esempio, ha un’impronta di carbonio pari a quella del funzionamento di cinque automobili nel corso della loro vita.
Cosa sta facendo IBM nel campo dei foundation model
IBM sta studiando come CodeNet, il suo enorme set di dati di molti dei più popolari linguaggi di codifica del passato e del presente, possa essere sfruttato in un modello che sarebbe fondamentale per automatizzare e modernizzare innumerevoli processi aziendali. Immaginate sistemi legacy in grado di utilizzare le parti migliori del web moderno, o programmi in grado di codificare e aggiornarsi da soli, senza bisogno di supervisione umana.
Analogamente, alla fine del 2022 ha lanciato una versione dello strumento open-source CodeFlare che riduce drasticamente il tempo necessario per impostare, eseguire e scalare i carichi di lavoro di apprendimento automatico per i futuri foundation model. È il tipo di lavoro che occorre fare per garantire che i partner dispongano di processi che consentano loro di lavorare con IBM, o per conto proprio, per creare foundation model in grado di risolvere una serie di problemi. Ad esempio, un’azienda di servizi finanziari potrebbe personalizzare un foundation model che ha per le lingue solo per l’analisi del sentiment.
Anche IBM si è resa conto del valore dei foundation model. Ha già implementato questi modelli nel suo portafoglio Watson e ha potuto osservare che la loro accuratezza supera di gran lunga la precedente generazione di modelli, pur rimanendo economicamente vantaggiosa. Con i modelli di base pre-addestrati, Watson NLP può addestrare l’analisi del sentiment su una nuova lingua utilizzando solo poche migliaia di frasi, con un numero di annotazioni 100 volte inferiore rispetto ai modelli precedenti. Nei primi sette anni di vita, Watson ha coperto 12 lingue. Utilizzando i foundation model, è arrivato a coprire 25 lingue in circa un anno.
IBM crede che i foundation model accelereranno notevolmente l’adozione dell’AI nelle aziende. La riduzione dei requisiti di etichettatura renderà molto più facile per le aziende lanciarsi in questo settore e l’automazione altamente accurata ed efficiente guidata dall’AI che essi consentono significherà che un numero molto maggiore di aziende sarà in grado di implementare l’AI in una gamma più ampia di situazioni mission-critical. L’obiettivo è portare la potenza dei foundation model a tutte le aziende in un ambiente ibrido-cloud senza attriti.
Video Red Hat
È un momento entusiasmante per la ricerca sull’intelligenza artificiale e per saperne di più sul potenziale dei modelli di fondazione in ambito aziendale si può guardare il video realizzato da Red Hat.
Fonte
What are foundation models? | IBM Research Blog
