Microsoft ha presentato tre modelli AI “piccoli” che fanno parte di una famiglia tecnologica che l’azienda ha battezzato Phi-3. Il più piccolo dei tre ha prestazioni quasi paragonabili a GPT-3.5, il sistema molto più grande che sottostava al chatbot ChatGPT di OpenAI quando stupì il mondo al momento del suo lancio alla fine del 2022.
Phi-3 ha 3 miliardi di parametri e offre capacità di ragionamento avanzate simili a modelli molto più grandi a un costo significativamente inferiore. Sviluppato da Microsoft Research, il nuovo modello sarà disponibile sulla piattaforma Azure AI dell’azienda, consentendo alle aziende di sfruttare l’elaborazione del linguaggio naturale e il ragionamento all’avanguardia per diverse applicazioni.
Il modello Phi-3 più piccolo può essere installato su uno smartphone, quindi può essere utilizzato anche se non è connesso a Internet. E può funzionare sui tipi di chip che alimentano i computer normali, così come sui processori più costosi prodotti da Nvidia. Poiché i modelli più piccoli richiedono meno elaborazione, le big tech possono far pagare ai clienti meno per utilizzarli, sperando così che un numero maggiore di clienti possa applicare l’AI in contesti dove i modelli più grandi e avanzati sono troppo costosi da utilizzare.
Microsoft ha realizzato tre diversi modelli “piccoli”: Phi-3-mini, Phi-3-small e Phi-3-medium. Phi-3-mini, disponibile dal 23 aprile, è il più piccolo (e meno costoso) ma anche il meno potente e può girare su uno smartphone. Phi-3 Medium, non ancora disponibile, è il più potente ma anche il più costoso.
Nasce l’AI economica e alla portata di tutti
Sebbene Microsoft abbia affermato che l’utilizzo dei nuovi modelli sarebbe “notevolmente più economico” rispetto all’uso di modelli più grandi come GPT-4, non ha fornito dettagli specifici. I sistemi più piccoli sono meno potenti, il che significa che possono essere meno precisi. Ma Microsoft e altre aziende tech scommettono che i clienti saranno disposti a rinunciare a una parte delle prestazioni se ciò significa che possono finalmente permettersi l’AI.
Eric Boyd, un dirigente di Microsoft, ha affermato che i modelli più piccoli, quasi per definizione, sono più economici da implementare. Alcuni clienti, come medici o fiscalisti, potrebbero giustificare i costi dei sistemi AI più grandi e precisi perché il loro tempo è molto prezioso. Ma molte attività potrebbero non richiedere lo stesso livello di precisione. Gli inserzionisti online, ad esempio, ritengono di poter indirizzare meglio gli annunci con l’AI, ma hanno bisogno di costi inferiori per poter utilizzare regolarmente i sistemi.
Phi-3, un modello generico da 3 miliardi di parametri
I chatbot sono alimentati da grandi modelli linguistici (L.L.M.), che memorizzano così tante informazioni che recuperare ciò che è necessario per ogni chat richiede una notevole potenza di calcolo. E questo è costoso. Mentre i giganti della tecnologia e le start-up come OpenAI e Anthropic si sono concentrati sul miglioramento dei più grandi sistemi AI, stanno anche competendo per sviluppare modelli più piccoli che offrono prezzi inferiori.
Meta e Google, ad esempio, hanno rilasciato modelli più piccoli nell’ultimo anno, che sono anche “open source”, il che significa che chiunque può utilizzarli e modificarli gratuitamente. Questo è un modo comune per le aziende di ottenere aiuto esterno per migliorare il loro software e incoraggiare l’industria a utilizzare le loro tecnologie.
“Ciò che conta è che siamo in grado di avere un modello molto piccolo con capacità – in termini di benchmark, in termini di esperienza quando si gioca con il modello – che rivaleggiano con modelli molto, molto più grandi, incluso l’avvicinarsi a qualcosa come un livello GPT-3.5”, ha dichiarato Sébastien Bubeck, vicepresidente di Microsoft GenAI. “È proprio di questo che si tratta. Non è necessariamente il tipo di progresso che ci aspettavamo. Credo che nessuno conosca le dimensioni necessarie per ottenere capacità che si avvicinino a qualcosa come GPT-3.5”.
Phi-3 segna l’ultimo risultato degli sforzi di Microsoft per esplorare i limiti dei modelli linguistici compatti. A partire da Phi-1, orientato alla codifica, un anno fa, e passando per Phi-1.5 e Phi-2, la serie Phi ha mostrato prestazioni impressionanti nei benchmark di codifica, ragionamento di senso comune e linguaggio naturale generale con modelli di 1-2 miliardi di parametri.
Con Phi-3, Microsoft ha sviluppato un modello generico da 3 miliardi di parametri che presenta ampie capacità che si avvicinano a quelle dei modelli leader del settore come GPT-3.5 di OpenAI, ma a un costo sostanzialmente ridotto e con la flessibilità di poter essere eseguito su hardware commodity o persino su smartphone. Questo passo avanti nell’efficienza dei parametri consente di realizzare casi d’uso dell’AI trasformativi per le imprese che in precedenza erano proibitivi dal punto di vista dei costi.
Phi-3 e l’AI responsabile
Microsoft ha sviluppato Phi-3 tenendo conto dei suoi principi di AI responsabile fin dall’inizio. I dati di addestramento del modello sono stati controllati per verificare l’assenza di tossicità e distorsioni e sono state adottate ulteriori misure di sicurezza prima del rilascio. Ciò consente alle aziende, in particolare a quelle che operano in settori regolamentati, di sfruttare con fiducia le capacità di Phi-3.
Da un punto di vista tecnico, Phi-3 viene eseguito sul Runtime ONNX ottimizzato per le GPU NVIDIA e può essere distribuito su più GPU o macchine per ottimizzare il throughput. L’architettura del modello utilizza meccanismi di attenzione efficienti e precisione numerica ottimizzata per ottenere prestazioni elevate con un numero relativamente ridotto di parametri”.
Il lancio di Phi-3 da parte di Microsoft e la sua prevista integrazione nella piattaforma Azure AI rappresentano un significativo passo avanti nel rendere accessibili e convenienti le capacità dei modelli linguistici di grandi dimensioni per le aziende di tutte le dimensioni. Poiché un numero sempre maggiore di aziende mira a rendere operativa l’IA e a sbloccare il valore dei propri dati non strutturati, i modelli appositamente costruiti come Phi-3 saranno essenziali per realizzare questa visione.
I nuovi modelli Phi-3 di Microsoft sono open-source
Anche Microsoft sta rendendo open source i suoi nuovi modelli Phi-3. Dopo che OpenAI ha rilasciato ChatGPT, Sam Altman, l’amministratore delegato dell’azienda, ha detto che il costo di ogni chat era “centesimi a cifra singola” – una spesa enorme considerando quello che servizi web popolari come Wikipedia offrono per frazioni infinitesimali di un centesimo. Ora, i ricercatori dicono che i loro modelli più piccoli possono almeno avvicinarsi alle prestazioni dei chatbot leader come ChatGPT e Google Gemini. In sostanza, i sistemi possono ancora analizzare grandi quantità di dati ma memorizzano gli schemi che identificano in un pacchetto più piccolo che può essere servito con meno potenza di elaborazione.
Costruire questi modelli è un compromesso tra potenza e dimensione. Sébastien Bubeck, ricercatore e vicepresidente di Microsoft, ha detto che l’azienda ha costruito i suoi nuovi modelli più piccoli affinando i dati che venivano inseriti in essi, lavorando per garantire che i modelli apprendessero da testi di qualità superiore.
