OpenAI continua la sua inarrestabile corsa: il 13 giugno ha annunciato una serie di novità che riguardano GPT-3.5-turbo e GPT-4. Aumentano le prestazioni e scendono i prezzi dei token. Ecco tutti gli aggiornamenti:
Gli aggiornamenti annunciati da OpenAI
- nuova funzionalità di chiamata di funzioni nell’API di completamento della chat
- versioni aggiornate e più governabili di GPT-4 e GPT-3.5-turbo
- nuova versione a 16k di contesto di GPT-3.5-turbo (rispetto alla versione standard a 4k)
- 75% di riduzione dei costi rispetto al modello di embedding all’avanguardia
- Riduzione del 25% del costo dei token di ingresso per GPT-3.5-turbo
- annuncio della tempistica di deprezzamento dei modelli GPT-3.5-turbo-0301 e GPT-4-0314
Tutti questi modelli sono accompagnati dalle stesse garanzie di privacy e sicurezza dei dati introdotte il 1° marzo: i clienti sono proprietari di tutti gli output generati dalle loro richieste e i loro dati API non saranno utilizzati per la formazione.
Chiamata di funzione
Gli sviluppatori possono ora descrivere le funzioni a GPT-4-0613 e GPT-3.5-turbo-0613 e fare in modo che il modello scelga in modo intelligente di produrre un oggetto JSON contenente gli argomenti per chiamare tali funzioni. Si tratta di un nuovo modo per collegare in modo più affidabile le funzionalità di GPT con strumenti e API esterni.
Questi modelli sono stati messi a punto per rilevare quando è necessario chiamare una funzione (a seconda dell’input dell’utente) e per rispondere con JSON che aderisce alla firma della funzione. La chiamata di funzione consente agli sviluppatori di ottenere in modo più affidabile dati strutturati dal modello. Ad esempio, gli sviluppatori possono:
- Creare chatbot che rispondono alle domande chiamando strumenti esterni (ad esempio, i plugin ChatGPT).
- Convertire query come “Invia un’e-mail ad Anya per sapere se vuole prendere un caffè venerdì prossimo” in una chiamata di funzione come send_email(to: string, body: string), o “Che tempo fa a Boston?” in get_current_weather(location: string, unit: ‘celsius’ | ‘fahrenheit’).
- Convertire il linguaggio naturale in chiamate API o query di database
- Convertire la domanda “Chi sono i miei dieci clienti principali questo mese?” in una chiamata API interna come get_customers_by_revenue(start_date: stringa, end_date: stringa, limit: int), oppure “Quanti ordini ha effettuato Acme, Inc. il mese scorso?” in una query SQL usando sql_query(query: stringa).
- Estrarre dati strutturati dal testo
- Definire una funzione chiamata extract_people_data(people: [{nome: stringa, compleanno: stringa, località: stringa}]), per estrarre tutte le persone citate in un articolo di Wikipedia.
Questi casi d’uso sono abilitati da nuovi parametri API nell’endpoint /v1/chat/completions, functions e function_call, che consentono agli sviluppatori di descrivere le funzioni al modello tramite JSON Schema e, facoltativamente, di chiedergli di chiamare una funzione specifica. Iniziate a consultare la documentazione per gli sviluppatori e aggiungete valutazioni nel caso in cui si trovino casi in cui la chiamata di funzioni potrebbe essere migliorata.
Esempio di chiamata di funzioni
What’s the weather like in Boston right now?
Step 1·OpenAI API
Call the model with functions and the user’s input
Step 2·Third party API
Use the model response to call your API
Step 3·OpenAI API
Send the response back to the model to summarize
The weather in Boston is currently sunny with a temperature of 22 degrees Celsius.
Le questioni ancora aperte
Dal rilascio della “alpha” dei plugin di ChatGPT, OpenAI ha imparato molto su come far lavorare insieme strumenti e modelli linguistici in modo sicuro. Tuttavia, ci sono ancora questioni di ricerca aperte. Ad esempio, un exploit proof-of-concept illustra come i dati non attendibili provenienti dall’output di uno strumento possano istruire il modello a eseguire azioni non volute. L’azienda sta lavorando per mitigare questo e altri rischi. Gli sviluppatori possono proteggere le loro applicazioni utilizzando solo informazioni provenienti da strumenti affidabili e includendo fasi di conferma da parte dell’utente prima di eseguire azioni con un impatto reale, come l’invio di una e-mail, la pubblicazione di un post online o un acquisto.
OpenAI, nuovi modelli
GPT-4
GPT-4-0613 include un modello aggiornato e migliorato con chiamata di funzione.
GPT-4-32k-0613 include gli stessi miglioramenti di GPT-4-0613, oltre a una maggiore lunghezza del contesto per una migliore comprensione dei testi più grandi.
Con questi aggiornamenti, OpenAI inviterà molte più persone dalla lista d’attesa a provare GPT-4 nelle prossime settimane, con l’intento di eliminare completamente la lista d’attesa con questo modello.
GPT-3.5 Turbo
GPT-3.5-turbo-0613 include la stessa funzione di chiamata di GPT-4 e una guidabilità più affidabile tramite il messaggio di sistema, due caratteristiche che consentono agli sviluppatori di guidare le risposte del modello in modo più efficace.
GPT-3.5-turbo-16k offre una lunghezza del contesto 4 volte superiore a quella di GPT-3.5-turbo al doppio del prezzo: 0,003 dollari per 1K token di input e 0,004 dollari per 1K token di output. 16k contesti significa che il modello può ora supportare circa 20 pagine di testo in una singola richiesta.
I prezzi si abbassano, ecco il nuovo listino
Incorporazioni
text-embedding-ada-002, il modello di embeddings più popolare: costo ridotto del 75% a 0,0001 dollari per 1K token.
GPT-3.5 Turbo
GPT-3.5-turbo è il modello di chat più popolare e alimenta ChatGPT per milioni di utenti. Il costo dei token di ingresso di GPT-3.5-turbo viene ridotto del 25%. Gli sviluppatori possono utilizzare questo modello a 0,0015 dollari per 1K token di input e 0,002 dollari per 1K token di output, il che equivale a circa 700 pagine per dollaro.
GPT-3.5-turbo-16k avrà un prezzo di 0,003 dollari per 1K gettoni di ingresso e 0,004 dollari per 1K gettoni di uscita.
Dismissioni di modelli
OpenAI annuncia di avere iniziato il processo di aggiornamento e deprezzamento delle versioni iniziali di GPT-4 e GPT-3.5-turbo annunciati a marzo. Le applicazioni che utilizzano i nomi dei modelli stabili (GPT-3.5-turbo, GPT-4 e GPT-4-32k) saranno automaticamente aggiornate ai nuovi modelli sopra elencati il 27 giugno. Per confrontare le prestazioni dei modelli tra le varie versioni, la libreria Evals supporta valutazioni pubbliche e private per mostrare l’impatto dei cambiamenti del modello sui casi d’uso.
Gli sviluppatori che hanno bisogno di più tempo per la transizione possono continuare a usare i modelli precedenti specificando GPT-3.5-turbo-0301, GPT-4-0314 o GPT-4-32k-0314 nel parametro “model” della richiesta API. Questi modelli più vecchi saranno accessibili fino al 13 settembre, dopodiché le richieste che specificano questi nomi di modelli falliranno. È possibile rimanere aggiornati sulla dismissione dei modelli tramite la pagina di dismissione dei modelli.
