GPT-6 Astra, il 3 settembre, valeva 61 punti sull’Intelligence Index di Artificial Analysis, esattamente quanto il modello che era chiamato a sostituire. Quattro giorni dopo ne vale 53 ed è primo assoluto a pari merito con Claude Fable 5.1. Nel mezzo il modello non è stato toccato. È cambiato l’indice, due volte.
La società di valutazione indipendente che lo pubblica ha rilasciato la versione 4.2 il 4 settembre e la 4.3 il 7, dopo otto mesi di stabilità sulla versione 4 uscita a gennaio, e dichiara di aver anticipato pezzi della versione 5 perché il fronte si muove troppo in fretta perché l’indice resti utile così com’è.
Per chi in questi giorni riceve la classifica in una slide o in una newsletter e la usa per decidere su quale modello costruire, la sequenza vale più della graduatoria.
Indice degli argomenti:
Da GPQA Diamond ad AutomationBench
La versione 4.2 fa entrare AA-Briefcase, una prova a domande riservate sul lavoro di conoscenza agentico, con progetti lunghi settimane, centinaia di compiti collegati e migliaia di file sorgente, e GDP.pdf, costruita da Surge su cento documenti per 4.592 pagine complessive fra testo, tabelle, grafici e note, con 1.275 criteri di valutazione scritti da esperti. Esce GPQA Diamond, la prova di ragionamento scientifico che i modelli avevano ormai saturato. Il peso delle valutazioni con domande o risposte tenute segrete passa dal 20 al 40%.
La 4.3 arriva tre giorni dopo e porta Terminal-Bench dalla versione 2.1 alla 4.0, con 66 compiti da riga di comando eseguiti tre volte ciascuno, e sostituisce una prova bancaria con AutomationBench-AA, l’implementazione del banco di prova di Zapier su 657 flussi di lavoro aziendali fra finanza, risorse umane, marketing, operazioni, vendite e assistenza.
Gli agenti lavorano dentro applicazioni simulate e devono scoprire da soli le interfacce da chiamare; qualsiasi violazione di una regola aziendale azzera il punteggio del compito, anche se il resto è stato svolto correttamente. La quota di prove riservate sale al 45%.
I pesi delle categorie non si muovono, agenti al 30%, codice al 20%, generale al 30%, ragionamento scientifico al 20%. Si muove il contenuto: ogni sostituzione porta l’indice più vicino a un agente che lavora dentro strumenti reali e più lontano da un modello che risponde a domande difficili.
La crescita delle prove riservate ha una ragione dichiarata, impedire che i laboratori ottimizzino i modelli sulle domande di esame invece che sul lavoro, e una conseguenza meno comoda, perché nessuno fuori da Artificial Analysis può rifare quei conti. Per un responsabile tecnico è un compromesso accettabile finché il numero serve a orientarsi, molto meno quando finisce dentro una motivazione di acquisto.
Il caso Astra
Astra è il caso di scuola, perché ogni singola modifica ha premiato le sue caratteristiche. Su Terminal-Bench 4.0 segna 59,1% contro il 52,0% di Fable 5.1 e il 49,0% di Opus 5, con quasi venti punti di distacco sul suo predecessore, fermo a 39,9%.
Su AutomationBench segna 68,5% contro il 66,7% di Grok 4.6 e il 62,2% di GLM-5.3, e porta a termine ogni obiettivo senza violare regole nel 41,6% dei flussi, contro il 32,1% di Fable 5.1 e il 28,3% di Opus 5. Nel frattempo è uscita la prova bancaria, dove Astra aveva regredito, ed è uscita quella scientifica ormai satura.
La stessa analisi del 3 settembre, condotta sulla versione precedente dell’indice, raccontava un modello a due velocità: 80 punti Elo guadagnati sul lavoro di conoscenza agentico e altrettanti persi sulla prova adattata dai compiti economicamente rilevanti, tasso di allucinazione sceso dal 92 al 51% con l’accuratezza in crescita di quattro punti, e piccole regressioni sul codice scientifico e sul ragionamento a contesto lungo.
Nessuna di queste cose è cambiata in quattro giorni. È cambiato quanto pesano.
I punteggi di versioni diverse non si confrontano in valore assoluto, e chi mette in fila il 61 del 3 settembre e il 53 del 7 sta commettendo un errore di misura, non di aritmetica. Quello che si può leggere è il riordino, ed è netto: Astra passa dalla parità con il predecessore a sei punti di vantaggio, i due modelli cinesi in testa agli open weights perdono terreno, Anthropic tiene la vetta con un margine più stretto.
C’è una seconda avvertenza, meno visibile e più insidiosa per chi compra. L’indice non classifica modelli, classifica configurazioni. Fable 5.1 compare come “max con fallback”, cioè con il livello di ragionamento al massimo e il reindirizzamento automatico verso un altro modello attivo; di Astra sono in classifica cinque livelli di sforzo diversi; il 48 di Meta è misurato su una modalità che l’azienda aveva annunciato come a disponibilità limitata in attesa di verifiche di sicurezza. La riga di classifica e il servizio che si può attivare in produzione non sempre coincidono.
Astra a 10 e 50, Muse Spark a 1,25
Davanti allo stesso mercato, nel giro di due settimane, sono arrivate quattro risposte incompatibili fra loro.
OpenAI ha tagliato il listino del suo modello di punta il 21 agosto, portandolo da 5 e 30 dollari per milione di token a 4 e 20, con una promozione dichiarata almeno fino al 21 novembre, e dieci giorni dopo ha lanciato Astra a 10 e 50, due volte e mezzo il prezzo appena scontato. Compensa con l’efficienza: nel suo ambiente di sviluppo Astra consuma un terzo dei token del predecessore e un quinto di quelli di Claude Opus 5 al massimo sforzo.
Dal lato di Anthropic il listino di Fable 5.1 resta a 10 e 50, con un taglio del 75% sulla sola lettura dalla cache, portata a 25 centesimi per milione di token, un moltiplicatore che nessun altro modello della famiglia riceve. L’azienda dichiara un risparmio del 25% sui carichi tipici e fino al 45% su quelli molto agentici, dove il contesto riletto è la voce di spesa dominante.
Meta rientra nella conversazione dopo un anno di assenza. Muse Spark 1.3, uscito dai laboratori di superintelligenza il 2 settembre, è quinto assoluto a 48 punti con un listino di 1,25 e 4,25 dollari, una frazione di quello dei primi quattro, contesto da un milione di token, pesi ancora chiusi e apertura promessa.
Dalla Cina la risposta è di tenere la fascia economica senza inseguire la vetta: GLM-5.3 e Kimi K3 restano i migliori open weights a 44 punti, nove sotto i primi, mentre GLM-5.3-Flash occupa la frontiera del rapporto fra capacità e costo insieme a OpenAI. Sono quattro scommesse diverse su dove si formerà il margine nei prossimi due anni, e almeno tre di esse non possono avere ragione insieme.
Quanto costa un agente MCP al mese
A parità di punteggio, il costo cambia di volte e non di percentuali. Astra e Fable 5.1 segnano entrambi 53 ma il primo costa in media 3,26 dollari per compito dell’indice contro i 7,63 del secondo, il 57% in meno. GLM-5.3-Flash e GPT-5.6 Terra segnano entrambi 42, il primo a 25 centesimi per compito contro 1,40 dollari. Il listino dei due modelli di testa è identico, 10 in ingresso e cinquanta in uscita, quindi tutta la differenza di spesa nasce da quanti token servono per arrivare allo stesso risultato.
Il numero però va portato sul proprio carico, perché fuori dai compiti dell’indice si comporta diversamente.
Ho simulato un agente collegato a strumenti esterni via MCP, il protocollo con cui i modelli chiamano applicazioni e servizi, sul profilo di lavoro che sta diventando ordinario in azienda: 25 turni per sessione, quaranta strumenti collegati per dodicimila token di sole definizioni, millecinquecento token per ogni risultato di chiamata, duecento sessioni al mese.
Senza caching il conto è di 1.840 dollari al mese con Astra e 2.282 con Fable 5.1, una forbice del 24% invece del 130% suggerito dal costo per compito, perché la maggior parte dei token sono risultati degli strumenti e non dipendono dal modello. Attivando il caching sull’85% del contesto si scende a 522 e 594 dollari, e la forbice si stringe ancora. La decisione che pesa di più non è quale modello scegliere, è se progettare l’architettura per riusare il contesto invece di rimandarlo integralmente a ogni turno.
Ai listini vanno poi aggiunte le condizioni che nessuno legge e che spostano il conto più di una revisione di indice. Il trattamento asincrono dimezza le tariffe di entrambi, la scrittura in cache costa 12,50 dollari per milione su tutti e due, e sopra i 272 mila token di ingresso Astra raddoppia l’intera richiesta, ingresso e uscita insieme, una soglia che un agente capace di accumulare contesto per venticinque turni attraversa prima di quanto si immagini.
Su un carico saturo di cache la tariffa di Anthropic diventa vantaggiosa, perché legge a 25 centesimi contro il dollaro di OpenAI, ma il vantaggio unitario arriva al 13% e serve a poco se poi il modello consuma il doppio dei token per chiudere lo stesso lavoro. Chi vuole un numero difendibile deve misurare la spesa per compito portato a termine sul proprio flusso, non il prezzo per milione di token sul listino.
Il Coding Agent Index e le arene video
Chi scrive software non dovrebbe nemmeno guardare questa classifica. Il codice pesa il 20% dell’Intelligence Index, mentre l’indice pertinente è quello sugli agenti di programmazione, che valuta coppie di modello e ambiente: Fable 5.1 dentro Claude Code segna 70, Astra dentro Codex 67, come Opus 5 e Fable 5 dentro Claude Code e Muse Spark 1.3 dentro il suo. Ordine diverso, e lo strumento fa parte della misura tanto quanto il modello.
Il video sta in un mondo separato. Artificial Analysis lo valuta in arene dedicate, con punteggi Elo che nascono da voti umani in cieco, e in testa alla generazione da testo compaiono Wan 3.0 a 1333 punti, Gemini Omni Flash a 1324, MiniMax H3 a 1302. Nessuno dei sei modelli in cima all’indice di intelligenza compare in quelle graduatorie, e arene concorrenti danno vincitori ancora diversi. Giochi e mondi virtuali non li misura nessuno: nelle dieci prove dell’indice non c’è niente che tocchi un ciclo di gioco, la coerenza di una scena tridimensionale o il comportamento in tempo reale.
Nei test che conduco su implementazioni di giochi, mondi virtuali, codice e video l’impressione resta coerente con quanto misurato, con una maggiore precisione di Astra nel seguire istruzioni lunghe, e con una variabilità fra ambiti che nessun numero singolo riesce a rappresentare. È la ragione per cui credo nei sistemi ibridi, con modelli diversi instradati su compiti diversi dentro la stessa architettura.
Fra qualche settimana arriverà la versione 5 dell’indice e questi punteggi verranno superati, come è appena successo a quelli di agosto, e nel frattempo qualcuno avrà firmato contratti annuali sulla graduatoria del 7 settembre. Il metro si muove ormai più in fretta di un ciclo di acquisto, e l’unica misura che invecchia lentamente è quella che un’azienda costruisce da sé sui compiti che deve svolgere davvero, con i propri strumenti collegati, i propri dati dentro il contesto e la propria fattura alla fine del mese.
Partecipa alla community