C’è una ragione se Humanity’s Last Exam è diventato uno dei benchmark più osservati nel settore dell’intelligenza artificiale. I test storici, come MMLU, sono ormai saturi: secondo il paper pubblicato su Nature il 28 gennaio 2026, molti modelli superano il 90% su benchmark popolari, e questo rende più difficile misurare i progressi reali dei sistemi di frontiera. HLE nasce per colmare questo vuoto: 2.500 domande, oltre cento materie, quesiti costruiti per essere precisi, verificabili e difficili da risolvere con semplice recupero di informazioni online.
Indice degli argomenti:
Humanity’s Last Exam, come nasce
Il progetto è stato sviluppato dal Center for AI Safety con Scale AI e un consorzio di contributori internazionali. Secondo Nature, quasi 1.000 esperti affiliati a più di 500 istituzioni in 50 Paesi hanno contribuito alla raccolta. Le domande sono distribuite in otto grandi categorie, con forte peso di matematica, scienze naturali, informatica, medicina e discipline umanistiche. Circa il 14% richiede anche la comprensione di un’immagine, mentre il 24% è a scelta multipla; il resto richiede una risposta esatta.
La pagina di Artificial Analysis, da cui partono i grafici, adotta una versione comparabile del test: valuta 2.158 domande solo testuali, escludendo quelle multimodali, proprio per confrontare modelli diversi con lo stesso protocollo. È un dettaglio importante, perché i numeri del sito non coincidono perfettamente con quelli riportati in altri annunci aziendali o nel paper originale.
Il primo grafico: i punteggi crescono, ma nessuno domina
Il grafico principale della pagina misura lo score. Nel campione pubblicato da Artificial Analysis il miglior risultato è 53,3%, ottenuto da Claude Fable 5 con adaptive reasoning e max effort; seguono Claude Opus 4.8 al 45,7% e Gemini 3.1 Pro Preview al 44,7%. Il dato che conta non è solo la classifica: anche il primo modello resta poco sopra la metà delle risposte corrette in un test pensato per misurare capacità accademiche di frontiera.
Questo conferma il quadro emerso nel paper scientifico: HLE è stato costruito proprio per restare difficile mentre i benchmark precedenti si appiattivano. Nature scrive che i modelli di frontiera mantengono su HLE un’accuratezza bassa, e che questo lo rende utile per misurare le capacità avanzate dove altri test non distinguono più tra sistemi molto forti e sistemi eccellenti.
Il limite non è soltanto quantitativo. Gli autori sottolineano anche un problema di calibrazione: i modelli tendono a dare risposte sbagliate con elevata sicurezza. In altre parole, non solo sbagliano; spesso non sanno di stare sbagliando. È uno degli aspetti meno spettacolari del benchmark, ma forse il più rilevante per chi immagina l’uso di questi sistemi in ricerca, sanità, consulenza tecnica o decisioni ad alto impatto.
Il secondo grafico: più ragionamento significa più token
La seconda visualizzazione della pagina guarda al consumo di token. Artificial Analysis distingue tra token di input, token di ragionamento e token della risposta finale. È un grafico utile perché mostra il prezzo tecnico dei modelli “reasoning”: per ottenere punteggi più alti, molti sistemi spendono una quantità molto più ampia di calcolo interno prima di formulare la risposta.
Il paper su Nature arriva a una conclusione simile. Gli autori osservano un aumento dell’accuratezza al crescere del budget di token di ragionamento, ma segnalano anche un punto oltre il quale il beneficio si riduce e poi si inverte. Nella loro analisi, la relazione cresce in modo log-lineare fino a circa 2^14 token generati, poi peggiora. Il messaggio è netto: più “pensiero” non equivale sempre a più qualità. A un certo punto il costo computazionale cresce più del guadagno effettivo.
Questo passaggio aiuta a leggere i grafici con meno enfasi commerciale. Quando un modello sale in classifica, bisogna chiedersi anche quanto calcolo ha bruciato per farlo. Se il miglioramento dipende da una forte espansione del ragionamento interno, il confronto non riguarda solo l’intelligenza del sistema ma anche l’efficienza dell’architettura e del metodo di inferenza.
Il terzo grafico: il costo per esame resta una variabile politica
Artificial Analysis dedica un’intera sezione al costo stimato per eseguire la valutazione, espresso in dollari e scomposto tra input, ragionamento e risposta. È un grafico meno citato della classifica, ma ha implicazioni concrete. Se per guadagnare pochi punti percentuali servono più token e più spesa, la distanza tra i modelli non si misura solo in accuratezza: si misura anche in accessibilità economica.
Qui il benchmark si intreccia con il mercato. I laboratori più grandi possono assorbire costi di calcolo superiori, addestrare varianti dedicate e ottimizzare l’inferenza per benchmark molto difficili. Per chi sviluppa modelli open weight o opera con budget ridotti, la competizione diventa meno lineare. HLE, insomma, non fotografa soltanto il progresso tecnico; mostra anche quanto il progresso dipenda dalla disponibilità di potenza di calcolo e capitale.
Questa è un’inferenza coerente con i dati di costo e token pubblicati da Artificial Analysis, anche se la pagina non la esplicita in questi termini.
Il quarto grafico: la corsa accelera nel tempo
Il grafico score vs release date mette in fila i modelli per data di rilascio e punteggio. La traiettoria è chiara: nel giro di pochi mesi i risultati su HLE sono saliti in modo visibile. È il segnale di una competizione serrata tra laboratori che cercano di dimostrare progressi su benchmark ancora considerati difficili e non saturi.
Le notizie arrivate negli ultimi mesi vanno nella stessa direzione. Google ha annunciato che Gemini 3 Deep Think raggiunge il 48,4% su Humanity’s Last Exam senza strumenti, presentandolo come nuovo riferimento su questo benchmark specifico. Nella scheda di Gemini 3.1 Pro, Google DeepMind riporta anche un 44,4% in modalità no tools e un 51,4% con search e code sul set completo testo più multimodale.
Sono risultati dichiarati dal laboratorio con protocolli propri, quindi non sovrapponibili automaticamente ai numeri di Artificial Analysis, ma mostrano quanto HLE sia diventato un terreno di confronto pubblico tra aziende.
OpenAI, dal canto suo, non ha costruito la comunicazione di GPT-5.5 attorno a HLE, ma nel lancio del modello ha inserito Humanity’s Last Exam tra gli eval considerati nell’Artificial Analysis Intelligence Index, insieme a benchmark come GPQA Diamond, SciCode e Terminal-Bench Hard. È un segnale industriale preciso: HLE è ormai entrato nel paniere ristretto dei test usati per posizionare i modelli di frontiera.
Anche il sito ufficiale del benchmark segnala alcune tappe che aiutano a contestualizzare la crescita d’attenzione: il 3 aprile 2025 HLE è stato finalizzato a 2.500 domande, l’8 ottobre 2025 è stata lanciata la versione dinamica HLE-Rolling e il 28 gennaio 2026 è arrivata la pubblicazione su Nature.
La sequenza dice che il benchmark non è rimasto fermo dopo il debutto, ma si è trasformato in un’infrastruttura di valutazione aggiornata e destinata a durare.
Perché HLE pesa più di una semplice classifica
La forza di Humanity’s Last Exam sta anche nella sua costruzione. Scale AI e CAIS, nel presentare i risultati iniziali il 23 gennaio 2025, lo descrivevano come un benchmark pensato per testare i limiti della conoscenza ai confini dell’expertise umana. A differenza di quiz più standardizzati, HLE cerca domande non banali, resistenti alla memorizzazione e al recupero meccanico. È questo che rende significativa una differenza anche di pochi punti.
Il rischio, però, è leggere quei numeri come una misura completa dell’intelligenza generale. Gli stessi autori frenano questa conclusione. Il benchmark riguarda capacità accademiche chiuse, con risposte verificabili. Non misura tutto: non cattura pienamente autonomia, ricerca aperta, interazione prolungata con l’ambiente, giudizio sociale, affidabilità nel mondo reale. Per questo HLE è utile, ma non basta da solo a certificare l’arrivo dell’Agi.
Su questo punto pesa anche il modo in cui i laboratori comunicano i risultati. Google mette in evidenza i record; Artificial Analysis standardizza i confronti; altri tracker pubblici mescolano run closed-book, tool-assisted e protocolli diversi. La conseguenza è che “chi è primo” dipende spesso dal set di domande, dagli strumenti consentiti e dalla quantità di calcolo spesa. Quando si citano i grafici, bisogna chiarire sempre il perimetro del test.
Il dato che resta dopo i grafici
La pagina di Artificial Analysis racconta una fase precisa dell’industria dell’AI. I modelli stanno migliorando anche sui benchmark più duri; la distanza dai test scolastici saturi è ormai evidente; i laboratori usano HLE per mostrare progresso credibile. Ma i grafici raccontano anche altro: per guadagnare punti servono più ragionamento, più token, più costo, e il traguardo resta lontano dalla piena affidabilità.
È questo il punto da tenere fermo. Oggi Humanity’s Last Exam non certifica una macchina “al livello umano” in senso generale. Certifica piuttosto che la gara si è spostata più in alto, su domande che ancora separano in modo netto i modelli migliori dagli altri e, soprattutto, separano ancora i modelli dagli esperti umani. Finché quella distanza reggerà, HLE resterà uno dei pochi luoghi in cui l’industria può misurare davvero quanto corre l’AI, e quanto paga per farlo.
Partecipa alla community