Il prossimo salto dell’intelligenza artificiale potrebbe non arrivare da un modello più brillante, ma da una risposta più economica. È questo il punto centrale del report “Frontiers of compute: The technologies to reduce AI inference costs”, pubblicato da McKinsey nel giugno 2026: dopo due anni in cui il mercato ha premiato soprattutto la scala dei modelli e la corsa alla capacità di calcolo, la variabile che decide la sostenibilità economica dell’ai è diventata il costo per token, cioè il costo unitario di ogni pezzo di informazione elaborato da un modello durante l’inferenza.
Il report parte da una constatazione semplice. Addestrare un grande modello resta molto costoso, ma è l’inferenza, cioè l’uso quotidiano del modello per rispondere a miliardi di richieste, a pesare sempre di più sui conti. Un singolo costo marginale può sembrare minimo; moltiplicato per chatbot, assistenti software, ricerca enterprise, generazione di immagini e agenti autonomi, diventa una voce industriale. Secondo McKinsey, molte applicazioni aziendali non raggiungono ancora margini soddisfacenti e richiedono un calo dei costi di diversi multipli per diventare sostenibili su larga scala.
Indice degli argomenti:
Perché il costo per token conta più dei flops
Per anni il settore ha misurato il progresso soprattutto in flops, cioè nelle operazioni floating point al secondo. Ma quel parametro, da solo, non descrive più l’economia reale dell’AI. Un sistema competitivo oggi deve trasformare nel modo più efficiente possibile energia, memoria, banda di rete e silicio in token serviti. McKinsey scrive che i veri indicatori stanno diventando costo per token ed energia per token, perché l’adozione dipende dalla capacità di erogare intelligenza artificiale a prezzi compatibili con modelli di business ordinari, non soltanto con applicazioni premium.
Questa lettura coincide con quello che sta accadendo nell’industria. Google ha presentato Ironwood, definendolo il primo tpu pensato per la fase dell’inferenza, mentre la documentazione cloud di Trillium tpu v6e lo descrive come parte dell’infrastruttura produttiva già disponibile per i clienti. Il segnale è chiaro: i grandi operatori non stanno investendo solo in acceleratori generici, ma in hardware sempre più ottimizzato per i carichi reali dei modelli generativi.
Le quattro tecnologie che possono cambiare i conti
McKinsey analizza tredici leve tecnologiche e ne individua quattro come più promettenti per ridurre il costo dell’inferenza:
- ottimizzazione del modello,
- packaging avanzato 3d,
- silicio custom
- co-packaged optics, l’integrazione dell’ottica direttamente nel package di switch e acceleratori.
Secondo il report, ciascuna di queste leve può portare a una riduzione strutturale dei costi; combinate nel tempo, potrebbero avvicinare un taglio fino a due ordini di grandezza.
La leva più immediata è software. Tecniche come quantizzazione e pruning riducono precisione numerica e dimensione effettiva dei modelli, abbattendo memoria necessaria e operazioni da eseguire. Nella simulazione di McKinsey, l’ottimizzazione del modello può tagliare il costo per token dall’85 al 95 per cento, abbastanza da rendere commercialmente praticabili applicazioni aziendali ad alto volume anche su gpu di generazione corrente.
Il secondo fronte è il packaging avanzato 3d. Qui l’obiettivo è avvicinare memoria e logica, riducendo la distanza che i dati devono percorrere. McKinsey attribuisce a questa leva un potenziale di riduzione del costo per token tra l’80 e il 90 per cento, a condizione che la produzione su larga scala passi verso forme di hybrid bonding più dense ed efficienti. È un passaggio che riguarda non solo il design del chip, ma anche capacità industriale, rese produttive e disponibilità di macchinari avanzati.
Il terzo fattore è il silicio su misura. Gli asic pensati per carichi specifici di inferenza, scrive McKinsey, possono ridurre il costo per token dal 70 all’80 per cento nei workload per cui sono progettati. È il principio che guida l’espansione di inferentia e trainium in casa aws, dei tpu di Google e di una nuova generazione di acceleratori specializzati. La convenienza, però, non dipende solo dal chip: conta anche l’ecosistema software che lo circonda, e qui il vantaggio storico di nvidia con cuda continua a pesare.
Il quarto fronte è l’ottica integrata. Quando i modelli diventano più grandi e i cluster si allargano a più rack e più edifici, la trasmissione elettrica tradizionale incontra limiti fisici e di consumo. McKinsey stima che il co-packaged optics possa ridurre l’energia per bit del 50-65 per cento rispetto alle soluzioni ottiche pluggable convenzionali, oltre a migliorare densità di banda e topologia di rete.
Il nodo industriale: non basta progettare, bisogna produrre
Il report insiste su un punto spesso trascurato nel dibattito pubblico: non basta avere una buona architettura, serve una catena industriale che la renda scalabile. Nel packaging 3d, per esempio, McKinsey segnala che le rese cambiano molto tra prodotti semplici e stack hbm più complessi, e che la capacità degli impianti dedicati all’hybrid bonding resta limitata. La partita, quindi, non si decide solo nei laboratori ma nelle fonderie, negli impianti di assemblaggio avanzato e nei fornitori di materiali e apparecchiature.
È una lettura coerente con la strategia di Tsmc, che presenta la piattaforma 3DFabric e il packaging CoWoS come elementi centrali per le applicazioni hpc e ai, puntando proprio sull’integrazione eterogenea di mini-chip, memoria e interposer. In altre parole, il collo di bottiglia non è più un dettaglio laterale del prodotto: è parte integrante del vantaggio competitivo.
Le mosse dei big: capitale, accordi e filiera
La pressione economica sull’inferenza spiega anche la corsa ai capitali. Il report McKinsey parla di oltre 700 miliardi di dollari di investimenti combinati nel 2026 da parte dei quattro principali hyperscaler, con la quota prevalente destinata all’infrastruttura ai.
Le notizie più recenti confermano la direzione. Alphabet ha annunciato a giugno 2026 un aumento di capitale da 84,75 miliardi di dollari per espandere l’infrastruttura e la capacità di calcolo dedicate all’ai. Microsoft, nei risultati del secondo trimestre fiscale 2026, ha indicato un aumento dei costi operativi trainato anche dagli investimenti in capacità di calcolo e talenti per l’intelligenza artificiale.
Anche Amazon sta spingendo sull’infrastruttura. La società ha annunciato un investimento fino a 50 miliardi di dollari per espandere capacità AI e supercalcolo nelle regioni governative Aws negli Stati Uniti; inoltre, Andy Jassy ha indicato un run rate del business ai di Aws superiore a 15 miliardi di dollari e ha richiamato l’accordo con Anthropic per assicurare fino a 5 gigawatt di chip Trainium attuali e futuri.
Sul versante social e advertising, Meta ha comunicato ad aprile i risultati del primo trimestre 2026 e, a febbraio, ha annunciato un accordo pluriennale con Amd per alimentare la propria infrastruttura ai con fino a 6 gigawatt di gpu Instinct. È un passaggio che segnala due cose: la domanda di acceleratori resta enorme e i grandi gruppi cercano di ridurre il rischio di dipendere da un unico fornitore.
Nvidia, Google e la corsa alla rete dell’AI
Sul lato della rete, Nvidia sta spingendo con decisione sulla fotonica. Nel marzo 2025 ha presentato switch Spectrum-X e Quantum-X basati su silicon photonics, sostenendo che potranno collegare milioni di gpu riducendo consumi e costi operativi. La società descrive oggi questi prodotti come una risposta ai limiti dei collegamenti elettrici nelle grandi “ai factories”. McKinsey cita inoltre investimenti di circa 2 miliardi di dollari ciascuno in Lumentum e Coherent come indicatore dell’importanza strategica dell’ottica nel prossimo ciclo di crescita.
Google, dal canto suo, sta legando più strettamente modelli e hardware. La documentazione di Trillium Tpu v6e e gli annunci di Cloud Next 2026 mostrano una roadmap che punta su tpu di nuova generazione e su una piattaforma cloud pensata per spostare il valore dall’hardware isolato al sistema integrato hardware-software-servizi. È esattamente la traiettoria indicata da McKinsey: la creazione di valore tende a scivolare dalla singola prestazione del chip all’intero stack.
Dove si giocherà il vantaggio competitivo
Il merito principale del report McKinsey sta nell’aver spostato la discussione fuori dalla retorica del “modello più intelligente” e dentro i conti industriali. Se il costo di inferenza scende di dieci volte, l’AI smette di essere un servizio da nicchia per task ad alto valore e può entrare nei flussi ordinari di imprese, software gestionali, customer care e strumenti di produttività. Se il calo arriva a due ordini di grandezza, si aprono mercati che oggi hanno margini negativi.
Questo cambia anche la geografia della competizione. McKinsey osserva che il calo dei costi ottenuto con miglioramenti algoritmici e con hardware ottimizzato può ridurre la dipendenza dai nodi produttivi più avanzati. In teoria, Paesi con forte capacità sui nodi maturi potrebbero restare competitivi nell’inferenza, soprattutto se riescono a combinare modelli più efficienti e chip meno costosi.
La questione, quindi, non riguarda soltanto chi possiede il miglior modello linguistico. Riguarda chi controlla packaging, memoria hbm, interconnessioni ottiche, compilatori, tool di orchestrazione e capacità produttiva. Il mercato dell’ai assomiglia sempre meno a una gara tra laboratori software e sempre più a una filiera industriale completa, dove chi abbassa il costo marginale di ogni token conquista i volumi, e con i volumi i margini.
Per questo il report di McKinsey va letto come qualcosa di più di una ricognizione tecnica. È una mappa del potere economico della prossima fase dell’AI. Non decide solo chi correrà più veloce. Decide chi potrà permettersi di correre a lungo.
Partecipa alla community