La crisi dei token che spaventa i budget aziendali

L’adozione su larga scala delle tecnologie basate sui modelli linguistici estesi sta facendo emergere una problematica finora sottovalutata dai non addetti ai lavori: la gestione dei budget. In una recente sessione di discussione, Paul Roetzer, fondatore e CEO del Marketing AI Institute, e Mike Kaput, Chief Content Officer del medesimo istituto, hanno tracciato un quadro dettagliato di come i costi legati all’uso dei modelli stiano subendo un’impennata improvvisa e di quanto i meccanismi di fatturazione risultino ancora oscuri per i manager aziendali.

L’impennata nei bilanci aziendali: i dati del fenomeno

La rincorsa all’implementazione dei modelli ha generato quella che gli esperti definiscono una vera e propria frenesia aziendale per arginare costi vertiginosi. Come rilevato da un’indagine della rivista Wired, la necessità di controllare le spese è diventata una priorità assoluta per le direzioni finanziarie. I dati statistici confermano la magnitudo del problema: tra i mesi di aprile e maggio, circa 300 aziende hanno esplicitamente sollevato la questione dei costi legati ai token durante le tradizionali chiamate sugli utili con gli investitori, a fronte delle sole 93 segnalazioni registrate nello stesso periodo dell’anno precedente.

Questo incremento riflette un utilizzo reale che ha superato ogni previsione. Ad esempio, la Royal Bank of Canada ha registrato un balzo del 500% nel consumo di token nell’arco di appena sei mesi, mentre il vertice operativo di Cisco ha descritto i propri volumi di utilizzo come decisamente fuori dalla norma. Di fronte a questa traiettoria di spesa, colossi del calibro di Meta, Uber e Salesforce si sono visti costretti a introdurre limitazioni rigide alla quantità di interazioni che i dipendenti possono effettuare quotidianamente con i sistemi di intelligenza artificiale.

Secondo Roetzer, la radice del problema risiede nell’inadeguatezza dei modelli di vendita attuali per il mercato di massa: «Questa materia è così complicata e sembra quasi che i laboratori di ricerca stiano letteralmente improvvisando. Dicono: “Proviamo questo modello adesso e vediamo cosa succede”. Inoltre, tutto questo sistema di prezzi è costruito per gli sviluppatori, il che mi dà terribilmente fastidio: nessuno di questi modelli ha senso per il lavoratore cognitivo medio».

La metrica invisibile: come i token determinano i costi

Per comprendere le ragioni per cui i costi aziendali tendano a salire in modo incontrollato, è essenziale analizzare l’unità di misura fondamentale su cui si basa la fatturazione dei grandi laboratori: il token. Come chiarito da Kaput, i token rappresentano frammenti individuali di linguaggio elaborati dai modelli. Nel caso specifico di una tecnologia come Claude, un singolo token corrisponde a circa 3,5 caratteri della lingua inglese, il che significa che una porzione di testo di circa 750 parole si traduce approssimativamente in 1.000 token complessivi. Ogni singolo elemento inviato dall’utente e ogni singola risposta generata dalla macchina vengono conteggiati singolarmente nel calcolo dei costi.

Perché l’output pesa maggiormente sul budget

Un fattore di complessità è rappresentato dalla distinzione tra token di input e token di output, ossia tra i dati inseriti dall’utente e i testi prodotti dall’intelligenza artificiale. I fornitori applicano tariffe profondamente asimmetriche: i token di output presentano costi significativamente superiori rispetto a quelli di input, oscillando generalmente da due a cinque volte tanto. La ragione di questo divario tariffario risiede nella modalità di funzionamento dei modelli linguistici. Mentre il sistema è in grado di leggere e processare le informazioni di input in un unico passaggio efficiente, la generazione dell’output richiede uno sforzo computazionale nettamente superiore, poiché avviene un token alla volta, calcolando progressivamente la previsione statistica delle parole successive. Di conseguenza, l’entità del lavoro per singolo token aumenta, determinando prezzi finali più elevati.

Questa disparità strutturale comporta che due flussi di lavoro apparentemente identici per volume complessivo di token possano generare costi del tutto differenti a seconda del rapporto tra testo inserito e testo generato. Solitamente i listini ufficiali indicano un prezzo per milione di token differenziato per le due voci. Ad esempio, se si fornisce a un modello come Claude 3.5 Sonnet un documento operativo di 1.500 parole (equivalente a circa 2.000 token di input) richiedendo una sintesi di 600 parole (pari a circa 800 token di output), la spesa per la singola operazione si attesta attorno a 1,8 centesimi di dollaro.

Sebbene una cifra simile possa apparire trascurabile su base individuale, le organizzazioni aziendali arrivano a eseguire milioni di richieste ripetitive, innescando una crescita esponenziale dei costi complessivi man mano che l’adozione della tecnologia si estende a tutti i reparti.

Gli agenti autonomi e il consumo esponenziale nei “loop”

L’introduzione e l’impiego operativo dei cosiddetti agenti commerciali e di sviluppo rappresenta un altro elemento trainante per l’aumento dei costi strutturali. Questi sistemi si differenziano per la necessità di trasmettere nuovamente l’intero contesto e lo storico delle interazioni a ogni singolo passaggio della conversazione. Quando un utente o un sistema automatizzato si trova, ad esempio, alla decima fase di una sessione di lavoro, il modello deve rileggere integralmente le informazioni scambiate nelle prime nove fasi.

Questo meccanismo è particolarmente evidente negli agenti dedicati alla programmazione o all’analisi dei flussi di codice, i quali devono continuamente esaminare progetti complessi, aprire file di grandi dimensioni e segnalare errori, accumulando una mole di token di input via via superiore a ogni singola iterazione.

L’esempio pratico dell’assistenza clienti

Per comprendere l’impatto economico di questo funzionamento, Kaput ha elaborato un esempio numerico legato a un assistente virtuale per il supporto ai clienti. Un sistema di questo tipo necessita tipicamente di accedere a una base di conoscenza aziendale stimata in circa 20mila token per poter formulare risposte corrette e pertinenti. Ipotizzando che l’assistente si trovi a gestire un volume medio di 1.000 richieste informative al giorno, e che la documentazione di riferimento debba essere re-inviata come input per ogni singola sessione di domanda e risposta, il volume totale ammonterà a 20 milioni di token giornalieri. Questo flusso si traduce in una spesa fissa di circa 60 dollari al giorno, sostenuta esclusivamente per consentire al modello di rileggere in continuazione i medesimi dati informativi di base.

Nonostante la prospettiva a lungo termine della Silicon Valley punti verso la creazione di flussi di lavoro automatizzati e continuativi, dove piccoli team di professionisti gestiscono agenti operativi capaci di monitorare campagne SEO, strategie commerciali ed email marketing ininterrottamente 24 ore su 24, i costi vivi legati al consumo di token rimangono una barriera immediata. Un sistema che apprende da se stesso e ottimizza costantemente i propri output brucia enormi quantità di risorse computazionali, rendendo estremamente complessa la pianificazione finanziaria per le aziende medie.

Limiti e licenze: il caos organizzativo delle tariffe “Per-Seat”

Mentre per gli sviluppatori che utilizzano direttamente le API esistono alcune leve tecniche volte a mitigare i costi, come il prompt caching, che memorizza temporaneamente i dati ripetitivi applicando tariffe ridotte, la maggioranza delle imprese acquista pacchetti di licenze per singolo utente. In questo ambito, la decifrazione delle soglie e dei relativi costi risulta particolarmente complessa. L’esperienza sul campo condotta dai ricercatori del Marketing AI Institute ha evidenziato come i blocchi operativi possano impattare direttamente sulla produttività quotidiana. Durante la stesura di un corso aziendale, il superamento involontario dei limiti interni di utilizzo di Claude alle 10 del mattino ha comportato un tempo di attesa forzato di cinque ore prima di poter riprendere l’attività lavorativa.

Il labirinto regolamentare dei grandi fornitori

Le regole che governano le licenze aziendali variano notevolmente non solo tra i diversi laboratori di ricerca, ma persino all’interno dei listini del medesimo fornitore. All’interno dell’offerta Gemini Enterprise Business Edition di Google, ad esempio, le quote di utilizzo sono condivise a livello globale tra l’intera organizzazione. Ogni singola licenza acquistata va ad alimentare un bacino di capacità collettiva, calcolato ipoteticamente sulla base di 120 query giornaliere per utente. Al raggiungimento di tale limite massimo complessivo, il servizio interrompe immediatamente la propria operatività.

Al contrario, la struttura del piano Team di Claude prevede l’assegnazione di soglie individuali per ciascun utente, le quali rimangono tuttavia sconosciute fino a quando il professionista non si trova in prossimità del blocco. Il passaggio a una licenza di livello Claude Enterprise comporterebbe invece la transizione verso un modello a capacità condivisa. A rendere ancora più opaca la valutazione dei costi contribuiscono le piattaforme software intermedie, come HubSpot, che integrano internamente le funzionalità dei modelli linguistici senza vendere direttamente i token, ma trasferendone l’onere economico sulle funzionalità utilizzate dai clienti con l’aggiunta di un proprio margine commerciale.

Alla ricerca di una stabilità finanziaria: le prospettive future

Nel tentativo di arginare la volatilità della spesa, alcune realtà aziendali ricorrono all’adozione di modelli linguistici più piccoli ed economici per compiti specifici, oppure all’esecuzione di carichi di lavoro in modalità asincrona o batch. Tuttavia, queste opzioni si rivelano spesso soluzioni di natura temporanea e scarsamente applicabili ad attività cognitive complesse e non strutturate. Come sottolineato da Roetzer, la pianificazione del lavoro strategico mal si concilia con il monitoraggio continuo dei consumi: «Quanto costa una sessione di strategia di tre ore con Claude? Chi lo sa. Non posso stare lì a pensare: “Devo assicurarmi di non superare le 50 chat”, non è così che funziona il pensiero umano».

Modelli a canone fisso o sistemi di routing opachi?

La transizione verso modelli di business più sostenibili nel lungo termine appare complessa. Una delle ipotesi strutturali prevede il ritorno a formule di abbonamento a canone mensile fisso per utente significativamente più elevati rispetto a quelli attuali, ipotizzabili tra i 200 e i 500 dollari al mese, in modo da consentire ai fornitori di sussidiare i consumi dei professionisti più attivi. Questa strada si scontra però con il livello attuale di alfabetizzazione e adozione tecnologica all’interno delle organizzazioni. Se aziende fortemente focalizzate sulla misurazione del ritorno sull’investimento accetterebbero tariffe simili, le grandi realtà prive di un percorso di formazione interna respingerebbero tali costi fissi.

Un’alternativa emergente è rappresentata dallo sviluppo di sistemi di smistamento automatico delle richieste, sul modello delle tecnologie recentemente presentate dal laboratorio giapponese Sakana AI. In uno scenario simile, l’utente potrebbe perdere la possibilità di selezionare manualmente il modello da utilizzare. Il sistema centrale gestirebbe in modo opaco l’assegnazione dei compiti ai diversi motori di calcolo, rischiando di indirizzare sessioni di ragionamento profondo verso soluzioni meno performanti con l’unico obiettivo di contenere i costi in token o di evitare il superamento dei budget aziendali prefissati.

La necessità di stabilità e prevedibilità finanziaria rimane la condizione essenziale per una diffusione capillare della tecnologia nei processi produttivi.