Il training di un’intelligenza artificiale di frontiera ha costi ingenti. Servono dataset enormi, decine di migliaia di GPU di difficile reperibilità e una quantità di energia elevatissima. La knowledge distillation è una tecnica che consente di prendere un modello AI grande, costoso e lento e trasferire ciò che ha imparato a un modello più piccolo, veloce e leggero. Il risultato è un sistema che conserva buona parte delle capacità dell’originale, ma gira con una frazione delle risorse computazionali.
Il fondamento teorico risale al 2015, quando Geoffrey Hinton, uno dei padri del deep learning, poi insignito del Nobel per la Fisica nel 2024, pubblicò il paper “Distilling the Knowledge in a Neural Network“. L’intuizione di Hinton era che la conoscenza di un modello di rete neurale non risiede soltanto nei suoi parametri interni, ma nel modo in cui il modello generalizza.
Ad esempio, consideriamo un modello di classificazione di immagini addestrato per riconoscere cifre scritte a mano che, di fronte all’immagine di un numero, produce questa distribuzione di probabilità: assegna il 90% di probabilità alla classe 2, il 5% alla classe 3 e il 3% alla classe 7. Queste informazioni intermedie ci dicono che, secondo l’intelligenza artificiale, il 2 in questione ha alcune somiglianze visive con il 3 e con il 7.
Nella distillazione, lo student (il modello più piccolo) viene addestrato proprio su queste distribuzioni di probabilità prodotte dal teacher (il modello più grande). È come se il modello di frontiera mostrasse allo student il ragionamento con il quale si arriva a un dato output, le scelte intermedie e la struttura decisionale.
Il paper di Hinton ha superato le ventimila citazioni in letteratura scientifica e ha generato un intero filone di ricerca che è più attivo che mai. La distillazione è uno dei pochi modi praticabili per portare le capacità dei modelli di frontiera su architetture semplificate, economiche e pronte per applicazioni industriali reali.
Indice degli argomenti:
Come funziona in pratica: white-box, black-box e self-distillation
Esistono vari approcci per distillare un modello di frontiera. A seconda del livello di accesso che si ha al teacher, si possono adottare tre approcci distinti, ciascuno con vantaggi, limiti e scenari di applicazione propri.
Nella distillazione white-box, lo sviluppatore ha accesso completo ai parametri interni del modello teacher, quindi ai pesi della rete, alle distribuzioni di probabilità di output, agli stati nascosti dei livelli intermedi e ai meccanismi di attenzione. Con questo livello di accesso, lo student può essere addestrato a riprodurre la gerarchia di feature e i meccanismi con cui il modello decide quali parti dell’input sono rilevanti per una determinata risposta.
Nella distillazione black-box, lo sviluppatore non ha accesso ai parametri interni del modello teacher. Può solo interrogarlo tramite API, cioè inviargli un input e ricevere l’output testuale senza vedere cosa accade dentro la rete neurale. Questa è la situazione tipica quando il teacher è un modello proprietario come GPT, Claude o Gemini.
L’approccio in questo caso è diverso: anziché allineare le distribuzioni interne, si genera un dataset sintetico. Si sottopongono al teacher centinaia di migliaia di prompt costruiti con cura, si raccolgono le risposte e si usa l’insieme di coppie domanda-risposta per addestrare lo student tramite fine-tuning. Progetti celebri come Alpaca (di Stanford) e Vicuna hanno dimostrato che un modello open-source relativamente piccolo, addestrato con questa tecnica, può raggiungere prestazioni sorprendentemente competitive.
La self-distillation è una modalità di addestramento controintuitiva, perché il modello insegna a sé stesso. Non c’è un teacher esterno: è il modello stesso che genera la supervisione necessaria al proprio miglioramento. Gli esperimenti originali hanno mostrato miglioramenti medi dell’accuratezza che va dal 2% al 4%. Non sono numeri enormi in assoluto, ma sono significativi perché ottenuti senza l’utilizzo di modelli aggiuntivi.
DeepSeek R1, rilasciato nel gennaio 2025, ha dimostrato l’efficacia di questo approccio generando 800mila campioni di addestramento contenenti ragionamenti completi e usandoli per perfezionare modelli più piccoli, ottenendo, per esempio, che un modello da 14 miliardi di parametri superasse in compiti di ragionamento matematico un modello da 32 miliardi.
Quando la distillation diventa geopolitica
Recentemente la discussione sulla distillazione dei modelli di intelligenza artificiale si è spostata dai paper accademici alle prime pagine dei giornali internazionali. OpenAI ha inviato un memorandum alla commissione del Congresso degli Stati Uniti che si occupa della competizione strategica con la Cina, accusando DeepSeek, la startup di Hangzhou, di utilizzare tecniche di distillazione per estrarre le capacità dei modelli americani e trasferirle nei propri sistemi.
Nel memorandum, OpenAI ha dichiarato di aver rilevato attività riconducibili a dipendenti di DeepSeek che sviluppavano metodi per aggirare le restrizioni di accesso ai modelli di OpenAI, utilizzando router di terze parti e altri sistemi per mascherare l’origine delle richieste. OpenAI ha specificato che questi dipendenti avevano sviluppato codice per accedere ai modelli AI statunitensi e ottenerne gli output per la distillazione in modo programmatico.
Qualche settimana dopo Anthropic ha rincarato la dose. In una dichiarazione pubblica, l’azienda ha accusato tre società cinesi — DeepSeek, Moonshot AI e MiniMax — di campagne coordinate di attacco tramite distillazione, definendole su scala industriale. Secondo Anthropic, le tre aziende avrebbero inondato Claude con volumi massicci di prompt appositamente costruiti per addestrare i propri modelli proprietari. Sia OpenAI che Anthropic hanno collegato queste pratiche al rischio che governi autoritari possano dispiegare AI di frontiera per operazioni cyber-offensive, campagne di disinformazione e sorveglianza di massa.
La distillazione in sé non è illegale né disonesta. La stessa Anthropic, nella sua dichiarazione, ha riconosciuto che le aziende AI distillano abitualmente i propri modelli per crearne versioni più piccole ed economiche.
Meta ha distillato i modelli Llama 3.1 da 70 miliardi di parametri in versioni da 8 miliardi. Hugging Face ha creato DistilBERT, uno dei modelli distillati più usati nella storia del Natural Language Processing.
OpenAI stessa offre funzionalità di distillazione ai propri clienti enterprise. La controversia riguarda invece la violazione dei termini di servizio, l’accesso non autorizzato ai modelli tramite intermediari e la generazione sistematica di dati di addestramento da API proprietarie senza consenso.
Perché la distillation interessa le PMI
Perché un’impresa media dovrebbe interessarsi alla knowledge distillation? Le organizzazioni che implementano modelli distillati riportano riduzioni dei costi operativi comprese tra il 40% e il 70%, miglioramenti dei tempi di risposta nell’ordine del 60% e deployment riusciti su dispositivi edge, ossia su hardware periferico con risorse limitate.
La distillazione permette di costruire un modello che ha ereditato dal teacher la capacità di gestire task specifici, ma con una dimensione ridotta di un ordine di grandezza. Un modello da 7-8 miliardi di parametri può girare su una singola GPU consumer-grade o, con opportuna quantizzazione, anche su hardware più accessibile. Il costo di inferenza scende a centesimi per migliaia di token, la latenza scende da secondi a millisecondi e i dati restano in-house, senza mai lasciare l’infrastruttura aziendale.
Nell’automazione delle attività d’ufficio un modello distillato per la classificazione documentale, addestrato sulle categorie specifiche dell’azienda (tipologie contrattuali, fornitori ricorrenti, aree tematiche), può operare in locale con latenza nell’ordine dei millisecondi e costi marginali prossimi allo zero.
DistilBERT, ad esempio, riduce i parametri del 40% (da 110 milioni a 66 milioni), mantiene il 97% delle prestazioni e accelera l’inferenza del 60%. Per task di classificazione testuale, è spesso più che sufficiente.
L’automazione nei processi industriali richiede specifiche che spesso sono incompatibili con quelle dei modelli di frontiera. Integrare l’intelligenza artificiale in una catena di produzione, in particolare nel controllo qualità visivo, richiede, ad esempio, modelli di computer vision che operino in tempo reale, direttamente sulla linea. Non c’è tempo per inviare un’immagine a un data center cloud e aspettare la risposta.
La distillazione combinata con la quantizzazione permette di addestrare un modello di visione artificiale grande e accurato nel cloud, per poi distillarlo in un modello compatto che può girare su hardware edge.
TinyYOLO, per esempio, è una versione distillata del modello di object detection YOLO che gira su dispositivi mobili con prestazioni accettabili per molti casi d’uso industriali.
Con un modello distillato on-premise, il costo computazionale è fisso e ammortizzabile. Non dipende dal pricing variabile delle API, che il provider può modificare unilateralmente e non dipende dalla disponibilità del servizio. Quando si deve pianificare un budget IT, la prevedibilità dei costi ha un’importanza di rilievo.
Cosa si perde nella compressione
La distillazione resta comunque un trade-off ingegneristico: rimpicciolire un modello comporta anche diversi svantaggi. Il primo limite è la perdita di profondità nel ragionamento. Un modello distillato che funziona bene su task ripetitivi e circoscritti può trovarsi in difficoltà di fronte a richieste che escono dal perimetro previsto. La dark knowledge trasferita riguarda le relazioni tra le categorie che il teacher ha imparato, ma non necessariamente tutte le capacità emergenti che un modello di grandi dimensioni sviluppa.
Il secondo limite riguarda la creatività e la flessibilità. Un modello distillato è per definizione uno specialista. Ha rinunciato alla generalità in cambio dell’efficienza. Questo significa che, per task che richiedono generazione creativa aperta, comprensione contestuale ampia o ragionamento analogico su domini diversi, il modello di frontiera resta sensibilmente superiore.
Bisogna anche considerare il problema dell’eredità dei bias. Se il dataset sintetico generato dal teacher contiene errori, pregiudizi o distorsioni, lo student li eredita e può anche amplificarli. Nella distillazione, lo student non ha modo di distinguere tra la conoscenza corretta del teacher e i suoi errori. Se il teacher produce risposte con un bias sistematico, lo student replicherà quel bias. L’assenza di accesso ai dati di addestramento originali del teacher (nella distillazione black-box) rende particolarmente difficile diagnosticare e correggere questi problemi.
La distillazione può anche essere un’operazione costosa in sé. Richiede la generazione del dataset sintetico, il fine-tuning dello student che richiede GPU e tempo, la valutazione rigorosa delle prestazioni e la manutenzione nel tempo, perché il dominio evolve e il modello distillato va riaddestrato.
Per una PMI senza un team AI dedicato, queste complessità possono rappresentare una barriera d’ingresso non trascurabile, anche se oggi piattaforme come Hugging Face, Amazon SageMaker e il framework EasyDistill di Alibaba stanno riducendo significativamente la complessità operativa.
La distillazione del futuro
La distillazione, così come tutte le tecnologie che riguardano l’intelligenza artificiale, si muove velocemente, con nuove tendenze che stanno ridefinendo il suo campo applicativo.
I target principali della distillazione stanno diventando il meccanismo di ragionamento, le catene di pensiero, le strategie di problem-solving e le capacità di auto-correzione. Le ultime ricerche al riguardo hanno dimostrato che i modelli distillati sviluppano direzioni di feature distintive legate al ragionamento, che possono essere usate per modulare il comportamento del modello tra modalità di pensiero diverse. Questo apre la strada a modelli piccoli che ereditano una buona parte della struttura cognitiva del teacher.
I modelli di frontiera elaborano testo, immagini, audio e video; la distillazione deve diventare quindi cross-modale, trasferendo la conoscenza da un modello multimodale grande a un modello specializzato su un singolo canale. Man mano che i modelli agentici diverranno dominanti, la capacità di distillare competenze specifiche da un agente generale a uno specializzato diventerà una competenza industriale critica.
La competitività si giocherà sulla capacità di selezionare, specializzare e mettere in produzione modelli efficienti per task specifici. La distillazione è uno degli strumenti principali di questa transizione.
