AI distillation: come funziona, perché sta cambiando il modo di applicare l’AI nei processi industriali

Il training di un’intelligenza artificiale di frontiera ha costi ingenti. Servono dataset enormi, decine di migliaia di GPU di difficile reperibilità e una quantità di energia elevatissima. La knowledge distillation è una tecnica che consente di prendere un modello AI grande, costoso e lento e trasferire ciò che ha imparato a un modello più piccolo, veloce e leggero. Il risultato è un sistema che conserva buona parte delle capacità dell’originale, ma gira con una frazione delle risorse computazionali.