Quando si legge che un modello di intelligenza artificiale ha decine o centinaia di miliardi di parametri, il numero sembra descrivere una quantità di “conoscenza” accumulata. In realtà indica soprattutto quanti valori numerici apprendibili contiene il modello. Sono quei valori a trasformare i token in ingresso in una previsione: quale token ha più probabilità di venire dopo.
approfondimento
Parametri degli LLM: che cosa sono e come si formano
I parametri sono i valori numerici che un modello linguistico apprende durante l’addestramento. Ecco come pesi ed embedding trasformano i token in previsioni, perché temperatura e top-p sono impostazioni diverse e perché più parametri non garantiscono risultati migliori

Continua a leggere questo articolo
Argomenti
Canali




