I modelli di ragionamento sono una nuova classe di modelli linguistici di grandi dimensioni (LLM) progettati per affrontare compiti molto complessi utilizzando il ragionamento a catena di pensiero (CoT), con lo svantaggio di richiedere più tempo per rispondere. DeepSeek-R1 è il modello di “ragionamento” di frontiera rilasciato di recente e di cui tutto il mondo sta parlando, che è stato distillato in modelli più piccoli altamente capaci.
Ecco come può avvenire l’implementazione di questi modelli distillati DeepSeek-R1 sui processori AI AMD Ryzen e sulle schede grafiche Radeon, attraverso LM Studio.
Come funzionano i modelli di ragionamento
I modelli di ragionamento aggiungono una fase di “riflessione” prima dell’output finale, che si può vedere espandendo la finestra di “riflessione” prima che il modello fornisca la risposta finale. A differenza degli LLM convenzionali, che danno una sola risposta, gli LLM CoT eseguono un ragionamento approfondito prima di rispondere. Le ipotesi e l’auto-riflessione che il LLM esegue sono visibili all’utente e questo migliora la capacità di ragionamento e di analisi del modello, anche se al costo di un tempo significativamente più lungo per ottenere il primo (output finale) gettone (o token).
Un modello di ragionamento può spendere migliaia di token (e l’utente può vedere questa catena di pensieri!) per analizzare il problema prima di dare una risposta finale. Ciò consente al modello di essere eccellente in compiti complessi di risoluzione di problemi matematici e scientifici e di affrontare un problema complesso da tutte le angolazioni prima di decidere una risposta.
A seconda dell’hardware AMD, ognuno di questi modelli offrirà capacità di ragionamento all’avanguardia sul processore AMD Ryzen AI o sulle schede grafiche Radeon.
Come eseguire i modelli di “ragionamento” DeepSeek R1 Distilled su schede grafiche AMD Ryzen AI e Radeon
Per eseguire DeepSeek-R1 Distilled basta seguire alcuni semplici passaggi per essere subito operativi (a seconda della velocità di download).
Fase 1: Assicurarsi di utilizzare il driver opzionale Adrenalin 25.1.1, che può essere scaricato direttamente da questo link.
Fase 2: Scaricare LM Studio 0.3.8 o superiore da lmstudio.ai/ryzenai.
Fase 3: installare LM Studio e saltare la schermata di avvio.
Fase 4: Fare clic sulla scheda Scopri.
Fase 5: Scegliere il distillatore DeepSeek R1. I distill più piccoli, come il Qwen 1.5B, offrono prestazioni velocissime (e sono il punto di partenza consigliato), mentre i distill più grandi offrono una capacità di ragionamento superiore. Tutti sono estremamente capaci.
La tabella seguente illustra le dimensioni massime raccomandate per il distillatore DeepSeek R1:
Processore | DeepSeek R1 Distill* (Max Supported) |
AMD Ryzen™ AI Max+ 395 32GB1, 64 GB2 and 128 GB | DeepSeek-R1-Distill-Llama-70B (64GB and 128GB only) DeepSeek-R1-Distill-Qwen-32B |
AMD Ryzen™ AI HX 370 and 365 24GB and 32 GB | DeepSeek-R1-Distill-Qwen-14B |
AMD Ryzen™ 8040 and Ryzen™ 7040 32 GB | DeepSeek-R1-Distill-Llama-14B |
1= Requires Variable Graphics Memory set to Custom: 24GB.
2= Requires Variable Graphics Memory set to High
Graphics Card | DeepSeek R1 Distill* (Max Supported1) |
AMD Radeon™ RX 7900 XTX | DeepSeek-R1-Distill-Qwen-32B |
AMD Radeon™ RX 7900 XT | DeepSeek-R1-Distill-Qwen-14B |
AMD Radeon™ RX 7900 GRE | DeepSeek-R1-Distill-Qwen-14B |
AMD Radeon™ RX 7800 XT | DeepSeek-R1-Distill-Qwen-14B |
AMD Radeon™ RX 7700 XT | DeepSeek-R1-Distill-Qwen-14B |
AMD Radeon™ RX 7600 XT | DeepSeek-R1-Distill-Qwen-14B |
AMD Radeon™ RX 7600 | DeepSeek-R1-Distill-Llama-8B |
1= Lists the maximum supported distill without partial GPU offload
Fase 6: sul lato destro, assicurarsi che sia selezionata la quantizzazione “Q4 K M” e fare clic su “Download”.
Fase 7: una volta scaricato, tornare alla scheda chat e selezionare il distillatore DeepSeek R1 dal menu a discesa e assicurarsi che sia selezionata l’opzione “Seleziona manualmente i parametri”.
Fase 8: nei livelli di GPU Offload, spostare il cursore al massimo.
Fase 9: fare clic su model load.
Passo 10: Ora si può interagire con un modello di ragionamento che gira completamente sull’hardware AMD locale!
Note
GD-97 – I link a siti di terze parti sono forniti per comodità e, a meno che non sia esplicitamente indicato, AMD non è responsabile dei contenuti di tali siti collegati e non è implicita alcuna approvazione.
GD-220e – Ryzen AI è definito come la combinazione di un motore AI dedicato, del motore grafico AMD Radeon e dei core del processore Ryzen che abilitano le funzionalità AI. È necessaria l’abilitazione di OEM e ISV e alcune funzionalità AI potrebbero non essere ancora ottimizzate per i processori Ryzen AI. Ryzen AI è compatibile con: (a) processori AMD Ryzen serie 7040 e 8040 e processori Ryzen PRO serie 7040/8040, ad eccezione dei processori Ryzen 5 7540U, Ryzen 5 8540U, Ryzen 3 7440U e Ryzen 3 8440U; (b) processori AMD Ryzen AI serie 300 e processori AMD Ryzen AI PRO serie 300; (c) tutti i processori desktop AMD Ryzen 8000G Series, ad eccezione di Ryzen 5 8500G/GE e Ryzen 3 8300G/GE; (d) i processori AMD Ryzen 200 Series e Ryzen PRO 200 Series, ad eccezione di Ryzen 5 220 e Ryzen 3 210; (e) i processori AMD Ryzen AI Max Series e Ryzen AI PRO Max Series.
Prima dell’acquisto, verificare la disponibilità delle funzioni con il produttore del sistema.