Sembra di parlare di archeo-informatica quando si ricordano i tempi in cui la potenza di un computer si misurava in Megahertz e la sua utilità era definita dalla velocità con cui riusciva ad aprire un foglio di calcolo. Per decenni, l’industria IT ha vissuto sul duopolio di CPU (Central Processing Unit), che definiva la potenza di calcolo, e GPU (Graphics Processing Unit), che forniva le risorse di calcolo dedicate alla grafica. Attualmente le esigenze sono cambiate: le GPU non si occupano più soltanto di grafica, ma anche di parallelizzazione di calcoli necessari a eseguire i modelli generativi.
Per queste nuove necessità, un nuovo componente è diventato ricorrente su sistemi di qualsiasi fascia di prezzo: la NPU, o Neural Processing Unit. Questo nuovo chip è progettato per gestire in modo efficiente i carichi di lavoro AI direttamente sul dispositivo.
Indice degli argomenti:
Che cos’è una NPU
L‘Intelligenza Artificiale Generativa e i moderni algoritmi di machine learning richiedono un tipo di matematica molto specifico (principalmente calcoli matriciali), che mette in crisi la CPU e richiede GPU molto costose e ad alto consumo energetico. La NPU è un processore progettato architettonicamente per eseguire reti neurali e operazioni di inferenza AI consumando una frazione dell’energia richiesta dagli altri componenti.
Nelle unità di misura per valutare la potenza dell’hardware, i Gigahertz hanno lasciato il posto ai TOPS (Trillions of Operations Per Second). Questa è la nuova valuta con cui si misura la capacità di elaborare l’IA.
Una CPU tradizionale può gestire una manciata di TOPS, mentre le nuove NPU integrate nei processori di ultima generazione (come gli Intel Core Ultra, gli AMD Ryzen AI o i Qualcomm Snapdragon X Elite) puntano a soglie di 40-45 TOPS e oltre.
Perché questo numero è importante? Perché Microsoft e altri vendor software hanno stabilito che 40 TOPS è la soglia minima per abilitare le funzionalità AI-Powered di Copilot+ PC.
Hardware per il business
L’errore più comune che si commette parlando di AI PC è pensare che servano solo a migliorare la qualità della webcam di bordo o a svolgere qualche attività marginale. La realtà è molto più pragmatica e in continua evoluzione.
Alcuni tool per la gestione di Local AI, come LiteRT-LM di Google o DirectML di Microsoft, iniziano a supportare NPU multi-vendor per facilitare l’esecuzione di modelli in locale, indipendentemente dall’hardware sottostante.
Quando si utilizza un’AI basata sul cloud, come ChatGPT, i dati lasciano il perimetro aziendale, viaggiano su internet, vengono elaborati in un data center remoto e poi tornano indietro. Nonostante la crittografia ed eventuali sistemi di sicurezza aggiuntivi, il dato si è mosso e la superficie d’attacco dell’azienda è, quindi, diventata più grande.
Con una NPU, l’inferenza, ossia il processo di ragionamento dell’AI, può avvenire localmente. Ad esempio, un avvocato può chiedere al suo PC di riassumere e analizzare un contratto confidenziale, e il file non lascerà mai il disco rigido. Nessun dato viene inviato a Microsoft, Google o OpenAI per l’addestramento. La latenza dei dati è zero e la superficie di attacco si riduce notevolmente.
Ogni volta che un dipendente interroga un modello LLM potente nel cloud, l’azienda paga un micro-costo (token fee) o un abbonamento costoso. Moltiplicando questi costi per migliaia di dipendenti e per milioni di query all’anno si arriva a cifre considerevoli. Spostare alcuni carichi di lavoro sulla NPU locale significa trasformare una spesa operativa variabile e potenzialmente fuori controllo in un investimento in capitale fisso, già ammortizzato nell’acquisto del PC. Eseguire un modello linguistico locale sulla NPU ha un costo marginale vicino allo zero.
Latenza e continuità operativa
Latenza e continuità operativa sono altri due elementi chiave. La connettività non è onnipresente né infallibile. Con l’AI in cloud non è possibile utilizzare funzionalità AI-Powered in treno, in aereo o in una zona remota con scarsa copertura del segnale. Un assistente AI locale continua a funzionare anche completamente offline. L’elaborazione locale elimina anche la latenza di rete: la risposta è istantanea. Per applicazioni in tempo reale, come la traduzione simultanea durante una call o l’analisi di dati video, quei millisecondi possono fare la differenza.
A favore delle NPU ci sono anche argomenti che riguardano la sostenibilità energetica. Le GPU sono affamate di energia: far girare un effetto di sfocatura dello sfondo in una videochiamata Teams usando la GPU può ridurre l’autonomia di un laptop del 20-30%. La NPU è progettata per fare lo stesso lavoro con un consumo energetico irrisorio (parliamo di milliwatt contro watt). Questo significa liberare i dipendenti in mobilità dall’esigenza di una presa elettrica e ridurre anche l’impronta carbonica complessiva dell’infrastruttura IT aziendale.
L’ecosistema “AI PC”
Sul mercato sono da tempo presenti diverse varianti di questa tecnologia. Intel, AMD, Qualcomm e Apple propongono soluzioni NPU consumer e business. Microsoft ha creato una categoria di prodotto del tutto nuova: il Copilot+ PC. È un requisito hardware preciso che include una NPU da almeno 40 TOPS, 16GB di RAM e 256GB di SSD.
Chi acquista un PC con questi requisiti ottiene accesso a funzionalità di Windows 11 precluse agli altri, come Recall, una memoria fotografica ricercabile di tutto ciò che si è fatto sul PC (molto discussa per la questione privacy, ma indubbiamente potente), la traduzione in tempo reale di qualsiasi audio di sistema (Live Captions) e la generazione di immagini on-device (Cocreator). C’è anche un cambiamento fisico, uno dei pochi visti negli ultimi trent’anni sulle tastiere standard: il tasto Copilot.
AI-Pc e RAG
Una delle funzionalità chiave per gli AI-PC è la Retrieval-Augmented Generation (RAG), un booster straordinario della produttività. Immaginate di poter scaricare un modello AI open source, gestito dalla NPU, che può indicizzare tutti i documenti presenti nel computer (PDF, Excel, Email, PowerPoint). L‘utente può interagire con i dati in linguaggio naturale, in una semplice chat, tutto completamente offline.
Anche le videoconferenze fanno un salto di qualità. Le NPU gestiscono ora i Windows Studio Effects: l’AI corregge in tempo reale la direzione dello sguardo, la telecamera segue i movimenti dell’utente e la cancellazione dei rumori di fondo diventa molto più efficace perché basata su deep learning, non su semplici filtri di frequenza.
Sul fronte della cybersecurity, moderni sistemi EDR (Endpoint Detection and Response) usano l’AI per analizzare comportamenti anomali. Una NPU permette di eseguire questi modelli di analisi comportamentale direttamente sull’endpoint in tempo reale, rilevando un ransomware o un tentativo di phishing zero-day mentre accade, senza appesantire il sistema.
Hardware vs software
L’hardware è AI ready, ma il software non si è mosso alla stessa velocità. Il panorama dei tools che supportano l’NPU è ancora molto frammentato e molte applicazioni aziendali legacy non sono ancora ottimizzate per sfruttare le NPU. Questa tecnologia hardware di sicuro non ucciderà il Cloud, per lo meno non a stretto giro. Il futuro dell’AI continuerà a essere ibrido, con architetture distribuite che sono le più sostenibili dal punto di vista economico e applicativo.
Tra innovazioni hardware e nuove interfacce utente, la postazione di lavoro si evolve per garantire produttività e protezione. Non siamo più seduti di fronte a un personal computer, ma a un partner cognitivo che amplifica le potenzialità umane.
