Vitruvian-1, come è fatta l’AI “made in Italy” da 14 mld di parametri

Vitruvian-1 non è un modello come gli altri. Con i suoi 14 miliardi di parametri, si confronta con modelli ben più grandi come ChatGPT e DeepSeek, che operano su centinaia di miliardi di parametri. Nonostante disponga di “soli” 14 miliardi di parametri, un numero significativamente inferiore rispetto ai modelli delle Big-tech, è riuscito a ottenere punteggi di rilievo in benchmark cruciali:

• MATH (95,5%): capacità avanzata di risoluzione matematica.
• MMLU (90,2%): comprensione linguistica e ragionamento su un’ampia gamma di argomenti.

Questi risultati collocano Vitruvian-1 in una posizione competitiva rispetto a modelli con ordini di grandezza superiori in termini di parametri. Per mettere le cose in prospettiva, nel benchmark MMLU ha raggiunto prestazioni simili a DeepSeek-R1 e OpenAI-o1, che vantano rispettivamente 671 e 1076 miliardi di parametri. Ancora più impressionante, in MATH ha superato DeepSeek-V3 e Gemini 2.0 Flash.

Come nasce Vitruvian-1: intelligenza ed efficienza

Lo sviluppo del modello è stato un concentrato di ingegno e pragmatismo, completato in un periodo di due-tre mesi con un team di circa 30 persone e un investimento di poche decine di migliaia di euro. Un approccio radicalmente diverso dalle big tech: anziché utilizzare supercomputer costosi e migliaia di GPU, ASC27 ha puntato su una strategia di ottimizzazione dei costi, selezionando in tempo reale i server cloud più economici.

Il cuore del modello è un’architettura “data-centric”, con un modello di valutazione basato su Llama-3.2-1B utilizzato per filtrare i dati, assicurando la massima qualità del training set., con una particolare attenzione alla qualità e alla diversità dei dati di training, cruciale per il chain-of-thought reasoning multilingue. Il processo di sviluppo ha seguito una pipeline ben strutturata:

1. Pre-training continuo su un corpus di 120 miliardi di token, con dati selezionati da FineWeb e tradotti con DeepL API.
2. Supervised fine-tuning, con dataset CoT derivati da un pool interno di domande e risposte, raffinati attraverso distillazione e curriculum learning. La strategia di fine-tuning prevede inoltre una stratificazione dei dati basata sulla difficoltà, per garantire un bilanciamento ottimale tra esempi semplici e complessi.
3. Reinforcement learning, con una logica di selezione delle risposte basata su regole deterministiche (per la matematica) o tramite un LLM esterno acting as “judge”. Il sistema utilizza inoltre un Cosine Reward, che incentiva risposte concise ed efficienti, penalizzando generazioni ridondanti o poco accurate. Vitruvian-1 impiega PPO (Proximal Policy Optimization) per migliorare il ragionamento, con un sistema di premi basato sulla coerenza delle risposte.
4. Difficulty-Aware Prompt Generation, per evitare l’overfitting e massimizzare la diversità nelle risposte generate. Il modello impiega Kernel Density Estimation (KDE) per individuare regioni a bassa densità nello spazio delle risposte generate, favorendo una maggiore varietà nei risultati. Il modello utilizza Sentence-BERT per amplificare la diversità delle risposte e il modello OpenAI o1-preview per la verifica finale tramite majority voting.
5. Ottimizzazione attraverso la Proximal Policy Optimization (PPO), con inizializzazione dal trasformatore decoder-only Phi-4, noto per la sua efficienza e capacità “few-shot“. Inoltre, per la generazione di domande ad alta difficoltà, il modello sfrutta un’architettura LoRA-adapted Llama-3.1-8B, migliorando ulteriormente la sua capacità di reasoning.

Una AI che ragiona non solo prevede

Vitruvian-1 si distingue per la sua capacità di ragionamento avanzato grazie a un’architettura ottimizzata per il chain-of-thought reasoning. Questo approccio consente al modello di affrontare problemi complessi, fornendo risposte articolate e coerenti. La capacità di inferire conoscenze non direttamente presenti nei dati di training lo rende particolarmente adatto a scenari che richiedono un ragionamento deduttivo e una comprensione più profonda del contesto.

Inoltre, il modello è stato progettato per adattarsi a diversi domini, con prospettive di applicazione in ambiti come la consulenza legale e la ricerca scientifica, dove la capacità di analisi e di elaborazione di informazioni complesse è cruciale.

Vitruvian-1 non è un semplice modello predittivo: è un sistema di reasoning in grado di inferire informazioni che non possiede esplicitamente. La roadmap futura prevede la specializzazione in settori verticali come il legale e la chimica, per dimostrare l’applicabilità concreta del modello nel business.

Per l’AI, Vitruvian è un segnale forte dall’Italia

Nel 2021, ASC27 si era già distinta a livello internazionale con la vittoria alla competizione di intelligenza artificiale a Singapore, dimostrando la capacità del team guidato da Nicola Grandis di competere con i migliori esperti globali del settore. Il successo di Vitruvian-1 dimostra che l’innovazione non è solo una questione di risorse, ma di ingegno e strategia.

L’attenzione del sottosegretario all’Innovazione, Alessio Butti, sottolinea il valore di questa iniziativa per il panorama dell’AI italiano ed europeo. ASC27 non intende fermarsi qui: la startup è alla ricerca di investimenti superiori ai 10 milioni di euro per scalare la tecnologia, creare laboratori di ricerca e sviluppare soluzioni di intelligenza artificiale su misura per il business, con l’obiettivo di offrire strumenti concreti ed efficaci per le aziende. Se questa è la direzione, l’Italia potrebbe giocare un ruolo chiave nell’intelligenza artificiale globale.

Da cosa deriva il nome Vitruvium

La spiegazione del nome Vitruvian si trova nel logo stesso dell’azienda, che rappresenta l’uomo vitruviano, un disegno realizzato da Leonardo da Vinci intorno al 1490: un uomo nudo inscritto in un cerchio e in un quadrato, che simboleggia l’unione tra microcosmo (uomo) e macrocosmo (universo). Il disegno si basa sulle proporzioni umane descritte nel terzo libro del trattato De Architectura di Vitruvio, ingegnere militare e architetto romano vissuto nel I secolo a.C.. Il disegno è una celebre rappresentazione delle proporzioni ideali del corpo umano ed esprime l’idea che l’uomo sia “misura di tutte le cose”, concetto tipico del Rinascimento che la start-up italiana ha fatto proprio.

Qui trovate il technical report

Qui la pagina per accedere alla waiting list per provare la versione beta