A metà del 2023, durante un progetto di ricerca chiamato “RLSlow”, Jakub Pachocki e il collega Szymon Sidor videro risultati che, secondo il chief scientist di OpenAI, indicavano la possibilità di ampliare in modo significativo l’addestramento dei modelli capaci di ragionare. Pachocki racconta di aver trascorso quella notte in ufficio pensando meno ai benchmark o ai prodotti che ne sarebbero derivati e più alle conseguenze di una tecnologia che avrebbe potuto portare, nell’arco della loro vita, a macchine più intelligenti degli esseri umani in attività rilevanti.
Tre anni dopo, sostiene Pachocki nel saggio An Alien Mind, i modelli di ragionamento sono entrati nell’economia, sanno utilizzare computer e interfacce grafiche, collaborano con persone e altri sistemi di intelligenza artificiale e possono partecipare a progetti di ricerca. Allo stesso tempo stanno modificando la sicurezza informatica, aumentando sia le capacità di difesa sia quelle di attacco.
Per il chief scientist di OpenAI, il passaggio successivo potrebbe essere ancora più importante: sistemi di AI capaci di contribuire in misura crescente alla ricerca sull’intelligenza artificiale stessa. È la prospettiva della recursive self-improvement, o RSI, l’auto-miglioramento ricorsivo. Una dinamica che, se si realizzasse, avrebbe implicazioni economiche profonde perché trasformerebbe il rapporto tra capitale, lavoro qualificato, innovazione e produttività.
Indice degli argomenti:
Il capitale computazionale come motore della crescita
Pachocki parte da un elemento che ha orientato la strategia di OpenAI almeno dal 2017: l’aumento della potenza di calcolo. Secondo la sua ricostruzione, diversi progetti di ricerca mostrarono allora rendimenti abbastanza regolari dall’aumento della scala dei modelli. OpenAI decise quindi di procurarsi molta più capacità computazionale rispetto ai piani iniziali e di concentrare la ricerca su poche direzioni che potessero essere ampliate rapidamente.
La conseguenza economica è rilevante. L’AI contemporanea richiede infrastrutture, semiconduttori, energia, data center e grandi quantità di capitale. Il vantaggio tecnologico dipende quindi anche dalla possibilità di finanziare e gestire sistemi computazionali sempre più estesi.
Pachocki non nega il peso delle innovazioni algoritmiche e del lavoro dei ricercatori, ma le considera in larga parte scoperte avvenute lungo una traiettoria dominata dalla crescita della capacità di calcolo. Su orizzonti pluriennali, sostiene, l’intelligenza delle macchine ha continuato ad aumentare insieme alla scala dell’infrastruttura impiegata per addestrarle.
Questa impostazione sposta parte della competizione economica verso risorse che non sono distribuite uniformemente. Le imprese in grado di investire miliardi nelle infrastrutture di AI possono accumulare un vantaggio difficilmente replicabile da aziende più piccole. Lo stesso vale per gli Stati che dispongono di energia, capacità industriale, accesso ai chip avanzati e capitali sufficienti.
Un’intelligenza che viene “coltivata”
Per Pachocki, l’intelligenza artificiale viene in parte “coltivata” più che progettata nel senso tradizionale del termine. Un sistema molto complesso nasce dalla ripetizione di processi di ottimizzazione su quantità enormi di calcolo. I ricercatori possono studiarne singoli meccanismi, ma non possiedono ancora una spiegazione completa del funzionamento complessivo.
Il paragone utilizzato è quello con le neuroscienze: è possibile osservare e comprendere singoli fenomeni senza disporre di una teoria esaustiva dell’intero sistema.
Questa caratteristica produce un problema industriale oltre che scientifico. Gli addestramenti su larga scala sono esperimenti costosi e i loro risultati possono sorprendere gli stessi sviluppatori. All’aumentare delle capacità, inoltre, diventa più difficile misurare con precisione fino a dove un modello possa generalizzare ciò che ha appreso.
Il punto centrale della tesi di Pachocki è che una macchina non deve diventare superiore agli esseri umani in ogni attività per produrre conseguenze economiche e sociali di grande portata. È sufficiente che superi le persone in un numero crescente di compiti ad alto valore: programmazione, ricerca, analisi, progettazione, sicurezza informatica o gestione di processi complessi.
Se questa traiettoria proseguisse, il parametro più importante per imprese e governi non sarebbe una generica “intelligenza superiore”, ma il costo necessario per ottenere una determinata quantità di lavoro cognitivo.
Produttività e lavoro, il possibile salto economico
Pachocki associa allo sviluppo di macchine molto intelligenti la possibilità di una forte crescita economica e di progressi scientifici più rapidi. Sistemi allineati agli interessi umani potrebbero contribuire alla scoperta di nuove terapie, accelerare la ricerca e rendere disponibili beni e servizi in quantità maggiori.
Dal punto di vista economico, il passaggio decisivo arriverebbe quando l’AI non si limitasse ad assistere lavoratori e ricercatori, ma fosse capace di svolgere autonomamente una parte consistente delle attività cognitive.
La capacità produttiva di un’impresa potrebbe allora dipendere meno dal numero di specialisti che riesce ad assumere e più dall’accesso a infrastrutture di calcolo e modelli avanzati. Pachocki descrive uno scenario nel quale attività che in precedenza avrebbero richiesto migliaia di esperti potrebbero essere svolte da poche persone che controllano un grande sistema computazionale.
È anche uno dei rischi economici che mette maggiormente in evidenza. Una struttura produttiva di questo tipo potrebbe concentrare il potere nelle mani di un numero ridotto di organizzazioni o individui. Il problema, nella sua impostazione, riguarda quindi sia la sostituzione di alcune attività lavorative sia la distribuzione del controllo sui nuovi mezzi di produzione cognitiva.
La questione investirebbe direttamente le politiche sulla concorrenza, l’accesso alle infrastrutture, la tassazione, la distribuzione dei redditi e il rapporto tra capitale e lavoro.
L’allineamento diventa una variabile economica
Una parte centrale del ragionamento di Pachocki riguarda l’“alignment”, cioè l’allineamento tra il comportamento dei sistemi di AI e obiettivi e valori umani.
Il ricercatore distingue tra goal alignment e value alignment. Il primo riguarda la capacità di un modello di perseguire correttamente un obiettivo assegnato, rispettare una gerarchia di istruzioni e collaborare con le persone. Il secondo riguarda invece principi più generali: un sistema dovrebbe comportarsi in modo affidabile anche quando riceve istruzioni ambigue o contraddittorie oppure opera in situazioni molto diverse da quelle osservate durante l’addestramento.
Pachocki attribuisce particolare importanza al secondo problema perché modelli più intelligenti sono destinati, nella sua previsione, a operare in ambienti meno controllabili.
Il nodo è la generalizzazione. Un sistema può aver appreso comportamenti corretti durante l’addestramento e non conservarli quando incontra circostanze nuove. La difficoltà aumenta quando diversi agenti artificiali interagiscono tra loro e quando il sistema è abbastanza capace da riconoscere se si trova sotto supervisione.
Per un’economia che affidasse processi essenziali all’AI, l’allineamento smetterebbe quindi di essere una questione confinata ai laboratori. Diventerebbe un requisito di affidabilità paragonabile, per alcuni impieghi, alla sicurezza dei sistemi finanziari, energetici o industriali.
Perché controllare il ragionamento diventa più difficile
OpenAI ha puntato, spiega Pachocki, sul monitoraggio delle catene di ragionamento dei modelli. L’idea è osservare il processo attraverso cui un sistema arriva a una decisione, evitando per quanto possibile di addestrarlo direttamente a produrre ragionamenti che appaiano accettabili a un supervisore.
Quando venne pubblicato o1-preview, ricorda Pachocki, OpenAI decise per questo motivo di non mostrare integralmente agli utenti la catena di pensiero del modello.
Il metodo, tuttavia, incontra limiti crescenti. Gli agenti più recenti lavorano in ambienti complessi, comunicano con persone e altri sistemi e utilizzano strumenti esterni. Una parte di queste interazioni deve essere controllata. Nel frattempo, i modelli migliorano nella capacità di ragionare sul proprio processo di ragionamento e diventano più capaci anche senza verbalizzarlo.
Pachocki ritiene quindi possibile che la velocità dello sviluppo futuro venga limitata meno dalla disponibilità di calcolo e più dalla capacità degli sviluppatori di dimostrare che i sistemi possono essere controllati.
Per le imprese del settore significherebbe attribuire alla sicurezza un valore economico diretto. Un modello più potente non sarebbe automaticamente utilizzabile se l’azienda non riuscisse a fornire garanzie sufficienti sul suo comportamento.
Cybersecurity, l’AI può essere attaccante e difensore
La sicurezza informatica rappresenta per Pachocki uno dei motivi principali per continuare a sviluppare sistemi avanzati. I modelli stanno migliorando nella capacità di individuare vulnerabilità e compromettere sistemi informatici. Nella sua valutazione, questo amplia il raggio dei danni potenziali perché un agente digitale può intervenire sull’economia senza avere bisogno di un corpo fisico.
La stessa tecnologia può però rafforzare le difese. Sistemi sufficientemente capaci potrebbero proteggere infrastrutture, individuare agenti ostili in tempo reale e progettare nuove misure di sicurezza.
Da qui nasce un conflitto che attraversa l’intero saggio. Sviluppare rapidamente AI più potenti aumenta alcuni rischi, ma rallentare troppo potrebbe lasciare imprese e Stati senza strumenti adeguati contro sistemi sviluppati altrove e utilizzati con finalità offensive.
Pachocki respinge però l’idea che questa competizione possa giustificare una corsa senza limiti. La necessità di costruire strumenti difensivi, scrive, non dovrebbe trasformarsi in un argomento per aumentare la scala dei modelli indipendentemente dalla capacità di controllarli.
L’auto-miglioramento può accelerare anche la ricerca
Il passaggio economico più radicale immaginato da Pachocki è l’automazione della ricerca sull’AI.
Oggi il miglioramento di un modello dipende ancora in larga misura dal lavoro di ricercatori e ingegneri. Se un sistema diventasse capace di svolgere una parte consistente di questa attività, potrebbe contribuire alla progettazione dei propri successori. È ciò che Pachocki definisce recursive self-improvement.
L’effetto sarebbe diverso da una normale innovazione tecnologica. Una macchina utilizzata per migliorare le macchine che producono ulteriore innovazione potrebbe comprimere i tempi della ricerca. Pachocki dichiara di aspettarsi, sulla base dei risultati interni a cui fa riferimento, che l’attuale velocità di progresso possa proseguire anche durante una fase di auto-miglioramento ricorsivo.
Proprio per questo Pachocki chiede che l’automazione della ricerca venga accompagnata da meccanismi capaci di mantenere le persone nel processo decisionale. L’obiettivo non dovrebbe essere raggiungere l’auto-miglioramento il più rapidamente possibile, ma arrivarci soltanto se rimane possibile controllarne la direzione.
Pachocki chiede soglie di sicurezza comuni
Il chief scientist di OpenAI propone una combinazione di progresso tecnico e rallentamenti quando le garanzie disponibili non sono sufficienti.
Cita strumenti come il Preparedness Framework di OpenAI e la Responsible Scaling Policy di Anthropic, sostenendo che approcci di questo tipo dovrebbero evolvere verso soglie di sicurezza condivise per consentire ulteriori aumenti delle capacità.
Il controllo, nella sua proposta, non dovrebbe essere affidato esclusivamente alle aziende che sviluppano i modelli. Pachocki indica la possibilità di audit condotti da soggetti terzi, agenzie governative o organismi internazionali.
È un passaggio economicamente rilevante perché introduce l’idea che la capacità di calcolo non possa essere trattata come qualsiasi altro investimento industriale. Se oltre determinate soglie i sistemi producono rischi che possono superare i confini di una singola impresa o di un singolo Paese, la loro espansione richiede forme di coordinamento analoghe a quelle utilizzate per altre attività con forti esternalità.
Pachocki arriva a una conclusione netta: a suo giudizio nessun laboratorio ha ancora risolto i problemi di allineamento e monitoraggio a un livello sufficiente per continuare a lungo ad aumentare le capacità alla massima velocità. Per questo si aspetta e auspica rallentamenti volontari fino alla definizione di standard comuni.
Crescita economica e controllo dovranno avanzare insieme
OpenAI indica tre obiettivi, secondo la ricostruzione di Pachocki:
- costruire un ricercatore AI automatizzato mantenendo le persone nel ciclo dell’auto-miglioramento;
- distribuire i benefici della crescita economica e scientifica prodotta da macchine più intelligenti;
- offrire ai singoli individui un’AGI personale.
Pachocki concentra però il suo saggio sul primo punto perché considera i prossimi anni decisivi per stabilire quali vincoli accompagneranno lo sviluppo.
La promessa economica rimane molto ampia. AI affidabili potrebbero accelerare la ricerca, migliorare le cure mediche, aumentare la produzione e mettere capacità oggi costose a disposizione di una platea molto più vasta. La stessa dinamica può però ridurre drasticamente il numero di persone necessario per realizzare progetti complessi e trasferire una quota crescente di potere verso chi controlla modelli, chip e infrastrutture.
Per Pachocki, quindi, produttività e sicurezza non possono essere considerate due dossier separati. Più aumenta la quantità di lavoro intellettuale che una macchina può svolgere, maggiore diventa il valore economico del suo controllo e maggiore è il costo di un suo eventuale comportamento inatteso.
La traiettoria descritta dal chief scientist di OpenAI porta così la discussione oltre il confronto sui posti di lavoro sostituiti dall’automazione. Il problema economico diventa stabilire chi controlla una nuova forma di capitale cognitivo, quali limiti ne regolano l’espansione e quali istituzioni possono intervenire quando la velocità dell’innovazione supera quella con cui imprese e governi riescono a valutarne le conseguenze.
Chi è Jakub Pachocki
Jakub Pachocki è un informatico e ricercatore specializzato nello sviluppo di sistemi di intelligenza artificiale capaci di ragionamento e problem solving avanzato. Nel 2024 è stato nominato chief scientist di OpenAI, succedendo a Ilya Sutskever e assumendo la guida delle principali attività di ricerca dell’organizzazione su intelligenza artificiale generale, allineamento e sistemi multimodali.
Sotto la sua direzione OpenAI ha concentrato una parte crescente della ricerca sui reasoning model, progettati per affrontare problemi matematici, logici e concettuali con maggiore autonomia.
Pachocki considera inoltre l’intelligenza artificiale una disciplina sempre più sperimentale, nella quale il comportamento delle reti neurali deve essere osservato e studiato anche attraverso i fenomeni emergenti prodotti dall’addestramento. Tra il 2024 e il 2025 i gruppi di ricerca a cui fa riferimento il suo lavoro hanno ottenuto risultati di rilievo nella matematica competitiva, nella programmazione e nei sistemi capaci di elaborare insieme testo, codice e immagini.
La sua linea scientifica affianca allo sviluppo delle capacità dei modelli il problema della sicurezza: allineamento, interpretabilità, monitoraggio e controllo dei sistemi più avanzati sono diventati elementi centrali della strategia di ricerca che Pachocki descrive per OpenAI.
Partecipa alla community