Harness²: massimizzare le performance degli agenti con i tool open source di Google

Un’automazione AI-powered può leggere correttamente un ordine, ma applicare il listino sbagliato. Oppure può preparare un rapporto convincente utilizzando, però, il periodo contabile errato. In casi come questi, valutare soltanto la qualità del modello linguistico significa trascurare una parte fondamentale del problema. È proprio su questo aspetto interviene Harness², un progetto open source uscito dai Google Research Labs, che permette all’harness di evolvere nel tempo, conservando le esperienze utili per le successive iterazioni.

Che cos’è un harness

Un harness è l’insieme di elementi che permette a un modello di agire all’interno di un ambiente operativo. Comprende le istruzioni fornite dall’utente, i prompt di sistema, gli strumenti disponibili, un sistema di memoria e un set di regole per la gestione del lavoro. Un agente nasce dall’interazione fra il modello e questo sistema: il modello interpreta la richiesta e propone i passi da svolgere, mentre l’harness rende possibili le operazioni, gestisce i risultati e governa le operazioni successive.

Gli strumenti, spesso chiamati tool, sono funzioni software accessibili all’agente. Possono servire, per esempio, a cercare un documento, interrogare un gestionale o eseguire un calcolo. Un’API (Application Programming Interface) è un’interfaccia attraverso cui due programmi possono scambiarsi richieste e dati. L’integrazione aziendale deve quindi stabilire quali API rendere disponibili, con quali parametri e con quali permessi. Anche quando un modello è in grado di richiedere un’operazione, spetta comunque al software la responsabilità di eseguirla correttamente.

Orchestrazione

Un altro concetto importante nella gestione degli agenti AI è l’orchestrazione, che indica il coordinamento delle attività e può comprendere l’eventuale delega di specifiche operazioni ad altri agenti. In un flusso di lavoro prestabilito, il programma decide in anticipo la sequenza delle operazioni. In un sistema più autonomo, invece, il modello può scegliere anche parte del percorso da seguire in base alle informazioni raccolte.

L’harness influisce considerevolmente sulle prestazioni di un sistema agentico, perché queste dipendono dalla corretta esecuzione di una successione di passaggi. Un errore nell’identificazione del cliente, per esempio, può compromettere una proposta commerciale anche quando testo e calcoli risultano corretti. Valutare le performance di un’automazione AI-powered significa quindi considerare il risultato finale, ma anche l’intero processo che lo ha generato.

Un altro aspetto fondamentale è la continuità del lavoro. Il contesto è l’insieme delle informazioni disponibili al modello durante un’elaborazione e presenta dimensioni limitate. Anthropic, ad esempio, ha ampiamente documentato, in esperimenti su attività di sviluppo software prolungate, problemi di perdita dello stato, dichiarazioni premature di completamento dell’attività e verifiche insufficienti.

Per un agente che prende decisioni e lavora nel mondo reale, la qualità del risultato dipende dall’intera catena operativa che parte dall’utente (o da un evento) e arriva all’azione risolutiva individuata dall’AI. Un cambiamento nelle istruzioni può incidere sulla scelta degli strumenti, così come una modifica agli strumenti può rendere superflue alcune istruzioni.

Per questo motivo, l’harness va osservata e valutata nel suo insieme, conservando una versione di riferimento con cui misurare gli effetti di ogni intervento.

Le novità di Harness²

Harness² introduce migliorie che riguardano sia il compito in esecuzione, sul quale il sistema sperimenta configurazioni alternative, sia il processo di ottimizzazione dell’harness stesso. I nuovi strumenti di Google consentono di disporre delle configurazioni adottate in precedenza e degli insegnamenti ricavati dalle iterazioni precedenti. Questo approccio è definito recursive agent harnessing e consiste in un miglioramento iterativo del sistema che guida l’agente.

Questo meccanismo di auto apprendimento è molto differente dal fine-tuning, che modifica i parametri del modello attraverso un ulteriore addestramento. Quando si interviene a livello di harness, si lavora su componenti esterni al modello, come procedure, istruzioni e codice di supporto.

L’auto apprendimento è indispensabile per far agire l’utente in un open world, ossia in un contesto che prevede di portare a termine compiti non previsti durante la progettazione dell’harness. I tool di Google cercano di adattare il modo di lavorare alle evidenze del caso presente. 

Nella pipeline di Harness² sono stati definiti tre ruoli:

• l’esecutore, che svolge il compito;
• il miglioratore, che propone e combina modifiche all’harness;
• il valutatore, che misura il risultato secondo un protocollo di separato.

Il progetto mette a disposizione otto componenti modificabili per adattare la pipeline al compito che gli agenti dovranno svolgere.

Il system prompt definisce il ruolo dell’agente e la procedura generale; i guardrail stabiliscono le regole permanenti; la memoria conserva informazioni durevoli sul dominio; le indicazioni sugli strumenti spiegano come utilizzarli.

Completano l’insieme skill, subagenti, script e plugin, che permettono rispettivamente procedure riutilizzabili, deleghe, operazioni programmate e interventi nel ciclo di esecuzione degli strumenti.

Come funziona il ciclo di miglioramento di Harness²

Il core del meccanismo di auto miglioramento di Harness² è il ciclo Propose–Probe–Compose. In una prima fase, il sistema esegue il compito con l’harness di riferimento. Questa esecuzione produce un risultato e una traccia delle operazioni, utile per ricostruire le azioni compiute, le osservazioni raccolte e gli eventuali errori. Vengono quindi proposte due varianti esecutive: una orientata a problemi di carattere generale e una indicata per le esigenze specifiche del dominio. Entrambe vengono quindi testate sullo stesso compito.

Nella fase di composizione, il sistema confronta le evidenze disponibili e costruisce una nuova configurazione, combinando interventi, risolvendo conflitti oppure conservando elementi precedenti ritenuti rilevanti. Anche questa nuova configurazione viene a sua volta eseguita. Nel caso base, il ciclo comprende quindi quattro esecuzioni del compito, oltre alle sessioni che producono e combinano le modifiche.

Immaginiamo, ad esempio, un agente incaricato di confrontare diversi preventivi che omette i costi di trasporto. La traccia delle operazioni mostra che ha consultato soltanto la prima pagina di ciascun documento. Una variante generale potrebbe introdurre un controllo sulla completezza dei file letti, mentre una variante specifica potrebbe chiedere di individuare separatamente prezzo, costi di trasporto e condizioni di resa. Le nuove esecuzioni permetterebbero di osservare quali informazioni vengono effettivamente recuperate e se le modifiche migliorano il risultato.

Harness² offre una modalità parallela e una sequenziale. Nella prima, il sistema esplora più varianti generali e specifiche e utilizza le evidenze raccolte per generare diverse composizioni. Nella seconda modalità, invece, procede attraverso successivi passaggi di miglioramento, aggiornando la configurazione e la storia delle prove precedenti. Il parallelismo può ridurre parte dell’attesa quando infrastruttura e servizi consentono lavori simultanei, ma naturalmente il consumo complessivo rimane legato alle operazioni effettivamente svolte.

Benchmark e costi

Il preprint del paper valuta due modelli esecutori, utilizzati con OpenCode e Codex. L’editor principale è Claude Opus 4.8. I test comprendono compiti WorkBuddy, che valutano il lavoro su codice, test JobBench, dedicati ad attività professionali complesse, e test LAB che riguardano il lavoro in ambito legale. Quelli a seguire sono i risultati con un singolo ciclo di miglioramento.

Il paper documenta anche casi di peggioramento su singoli compiti e scelte di elaborati di qualità inferiore. L’aumento dei punteggi medi deve quindi essere accompagnato dalla verifica delle singole prove.

Il punteggio di un benchmark, da solo, non è sufficiente a valutare l’efficacia e la convenienza dei cicli di miglioramento, perché ignora situazioni contestuali specifiche e analisi dei costi. Una pipeline Harness² comprende le fasi di esecuzione, miglioramento, selezione, riflessione e valutazione, oltre agli strumenti utilizzati.

Per ottenere benefici riproducibili, è quindi importante mantenere costanti anche i compiti, le condizioni di accesso al web e il modello di valutazione.

La voce costi diventa più complessa da valutare correttamente, perché un agente può usare un modello economico per il compito principale e uno più costoso per rivederne l’harness. Può risparmiare chiamate durante l’esecuzione finale, ma solo dopo aver consumato molti token nelle prove.

Una valutazione economica deve tenere conto di tutti i fattori variabili relativi al ciclo Propose-Prove-Compose.

Come introdurre Harness² in azienda

Google mette a disposizione degli utenti codice e strumenti in un repository pubblico, insieme a una configurazione di base dalla quale partire per costruire una pipeline custom. Harness e modelli sono indipendenti: un’azienda può quindi installare il framework nella propria infrastruttura e utilizzare comunque servizi AI remoti per l’inferenza.

L’applicazione a un processo aziendale richiede un adattatore, un’interfaccia che definisce i compiti, i materiali di ingresso, il dominio operativo, l’esecuzione e gli elaborati prodotti. L’adattatore permette di collegare il sistema agentico a un ambiente di lavoro definito, integrando documentazione, database, gestionali e anche controller smart che azionano macchine nel mondo fisico.

La licenza di Harness² è Apache 2.0. Il progetto è quindi disponibile gratuitamente, ma è ovviamente privo di supporto ufficiale da parte di Google. Bisogna inoltre valutare le condizioni di licenza di eventuali dipendenze del progetto. Ad esempio, la licenza di WorkBuddy prevede una limitazione territoriale che dichiara il benchmark non destinato all’uso nell’Unione europea. Per un’impresa italiana questo significa dover individuare sistemi di valutazione alternativi.

Nella fase sperimentale, la pipeline deve essere implementata in una sandbox controllata. La ripetizione del compito richiede una particolare attenzione quando l’agente può modificare sistemi aziendali. Quattro prove di un confronto documentale possono produrre quattro file distinti; quattro prove di un processo che invia un ordine potrebbero generare quattro operazioni reali.

L’ambiente di sperimentazione dovrebbe quindi permettere di confrontare le diverse alternative mantenendo sotto controllo gli effetti esterni.

Come impostare una sperimentazione utile

Per impostare una sperimentazione utile, il primo requisito è descrivere una consegna verificabile. Nel caso di un ordine, per esempio, il responsabile di processo dovrebbe indicare campi obbligatori, fonti autorizzate e condizioni che richiedono la sospensione dell’attività. Per un report, invece, andranno definiti periodo di riferimento, formule e regole di riconciliazione da seguire. Queste indicazioni permettono ai tecnici di predisporre l’ambiente di prova e ai revisori di giudicare gli elaborati sulla base di criteri condivisi.

Il campione dovrebbe includere sia casi ordinari che eccezioni particoli. Se si verifica un apprendimento durante il flusso di lavoro, vanno registrati l’ordine dei compiti e lo stato iniziale della libreria. Ogni variante deve partire da condizioni confrontabili; in caso contrario, diventa difficile attribuire le differenze nei risultati alla modifica introdotta.

Il confronto dovrebbe comprendere la configurazione attuale, una versione migliorata elaborata dai tecnici e una versione ottimizzata automaticamente, con un budget di risorse stabilito.  La sperimentazione serve anche a capire se il processo ricorsivo aggiunge un vantaggio rispetto a una correzione mirata. Durante le prove, è utile osservare la gravità degli errori oltre alle medie. Il numero di pratiche accettate, i minuti di revisione e il costo complessivo consento di valutare l’efficienza operativa.

Se in azienda esistono già automazioni AI-powered in esercizio, Harness² offre un metodo da confrontare con la configurazione attuale e con le correzioni proposte dai tecnici. Se bisogna implementare una nuova automazione da zero, partire con un harness in grado di migliorarsi può rendere l’automazione stessa più adattabile ai cambiamenti e più facile da estendere e scalare.