L’adozione degli agenti di intelligenza artificiale nelle grandi organizzazioni sta attraversando un momento critico in cui la fase di rilascio tecnologico non coincide con la reale capacità operativa dell’azienda. Molte strutture societarie si trovano ad affrontare un vero e proprio vuoto operativo subito dopo che la tecnologia viene messa a terra dai fornitori esterni.
A fare il punto sulle sfide della governance dell’intelligenza artificiale e sul controllo post-deployment è Melissa Ramey, director of AI transformation presso Salesforce, in un’intervista con Yolandi rilasciata all’interno del podcast Emerge AI in Business.
Indice degli argomenti:
L’illusione del rilascio tecnico e la mancanza di una governance strutturata
Il vuoto di responsabilizzazione dopo la consegna del fornitore
Il passaggio di consegne tra i fornitori di tecnologia e le strutture aziendali rappresenta il primo momento di fragilità nei progetti di automazione avanzata. Spesso si genera la falsa aspettativa che il corretto funzionamento dell’architettura tecnica coincida automaticamente con la capacità dell’agente di eseguire il lavoro specifico richiesto dall’organizzazione. Ramey ha descritto con precisione la dinamica che si innesca sul campo: «L’agente va online, il fornitore completa l’implementazione, tutti si stringono la mano e poi nessuno sa con certezza chi stia supervisionando l’agente o se debba essere supervisionato.»
I dati sul divario tra operatività e controllo continuo
Le ricerche di settore confermano la dimensione di questa lacuna sistemica: il 57% delle organizzazioni non possiede un’architettura organizzativa per questi agenti. Il risultato è che circa la metà delle aziende adotta sistemi che funzionano dal punto di vista tecnico, ma senza comprendere lo specifico compito operativo che sono chiamati a svolgere. Un altro dato ancora più allarmante rivela che solo il 20% delle aziende enterprise dispone di un piano testato per gestire i casi in cui l’output dell’AI fallisce.
I tre pilastri per il presidio dei sistemi autonomi
Per comprendere dove si disperda la responsabilità, l’analisi condotta da Ramey individua tre pilastri fondamentali che l’organizzazione deve presidiare con una governance mirata:
- Architettura organizzativa: mentre il fornitore garantisce il funzionamento del motore, della piattaforma e dell’infrastruttura, spetta all’azienda verificare se l’agente sia pronto a svolgere le mansioni aziendali specifiche.
- Verifica continua: occorre distinguere tra la semplice capacità di generare un output e la reale correttezza delle informazioni, mantenendo il controllo sulle sfumature operative nel tempo.
- Monitoraggio dell’accuratezza: se l’IT assicura che il sistema sia online, veloce e sicuro, occorre definire chi debba controllare l’accuratezza dei contenuti nel lungo periodo.
Il vuoto operativo tra ingegneria e team aziendali
Il superamento dei tradizionali confini informatici
La gestione dell’intelligenza artificiale ha progressivamente abbattuto i confini tradizionali tra le competenze tecniche e quelle di business. In passato, la manutenzione e il controllo degli strumenti informatici erano affidati in modo esclusivo ai dipartimenti IT. Oggi, tuttavia, questo schema non è più applicabile agli agenti autonomi. La valutazione della qualità e della bontà di un risultato richiede infatti una profonda conoscenza del lavoro operativo, una competenza che risiede unicamente nei team utente.
La sovrapposizione delle competenze e la paralisi delle decisioni
Come chiarito da Ramey nel corso della conversazione con Yolandi: «Non possiamo più dire al team IT di continuare a monitorare l’agente, perché la bontà dell’output può essere valutata unicamente dai team di business che conoscono il lavoro operativo.»
Quando la titolarità del controllo non viene formalizzata, si crea una vera e propria paralisi organizzativa. Il team operativo tende a presupporre che la supervisione sia un compito spettante all’ingegneria informatica, mentre l’ingegneria ritiene che la verifica della correttezza dei dati debba ricadere sugli esperti di settore. Durante il dialogo, Yolandi ha sintetizzato questo fenomeno definendolo come l’inserimento di un passaggio AI-native all’interno di un workflow legacy. Le strutture organizzative tradizionali non sono ancora modellate per governare processi nativamente progettati per l’intelligenza artificiale.
La trappola della revisione umana e il rischio del triplo costo
La correzione del sintomo e le cause profonde degli errori
Di fronte a un output errato o impreciso generato da un agente, la reazione immediata dei team di lavoro è solitamente quella di intervenire manualmente sul testo finale per correggerlo. Tuttavia, questo approccio corregge l’effetto sintomatico ma lascia del tutto inalterata la causa primaria dell’errore. L’output finale di un agente autonomo non è un semplice testo, ma un prodotto trasformato attraverso passaggi complessi. L’errore può essersi verificato nella fase di recupero delle informazioni (retrieval) oppure nella fase di elaborazione guidata dal prompt.
Come l’ispezione a valle moltiplica le spese operative
Correggere manualmente l’output a valle rischia di trasformare i professionisti aziendali in semplici correttori di bozze, riproponendo la medesima burocrazia che si intendeva eliminare con l’adozione della tecnologia. Inoltre, questo schema fa impennare i costi operativi, vanificando il rendimento economico degli investimenti. Si genera infatti un triplo costo insostenibile:
- Costo dell’esperto iniziale: il professionista che predispone le informazioni e i dati di partenza.
- Costo computazionale dell’AI: i token consumati dall’agente per elaborare e trasformare il contenuto.
- Costo dell’esperto finale: il revisore che deve rileggere e correggere interamente il lavoro prodotto dall’agente.
Costruire la qualità nel processo anziché nel controllo finale
Per evitare questo spreco, Ramey richiama un celebre principio metodologico applicato all’ispezione dei processi: «Non si può inserire la qualità in un prodotto tramite l’ispezione finale.» Aumentare le revisioni umane al termine del flusso si rivela inefficace; la qualità deve essere garantita alla radice attraverso la governance del processo e dello strumento.
Il modello dei sette livelli di governance per gli agenti autonomi
Le sette dimensioni per il controllo dell’intero ciclo di vita
Per superare i limiti dei flussi operativi tradizionali e garantire la correttezza dei risultati, Ramey propone una struttura articolata su sette livelli di governance:
- Fonte (Source),
- Processo (Process),
- Evidenza (Evidence),
- Significato (Meaning),
- Output (Output),
- Autorità (Authority)
- Tracciamento o Registro (Record).
Questo modello permette di governare l’agente lungo tutto il suo flusso di lavoro, analizzando ogni singolo passaggio prima della generazione finale.
Evidenza: forzare il sistema alla verifica delle fonti
Tra i pilastri più critici emersi durante il confronto figura il livello relativo all’Evidenza. Questo livello risponde a una caratteristica strutturale dei modelli di intelligenza artificiale, ovvero la tendenza a economizzare l’uso dei token durante la fase di elaborazione. Quando un agente deve analizzare moli elevate di documenti, tende a limitare le operazioni di recupero dei dati, selezionando solo poche informazioni apparentemente idonee e presentando il lavoro come completo.
Per evitare l’omissione involontaria di dati fondamentali, la governance richiede di inserire nei prompt e nelle istruzioni l’obbligo esplicito per l’agente di citare e riportare brani specifici delle fonti utilizzate. In questo modo il sistema è forzato a consultare l’intera documentazione fornita e a fornirne prova tangibile.
Significato: allineare il vocabolario aziendale e le definizioni
Il livello del Significato mira invece ad allineare il vocabolario dell’agente con quello dell’organizzazione. Spesso la conoscenza aziendale è implicita e risiede nella mente degli esperti. Se si richiede all’agente di identificare una determinata metrica o un concetto aziendale specifico, il sistema non deve basarsi sulle assunzioni generiche dei modelli linguistici, ma deve aderire alla definizione rigorosa stabilita dall’azienda, chiarendo esattamente cosa si intenda per un lavoro svolto in modo corretto.
Autorità: definire i confini dell’azione e i cancelli di sicurezza
Il livello dell’Autorità stabilisce con precisione i confini operativi dell’agente, determinando quali attività possano essere svolte in totale autonomia, quali debbano prevedere una supervisione umana (human in the loop) e quali azioni siano tassativamente precluse al sistema, come la cancellazione involontaria di dati o la modifica di codice sorgente.
La gestione dei cancelli di sicurezza nel flusso operativo
A titolo pratico, Ramey ha condiviso un’esperienza diretta di sviluppo di un agente dedicato all’analisi delle trascrizioni delle conversazioni con i clienti per la generazione di raccomandazioni di prodotto. Quando l’agente ha rilevato sei nuove trascrizioni appartenenti a un flusso di lavoro non previsto, ha bloccato l’esecuzione automatica ponendo una domanda puntuale: «Ho rilevato un nuovo flusso di lavoro. Vuoi che crei una nuova categoria e la archivi nella libreria esistente?»
Questo arresto programmato dimostra come sia possibile definire dei veri e propri cancelli di sicurezza (gate) all’interno del flusso: l’agente sospende l’operatività autonoma davanti a una decisione concettuale, richiedendo la convalida dell’operatore umano prima di procedere.
L’autonomia degli agenti va conquistata per fasi
La responsabilizzazione interna dopo la fase di deployment
La costruzione di un’infrastruttura di governance solida consente alle organizzazioni di concedere una maggiore autonomia agli agenti artificiali in modo graduale e sicuro. La responsabilizzazione del comportamento dell’agente dopo il deployment cessa di essere una prerogativa del fornitore esterno e diventa una competenza interna fondamentale per l’azienda.
L’integrazione equilibrata tra decisione umana ed elaborazione automatica
Attraverso la combinazione tra presidio dei processi, verifica delle fonti e definizione dei punti di arresto decisionali, l’interazione tra uomo e macchina trova un punto di equilibrio. L’operatore umano mantiene il controllo sulle scelte strategiche e concettuali, mentre l’agente svolge l’elaborazione dei dati accumulati in totale sicurezza, consentendo all’organizzazione di consolidare la fiducia nella tecnologia e di raggiungere il reale rendimento economico atteso dall’automazione.
Partecipa alla community