OpenAI, Google, Microsoft e Anthropic hanno fatto il 30 ottobre una proposta comune per permettere ai siti web di opporsi all’uso dei propri contenuti nell’addestramento dei modelli di intelligenza artificiale.
La novità è un segnale da inserire nel file robots.txt: una sola regola, destinata a essere riconosciuta dalle aziende che aderiranno, anziché istruzioni diverse per ogni fornitore. Per editori, ecommerce e imprese che pubblicano documentazione, ricerche e contenuti proprietari significa poter gestire più facilmente una parte dell’utilizzo dei dati online.
Il controllo, però, non è ancora attivo contemporaneamente presso tutti e quattro i gruppi e riguarda una destinazione precisa dei contenuti: l’addestramento dei modelli generativi. Non impedisce automaticamente che le pagine siano lette dai motori di ricerca o utilizzate per formulare risposte AI. Su questo secondo utilizzo le aziende stanno facendo scelte differenti: Microsoft introduce un comando separato, mentre Google collega la nuova preferenza a un controllo già usato anche per alcune funzioni di Gemini. La differenza incide sulla visibilità dei marchi nelle risposte generate.
La proposta si chiama Machine-Readable Training Preference Signal. È stata presentata come Internet-Draft all’IETF il 30 ottobre 2026 da Kevin Kelley di Anthropic, nell’ambito del gruppo di lavoro AI Preferences. È ancora una bozza tecnica: non costituisce uno standard IETF definitivamente approvato. Le quattro aziende hanno annunciato impegni e tempi di implementazione differenti.
Il nuovo segnale AI: che cosa hanno annunciato i quattro gruppi
| Azienda | Impegno dichiarato il 30 ottobre | Tempistica indicata |
|---|---|---|
| OpenAI | Riconoscerà il segnale comune, mantenendo i controlli per i propri crawler | Nei prossimi mesi; data non fissata |
| Riconoscerà il segnale insieme a Google-Extended, con regole di precedenza specifiche | Nel 2027 | |
| Microsoft | Riconoscerà la preferenza di training e aggiungerà opzioni separate per le risposte AI | Dal 1° febbraio 2027, con l’avanzare delle scansioni |
| Anthropic | Ha avviato l’implementazione, che affiancherà i controlli esistenti | Attivazione completa non indicata |
Fonti: OpenAI, Google, Microsoft Bing e comunicazione di Kevin Kelley all’IETF, 30 ottobre 2026.
L’esistenza di un segnale comune può ridurre il lavoro tecnico, ma non elimina la necessità di conoscere le regole del singolo servizio. Il significato della scelta è stabilito dal nuovo token; la sua applicazione concreta dipende dagli impegni di ciascuna azienda e dalle funzioni a cui essa collega il controllo.
Indice degli argomenti:
Come funziona il segnale comune nel robots.txt
Il file robots.txt si trova nella directory principale di un sito e contiene normalmente istruzioni per i programmi automatici che lo visitano. Finora il gestore interessato a limitare l’uso dei contenuti per addestrare l’AI doveva tenere traccia dei singoli strumenti dei diversi fornitori, ad esempio delle regole specifiche per GPTBot e Google-Extended. La nuova proposta introduce invece un’etichetta comune, __usage_ai-training, che identifica lo scopo dell’utilizzo anziché un particolare software di scansione.
Per dichiarare di non voler destinare all’addestramento generativo alcuna pagina del sito, l’esempio della bozza prevede due righe: User-Agent: __usage_ai-training e Disallow: /. Se si vuole fare un’eccezione, si può aggiungere una riga Allow riferita a una cartella: per esempio lasciare disponibili i materiali di una cartella stampa e riservare i diritti sugli altri contenuti. Le regole per i percorsi seguono quelle ordinarie del robots.txt.
La distinzione tecnica è sostanziale. Il nuovo token esprime una preferenza sull’uso dei contenuti, non un ordine di fermare il crawler. Un motore può continuare a visitare le pagine per indicizzarle o svolgere altre funzioni consentite. Inoltre non basta una generica regola User-Agent: * per dichiarare la volontà prevista dalla proposta: il token specifico deve comparire nel file. I vecchi controlli dei singoli fornitori continueranno a essere rilevanti.
Per capire le conseguenze commerciali occorre allora distinguere due momenti. Nel training, i contenuti contribuiscono a modificare i parametri appresi da un modello generativo. Nel grounding, invece, un sistema consulta informazioni esterne per costruire o verificare una risposta al momento della richiesta. Un’azienda può voler impedire il primo utilizzo e accettare il secondo, perché una risposta AI con un link al suo sito può aumentare la possibilità di essere scoperta da clienti e lettori.
Microsoft separa addestramento e risposte AI: le tre scelte per i siti
È per consentire quella scelta che Microsoft ha annunciato due famiglie distinte di preferenze. La prima, AI Training, utilizza il nuovo segnale comune nel robots.txt e potrà essere impostata anche a livello di singola pagina. La seconda, AI Grounding, decide se Bing, Copilot, Microsoft 365 e i servizi collegati possano utilizzare una pagina per alimentare una risposta generata. Quest’ultima scelta è prevista a livello di pagina, attraverso un metatag o un’intestazione HTTP, non attraverso il segnale comune nel robots.txt.
Per il grounding Microsoft offre tre opzioni. Con Allow, che è l’impostazione predefinita quando manca una scelta, il contenuto può alimentare le risposte AI. Con DisallowExtended l’uso è limitato alle esperienze gestite direttamente da Microsoft, tra cui Copilot e Microsoft 365, ed è escluso dai servizi di grounding forniti a clienti terzi, come Web IQ e le API in Foundry. Con Disallow il contenuto viene escluso dall’uso per le risposte generate negli ambiti coperti da quel controllo.
Il risultato è che un editore può scegliere AI Training: Disallow e mantenere AI Grounding: Allow: le pagine non devono essere usate per addestrare modelli, ma possono restare fonti per le risposte prodotte da Microsoft. La società precisa che queste scelte non modificano di per sé l’idoneità a comparire nei normali risultati di Bing. Bloccare il grounding può però ridurre la presenza dei contenuti nelle esperienze AI, senza dare in cambio una compensazione economica automatica.
Microsoft ha pubblicato anche le istruzioni tecniche per i singoli URL: per esempio, il metatag ai-grounding:disallow rivolto a Bingbot indica che quella pagina non deve essere usata per formulare risposte AI. Un’impresa può così distinguere le schede prodotto, per le quali la visibilità può essere utile, da contenuti a pagamento o documenti riservati che non intende far riutilizzare in quel modo.
Le date del 2027 e che cosa deve fare chi usa NoArchive o NoCache
Per Microsoft la novità ha una sequenza operativa già definita. Dal 1° febbraio 2027 Bing inizierà a rispettare le nuove preferenze via via che effettuerà le scansioni dei siti. Il caricamento di una regola non ne garantisce quindi l’applicazione immediata: Microsoft deve prima rilevarla. La società ha fissato al 1° marzo 2027 il termine per la transizione di chi utilizza attualmente NoArchive o NoCache come strumenti per limitare training e grounding.
Per questi gestori non basta conservare le impostazioni precedenti. Entro il 1° marzo dovranno pubblicare le nuove preferenze sul training e, se vogliono continuare a limitare il grounding, inserire la preferenza nelle pagine interessate e registrare una scelta temporanea in Bing Webmaster Tools. Lo strumento temporaneo sarà disponibile dal 15 dicembre 2026 per i siti che già usano NoArchive o NoCache; servirà a preservare l’impostazione mentre Bing non ha ancora effettuato una nuova scansione. La preferenza temporanea scadrà al nuovo passaggio del crawler o comunque entro il 30 settembre 2027.
La data di marzo è quindi una scadenza di migrazione per i siti che devono conservare restrizioni già espresse, non un obbligo generale di modificare tutti i siti web entro quella data. Le imprese che non usano quei vecchi tag potranno impostare i nuovi controlli secondo le proprie esigenze; in assenza di una preferenza applicabile, Microsoft prevede per impostazione predefinita la possibilità di utilizzo per training e grounding, nei limiti descritti dalla sua policy.
Il nodo Google: dire no al training può ridurre la presenza in Gemini
Le differenze tra fornitori emergono con particolare evidenza dal comunicato di Google Search Central del 30 ottobre. Google prevede di interpretare il nuovo opt-out comune come un divieto per Google-Extended quando il gestore del sito non abbia dato istruzioni esplicite per quest’ultimo. Ma Google-Extended non riguarda soltanto l’addestramento: entra in gioco anche nel grounding di alcune esperienze Gemini. Un sito che dichiara un opt-out generalizzato potrebbe quindi rinunciare a una parte della propria visibilità all’interno di Gemini Apps.
Google consente di esprimere una scelta specifica per Google-Extended accanto al segnale comune. Questo apre la possibilità di differenziare il trattamento di Google da quello degli altri fornitori, ma richiede che chi gestisce il sito controlli l’effetto combinato delle regole. È un’esigenza particolarmente rilevante per i marchi che pubblicano cataloghi, guide e documentazione tecnica: quei contenuti hanno un valore come dati di addestramento, ma possono anche intercettare clienti quando vengono citati in una risposta.
Non bisogna confondere questa situazione con le risposte AI incorporate nella ricerca Google. Secondo la documentazione di Search Central su AI Overviews e AI Mode, la presenza delle pagine in queste funzioni dipende dai controlli di Googlebot, dall’indicizzazione e dalle regole per le anteprime, come nosnippet e max-snippet. Il segnale condiviso contro il training non è dunque un interruttore generale per uscire da tutte le risposte AI di Google.
Il rapporto con il copyright europeo e l’AI Act
Una preferenza tecnica, da sola, non risolve la questione dei diritti. In Europa, però, il valore della scelta ha un contesto giuridico preciso. L’articolo 4 della direttiva UE 2019/790 consente l’estrazione di testo e dati da opere accessibili lecitamente, entro le condizioni previste dalla norma, se i titolari non hanno riservato i loro diritti in modo appropriato. Per i contenuti pubblicamente disponibili online questa riserva deve essere espressa attraverso strumenti leggibili automaticamente.
A questa disciplina si aggiunge l’articolo 53 dell’AI Act: chi fornisce modelli AI per finalità generali deve adottare una politica di rispetto del diritto d’autore dell’Unione, anche identificando e rispettando le riserve dei titolari. Il codice di buone pratiche europeo per i modelli AI generalisti, di adesione volontaria, indica proprio i segnali leggibili dalle macchine e il protocollo robots.txt tra gli strumenti da considerare. Google collega esplicitamente la proposta comune a quel quadro europeo.
Il nuovo token può rendere più uniforme l’espressione delle scelte, ma la bozza dell’IETF non attribuisce nuovi diritti e non garantisce che ogni fornitore, compresi quelli che non l’hanno adottata, la rispetti. Inoltre il gestore del sito deve valutare quali diritti abbia effettivamente sui materiali pubblicati: testi acquisiti in licenza, contenuti di terzi e opere proprie possono richiedere decisioni differenti. La riserva non cancella retroattivamente i contenuti eventualmente già impiegati nei processi di addestramento.
La scelta economica per editori e imprese
Per chi pubblica contenuti sul web si apre dunque una decisione che riguarda la distribuzione, non soltanto la configurazione tecnica. Un sito di informazione può voler riservare l’uso degli articoli per l’addestramento, mantenendo l’accesso dai motori di ricerca e valutando separatamente la presenza nelle risposte AI. Un produttore industriale può avere interesse a rendere consultabili le schede tecniche anche dagli assistenti, ma a tenere fuori dal training archivi di ricerche o altri materiali sui quali intende negoziare una licenza.
Il primo passo è verificare gli attuali file robots.txt, gli eventuali tag NoArchive e NoCache, le regole per i crawler dei singoli fornitori e i diritti sui contenuti. Il secondo consiste nel decidere separatamente quali contenuti possano essere utilizzati per addestramento e quali per risposte AI, tenendo conto delle conseguenze sulla visibilità. Solo dopo ha senso tradurre la scelta in regole e monitorarne l’effettiva ricezione dai servizi coinvolti.
Per ora l’accordo fra le quattro grandi aziende è soprattutto un impegno a semplificare il rapporto tra chi produce contenuti e chi sviluppa modelli. La sua efficacia dipenderà dall’adozione effettiva, da come verranno gestite le eccezioni e da quanto sarà verificabile il rispetto delle preferenze. Il vantaggio immediato per le imprese è poter preparare una politica coerente sui propri contenuti prima dell’entrata in funzione dei nuovi controlli nel 2027.
Partecipa alla community