Cloudflare, azienda leader nelle infrastrutture internet, ha recentemente annunciato che, da ora in poi, bloccherà i bot AI che tentano di visitare i siti web ospitati sulla sua piattaforma. Questa mossa risponde a una crescente preoccupazione tra i proprietari di contenuti, che vedono l’uso dei loro dati da parte di modelli di intelligenza artificiale senza un adeguato riconoscimento o compenso.
Indice degli argomenti:
Pay-per-crawl: maggiore controllo per i clienti
Oltre a bloccare automaticamente i bot, Cloudflare offrirà ai suoi clienti un’opzione per gestire manualmente l’accesso ai bot AI. Potranno decidere caso per caso se consentire o meno la scansione del sito da parte di questi bot. Una delle principali novità sarà il sistema “pay-per-crawl”, che permetterà ai proprietari dei siti web di ricevere compensi ogni volta che un bot AI raccoglierà i contenuti dal loro sito.
Questa iniziativa nasce in risposta all’uso sempre più diffuso dei crawler web da parte delle aziende di AI, che raccolgono enormi quantità di dati dal web per alimentare i loro modelli di intelligenza artificiale. Questi modelli non hanno, però, le stesse opportunità di monetizzazione delle fonti di dati che storicamente hanno avuto i motori di ricerca, come Google.
I crawler web e il loro impatto sull’industria
I crawler web sono algoritmi progettati per esplorare internet, raccogliere informazioni sui siti web e catalogarle. In passato, i crawler erano utilizzati principalmente dai motori di ricerca per indicizzare i contenuti online. Tuttavia, negli ultimi anni, anche le aziende di AI hanno iniziato a utilizzarli per raccogliere dati utili alla creazione e al miglioramento dei loro sistemi.
Se da un lato i motori di ricerca come Google generano traffico verso i siti web, aumentando la visibilità dei contenuti, i bot AI non offrono lo stesso tipo di visibilità. Spesso, infatti, i dati raccolti non vengono neppure attribuiti correttamente ai loro autori, riducendo le possibilità di guadagno per i creatori di contenuti.
Un’industria in evoluzione: l’importanza della trasparenza
Secondo Will Allen, responsabile della privacy e controllo sull’AI di Cloudflare, il modello tradizionale in cui i motori di ricerca indicizzano i contenuti per generare traffico verso i siti web sta cambiando. Gli editori e i creatori di contenuti vogliono ora avere il controllo su come i loro dati vengono utilizzati e associati ai loro nomi.
Per questo motivo, Cloudflare ha introdotto la possibilità di controllare l’accesso ai bot AI durante tutte le fasi del ciclo di vita dell’intelligenza artificiale, come il training, il fine-tuning e l’inferenza. Inoltre, i clienti possono stabilire un tariffario per consentire l’accesso dei bot ai loro siti, creando una vera e propria economia della scansione dei contenuti.
La reazione della comunità e la protezione della rete aperta
Alcune importanti realtà, come la Associated Press, Time e piattaforme come Quora e Stack Overflow, hanno espresso il loro sostegno alla mossa di Cloudflare. Queste aziende e comunità, che generano contenuti utilizzati dai modelli di AI, ritengono che sia giusto ricevere un compenso per il loro contributo, che permette agli sviluppatori di AI di costruire i loro modelli.
Tuttavia, non tutti sono d’accordo con la decisione di Cloudflare. Alcuni esperti, come Shayne Longpre del MIT, avvertono che un divieto di default sui bot AI potrebbe interferire con usi non commerciali, come la ricerca. I crawler web vengono infatti utilizzati anche per servizi di archiviazione e per la raccolta di dati per progetti di ricerca, non solo da motori di ricerca o AI.
Conclusioni: verso un equilibrio tra intelligenza artificiale e contenuti web
In un panorama in cui i crawler web, siano essi per AI o per motori di ricerca, continuano a evolversi, Cloudflare spera di trovare un equilibrio che permetta ai proprietari dei siti di avere più controllo senza compromettere l’accesso a dati preziosi per ricerche e progetti non commerciali. La compagnia intende usare la sua esperienza nella gestione dei bot e degli attacchi DDoS per fermare i crawler malintenzionati e facilitare trattative oneste tra le aziende di AI e i proprietari di contenuti.
L’introduzione di un sistema di pagamento per la scansione dei contenuti segna un passo importante verso una nuova era in cui i creatori di contenuti possono trarre vantaggio dall’utilizzo dei loro dati, pur mantenendo il controllo su come vengono sfruttati da terzi.
