Google supporterà un controllo condiviso per la formazione AI nei robots.txt
Google ha annunciato il proprio supporto a un meccanismo condiviso nel file robots.txt che permetterà ai siti web di esprimere le proprie preferenze in merito all'uso dei contenuti per la formazione dei modelli di intelligenza artificiale, in un unico passaggio e valido per più provider AI. Questa iniziativa si basa sul lavoro del gruppo AIPREF dell'IETF e si affianca al controllo Google-Extended già disponibile dal 2023. L'implementazione è prevista per il 2027 insieme ad altri operatori del settore.
Punti chiave
- Google annuncia il supporto a un 'policy token' condiviso nel file robots.txt, sviluppato nell'ambito del gruppo di lavoro AIPREF dell'Internet Engineering Task Force (IETF), che consentirà ai publisher di esprimere le proprie preferenze sulla formazione AI verso più provider in un solo step.
- Quando un sito utilizza il policy token per escludersi dalla formazione AI e Google-Extended non è specificato esplicitamente, Google interpreterà tale segnale come se Google-Extended fosse stato disabilitato, garantendo coerenza tra i diversi livelli di controllo.
- I controlli specifici per singola azienda, come Google-Extended, continueranno a funzionare in parallelo al nuovo segnale condiviso, permettendo ai publisher di combinare una preferenza generale con istruzioni personalizzate per ciascun provider.
- I siti che consentono esplicitamente Google-Extended rimangono eleggibili per apparire nelle risposte generate e per ricevere clic tramite il grounding nelle applicazioni Gemini, elemento che acquisisce valore crescente con l'espansione delle funzionalità AI di Google.
- Il meccanismo è coerente con il Codice di Condotta dell'UE per i fornitori di modelli di intelligenza artificiale per uso generale (GPAI) ai sensi della legge europea sull'AI, che riconosce il file robots.txt come metodo primario per esprimere preferenze leggibili dalle macchine.
- Google prevede di attivare il supporto a questo nuovo controllo insieme ad altri provider AI nel corso del 2027, con aggiornamenti progressivi sull'avanzamento del progetto.
Analisi
Fino ad oggi, i gestori di siti web che desideravano controllare l'uso dei propri contenuti per la formazione di sistemi di intelligenza artificiale dovevano configurare istruzioni separate per ciascun provider: Google-Extended per Google, e direttive specifiche per ogni altro operatore AI. Questo approccio frammentato rendeva la gestione complessa e aumentava il rischio di lacune nella copertura delle preferenze espresse. Il nuovo policy token condiviso risolve questa frammentazione introducendo un meccanismo unico e interoperabile.
La scelta di basare questo standard sul lavoro dell'IETF, un organismo tecnico internazionale a partecipazione multipla, conferisce all'iniziativa una legittimità istituzionale che va oltre la semplice decisione unilaterale di Google. Il coinvolgimento di editori, organizzazioni della società civile, autorità di regolamentazione e altri stakeholder nel processo di elaborazione della proposta segnala un cambio di approccio verso una governance più strutturata e condivisa del web nel contesto AI.
Per il SEO e la visibilità organica, la distinzione tra optare fuori e optare dentro diventa sempre più critica. I siti che disabilitano Google-Extended escludono i propri contenuti non solo dalla formazione dei modelli, ma anche dalla possibilità di essere citati nel grounding delle applicazioni Gemini, perdendo potenzialmente una fonte di traffico referenziale emergente. Al contrario, i siti che consentono Google-Extended si posizionano come fonti privilegiate nelle risposte AI, con impatti diretti sulla visibilità di marca e sull'autorevolezza percepita.
Il riferimento esplicito al Codice di Condotta europeo GPAI indica che questa iniziativa non è soltanto tecnica, ma risponde anche a pressioni regolatorie concrete. La conformità al quadro normativo europeo sull'AI diventa così parte integrante della strategia di presenza online, specialmente per le organizzazioni che operano o hanno audience nell'Unione Europea. I responsabili SEO e marketing devono quindi iniziare a considerare le scelte relative al robots.txt come decisioni di compliance, e non solo di indicizzazione.
Il fatto che l'adozione sia prevista per il 2027 lascia alle agenzie e ai responsabili marketing un periodo di transizione utile per valutare le proprie scelte editoriali e di strategia dei contenuti. Tuttavia, è opportuno non attendere l'ultimo momento: le configurazioni attuali di Google-Extended già producono effetti sulla visibilità nelle applicazioni Gemini, e una revisione anticipata della propria posizione permette di adeguare la strategia con il giusto margine operativo.
Cosa fare
- Verificare immediatamente la configurazione attuale del file robots.txt per identificare se Google-Extended è già impostato, se è assente o se vi sono direttive contradditorie, e documentare lo stato di partenza prima che il nuovo standard venga implementato nel 2027.
- Definire una policy editoriale interna chiara sull'uso dei contenuti del sito per la formazione AI, coinvolgendo i responsabili legali, editoriali e di marketing, in modo da tradurre quella policy in istruzioni coerenti nel robots.txt tanto per i controlli specifici per provider quanto per il futuro policy token condiviso.
- Valutare strategicamente l'opportunità di consentire Google-Extended per i contenuti che si vuole rendere visibili nelle risposte delle applicazioni Gemini, considerando che i siti che lo abilitano esplicitamente possono ricevere clic tramite il grounding e aumentare così la propria superficie di visibilità nel panorama AI.
- Monitorare gli sviluppi del gruppo di lavoro AIPREF presso l'IETF e le comunicazioni ufficiali di Google Search Central per restare aggiornati sulle specifiche tecniche del policy token condiviso e anticipare i necessari aggiornamenti tecnici al robots.txt.
- Segmentare i contenuti del sito in base al loro valore editoriale e commerciale, per poter applicare preferenze differenziate: alcune sezioni potrebbero beneficiare di una presenza nelle risposte AI, mentre altre potrebbero richiedere protezione più stringente, usando i controlli per singolo provider in combinazione con il segnale condiviso.
- Integrare la gestione delle preferenze AI nel robots.txt all'interno dei processi di audit SEO periodici, trattandola come una variabile di compliance tecnica e di visibilità organica al pari delle direttive di crawling e indicizzazione tradizionali.
I siti web che scelgono di consentire esplicitamente Google-Extended restano eleggibili per comparire nelle risposte e ricevere traffico tramite il grounding nelle applicazioni Gemini, rendendo questa decisione strategicamente rilevante per la visibilità organica futura. La possibilità di gestire le preferenze AI con un unico segnale nel robots.txt semplifica notevolmente la governance dei contenuti e riduce il rischio di configurazioni incoerenti tra provider diversi.