Google anuncia suporte a controle unificado de treinamento de IA no robots.txt
O Google anunciou planos para suportar um 'policy token' compartilhado no robots.txt que permitirá aos proprietários de sites expressar suas preferências de treinamento de IA para múltiplos provedores em uma única etapa. Essa iniciativa, baseada no trabalho do grupo AIPREF da IETF, complementa o Google-Extended já disponível desde 2023 e deverá ser implementada por grandes provedores de IA em 2027.
Pontos-chave
- O Google planeja suportar um 'policy token' compartilhado dentro do robots.txt que permitirá a proprietários de sites definir preferências de treinamento de IA para múltiplos provedores de uma só vez, sem precisar configurar instruções separadas para cada empresa.
- Quando um site usar esse token de política para recusar o treinamento no robots.txt, e o Google-Extended não estiver explicitamente especificado, o Google interpretará isso como se o publicador tivesse desautorizado o Google-Extended.
- Os controles específicos por empresa, como o Google-Extended, continuarão funcionando em paralelo com esse novo sinal conjunto, permitindo configurações granulares para provedores individuais.
- Sites que permitem especificamente o Google-Extended são elegíveis para aparecer em respostas geradas por IA e receber cliques via grounding nos aplicativos Gemini.
- A proposta está alinhada ao Código de Práticas da UE para Modelos de IA de Uso Geral (GPAI) sob o AI Act europeu, que reconhece o robots.txt como principal método de expressão de preferências legíveis por máquinas.
- A implementação conjunta entre grandes provedores de IA está prevista para 2027, com atualizações de progresso a serem divulgadas ao longo do tempo.
Análise
Desde 2023, o Google oferece o Google-Extended como mecanismo de controle individual para que sites optem por não participar do treinamento de modelos de IA. O problema prático desse modelo é que cada provedor de IA exige suas próprias diretivas no robots.txt, obrigando os administradores a mapear e atualizar múltiplas regras conforme novos agentes surgem no mercado. A nova abordagem do 'policy token' compartilhado resolve exatamente esse ponto de atrito ao centralizar a decisão em um único sinal interpretável por todos os provedores participantes.
O mecanismo proposto baseia-se nos trabalhos do grupo AIPREF da Internet Engineering Task Force (IETF), o que confere legitimidade técnica e potencial de padronização global à iniciativa. A participação de editores, grupos da sociedade civil, reguladores e outras partes interessadas no refinamento da proposta demonstra que o modelo foi desenhado para ser robusto e duradouro, indo além de uma decisão unilateral do Google. Isso sinaliza uma mudança estrutural na forma como a indústria de IA gerenciará o consentimento de uso de conteúdo da web.
Para o universo do SEO e da visibilidade digital, o impacto é duplo. De um lado, sites que optam por bloquear o treinamento de IA ficam fora dos sistemas generativos dos principais provedores, o que pode reduzir sua presença em respostas geradas por IA no futuro. De outro, sites que permitem o Google-Extended explicitamente são elegíveis para aparecer no grounding dos aplicativos Gemini e receber cliques diretos, configurando um novo canal de aquisição de tráfego que começa a se assemelhar ao papel tradicional do índice de busca.
A conformidade com o AI Act europeu, especialmente a referência ao Código de Práticas para Modelos GPAI, adiciona uma dimensão regulatória importante. Empresas que operam na União Europeia ou atendem audiências europeias precisarão considerar o robots.txt não apenas como ferramenta técnica de SEO, mas como instrumento de conformidade legal. Isso eleva o robots.txt a um documento de governança de dados, com consequências jurídicas potenciais associadas às suas configurações.
O fato de a implementação estar prevista para 2027, com outros grandes provedores de IA adotando o mesmo mecanismo, indica que o período atual é estratégico para que agências e responsáveis de marketing se antecipem. Auditar as configurações atuais de robots.txt, entender o posicionamento de cada site frente ao treinamento de IA e definir uma política editorial clara são ações que precisam ser iniciadas agora, antes que o novo padrão entre em vigor.
O que fazer
- Auditar imediatamente os arquivos robots.txt de todos os sites gerenciados para identificar se há diretivas relacionadas ao Google-Extended ou a outros agentes de IA, e documentar o estado atual das permissões.
- Definir uma política editorial clara para cada site ou cliente sobre o nível de participação desejado no treinamento de modelos de IA, diferenciando entre bloqueio total, permissão total e configurações por provedor específico.
- Para sites que desejam visibilidade nos aplicativos Gemini e em outros sistemas de IA generativa, garantir que o Google-Extended esteja explicitamente permitido no robots.txt, pois isso habilita o grounding e a geração de cliques via IA.
- Acompanhar de perto os desenvolvimentos do grupo AIPREF da IETF e as comunicações oficiais do Google Search Central para entender o formato exato do 'policy token' quando for publicado, adaptando os robots.txt antes da entrada em vigor em 2027.
- Para clientes que operam no mercado europeu, envolver as equipes jurídicas e de privacidade na revisão das configurações de robots.txt, tratando-o como um instrumento de conformidade com o AI Act e não apenas como diretiva técnica de rastreamento.
- Estabelecer um processo de monitoramento contínuo das diretivas robots.txt, incluindo revisões periódicas quando novos agentes de IA entram no mercado, de modo que o controle de preferências de treinamento permaneça atualizado e alinhado à estratégia de conteúdo de cada site.
Sites que permitem explicitamente o Google-Extended tornam-se elegíveis para aparecer em respostas e receber cliques via grounding nos aplicativos Gemini, o que representa uma nova fonte de visibilidade e tráfego. A adoção ou recusa desse novo sinal afetará diretamente a presença do conteúdo nos sistemas de IA generativa dos principais players do setor.