Google kondigt gedeelde AI-trainingscontrole aan via robots.txt
Google heeft aangekondigd een gedeelde AI-trainingscontrole te gaan ondersteunen in robots.txt, waarmee website-eigenaren in één stap hun voorkeuren voor meerdere AI-aanbieders kunnen instellen. Dit initiatief is gebaseerd op het werk van de AIPREF-werkgroep bij de IETF en bouwt voort op de bestaande Google-Extended-controle die sinds 2023 beschikbaar is. De implementatie bij meerdere grote AI-aanbieders is gepland voor 2027.
Kernpunten
- Google kondigt ondersteuning aan voor een gedeelde 'policy token' in robots.txt, waarmee website-eigenaren hun AI-trainingsvoorkeuren in één stap kunnen communiceren aan meerdere AI-aanbieders tegelijk.
- De nieuwe controle is gebaseerd op het werk van de AIPREF-werkgroep bij de Internet Engineering Task Force (IETF) en maakt deel uit van een bredere industrie-standaardisering.
- Wanneer een website de gedeelde policy token gebruikt om zich af te melden voor AI-training en Google-Extended niet expliciet is ingesteld, interpreteert Google dit alsof de publisher Google-Extended heeft uitgeschakeld.
- Bestaande bedrijfsspecifieke controles zoals Google-Extended blijven naast het nieuwe gedeelde signaal gewoon functioneren, zodat website-eigenaren zowel een brede voorkeur als individuele instructies per AI-aanbieder kunnen instellen.
- Websites die Google-Extended expliciet toestaan, komen in aanmerking om te verschijnen in reacties en ontvangen klikken via grounding in Gemini Apps.
- Google streeft ernaar deze nieuwe controle samen met andere AI-aanbieders in 2027 te ondersteunen, wat aansluit bij de EU Code of Practice voor General Purpose AI (GPAI) Model Providers onder de EU AI Act.
Analyse
Tot nu toe moesten website-eigenaren voor elke afzonderlijke AI-aanbieder aparte instructies in hun robots.txt opnemen om controle te houden over het gebruik van hun content voor AI-training. Dit leidde tot een gefragmenteerd en moeilijk te beheren systeem, waarbij kleine of middelgrote publishers regelmatig het overzicht verloren over welke crawlers welke rechten hadden. De nieuwe gedeelde policy token lost dit probleem op door één breed signaal te introduceren dat door meerdere deelnemende AI-aanbieders wordt erkend.
De basis van deze aanpak ligt in de AIPREF-werkgroep van de IETF, een multistakeholderproces waarbij publishers, maatschappelijke organisaties, toezichthouders en technologiebedrijven betrokken zijn. Dit geeft de standaard een bredere legitimiteit dan een eenzijdig door één bedrijf ingevoerde maatregel. Google benadrukt expliciet dat het voorstel consistent is met de EU AI Act en de bijbehorende Code of Practice, wat het voor Europese organisaties bijzonder relevant maakt.
Vanuit SEO-perspectief is de relatie met Gemini Apps cruciaal. Website-eigenaren die Google-Extended toestaan, komen in aanmerking om geciteerd te worden in AI-gegenereerde antwoorden en kunnen via grounding klikken ontvangen. Dit maakt de keuze tussen opt-in en opt-out voor AI-training steeds meer een strategische afweging die directe invloed heeft op de zichtbaarheid in AI-interfaces, naast de klassieke zoekmachineresultaten.
De overgangsperiode naar 2027 geeft website-eigenaren de tijd om hun robots.txt-configuratie te herzien en bewust te kiezen. Tegelijkertijd betekent het dat de huidige fragmentarische situatie met bedrijfsspecifieke tokens zoals Google-Extended nog enige tijd van kracht blijft. Beide mechanismen bestaan naast elkaar, wat enige complexiteit met zich meebrengt voor beheerders die zowel brede als specifieke instructies willen combineren.
De adoptie van dit voorstel door meerdere grote AI-aanbieders is bepalend voor het succes ervan. Google roept expliciet de industrie op om zich aan te sluiten, zodat website-eigenaren via één signaal daadwerkelijk een breed effect kunnen bereiken. Zolang niet alle relevante spelers meedoen, blijft het noodzakelijk om naast de gedeelde token ook individuele instructies te beheren.
Wat te doen
- Controleer nu al uw robots.txt-bestand en documenteer welke AI-gerelateerde instructies er momenteel in staan, zodat u bij de introductie van de gedeelde policy token in 2027 een duidelijk vertrekpunt heeft.
- Beslis bewust of u AI-training wilt toestaan of weigeren en leg deze keuze vast als beleid binnen uw organisatie, rekening houdend met de implicaties voor zichtbaarheid in AI-interfaces zoals Gemini Apps.
- Houd de ontwikkelingen rond Google-Extended nauwlettend in de gaten, want websites die dit signaal expliciet toestaan, komen in aanmerking voor verschijning in AI-gegenereerde antwoorden en kunnen daarmee extra organisch verkeer genereren.
- Volg de voortgang van de AIPREF-werkgroep bij de IETF om tijdig op de hoogte te zijn van de definitieve standaardisering van het vocabulaire en de bijbehorende implementatievereisten.
- Combineer de nieuwe gedeelde policy token met bedrijfsspecifieke instructies voor aanbieders waarvoor u een afwijkende voorkeur heeft, zodat u zowel breed als gericht controle behoudt over het gebruik van uw content.
- Neem voor Europese organisaties de vereisten van de EU AI Act en de bijbehorende Code of Practice voor GPAI-modellen mee in uw robots.txt-strategie, aangezien robots.txt daarin wordt erkend als primaire methode voor machine-leesbare voorkeuren van webpublishers.
Website-eigenaren die Google-Extended expliciet toestaan, komen in aanmerking om te verschijnen in antwoorden van Gemini Apps en kunnen zo extra verkeer ontvangen via grounding. Wie gebruik maakt van de nieuwe gedeelde policy token om opt-out in te stellen, wordt door Google behandeld alsof Google-Extended ook is uitgeschakeld, wat directe gevolgen heeft voor de zichtbaarheid in AI-gegenereerde antwoorden.