Google stöder gemensam AI-träningskontroll i robots.txt från 2027
Google meddelar att de planerar att stödja en gemensam branschstandard för AI-träningskontroll direkt i robots.txt-filen, baserad på arbete från IETF:s AIPREF-arbetsgrupp. Detta gör det möjligt för webbplatsägare att med ett enda direktiv styra sina AI-träningspreferenser gentemot flera AI-leverantörer samtidigt. Implementeringen planeras ske tillsammans med andra AI-aktörer under 2027.
Nyckelpunkter
- Google planerar att stödja en gemensam 'policy token' i robots.txt som låter webbplatsägare ange AI-träningspreferenser gentemot flera AI-leverantörer i ett enda steg, med planerad lansering under 2027.
- Den nya mekanismen bygger på arbetet från AIPREF-arbetsgruppen vid Internet Engineering Task Force (IETF), vilket innebär att standarden förankras i en erkänd internationell teknikstyrningsprocess.
- Om en webbplats använder den gemensamma policy-token för att neka AI-träning och inte explicit anger Google-Extended, kommer Google att tolka detta som om Google-Extended också nekats.
- Befintliga företagsspecifika direktiv som Google-Extended (som erbjudits sedan 2023) fortsätter att fungera parallellt med den nya gemensamma signalen, vilket ger webbplatsägare möjlighet att kombinera bred och specifik styrning.
- Webbplatser som explicit tillåter Google-Extended är berättigade att visas i svar och ta emot klick via så kallad grounding i Gemini Apps, vilket kopplar AI-träningskontroll direkt till trafikpotential.
- Förslaget är förenligt med EU:s uppförandekod för leverantörer av allmänna AI-modeller (GPAI) under EU AI Act, som erkänner robots.txt som en primär metod för att uttrycka maskinläsbara preferenser.
Analys
Den centrala förändringen är övergången från fragmenterade, leverantörsspecifika direktiv till en enhetlig branschsignal i robots.txt. Tidigare var webbplatsägare tvungna att hålla reda på separata crawl-agenter och direktiv för varje AI-aktör, vilket skapade komplexitet och risk för att missa viktiga aktörer. Med en gemensam policy-token kan en enda rad i robots.txt ge uttryck för preferenser gentemot samtliga deltagande AI-leverantörer, vilket drastiskt sänker tröskeln för att utöva faktisk kontroll.
Kopplingen till IETF:s AIPREF-arbetsgrupp ger förslaget legitimitet och pekar mot en framtida formell standard. Det är inte längre enbart Google som definierar spelreglerna, utan en multistakeholder-process med deltagande från publicister, civilsamhällesorganisationer och tillsynsmyndigheter. Det innebär att den standard som slutligen fastställs sannolikt blir mer hållbar och bredare antagen än ensidiga lösningar.
För SEO och synlighet i AI-drivna miljöer är det avgörande att notera att tillstånd för Google-Extended direkt kopplas till möjligheten att visas i Gemini Apps-svar och ta emot klick via grounding. Det uppstår därmed en tydlig affärslogik kring valet att tillåta eller neka AI-träning, eftersom det påverkar om webbplatsens innehåll används som källa i AI-genererade svar och om det kan ge faktisk trafik.
Förslaget är också politiskt och regulatoriskt förankrat. EU AI Act och den tillhörande uppförandekoden för GPAI-leverantörer lyfter explicit fram robots.txt som ett erkänt verktyg för att uttrycka maskinläsbara preferenser. Det innebär att webbplatsägare som aktivt hanterar sina robots.txt-inställningar inte bara optimerar för sökmotorer utan också uppfyller förväntningar från europeiska tillsynsmyndigheter.
Den parallella existensen av den gemensamma signalen och företagsspecifika direktiv skapar en flexibel arkitektur för styrning. Webbplatsägare kan använda den breda signalen som grundinställning och sedan göra undantag för specifika aktörer, exempelvis tillåta Google-Extended medan man nekar andra AI-leverantörers träning. Denna granularitet är viktig för publicister som vill maximera sin synlighet i Googles ekosystem utan att ge upp kontroll gentemot övriga aktörer.
Vad du bör göra
- Gå igenom era befintliga robots.txt-filer redan nu och kartlägg vilka AI-relaterade direktiv som finns, inklusive eventuella inställningar för Google-Extended, så att ni är förberedda inför den nya gemensamma policy-token som planeras 2027.
- Definiera en tydlig intern policy för AI-träning baserat på affärsmål: om synlighet i Gemini Apps och AI-drivna svar är viktigt för er trafik bör ni explicit tillåta Google-Extended, medan ni kan använda den gemensamma signalen för att neka övriga AI-aktörers träning.
- Följ aktivt arbetet i IETF:s AIPREF-arbetsgrupp och Googles officiella uppdateringar från Search Central, eftersom den slutliga specifikationen för policy-token kan förändras fram till 2027 och det är viktigt att implementera rätt syntax från start.
- Utbilda era tekniska och redaktionella team om skillnaden mellan crawling för sökning och crawling för AI-träning, eftersom robots.txt-direktiv för de två ändamålen kan behöva hanteras separat och har olika konsekvenser för synlighet.
- Säkerställ att er hantering av robots.txt är förenlig med kraven under EU AI Act och GPAI-uppförandekoden, särskilt om ni riktar er mot europeiska marknader, då regulatoriska förväntningar nu explicit refererar till robots.txt som styrningsverktyg.
- Planera för ett tekniskt test och en genomgång av robots.txt-strukturen under 2026, så att ni snabbt kan implementera den nya gemensamma policy-token när Google och andra AI-leverantörer officiellt lanserar stödet under 2027.
Webbplatser som explicit tillåter Google-Extended kan visas i svar och få klick via Gemini Apps, vilket innebär att kontrollen över AI-träningsinställningar nu direkt påverkar synligheten i AI-drivna plattformar. Webbplatsägare som inte hanterar sina robots.txt-inställningar riskerar att oavsiktligt bli exkluderade från eller inkluderade i AI-träning och AI-genererade svar.