Google unterstützt gemeinsames KI-Training-Steuerungssignal in robots.txt
Google hat angekündigt, einen gemeinsamen branchenweiten Kontrollmechanismus für KI-Trainingspräferenzen in robots.txt zu unterstützen, der auf der Arbeit der AIPREF-Arbeitsgruppe der IETF basiert. Website-Betreiber können damit ihre KI-Trainingspräferenzen mit einem einzigen Eintrag gegenüber mehreren KI-Anbietern gleichzeitig ausdrücken. Die Umsetzung ist für 2027 gemeinsam mit weiteren KI-Anbietern geplant.
Kernpunkte
- Google kündigt die Unterstützung eines gemeinsamen Policy-Tokens in robots.txt an, mit dem Website-Betreiber ihre KI-Trainingspräferenzen gegenüber mehreren KI-Anbietern gleichzeitig festlegen können, anstatt für jeden Anbieter separate Einträge zu pflegen.
- Wenn ein Website-Betreiber dieses gemeinsame Policy-Token zum Opt-out verwendet und Google-Extended nicht explizit angegeben ist, interpretiert Google dies so, als hätte der Publisher Google-Extended deaktiviert.
- Bestehende unternehmensspezifische Steuerungsoptionen wie Google-Extended bleiben weiterhin gültig und können parallel zum neuen gemeinsamen Signal eingesetzt werden, sodass eine feingranulare Steuerung je Anbieter möglich bleibt.
- Der Mechanismus basiert auf der Arbeit der AIPREF-Arbeitsgruppe der Internet Engineering Task Force (IETF) und ist konsistent mit dem EU-Verhaltenskodex für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI) im Rahmen des EU AI Acts.
- Google plant, diesen neuen Kontrollmechanismus gemeinsam mit anderen KI-Anbietern im Jahr 2027 einzuführen und wird bis dahin regelmäßige Updates zum Fortschritt bereitstellen.
- Websites, die Google-Extended ausdrücklich erlauben, sind berechtigt, in Antworten von Gemini Apps zu erscheinen und Klicks über Grounding zu erhalten, was einen direkten Anreiz zur bewussten Entscheidung für das Opt-in darstellt.
Analyse
Mit der Ankündigung vom 30. Oktober 2026 reagiert Google auf einen lang anhaltenden Bedarf der Publisher-Community: Bisher mussten Website-Betreiber, die ihr Einverständnis zum KI-Training differenziert regeln wollten, für jeden Anbieter eigene Direktiven in der robots.txt-Datei verwalten. Der neue Ansatz mit einem gemeinsamen Policy-Token schafft hier erhebliche Vereinfachung, da eine einzige Angabe von mehreren teilnehmenden KI-Anbietern gleichzeitig respektiert wird. Dies senkt die technische Hürde für kleinere Website-Betreiber erheblich, die bisher mit der wachsenden Komplexität der robots.txt-Verwaltung überfordert waren.
Besonders relevant ist die Rückfalllogik, die Google für die Interpretation des gemeinsamen Tokens eingeführt hat: Wenn ein Website-Betreiber das Policy-Token zum Opt-out nutzt, aber keinen expliziten Google-Extended-Eintrag gesetzt hat, behandelt Google dieses Signal so, als wäre Google-Extended deaktiviert. Das bedeutet, dass Betreiber, die granulare Kontrolle über einzelne Anbieter behalten wollen, ihre bestehenden spezifischen Direktiven weiterhin explizit setzen müssen. Die Koexistenz von branchenweitem Signal und anbieterspezifischer Steuerung bietet eine flexible Architektur, die sowohl einfache als auch komplexe Konfigurationen ermöglicht.
Der regulatorische Kontext dieser Ankündigung ist nicht zu unterschätzen: Der Mechanismus ist explizit auf den EU AI Act abgestimmt, dessen Verhaltenskodex für GPAI-Modellanbieter robots.txt als primäre Methode zur maschinenlesbaren Übermittlung von Verlegervorlieben anerkennt. Dies macht den Standard nicht nur zu einer technischen Empfehlung, sondern verleiht ihm eine rechtliche Relevanz für Betreiber, die ihren Content in Europa anbieten und sicherstellen müssen, dass ihre Präferenzen zum KI-Training korrekt signalisiert werden.
Die Einbindung von Feedback aus Verlagskreisen, Zivilgesellschaft, Regulierungsbehörden und anderen Interessengruppen in die Entwicklung dieses Vorschlags unterstreicht den Anspruch auf einen dauerhaften und breit akzeptierten Standard. Die Standardisierung über die IETF-Arbeitsgruppe AIPREF gibt dem Mechanismus ein formelles technisches Fundament und erhöht die Wahrscheinlichkeit, dass weitere KI-Anbieter ihn adoptieren werden. Für Agenturen und Marketing-Verantwortliche bedeutet dies, dass die Implementierung dieser Steuerung nicht nur Google betrifft, sondern perspektivisch das gesamte KI-Training-Ökosystem adressiert.
Die kommerzielle Dimension des Opt-in-Anreizes verdient besondere Aufmerksamkeit: Websites, die Google-Extended ausdrücklich erlauben, qualifizieren sich für Erscheinungen in Gemini Apps-Antworten und können Klicks über Grounding generieren. Damit verknüpft Google die KI-Trainingspräferenz direkt mit der Sichtbarkeit und dem Traffic-Potenzial in KI-gestützten Oberflächen. Publisher, die bislang ihre Präferenzen nicht aktiv verwaltet haben, sollten diese Konsequenz beim Festlegen ihrer Strategie bewusst berücksichtigen.
Was ist zu tun
- Überprüfen Sie sofort die aktuelle robots.txt-Konfiguration Ihrer Website und dokumentieren Sie, welche KI-bezogenen Direktiven bereits vorhanden sind, insbesondere Google-Extended, um eine fundierte Entscheidungsgrundlage für die Umstellung auf den neuen Mechanismus zu schaffen.
- Definieren Sie intern eine klare strategische Position zum KI-Training Ihrer Inhalte, also ob Sie ein globales Opt-out, ein selektives Opt-out für bestimmte Anbieter oder ein Opt-in für Google-Extended anstreben, und dokumentieren Sie diese Entscheidung mit Blick auf zukünftige Compliance-Anforderungen unter dem EU AI Act.
- Beobachten Sie die Entwicklung des AIPREF-Standards bei der IETF aktiv, da die endgültige Spezifikation des gemeinsamen Policy-Tokens noch nicht abgeschlossen ist und sich die genaue Syntax bis zur geplanten Einführung 2027 noch verändern kann.
- Wenn Sie Sichtbarkeit und Traffic-Potenzial über Gemini Apps und ähnliche KI-gestützte Oberflächen anstreben, sollten Sie Google-Extended explizit in der robots.txt erlauben, da nur ein ausdrückliches Opt-in die Berechtigung zur Erscheinung in solchen Antworten sicherstellt.
- Sprechen Sie mit Ihrem Entwicklungsteam oder Ihrer technischen SEO-Abteilung, um sicherzustellen, dass bei der Einführung des neuen Policy-Tokens im Jahr 2027 eine schnelle und fehlerfreie Implementierung möglich ist, ohne bestehende anbieterspezifische Direktiven unbeabsichtigt zu überschreiben.
- Verfolgen Sie die offiziellen Updates von Google Search Central sowie die Ankündigungen anderer großer KI-Anbieter, um frühzeitig zu erfahren, welche Anbieter den gemeinsamen Standard unterstützen werden, und passen Sie Ihre robots.txt-Strategie entsprechend rechtzeitig an.
Websites, die Google-Extended explizit erlauben, können weiterhin in Antworten von Gemini Apps erscheinen und Klicks über Grounding erhalten, was die Sichtbarkeit in KI-gestützten Suchumgebungen direkt beeinflusst. Die neue Steuerungsoption gibt Website-Betreibern mehr Kontrolle darüber, ob und wie ihre Inhalte für das Training von KI-Modellen verwendet werden, ohne jeden Anbieter separat konfigurieren zu müssen.