CDN-Migration und Googlebot: So vermeidest du Crawling-Probleme beim Wechsel
Google hat im November 2026 einen detaillierten Leitfaden veröffentlicht, der erklärt, warum eine CDN-Migration unmittelbar nach dem Launch zu einem starken Anstieg der Crawler-Anfragen am Ursprungsserver führen kann. Der Beitrag beschreibt die technischen Ursachen dieses Phänomens und gibt konkrete Handlungsempfehlungen, um den Ursprungsserver zu schützen, ohne Googlebot versehentlich zu blockieren. Für SEO-Verantwortliche und technische Marketingteams ist dieser Leitfaden essenziell, um Sichtbarkeitsverluste während einer Infrastrukturumstellung zu verhindern.
Kernpunkte
- Beim Wechsel auf ein CDN interpretiert Googles Crawling-Infrastruktur die deutlich niedrigere Latenz der Edge-Server als Zeichen gesteigerter Serverkapazität und erhöht daraufhin automatisch die Crawl-Rate, was den Ursprungsserver unerwartet stark belastet.
- Solange der CDN-Cache noch nicht befüllt ist (sogenannter Cold Cache), führt jede Anfrage eines Crawlers für eine neue URL zu einem Cache Miss, bei dem der Edge-Server die Anfrage vollständig an den Ursprungsserver weiterleiten muss.
- Crawler wie Googlebot durchsuchen systematisch eine breite URL-Inventarliste, während menschliche Besucher sich auf beliebte Seiten konzentrieren; das bedeutet, dass Crawler den Cache kaum vorwärmen, sondern fast ausschließlich Cache Misses erzeugen.
- Pauschale Bot-Schutzmaßnahmen in CDN-Dashboards oder Web Application Firewalls (WAF), die alle automatisierten Anfragen mit CAPTCHA-Challenges blockieren, treffen auch verifizierte Crawler wie Googlebot und unterbrechen die Indexierung.
- Google empfiehlt, für Notfallsituationen temporär den HTTP-Statuscode 429 (Too Many Requests) oder 503 (Service Unavailable) zurückzugeben, um die Crawl-Rate gezielt und vorübergehend zu drosseln, ohne Crawler dauerhaft auszusperren.
- Ein gezieltes Vorwärmen (Pre-Warming) des CDN-Caches durch programmatisches Abrufen der meistbesuchten und am häufigsten gecrawlten URLs vor der vollständigen Verkehrsumleitung reduziert den Druck auf den Ursprungsserver erheblich.
Analyse
Der Kern des Problems liegt in der Art und Weise, wie Googles automatisierte Crawling-Infrastruktur die Kapazität eines Servers einschätzt. Das System überwacht kontinuierlich Antwortzeiten und Verbindungsgeschwindigkeiten. Steigen diese Werte nach einer DNS-Umleitung auf ein CDN sprunghaft an, wertet Googles System dies als Zeichen eines massiven Hardware-Upgrades und erhöht die Crawl-Rate entsprechend. Dieser Mechanismus, der unter normalen Umständen sinnvoll ist, wird bei einer CDN-Migration zur Falle, weil die schnellen Edge-Latenzen ein trügerisches Bild der tatsächlichen Ursprungsserver-Kapazität erzeugen.
Die Phase des Cache-Warmings ist die kritischste Periode einer CDN-Migration. Solange der CDN-Cache leer ist, agiert das CDN nicht als Schutzschild, sondern lediglich als transparenter Durchleitungspunkt. Jede noch nicht gecachte URL, die von einem Crawler angefragt wird, löst einen vollständigen Roundtrip zum Ursprungsserver aus. Da Crawler darauf ausgelegt sind, möglichst viele verschiedene URLs zu erkunden, und nicht nur die populärsten Seiten erneut aufzurufen, erzeugen sie in dieser Phase nahezu ausschließlich Cache Misses. Das ist das exakte Gegenteil des Verhaltens menschlicher Besucher, die den Cache durch die Konzentration auf wenige beliebte Seiten schnell befüllen.
Eine besonders gefährliche Reaktion auf den beobachteten Traffic-Anstieg ist das pauschale Aktivieren von Bot-Schutzfunktionen im CDN oder der WAF. Diese Maßnahme ist verständlich aus der Perspektive eines Administrators, der einen unerwarteten Request-Spike sieht, jedoch kontraproduktiv aus SEO-Sicht. Wenn Googlebot eine CAPTCHA-Challenge erhält oder mit einem 403-Fehler blockiert wird, kann er die Seite nicht crawlen und indexieren. Aus Googles Perspektive erscheint die Website dann als absichtlich eingeschränkt oder defekt. Die Folge ist ein schrittweiser Rückgang der Indexierung und damit der organischen Sichtbarkeit.
Google verdeutlicht, dass es klare und dokumentierte Mechanismen gibt, um Crawling-Druck vorübergehend zu reduzieren, ohne Googlebot dauerhaft auszuschließen. Die Rückgabe von HTTP-Statuscodes 429 oder 503 ist ein von Google anerkanntes Signal, das den Crawler anweist, die Crawl-Rate zu drosseln und es später erneut zu versuchen. Dieser Ansatz ist gezielt, reversibel und schadet der langfristigen Indexierung nicht, wenn er nur für kurze Zeitfenster (wenige Stunden bis maximal ein bis zwei Tage) eingesetzt wird. Pauschale Bot-Blöcke hingegen senden kein temporäres Signal, sondern unterbrechen den Crawling-Prozess vollständig und ohne definierten Endzustand.
Was ist zu tun
- Verifizierte Crawler wie Googlebot in allen CDN- und WAF-Einstellungen explizit von Bot-Schutzregeln und CAPTCHA-Challenges ausnehmen, indem du die von Google veröffentlichten IP-Bereiche als Allowlist einträgst, bevor der CDN-Traffic aktiviert wird.
- Den CDN-Cache vor der vollständigen DNS-Umleitung gezielt vorwärmen, indem die am häufigsten gecrawlten URLs, die wichtigsten Landingpages und bevorstehende Saisonkampagnen-Seiten programmatisch und kontrolliert über den neuen CDN-Endpunkt abgerufen werden.
- Anstelle pauschaler Bot-Blocke auf präzise robots.txt-Regeln oder gezielte WAF-Regeln setzen, die nur tatsächlich unerwünschte Bots (anhand User-Agent oder spezifischer IP-Muster) blockieren, und verifizierte Crawler grundsätzlich ausklammern.
- Für den Fall, dass der Ursprungsserver während des Cache-Warmings unter kritische Last gerät, temporär HTTP-Statuscodes 429 oder 503 für eingehende Crawler-Anfragen konfigurieren und dieses Zeitfenster auf wenige Stunden bis maximal zwei Tage begrenzen.
- Die Crawl-Rate in der Google Search Console und die Serverauslastung am Ursprungsserver während der gesamten Migrationsphase aktiv überwachen, um frühzeitig auf unerwartete Lastspitzen reagieren zu können, ohne reflexartig pauschale Schutzmechanismen zu aktivieren.
- Das Crawl-Budget-Konzept von Google vor der Migration vollständig verstehen und sicherstellen, dass das interne Team die Unterschiede zwischen temporären Kapazitätssignalen (429, 503) und dauerhaften Ausschlüssen (403, robots.txt-Disallow) kennt, um im Notfall die richtige Maßnahme zu wählen.
Wird Googlebot durch pauschale Bot-Schutzmaßnahmen wie CAPTCHA-Challenges oder WAF-Regeln während der CDN-Migration blockiert, beginnen Seiten, Shopping-Einträge und andere indexierte Inhalte aus den Google-Suchergebnissen zu verschwinden. Eine fehlerhafte CDN-Konfiguration kann somit unmittelbaren und nachhaltigen Schaden für die organische Sichtbarkeit einer Website verursachen.