CDN-migratie en Googlebot: hoe vermijd je crawlproblemen bij de overstap?
Google Search Central legt uit waarom een migratie naar een CDN paradoxaal genoeg een piek in crawlverkeer op de oorspronkelijke server kan veroorzaken, en hoe site-eigenaren dit fenomeen correct moeten aanpakken. Het artikel beschrijft de technische mechanismen achter crawl-budgetbeheer, de gevaren van blanco botblokkering via WAF of CDN-instellingen, en biedt concrete strategieën om de transitie veilig te doorlopen. Voor SEO-verantwoordelijken en technische marketeers is dit essentiële lectuur om indexeringsproblemen en zichtbaarheidsverlies te voorkomen.
Kernpunten
- Bij een CDN-migratie start de edge-cache leeg (cold cache), waardoor elk eerste verzoek voor een URL een cache-miss is die alsnog rechtstreeks naar de origin-server wordt doorgestuurd, precies het tegenovergestelde van wat de migratie beoogt te bereiken.
- Google's crawlinfrastructuur interpreteert de lage latentie van een CDN-netwerk als een signaal dat de server gezond en krachtig is, waarna het crawltempo automatisch wordt opgevoerd, wat de druk op de origin-server tijdelijk verhoogt.
- Het activeren van blanco botbescherming (WAF of CAPTCHA-regels zonder uitzonderingen) blokkeert ook Googlebot, die CAPTCHA-uitdagingen niet kan oplossen, met als gevolg dat pagina's en productlistings geleidelijk uit de zoekresultaten verdwijnen.
- Google raadt aan om geverifieerde crawlers expliciet vrij te stellen in CDN- en firewallinstellingen, op basis van de gepubliceerde IP-reeksen van Google, in plaats van alle geautomatiseerde clients te blokkeren.
- Het vooraf opwarmen van de CDN-cache via programmatisch ophalen van populaire en piekmomenten-pagina's (zoals promotiepagina's of seizoensaanbiedingen) vermindert de belasting op de origin-server aanzienlijk tijdens de kritieke opstartfase.
- Als tijdelijke noodrem bij overbelasting adviseert Google het gebruik van HTTP-statuscodes 429 (Too Many Requests) of 503 (Service Unavailable) voor een korte periode van enkele uren tot maximaal twee dagen, conform de officiële richtlijnen voor noodreductie van het crawltempo.
Analyse
Het centrale probleem dat Google beschrijft is een mechanisch misverstand tussen de werking van CDN-caches en het gedrag van crawlers. Menselijke bezoekers concentreren zich doorgaans op een beperkt aantal populaire pagina's, zoals de homepage of actuele promoties, waardoor die snel in de edge-cache worden opgeslagen. Crawlers daarentegen doorzoeken systematisch het volledige URL-inventaris van een domein, wat betekent dat elk nieuw uniek URL een cache-miss genereert die de origin-server bereikt. Dit gecombineerde effect, meer crawlverzoeken door de lage latentie enerzijds en een lege cache anderzijds, creëert een tijdelijk verhoogde serverbelasting die precies het tegendeel is van wat de CDN-migratie moest oplossen.
De automatische aanpassing van het crawltempo door Google is een weinig bekende maar cruciale factor in dit scenario. Google's systemen meten continu de responstijden van een host en verhogen of verlagen het crawltempo op basis van die metingen. Wanneer een domein plotseling overschakelt naar een snel CDN-netwerk, interpreteren de crawlsystemen de drastisch verbeterde verbindingstijden als een teken van een gezonde, krachtige infrastructuur, waarna het crawltempo automatisch omhoog gaat. Dit is geen bug maar een beoogd gedrag dat websites beloont voor goede prestaties, maar het creëert een onverwacht knelpunt in de overgangsfase wanneer de edge-caches nog niet gevuld zijn.
De reactie van veel systeembeheerders op de onverwachte piek in geautomatiseerd verkeer is begrijpelijk maar riskant: het activeren van brede botbeschermingsregels in het CDN-dashboard of de Web Application Firewall. Dergelijke regels onderscheppen alle geautomatiseerde verzoeken zonder onderscheid, inclusief die van Googlebot. Omdat Googlebot CAPTCHA-uitdagingen niet kan oplossen, belandt de crawler op een foutpagina die geen bruikbare inhoud oplevert voor de index. Vanuit het perspectief van Google lijkt de website bewust ontoegankelijk gemaakt, wat op termijn leidt tot een terugval in indexering en verlies van organische zichtbaarheid.
Een correct uitgevoerde CDN-migratie vereist dus een proactieve aanpak op drie niveaus. Ten eerste moeten geverifieerde crawlers altijd worden vrijgesteld van botbeschermingsregels, bij voorkeur via de beheerde regels die de meeste grote CDN-aanbieders standaard aanbieden. Ten tweede is het vooropwarmen van de cache een onderschatte maar effectieve maatregel: door de meest bezochte en meest gecrawlde URL's programmatisch op te halen voordat het volledige verkeer via de CDN wordt geleid, wordt de cold-cache-periode aanzienlijk verkort. Ten derde bieden de HTTP-statuscodes 429 en 503 een gecontroleerd mechanisme om tijdelijk de crawlsnelheid te verlagen zonder Googlebot definitief te blokkeren, omdat Google deze codes herkent als tijdelijke beperking en het crawlen later hervat.
Wat te doen
- Stel geverifieerde crawlers zoals Googlebot altijd expliciet vrij van WAF-regels en botbeschermingsfilters in de CDN-instellingen, en gebruik daarvoor de officieel gepubliceerde IP-reeksen van Google om de identiteit van de crawler te verifiëren.
- Warm de CDN-cache proactief op door de meest bezochte pagina's, aankomende promotiepagina's en de meest gecrawlde URL's programmatisch op te halen via de CDN vóór de officiële overschakeling van het volledige traffic, zodat de edge-servers al gevuld zijn voordat crawlers en bezoekers arriveren.
- Gebruik bij overbelasting van de origin-server tijdelijk de HTTP-statuscodes 429 of 503 als gecontroleerde noodrem, en beperk deze maatregel tot enkele uren of maximaal één à twee dagen, conform de Google-richtlijnen voor urgente reductie van het crawltempo.
- Configureer eventuele botblokkering zo specifiek mogelijk op basis van ongewenste bots door hun user-agent of gedragskenmerken te targeten, in plaats van alle geautomatiseerde clients te blokkeren met een generieke regel.
- Bekijk vóór de migratie de crawl-budgetdocumentatie van Google en identificeer de URL's met de hoogste crawlfrequentie in Google Search Console, zodat de cache-opwarmstrategie prioriteit geeft aan de meest crawlintensieve delen van het domein.
- Monitor de origin-serverlogs en de foutrapportage in Google Search Console actief tijdens de eerste dagen na de CDN-migratie om eventuele blokkeringen van Googlebot (HTTP 403, CAPTCHA-fouten) snel te detecteren en te corrigeren voordat indexeringsproblemen zich manifesteren.
Een verkeerd geconfigureerde CDN-migratie kan Googlebot blokkeren via CAPTCHA-muren of botbeschermingsregels, waardoor pagina's geleidelijk uit de zoekresultaten verdwijnen en de indexering van het volledige domein in gevaar komt. Een goede voorbereiding, inclusief het vrijstellen van geverifieerde crawlers en het vooropwarmen van caches, beschermt zowel de serverstabiliteit als de organische vindbaarheid.