Migrar a una CDN sin bloquear a Googlebot: guía oficial de Google
Google Search Central publicó una guía detallada sobre los problemas de rastreo que pueden surgir al migrar un sitio a una CDN, explicando por qué el tráfico de crawlers se dispara durante la fase inicial y cómo gestionarlo correctamente. El artículo advierte sobre los riesgos de activar protecciones contra bots de forma masiva sin eximir a los rastreadores verificados, lo que puede provocar la desindexación de páginas. Conocer este comportamiento es esencial para cualquier equipo SEO o técnico que planifique una migración a CDN.
Puntos clave
- Al apuntar el DNS hacia una CDN, los tiempos de respuesta caen drásticamente y los sistemas de rastreo de Google interpretan esto como una señal de infraestructura más potente, lo que provoca un aumento inmediato y automático de la tasa de rastreo (crawl rate).
- Durante la fase de caché fría (cold cache), cada URL solicitada por primera vez en un nodo edge genera un cache miss y la solicitud llega directamente al servidor de origen, anulando temporalmente el efecto protector de la CDN.
- Los rastreadores exploran sistemáticamente el inventario completo de URLs de un sitio, a diferencia de los usuarios humanos que se concentran en las páginas más populares, lo que prolonga el período de calentamiento de caché y la exposición del servidor de origen.
- Activar reglas de protección contra bots de forma genérica en la CDN o en el WAF sin eximir a los rastreadores verificados bloquea a Googlebot con páginas de desafío CAPTCHA o errores, lo que puede derivar en la desindexación progresiva del sitio.
- Google recomienda usar los códigos de respuesta HTTP 429 (Too Many Requests) o 503 (Service Unavailable) como freno temporal si el origen sufre sobrecarga durante el calentamiento de caché, según la guía oficial para reducir urgentemente la tasa de rastreo.
- El precalentamiento de caché (cache pre-warming) mediante la solicitud programática y controlada de las URLs más importantes antes de redirigir todo el tráfico a la CDN es una medida preventiva eficaz para reducir el impacto en el servidor de origen.
Análisis
El artículo de Google Search Central revela un comportamiento poco documentado del sistema de rastreo de Google: la tasa de rastreo no es fija, sino que se ajusta dinámicamente en función de la velocidad de respuesta del servidor. Este mecanismo, conocido como límite de capacidad de rastreo o hostload, interpreta una latencia baja como una señal de que el servidor puede gestionar más peticiones. Por ello, el instante en que una CDN empieza a responder con tiempos de respuesta muy bajos, los crawlers aceleran automáticamente su actividad, generando exactamente el problema de tráfico que la CDN debía resolver.
El concepto de caché fría es el verdadero núcleo técnico del problema. Una CDN recién configurada no tiene ningún contenido almacenado en sus nodos edge distribuidos globalmente. Cada petición de un rastreador o de un usuario a una URL no cacheada obliga al edge server a consultar el servidor de origen, almacenar la respuesta y servirla. Mientras este proceso de calentamiento no se completa para las URLs más solicitadas, la CDN no actúa como escudo protector del origen sino como un intermediario transparente, con el agravante de que los crawlers recorren URLs en profundidad, no solo las más visitadas.
La reacción natural de muchos administradores ante un pico inesperado de tráfico automatizado es activar las protecciones anti-bot disponibles en el panel de la CDN o del WAF. Sin embargo, las reglas genéricas no distinguen entre bots maliciosos y rastreadores legítimos como Googlebot. Si el rastreador de Google recibe un CAPTCHA o una página de error 403, no puede indexar el contenido y, desde la perspectiva de Google, el sitio parece deliberadamente inaccesible. Si esta situación se prolonga, las páginas comienzan a desaparecer de los resultados de búsqueda de forma gradual.
Google proporciona en este artículo un conjunto de buenas prácticas concretas y jerarquizadas para gestionar la transición. La prioridad más alta es garantizar que los rastreadores verificados queden exentos de cualquier regla de bloqueo, utilizando los rangos de IP publicados oficialmente por Google o los mecanismos de exención de bots verificados que ofrecen la mayoría de las CDNs y WAFs principales. Solo si esta opción no es suficiente para proteger el origen, se recomienda recurrir temporalmente a respuestas 429 o 503, que comunican a Googlebot que debe reducir su ritmo sin interpretar el sitio como roto o bloqueado.
Esta guía tiene implicaciones directas para la planificación de proyectos de migración a CDN desde una perspectiva SEO. Los equipos de marketing y SEO deben estar involucrados en las decisiones técnicas sobre configuración de firewall y reglas de seguridad, ya que estas decisiones afectan directamente a la visibilidad orgánica. Integrar el precalentamiento de caché como paso previo a la puesta en producción y validar la accesibilidad de Googlebot antes y después de la migración son pasos que deben formar parte de cualquier checklist de lanzamiento.
Qué hacer
- Antes de activar la CDN en producción, realizar un precalentamiento de caché programático solicitando de forma controlada las URLs más importantes del sitio (páginas de mayor tráfico, URLs próximas a campañas estacionales y las más rastreadas históricamente) para que los nodos edge tengan contenido cacheado desde el primer momento.
- Configurar una exención explícita para bots verificados en el panel de la CDN y en el WAF, utilizando los rangos de IP publicados por Google, antes de activar cualquier regla de protección anti-bot, para garantizar que Googlebot nunca sea interceptado por desafíos CAPTCHA o reglas de bloqueo genéricas.
- Si el servidor de origen sufre sobrecarga durante el período de calentamiento de caché, implementar temporalmente respuestas HTTP 429 o 503 con una duración máxima de uno o dos días, tal como documenta la guía oficial de Google para reducir urgentemente la tasa de rastreo, en lugar de recurrir a bloqueos que devuelvan errores 403.
- Revisar y ajustar las reglas del robots.txt para limitar el rastreo de secciones de bajo valor SEO durante la fase de migración, reduciendo así la presión sobre el servidor de origen sin afectar la indexación del contenido prioritario.
- Monitorizar activamente los logs del servidor de origen durante las primeras 48 a 72 horas tras la migración para identificar si Googlebot está recibiendo respuestas correctas o está encontrando páginas de error, y validar el comportamiento mediante Google Search Console y la herramienta de inspección de URLs.
- Incluir en el plan de proyecto de cualquier migración a CDN una fase de revisión de configuraciones de seguridad conjunta entre el equipo técnico y el equipo SEO, estableciendo criterios claros para distinguir bots a bloquear de rastreadores legítimos antes de activar cualquier regla automatizada en el WAF.
Una mala configuración de las reglas de seguridad durante la migración a una CDN puede provocar que Googlebot quede bloqueado por CAPTCHAs o errores 403, lo que lleva a la caída del posicionamiento de páginas y otros contenidos indexados. Gestionar correctamente el presupuesto de rastreo y las reglas del firewall durante esta transición es crítico para mantener la visibilidad en los resultados de búsqueda.