Reduce la frecuencia de rastreo de Googlebot

Google cuenta con algoritmos sofisticados para determinar la frecuencia de rastreo óptima de un sitio. Nuestro objetivo es rastrear la mayor cantidad de páginas posibles de tu sitio en cada visita sin superar el límite del ancho de banda de tu servidor. En algunos casos, el rastreo que hace Google de tu sitio puede ocasionar una carga crítica en la infraestructura o generar costos no deseados durante una interrupción. Para evitarlo, puedes reducir la cantidad de solicitudes que realiza Googlebot.

Si necesitas reducir la frecuencia de rastreo de manera urgente durante un período breve (por ejemplo, un par de horas, o uno o dos días), devuelve códigos de estado de respuesta HTTP 500, 503 o 429, en lugar del código 200, a las solicitudes de rastreo. Googlebot reduce la frecuencia de rastreo de tu sitio cuando encuentra una cantidad considerable de URLs con códigos de estado de respuesta HTTP 500, 503 o 429 (por ejemplo, si inhabilitaste el sitio web). La frecuencia de rastreo reducida afecta a todo el nombre de host de tu sitio (por ejemplo, subdomain.example.com), el rastreo de las URLs que devuelven errores y el de las que devuelven contenido. Una vez que se reduzca la cantidad de errores, la frecuencia de rastreo comenzará a aumentar automáticamente otra vez.

Ten en cuenta que un aumento abrupto en el rastreo puede deberse a ineficiencias de la estructura de tu sitio o a otros problemas en él. Consulta nuestra guía para optimizar la eficiencia del rastreo.

Si, debido a tu infraestructura, no puedes mostrar errores a Googlebot envía una solicitud especial para reducir la frecuencia de rastreo. No puedes solicitar un aumento en la frecuencia de rastreo.