He aquí un caso típico observado utilizando las Herramientas para Webmasters de Google.
¿No os parecen curiosos esos picos que se observan en la gráfica de color azul? (se trata de las páginas rastreadas por día)

Observa qué sucede cuando superponemos dicha gráfica con la de color rojo (tiempo de descarga de una página). Para observarlo bien, he puesto la primera boca abajo. Se ve claramente que cuando el tiempo de descarga de una página es bajo (servidor ocioso) Google descarga una gran cantidad de páginas. Y que cuando el tiempo de descarga es más alto, Google descarga menos páginas.
Como diría Mourinho ¿Por qué?
Bien, Google lo hace para no sobrecargar al servidor resultando en un peor servicio al visitante.

Adicionalmente, podemos estimar qué tiempo de descarga le parece a Google peligroso sobrepasar.
Si nos fijamos en el tiempo de descarga por debajo del cual Google lanza los robots a nuestra web, podremos estimar ese número.
Curiosamente la cifra arrojada por nuestros cálculos está muy cerca de 1.000 ms, o 1 segundo. Así, tenemos un corolario extra: si el tiempo de descarga medio de nuestro servidor está constantemente por encima de un segundo, toca invertir en mejorarlo. Ya sea mejorando su rendimiento, o haciendo un upgrade a uno más potente. Y de rebote Google nos mandará más visitas, ¡ya lo veréis!

