El robot de Google pasa por nuestra página cada cierto tiempo dependiendo éste de varios factores como pueden ser los links externos hacia nuestra página (el más importante) la frecuencia de actualización del la página, la frecuencia marcada en el archivo Sitemaps que le enviamos a Google o la frecuencia que le marcamos desde las herramientas de Webmaster Tools.
Pero a veces convendría poder decirle cuándo NO pasar, porque en algunas ocasiones nuestro servidor está al límite en ciertas horas puntas en las que tenemos un pico de usuarios.
Estaría bastante bien que Google nos permitiese esta opción de decirle cuando no debe pasar para no tumbarnos el servidor si coincide con el pico de usuarios en nuestra web.
Por ejemplo si tienes una web de los oscars bien posicionada pues puede ser probable que el día de las nominaciones y los premiso tengamos muchos usuarios a la vez y si nuestro servidor no soporta mucho tráfico como pase el robot de Google y empiece a rastrear páginas como loco (a veces parece un rastreador maniático y compulsivo) nos dejará el servidor relentizado y sin cargar bien las páginas.
Ayer me lo preguntaba Dictina y coincidí con ella tanto en su problema como en la solución y la comenté que haría un post pidiéndolo (como si me fuesen a hacer caso). Casualidades de la vida hoy en la parte final de un artículo de Google WemasterCentral dice que en un futuro lo harán, bienvenido sea!!
Jep Aribau (@)hace Hace más de 16 años y 312 días
Pues no vas tener publicidad de Adsense, el robot "MediaPartner " de Google también te machaca con escaneos simultáneos a la navegación del usuario.
Creo que se soluciona con "If-Modified-Since" en las cabeceras y quitando el session_start() en páginas dinámicas.
Nota: Errioxa, pq no pones un avisador de comentarios?
Jep Aribau (@)hace Hace más de 16 años y 312 días
Pues no vas tener publicidad de Adsense, el robot \"MediaPartner \" de Google también te machaca con escaneos simultáneos a la navegación del usuario.
Creo que se soluciona con \"If-Modified-Since\" en las cabeceras y quitando el session_start() en páginas dinámicas.
Nota: Errioxa, pq no pones un avisador de comentarios?
Errioxa (@)hace Hace más de 16 años y 311 días
@Jep Aribau ¿por qué dices que no voy a tener publicidad de AdSense? Google puede tumbar una web cuando le pasas el sitemaps no cuando los usuarios navegan por ella porque Google hace muchas peticiones simultaneas.
Lo del avisador de comentarios está dentro de mis planes pero es que ando con el tiempo al límite.
jose (@)hace Hace más de 15 años y 233 días
poque nocompendes las cosas que te decimos eres un a mierda!