GoogleBot : Crawl simultané depuis différentes adresses IPs

Il n’est pas rare de voir passer un robot Google sur son site ; pour peu que ce dernier soit un minimum suivi.

Savoir que plusieurs bots parcourent au même moment un site web avec des adresses IPs différentes n’est cependant pas un phénomène visible quotidiennement. C’est pourtant ce qu’ont eu l’occasion de remarquer des webmasters au courant du mois avant d’en faire part sur un forum spécialisé :

We had lots of crawler activity today on a newer site, google hit the site from 3 different ip addresses throughout the day. hoping it’s a good sign, never seen them use different ip addresses in the same day before. (limoshawn)

Yea they went berzerk on our big site last thursday and friday. their fast activity notified me so I took a peek to see who was scraping the site… I’ve never seen Google spider so fast and from so many IP addresses, they were all valid Google ip’s but there was like 10-20 of them running at once. (Bewenched)

Information à garder à l’esprit.

Source : Webmaster World