BingBot : Le crawler (user agent) du moteur de recherche change de nom

Microsoft annonce des modifications importantes concernant son robot de crawling. A partir du premier octobre 2010, ce dernier perdra d’une part l’étiquette bêta mais changera surtout de nom. Jusqu’à présent baptisé MSNBot (de MSN Search), et ce malgré le passage à Live Search, celui-ci s’appellera bientôt BingBot, en accord avec la marque actuelle du produit de la firme de Redmond.

Le user agent sera plus précisément identifiable par :

Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)

Le champ From de l’en-tête HTTP renverra :

From: bingbot(at)microsoft.com

Du côté des instructions précisées à l’actuel crawler via le fichier robots.txt, Bing annonce une rétrocompatibilité. Avec toute fois un bémol puisque seront prises en compte par le BingBot les moins restrictives d’entre elles.

User-agent: bingbot
Disallow: /photos/

User-agent: msnbot
isallow: /photos/
Disallow: /videos/

User-agent: *
Disallow: /

Pour l’exemple ci-dessus, BingBot aura donc accès à tout le contenu excepté le répertoire photos.

Microsoft prévient à l’avance pour laisser le temps de mettre à jour les installations. Avis aux développeurs qui établissent des logs de crawl, aux adeptes du cloaking ou encore ceux qui souhaitent se faire passer pour le BingBot.

Source : Blog Bing