Référencement Google : Faut-il bloquer le contenu dupliqué via robots.txt ?

Le crawl d’un site web par Google étant limité à un nombre donné de pages par jour, est-il intéressant de bloquer le contenu dupliqué – à l’aide du fichier robots.txt ou de meta robots noindex, nofollow – afin de permettre une indexation plus rapide dudit site ?

La réponse est clairement non pour Matt Cutts qui conseille de laisser le moteur de recherche faire ressortir dans les pages de résultats le contenu pertinent qu’il aura sélectionné. Tout du moins pour le premier crawl dans le cas de sites très complexes ou dont l’architecture est mal pensée.

Matt Cutts rappelle également la possibilité de préciser des paramètres à ne pas prendre en compte dans les URLs via les Webmaster Tools.