Maison Blanche : Evolution du fichier robots.txt

Dans le même esprit que le billet précédent sur l’évolution du design du site de la Maison Blanche avant et après la prise de pouvoir par Obama, voici le contenu du fichier robots.txt via lequel il est possible de définir des restrictions pour ce qui est du comportement des robots qui vont crawler le web.

Avant :

User-agent: *
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/search
Disallow: /omb/query.html
Disallow: /expectmore/search
Disallow: /expectmore/query.html
Disallow: /results/search
Disallow: /results/query.html
[…]
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/query.html
Disallow: /expectmore/query.html
Disallow: /results/query.html
Disallow: /help
Disallow: /sitemap.html
Disallow: /privacy.html
Disallow: /accessibility.html

Après :

User-agent: *
Disallow: /includes/

Pas moins de 2377 lignes pour le premier contre 2 lignes pour le second et actuel. Encore une fois, il est à espérer que le travail qu’Obama pourra effectuer en tant que président des Etats-Unis soit aussi efficace.