Le fichier robots.txt et les divers Googlebot

Les bots de Google : présentation

aide en fr support.google.com
user-agents Googlebot pour mobile utilisés : https://developers.google.com/webmasters/mobile-sites/references/googlebot

Un exemple simple

Interdire au user-agent Googlebot-image d'explorer les fichiers de votre répertoire /personal, tout en autorisant Googlebot à explorer tous vos fichiers :

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Une modif pour permettre à Google de surfer comme un mobile

Le robots.txt de drupal 7 actuel a la ligne Disallow: /misc/ => Google affiche que les images sont inaccessibles (menu-leaf.png, menu-collapsed.png ...).

 

Sur le web

Voir (en fr)  et http://robots-txt.com/

logo drush