Le fichier robots.txt et les divers Googlebot
Les bots de Google : présentation
aide en fr support.google.com
user-agents Googlebot pour mobile utilisés : https://developers.google.com/webmasters/mobile-sites/references/googlebot
Un exemple simple
Interdire au user-agent Googlebot-image d'explorer les fichiers de votre répertoire /personal, tout en autorisant Googlebot à explorer tous vos fichiers :
User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personal
Une modif pour permettre à Google de surfer comme un mobile
Le robots.txt de drupal 7 actuel a la ligne Disallow: /misc/
=> Google affiche que les images sont inaccessibles (menu-leaf.png, menu-collapsed.png ...).
Sur le web
Voir (en fr) et http://robots-txt.com/