- Accueil
- Info légales
- Aide (FAQ)
- Les tags de ce site
- Bloc note
- Articles techniques
- Notes system
- Divers articles
- Drupal
- Notes ITIL 2007
- Notes MS
- Dans le quartier...
- Emploi
- Recettes de cuisine et adresses gourmandes
- mes applis ubuntu préferées
- Divers acronymes du monde social
- Internet 2018
- P2 meublé à louer - quartier du Poteau 75018
- apcos - réseaux sociaux et outils
- Articles techniques
- Divers liens
- Fun
- Mon CV IT
- Nouveautés
Le fichier robots.txt et les divers Googlebot
Les bots de Google : présentation
aide en fr support.google.com
user-agents Googlebot pour mobile utilisés : https://developers.google.com/webmasters/mobile-sites/references/googlebot
Un exemple simple
Interdire au user-agent Googlebot-image d'explorer les fichiers de votre répertoire /personal, tout en autorisant Googlebot à explorer tous vos fichiers :
User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personal
Une modif pour permettre à Google de surfer comme un mobile
Le robots.txt de drupal 7 actuel a la ligne Disallow: /misc/
=> Google affiche que les images sont inaccessibles (menu-leaf.png, menu-collapsed.png ...).
Sur le web
Voir (en fr) et http://robots-txt.com/