RÉFÉRENCEMENT-DE-SITES.info

Accueil => Conseils référencement => "robots.txt"

FICHIER "robots.txt"
Par défaut, les robots des moteurs scanne toute l'arborescence de votre site mais si vous avez des fichiers ou répertoires que vous ne souhaitez pas retrouver répertoriés sur les moteurs de recherche, il est utile d'installer à la racine de votre site un fichier "robots.txt" contenant toutes les directives. Je pense par ex. à des fichiers tels que des pages d'administration, des fichiers Excel avec vos membres. Tapez dans Google : inurl:email.xls vous comprendrez ce que je veux dire !

Pour éviter que les robots des moteurs n'indexent certaines partie de votre site :

• Vous pouvez inclure un fichier "robots.txt" placé à la racine de votre site contenant les lignes suivantes :
  

  # robots.txt pour le site http://www.xyzxyzxyz.com
  User-agent: *
  Disallow: /repertoire1/
  Disallow: /admin.php
  Disallow: /repertoire2/
  Disallow: /repertoire2/sous-repertoire
  Disallow: /repertoire3/

  " User-agent : * " : * pour s'adresser à tous les moteurs.
  " Disallow : /repertoire1/ " : pour inviter les moteurs à ne pas indexer le répertoire "/repertoire1/".
  Si vous souhaitez approfondir le sujet, vous pouvez vous rendre sur http://www.robotstxt.org
   
• Une autre méthode peut être utilisée en utilisant les lignes META, ci-dessous quelques combinaisons possibles :
  • <meta name="robots" content="noindex, follow"> : invite les moteurs à ne pas indexer la page et à suivre les liens.
  • <meta name="robots" content="noindex, nofollow"> : invite les moteurs à ne pas indexer la page et à ne pas suivre les liens.
  • <meta name="robots" content="index, follow"> : invite les moteurs à indexer la page et à suivre les liens.
  • <meta name="robots" content="index, nofollow"> : invite les moteurs à indexer la page et à ne pas suivre les liens.