robot.txt

Retourner au contenu associé (journal : Comment font les moteurs de recherche ?)

# robot.txt

Posté par Olivier Grisel (site web personnel) le 22 mai 2004 à 23:04. En réponse au journal Comment font les moteurs de recherche ?. Évalué à 4.

on met un fichier robots.txt dans la racine du site qui dit aux crawlers de ne pas explorer le contenu de ces pages en vu d'indexation par un moteur de recherche, par exemple :
http://www.monkeys.com/robots.txt(...)

Ce fichier protège le piège :
http://www.monkeys.com/spammers-are-leeches(...)

Pour plus de détails sur robots.txt :
http://www.robotstxt.org/wc/exclusion.html(...)