Mais tous les moteurs de recherche ne les respectent pas.
J'avais une page non référencées et non liées au reste de mon site avec un robots.txt disant de ne pas aller la dedans, et j'ai recu un jour une visite avec un referer sur je ne sais plus quel site de recherche.
Du coup, je suis allé chercher sur d'autres moteurs de recherches. Et visiblement, la plupart respectent. Mais pas tous...
[^] # Re: Méthode simple pour publier la vérité sur Danone, TotalElf et les autres...
Posté par Mokona . En réponse à la dépêche Internet : un régime de liberté calqué sur la presse traditionnelle ?. Évalué à 3.
J'avais une page non référencées et non liées au reste de mon site avec un robots.txt disant de ne pas aller la dedans, et j'ai recu un jour une visite avec un referer sur je ne sais plus quel site de recherche.
Du coup, je suis allé chercher sur d'autres moteurs de recherches. Et visiblement, la plupart respectent. Mais pas tous...