J'invite surtout ces sites (tout comme la presse en ligne qui ne souhaite pas se faire "pirater" par google news), à poser un magnifique fichier robots.txt à la racine de leur domaine pour expliciter leur envie d'être coupé du monde.
En effet, mon robot (tout comme celui de google) risquerait malencontreusement de faire une copie illicite de leur contenu, et même pire, de générer un lien dans mes listing de recherche et de leur apporter du trafic.
J'invite donc les webmestres concernés à appliquer la règle en vigueur :
fichier robots.txt à la racine du domaine, dont le contenu serait le suivant :
# Référencement
Posté par Julien04 . En réponse à la dépêche Cachez ce lien que je ne saurais voir : contre-offensive. Évalué à 10.
En effet, mon robot (tout comme celui de google) risquerait malencontreusement de faire une copie illicite de leur contenu, et même pire, de générer un lien dans mes listing de recherche et de leur apporter du trafic.
J'invite donc les webmestres concernés à appliquer la règle en vigueur :
fichier robots.txt à la racine du domaine, dont le contenu serait le suivant :
User-agent: *
Disallow: /