Ok pour les pièges à spammeurs bien fait, mais il y a tout plein de sites qui ont du contenu infini et qui ne mettent pas de robots.txt
Les crawleurs des moteurs de recherche doivent forcement en tenir compte. Je me demandais juste si ils s'arrêtaient au bout d'un moment en se basant simplement sur la profondeur ou si d'autres trucs étaient pris en compte.
[^] # Re: robot.txt
Posté par Wawet76 . En réponse au journal Comment font les moteurs de recherche ?. Évalué à 2.
Les crawleurs des moteurs de recherche doivent forcement en tenir compte. Je me demandais juste si ils s'arrêtaient au bout d'un moment en se basant simplement sur la profondeur ou si d'autres trucs étaient pris en compte.