La vraie solution me semble d'éviter d'utiliser ce type de service. Si le robots.txt est ignoré, tu peux filtrer sur l'user-agent et/ou l'adresse IP du client de manière à retourner une 403 à tout ce qui ne ressemble pas à une requète « légitime ».
pertinent adj. Approprié : qui se rapporte exactement à ce dont il est question.
# filtrer sur l'user-agent et/ou l'IP
Posté par Krunch (courriel, site web personnel) . En réponse au message Envoyer une url sur une adresse en gmail sans que Googlebot aille fourrer son nez ensuite. Évalué à 3.
La vraie solution me semble d'éviter d'utiliser ce type de service. Si le robots.txt est ignoré, tu peux filtrer sur l'user-agent et/ou l'adresse IP du client de manière à retourner une 403 à tout ce qui ne ressemble pas à une requète « légitime ».
pertinent adj. Approprié : qui se rapporte exactement à ce dont il est question.