Le 404 n'est pas approprié, vu que la page existe mais pas pour une IA ;-)
je ne comprends pas ta remarque. La page existe effectivement et est servie pour un navigateur "normal" (mais qu'une IA peut usurper), cela affiche une erreur 404 seulement pour les user agents d'IA, dans le but de les tromper (comme si la page avait disparue ou que le site avait une erreur) et qu'elles ne trouvent pas d'autres liens. Si on bloque avec un 403, le bot risque de modifier son user-agent pour en savoir plus.
"Ce n'est pas à l'état de tout savoir sur ses citoyens, mais au citoyen de tout savoir sur l'état."
[^] # Re: code erreur HTTP
Posté par zurvan . En réponse au journal Tenter de limiter les nuisances liées aux robots d'IA. Évalué à 4.
je ne comprends pas ta remarque. La page existe effectivement et est servie pour un navigateur "normal" (mais qu'une IA peut usurper), cela affiche une erreur 404 seulement pour les user agents d'IA, dans le but de les tromper (comme si la page avait disparue ou que le site avait une erreur) et qu'elles ne trouvent pas d'autres liens. Si on bloque avec un 403, le bot risque de modifier son user-agent pour en savoir plus.
"Ce n'est pas à l'état de tout savoir sur ses citoyens, mais au citoyen de tout savoir sur l'état."