Une redirection, ça ajoute juste une URL à la liste des pages qu'ils connaissent déjà non ?
la redirection remplace la page que l'IA connaît actuellement (il doit avoir une base de donnée des pages déjà consultées puisqu'elle arrive directement dessus) par une redirection vers un fichier de 10 go. Si elle continue le chargement, cela va lui faire télécharger inutilement un fichier, à supposer effectivement qu'elle aille au bout. Je ne suis pas certain qu'il n'y ait que le texte qui les intéresse, les trucs genre SEO récupèrent aussi des binaires et des pdf. J'ai récemment eu "petalsearch.com" qui semble lié à Huawei qui procède de même.
"Ce n'est pas à l'état de tout savoir sur ses citoyens, mais au citoyen de tout savoir sur l'état."
[^] # Re: Intéressant
Posté par zurvan . En réponse au journal Tenter de limiter les nuisances liées aux robots d'IA. Évalué à 4.
la redirection remplace la page que l'IA connaît actuellement (il doit avoir une base de donnée des pages déjà consultées puisqu'elle arrive directement dessus) par une redirection vers un fichier de 10 go. Si elle continue le chargement, cela va lui faire télécharger inutilement un fichier, à supposer effectivement qu'elle aille au bout. Je ne suis pas certain qu'il n'y ait que le texte qui les intéresse, les trucs genre SEO récupèrent aussi des binaires et des pdf. J'ai récemment eu "petalsearch.com" qui semble lié à Huawei qui procède de même.
"Ce n'est pas à l'état de tout savoir sur ses citoyens, mais au citoyen de tout savoir sur l'état."