A une époque, MSNbot ne respectait pas ce fichier, et il ne regardait pas s'il était présent ou non.
Et quand il indexait un site, il le faisait par dizaines de pages, en même temps, très vite, comme un goinfre, ce qui faisait souffrir certain sites.
Du coups, il y avait des listes des adresses IP des serveurs MSNbot à ajouter dans le blocage des IP, et comme MSNbot n'avait pas une bonne réputation en pertinence, cela convenait très bien à beaucoup.
J'ai constaté personnellement le comportement de MSNbot quand j'avais mon petit serveur dans ma cave.
Aujourd'hui, son comportement à changé, et il se comporte comme tous les autres moteurs de recherches : indexation du contenu page par page, image par image (quand ce n'est pas une page qui est demandée).
A+
Pourquoi bloquer la publicité et les traqueurs : https://greboca.com/Pourquoi-bloquer-la-publicite-et-les-traqueurs.html
[^] # Re: Pas besoin de loi
Posté par GG (site web personnel) . En réponse au journal Google menace de déréférencer la presse française.. Évalué à 3.
A une époque, MSNbot ne respectait pas ce fichier, et il ne regardait pas s'il était présent ou non.
Et quand il indexait un site, il le faisait par dizaines de pages, en même temps, très vite, comme un goinfre, ce qui faisait souffrir certain sites.
Du coups, il y avait des listes des adresses IP des serveurs MSNbot à ajouter dans le blocage des IP, et comme MSNbot n'avait pas une bonne réputation en pertinence, cela convenait très bien à beaucoup.
J'ai constaté personnellement le comportement de MSNbot quand j'avais mon petit serveur dans ma cave.
Aujourd'hui, son comportement à changé, et il se comporte comme tous les autres moteurs de recherches : indexation du contenu page par page, image par image (quand ce n'est pas une page qui est demandée).
A+
Pourquoi bloquer la publicité et les traqueurs : https://greboca.com/Pourquoi-bloquer-la-publicite-et-les-traqueurs.html