Je sais pas comment ça se passe chez vous, mais sur mon site perso, il y a facilent 1/3 du traffic qui est généré par des bots qui indexent et retéléchargent l'intégralité du site plusieurs fois par jour (y compris tous les gros fichiers liés dans les pages).
J'ai fini par bannir le bot de Amazon Alexa, parce que les gens de Amazon n'ont même pas pris la peine d'implémenter la lecture du robots.txt pour respecter un délai entre les requêtes (ce que les autres robots font, permettant de maîtriser un peu la quantité de traffic qu'on souhaite leur laisser). Il y en a plusieurs autres qui sont bannis ou ralentis via le robot.txt. Sinon, ce serait bien plus que 1/3 du traffic, probablement plus de la moitié.
En conséquence, je suis pour une limitation à 3Go par semaine pour les bots d'indexation. JE ne vois pas de raison de limiter le traffic généré par des humains, par contre. Même si je pense que je pourrais m'adapter sans problème, surtout si on met en place un tarif heures pleines/heures creuses. Comme ça je lance mes téléchargements la nuit?
[^] # Re: Répartition du trafic LinuxFr.org
Posté par pulkomandy (site web personnel, Mastodon) . En réponse au journal [HS] 3 Gigas par semaine .... Évalué à 10.
Je sais pas comment ça se passe chez vous, mais sur mon site perso, il y a facilent 1/3 du traffic qui est généré par des bots qui indexent et retéléchargent l'intégralité du site plusieurs fois par jour (y compris tous les gros fichiers liés dans les pages).
J'ai fini par bannir le bot de Amazon Alexa, parce que les gens de Amazon n'ont même pas pris la peine d'implémenter la lecture du robots.txt pour respecter un délai entre les requêtes (ce que les autres robots font, permettant de maîtriser un peu la quantité de traffic qu'on souhaite leur laisser). Il y en a plusieurs autres qui sont bannis ou ralentis via le robot.txt. Sinon, ce serait bien plus que 1/3 du traffic, probablement plus de la moitié.
En conséquence, je suis pour une limitation à 3Go par semaine pour les bots d'indexation. JE ne vois pas de raison de limiter le traffic généré par des humains, par contre. Même si je pense que je pourrais m'adapter sans problème, surtout si on met en place un tarif heures pleines/heures creuses. Comme ça je lance mes téléchargements la nuit?