Je ne sais pas si on peut tout mettre sur le dos de l'incompétence. Certains de ces bots font des efforts pour utiliser plusieurs user agents imitant de vraies machines pour essayer de passer innaperçus, ce qui suppose un minimum de compréhension de comment ça marche et une volonté d, rendre le truc difficile à bloquer par les méthodes habituelles.
Il y a donc au moins une part de malveillance. D'habitude je suis le premier à envisager l'incompétence, mais là il y a des gens qui le font exprès.
Même chose chez Facebook avec un bot qui fait des milliers de requêtes et dont la documentation dit explicitement qu'ils ont choisi de ne pas respecter le crawl-delay du robots.txt. Il n'y a pas de "oups on a pas fait attention, désolé" là dedans cette fois ci.
[^] # Re: vibe coding
Posté par pulkomandy (site web personnel, Mastodon) . En réponse au lien Le site de curl désormais à 1,6 Go/minute de trafic à cause des crawlers pour LLMs. Évalué à 5.
Je ne sais pas si on peut tout mettre sur le dos de l'incompétence. Certains de ces bots font des efforts pour utiliser plusieurs user agents imitant de vraies machines pour essayer de passer innaperçus, ce qui suppose un minimum de compréhension de comment ça marche et une volonté d, rendre le truc difficile à bloquer par les méthodes habituelles.
Il y a donc au moins une part de malveillance. D'habitude je suis le premier à envisager l'incompétence, mais là il y a des gens qui le font exprès.
Même chose chez Facebook avec un bot qui fait des milliers de requêtes et dont la documentation dit explicitement qu'ils ont choisi de ne pas respecter le crawl-delay du robots.txt. Il n'y a pas de "oups on a pas fait attention, désolé" là dedans cette fois ci.