Actuellement je travaille pour le réseau ISSN (qui travaille avec la BnF) et on vient de sortir notre nouveau portail (portal.issn.org), on s'est mangé un traffic totalement hallucinant provenant de bot IA pas très gentils et utilisant des IP domestiques par dizaines de milliers.
Résultat, notre infra est très vite tombée et on galère a mettre des protections efficaces... On a du genre 500000 r/heure sur un site qui fait des recherches elasticsearch assez lourdes, c'est beaucoup trop pour notre "petite" infra.
# Je confirme
Posté par Andréas Livet . En réponse au lien Nouvel effet secondaire pervers du pillage massif du web par les entreprises d'IA (robots BnF empêchés de faire leur travail). Évalué à 4.
Actuellement je travaille pour le réseau ISSN (qui travaille avec la BnF) et on vient de sortir notre nouveau portail (portal.issn.org), on s'est mangé un traffic totalement hallucinant provenant de bot IA pas très gentils et utilisant des IP domestiques par dizaines de milliers.
Résultat, notre infra est très vite tombée et on galère a mettre des protections efficaces... On a du genre 500000 r/heure sur un site qui fait des recherches elasticsearch assez lourdes, c'est beaucoup trop pour notre "petite" infra.