De ce que je comprends les diverses IA n'ont pas les mêmes pratiques que les crawlers d'antan et ont tendance à matraquer les sites et provoquer un déni de service.
Par exemple Gnome a déployé Anubis sur son Gitlab suite à plusieurs outages liés à du scraping massif, et j'ai vu un certain nombre de personnes se plaindre de scrapers qui téléchargent certaines pages de façon très répétées (plusieurs gigaoctets) en ignorant totalement le robots.txt (ça coûte cher sur les plateformes qui facturent le trafic); il y a des listes de user-agents et de ranges IP qui tournent pour les bloquer au niveau du serveur web, etc.
Bref c'est encore une externalité négative de l'«IA». La conséquence pratique c'est aussi que tous ces sites deviennent vraisemblablement inutilisables hors d'un navigateur (curl, scripting, etc)
[^] # Re: petit resumé
Posté par nud . En réponse au lien Anubis - Le logiciel open source préserve Internet des robots IA. Évalué à 6.
De ce que je comprends les diverses IA n'ont pas les mêmes pratiques que les crawlers d'antan et ont tendance à matraquer les sites et provoquer un déni de service.
Par exemple Gnome a déployé Anubis sur son Gitlab suite à plusieurs outages liés à du scraping massif, et j'ai vu un certain nombre de personnes se plaindre de scrapers qui téléchargent certaines pages de façon très répétées (plusieurs gigaoctets) en ignorant totalement le robots.txt (ça coûte cher sur les plateformes qui facturent le trafic); il y a des listes de user-agents et de ranges IP qui tournent pour les bloquer au niveau du serveur web, etc.
Bref c'est encore une externalité négative de l'«IA». La conséquence pratique c'est aussi que tous ces sites deviennent vraisemblablement inutilisables hors d'un navigateur (curl, scripting, etc)
Voir aussi: https://arstechnica.com/ai/2025/03/devs-say-ai-crawlers-dominate-traffic-forcing-blocks-on-entire-countries/
Comme solutions alternatives j'ai aussi vu un labyrinthe pour IA, un zip bomb, ...