Il faut être un peu large sur les bans. Pour ma part j'ai fini par exclure toutes les IP de Meta, de Alibaba Cloud, et de Huawei par exemple.
Cela ne va probablement pas perturber les utilisateurs normaux de mon site.
En complément, j'ai aussi un système de ban à partir du user agent:
Le robot fait une ou plusieurs requêtes sur le serveur HTTP
Le serveur répond avec une erreur spécifique (erreur 403 indiquant un accès refusé) pour les user agent que j'ai bloqués (principalement ceux qui ne respectent pas le Crawl-Delay du robots.txt et génèrent plus de traffic que tous les visiteurs non-robotiques combinés).
Fail2ban surveille les logs du serveur HTTP, toute IP qui déclenche des erreurs 403 va assez rapidement être bannie au niveau du pare-feu.
Cette deuxième protection prend un peu de temps à faire effet, mais déjà le fait de retourner une erreur 403 au lieu d'une vraie page au niveau du serveur web, ça réduit considérablement la charge CPU.
Ensuite on peut consulter la liste d'IP bannies par fail2ban, trouver les plages d'IP correspondantes à l'aide d'un whois IP, et décider s'il s'agit d'un range à bloquer manuellement ou pas.
[^] # Re: .
Posté par pulkomandy (site web personnel, Mastodon) . En réponse au lien Les hébergeurs associatifs en difficulté face aux indexeurs d'entraînement IA. Évalué à 6.
Il faut être un peu large sur les bans. Pour ma part j'ai fini par exclure toutes les IP de Meta, de Alibaba Cloud, et de Huawei par exemple.
Cela ne va probablement pas perturber les utilisateurs normaux de mon site.
En complément, j'ai aussi un système de ban à partir du user agent:
Cette deuxième protection prend un peu de temps à faire effet, mais déjà le fait de retourner une erreur 403 au lieu d'une vraie page au niveau du serveur web, ça réduit considérablement la charge CPU.
Ensuite on peut consulter la liste d'IP bannies par fail2ban, trouver les plages d'IP correspondantes à l'aide d'un whois IP, et décider s'il s'agit d'un range à bloquer manuellement ou pas.