puisque plusieurs bots dont celui de Google ne respectent pas le Crawl-Delay
en PHP il existe une fonction idéale pour ce cas : auto_prepend_file, qu'on peut limiter à un seul virtual host si nécessaire (avec php_value auto_prepend_file /tonchemin/calmos_les_bots.php dans le virtual host ou le .htaccess du site)
# if (bot) then sleep(10); avant de continuer
Posté par Gniarf . En réponse au journal Satanées bots. Évalué à 2.
en PHP il existe une fonction idéale pour ce cas : auto_prepend_file, qu'on peut limiter à un seul virtual host si nécessaire (avec php_value auto_prepend_file /tonchemin/calmos_les_bots.php dans le virtual host ou le .htaccess du site)
mais visiblement ton site est en Python.