j'ai remarqué que le Referer utilisé par ces requêtes était toujours la racine du site, du coup j'ai mis une règle pour renvoyer une 403 dans ce cas vu que la racine du site n'a pas de lien vers mon cgit.
Attention, ça peut être le comportement de navigateurs Web "normaux" configurés pour masquer le vrai referer pour des raisons de protection de vie privée. Il me semble que par le passé il y avait même une option explicite pour ça dans les préférences de Firefox, mais je ne la vois plus. Mais ça peut toujours s'éditer manuellement dans about:config (paramètres "network.http.referer.defaultPolicy.*") ou avec une extension comme Smart Referer.
Donc attention au sur-blocage d'utilisateurs légitimes qui arriveraient depuis un lien posté sur linuxfr ou un lien dans des résultats d'un moteur de recherche par exemple.
[^] # Re: réseaux de bot d'indexation
Posté par seveso . En réponse au journal Bloquer les bots avec Nginx de façon simple avec Nginx botcheck. Évalué à 3 (+2/-0).
Attention, ça peut être le comportement de navigateurs Web "normaux" configurés pour masquer le vrai referer pour des raisons de protection de vie privée. Il me semble que par le passé il y avait même une option explicite pour ça dans les préférences de Firefox, mais je ne la vois plus. Mais ça peut toujours s'éditer manuellement dans about:config (paramètres "network.http.referer.defaultPolicy.*") ou avec une extension comme Smart Referer.
Donc attention au sur-blocage d'utilisateurs légitimes qui arriveraient depuis un lien posté sur linuxfr ou un lien dans des résultats d'un moteur de recherche par exemple.