Par exemple sur mon site web, le robots.txt met un crawl-delay de 5 minutes pour tout le monde par défaut. Je n'ai pas besoin que les robots indexent mon site plusieurs dizaines de fois par jour, le contenu change assez peu.
Si les robots LLM respectaient ce réglage, je n'aurait pas de problème de charge CPU ou de bande passante (j'ai d'autres problèmes personnels avec les LLM mais c'est une autre histoire). ça règle le deuxième problème: ce réglage étant valide pour tout le monde, il n'y a pas de "course".
Il en est de même pour les liens avec rel="nofollow" que les robots ne devraient normalement pas utiliser (et je suppose que les gens qui se plaignent de problème de charge CPU sur leurs applis web sont un minimum compétents et ont déjà mis en place ce type de mesures pour éviter que les robot scannent des choses qui n'ont pas besoin de l'être).
Sauf que non: certains de ces robots ignorent complètement le robots.txt, d'autres ignorent le crawl-delay, d'autres refusent un crawl-delay supérieur à 10 secondes. Donc je les ai exclus par d'autres moyens, parce que ce mois ci c'était 2 adresses IP qui représentaient plus de 50% du traffic arrivant chez moi.
[^] # Re: robot.txt
Posté par pulkomandy (site web personnel, Mastodon) . En réponse au lien Drew Devault : Please stop externalizing your costs directly into my face . Évalué à 6.
ça dépend ce que tu veux faire.
Par exemple sur mon site web, le robots.txt met un crawl-delay de 5 minutes pour tout le monde par défaut. Je n'ai pas besoin que les robots indexent mon site plusieurs dizaines de fois par jour, le contenu change assez peu.
Si les robots LLM respectaient ce réglage, je n'aurait pas de problème de charge CPU ou de bande passante (j'ai d'autres problèmes personnels avec les LLM mais c'est une autre histoire). ça règle le deuxième problème: ce réglage étant valide pour tout le monde, il n'y a pas de "course".
Il en est de même pour les liens avec rel="nofollow" que les robots ne devraient normalement pas utiliser (et je suppose que les gens qui se plaignent de problème de charge CPU sur leurs applis web sont un minimum compétents et ont déjà mis en place ce type de mesures pour éviter que les robot scannent des choses qui n'ont pas besoin de l'être).
Sauf que non: certains de ces robots ignorent complètement le robots.txt, d'autres ignorent le crawl-delay, d'autres refusent un crawl-delay supérieur à 10 secondes. Donc je les ai exclus par d'autres moyens, parce que ce mois ci c'était 2 adresses IP qui représentaient plus de 50% du traffic arrivant chez moi.