If there is no rule targeting kagibot, but there is a rule targeting Googlebot, then Kagibot will follow the Googlebot directives.
C'est exactement de ça que je parle. Tu es obligé de faire ce genre de contorsion et de ne pas respecter entièrement robots.txt à cause de ce que je dis si tu veux indexer le web aujourd'hui et que tu n'es pas Google. C'est comme le mode quirks des navigateurs qui émulent un vieux IE.
Alors d'accord, entre ce contournement et ne rien respecter du tout de robots.txt, il y a une marche importante et significative.
[^] # Re: sans dec'
Posté par raphj (site web personnel) . En réponse au lien Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives - CloudFlare. Évalué à 2. Dernière modification le 06 août 2025 à 09:04.
Regarde par exemple https://kagi.com/bot
C'est exactement de ça que je parle. Tu es obligé de faire ce genre de contorsion et de ne pas respecter entièrement robots.txt à cause de ce que je dis si tu veux indexer le web aujourd'hui et que tu n'es pas Google. C'est comme le mode quirks des navigateurs qui émulent un vieux IE.
Alors d'accord, entre ce contournement et ne rien respecter du tout de robots.txt, il y a une marche importante et significative.