Retourner au contenu associé (lien : Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives - CloudFlare)
Posté par Gil Cot ✔ (site web personnel, Mastodon) le 05 août 2025 à 10:34. En réponse au lien Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives - CloudFlare. Évalué à 4.
Parle-t-on de la même chose ?
Les robots.txt contenaient des règles spécifiquement pour permettre à Google de crawler le site,
robots.txt
Pas compris
et si tu n'étais pas Google et que tu voulais respecter les règles, tu étais bloqué.
"It is seldom that liberty of any kind is lost all at once." ― David Hume
AltStyle によって変換されたページ (->オリジナル) / アドレス: モード: デフォルト 音声ブラウザ ルビ付き 配色反転 文字拡大 モバイル
[^] # Re: sans dec'
Posté par Gil Cot ✔ (site web personnel, Mastodon) . En réponse au lien Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives - CloudFlare. Évalué à 4.
Parle-t-on de la même chose ?
Pas compris
"It is seldom that liberty of any kind is lost all at once." ― David Hume