D'accord dans le fond, un point à détailler quand même :
D'ailleurs, Google s'en est très bien sorti pendant presque 30 ans en respectant ces règles.
Oui, mais ils ont assis un monopole, si tu n'étais pas référencé par Google c'était un gros problème. Les robots.txt contenaient des règles spécifiquement pour permettre à Google de crawler le site, et si tu n'étais pas Google et que tu voulais respecter les règles, tu étais bloqué.
Donc ils s'en sont sorti mais en étant incontournable.
(écrit au passé mais je suppose que c'est toujours vrai aujourd'hui)
[^] # Re: sans dec'
Posté par raphj (site web personnel) . En réponse au lien Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives - CloudFlare. Évalué à 4. Dernière modification le 05 août 2025 à 09:19.
D'accord dans le fond, un point à détailler quand même :
Oui, mais ils ont assis un monopole, si tu n'étais pas référencé par Google c'était un gros problème. Les
robots.txtcontenaient des règles spécifiquement pour permettre à Google de crawler le site, et si tu n'étais pas Google et que tu voulais respecter les règles, tu étais bloqué.Donc ils s'en sont sorti mais en étant incontournable.
(écrit au passé mais je suppose que c'est toujours vrai aujourd'hui)