Les robots.txt contenaient des règles spécifiquement pour permettre à Google de crawler le site,
Pas compris
Beaucoup de site web interdis(ai)ent le crawl automatique par des robots, sauf le robot indexeur de Google. Ce qui fait que si tu montes ton moteur de recherche alternative, tu es bloqué, ou alors il faut te faire passer pour Google.
[^] # Re: sans dec'
Posté par raphj (site web personnel) . En réponse au lien Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives - CloudFlare. Évalué à 4.
Je pense que oui
Beaucoup de site web interdis(ai)ent le crawl automatique par des robots, sauf le robot indexeur de Google. Ce qui fait que si tu montes ton moteur de recherche alternative, tu es bloqué, ou alors il faut te faire passer pour Google.