• [^] # Re: sans dec'

    Posté par . En réponse au lien Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives - CloudFlare. Évalué à 4.

    robots.txt a été crée bien avant Google. Et ne contient pas (nécessairement) de règles spécifiques pour Google.
    Ce fichier défini juste une liste de pages du site qui sont autorisés ou interdites au robots, avec la possibilité effectivement d'autoriser ou non certains bots spécifiques.

    Le fait que Google soit devenu le moteur de recherche ultra majoritaire à sûrement incité certaines personnes à avoir des règles spécifique pour lui, mais pas forcément quelque chose de généralisé. Et ca ne change pas le fait que Google respectait le robots.txt depuis le début, bien avant qu'il soit majoritaire.