• [^] # Re: bravo

    Posté par . En réponse à la dépêche Crowl, un crawler SEO open-source. Évalué à 7.

    Bonjour,

    Youpee, Crowl respecte par défaut le robots.txt !
    Youpee, Crowl possède par défaut un user-agent spécifique !

    Youpee, le but d'un crawler SEO c'est d'analyser un site pour le faire progresser et donc de vous faire gagner plus d'argent !

    Bonne journée ;)