• [^] # Re: C'est possible

    Posté par (site web personnel) . En réponse à l’entrée du suivi robots.txt pour les outils d'archivage Web. Évalué à 5 (+0/-0).

    Tu sembles dire que ça pose pas de problème à l'équipe si des bots d'archivage existe, sans vraiment le dire explicitement. C'est ainsi que je comprends

    Oui, je n'en vois pas l'intérêt (osef ça intéresse d'autres gens visiblement) et ça me semble une mauvaise idée (archive d'un bistrot), mais des gens veulent le faire et le font déjà. Du coup mes réponses seraient :

    • le robots.txt est fait pour s'appliquer à tous les bots ;
    • le robots.txt pour la partie tribune a été mis en place car son archivage et son indexation à longue durée étaient une mauvaise idée ;
    • le point suivant devrait régler la question ;
    • on pourrait modifier le robots.txt pour autoriser explicitement certains bots sur la tribune (et probablement alors ajouter une mention indiquant que les propos peuvent être archivés ailleurs).