URL: https://linuxfr.org/suivi/robots-txt-pour-les-outils-d-archivage-web Title: robots.txt pour les outils d'archivage Web Authors: hermenegilde Date: 2014年07月21日T11:15:41+02:00 License: CC By-SA Tags: Score: 7 Il existe quelques outils d'archivage de la tribune, avec indexation et donc possibilité de recherche. Cependant, le /robots.txt du site interdit aux robots d'indexation d'accéder à /board. Je suis moi même auteur d'un bot d'indexation de la tribune (Olccs), je suis donc intéressé par avoir l'avis des administrateurs du site: - le robots.txt est-il limité aux moteurs reconnus (e.g. Google, Yahoo, Bing, DuckDuckGo, etc.) ou les bots de la tribune (et il y en a quelques uns) doivent-ils le respecter? - le robots.txt est-il limité à l'indexation par un moteur de recherche ou son champ d'application est-il plus large (genre une lecture de la tribune pour en extraire uniquement les liens)? - dois-je arrêter mon bot? - une modification du robots.txt est-elle envisageable pour autoriser explicitement les différents bots? Dans l'attente d'une réponse de votre part, je vous prie d'agréer, et toutes ces sortes de choses.