URL: https://linuxfr.org/forums/general-general/posts/parcourir-un-site-web-en-mode-spider Title: Parcourir un site web en mode spider Authors: tigrou3tac Date: 2011年10月30日T02:12:22+01:00 Tags: Score: 0 Je cherche un outil comme httrack (où une configuration de httrack adaptée à mon besoin). Le décor : je dispose d'un site proposant plusieurs millions de page. j'utilise varnish entre un proxy http et un serveur http afin de tout mettre en cache (images, css, js et surtout le html généré). Un script journalier met à jour la base de données utilisée par le site, ce qui implique une modification journalière d'environ 50% des pages. le ttl des objets en cache est positionné sur plusieurs mois (et renouvelé à chaque accès à l'object). Les pages invalidées après la mise à jour seront purgées du cache à la fin du script. Je cherche un outil qui pourra suivre tous les liens internes du site à partir de la première page, le cache sera ainsi regénéré. j'utilise actuellement httrack en mode spider mais je n'arrive pas à lui faire ouvrir plusieurs connexions simultanées. Il reste bloqué à 1 connexion active alors que le serveur est capable de répondre à beaucoup plus (test réalisé avec httperf). J'ai testé harvestman mais le projet semble abandonné et crash lamentablement après quelques pages. Suis-je passé à coté d'outils plus adaptés à mon besoin ?