C'est la méthode que j'ai retenue pour une partie des pages (celles qui contiennent une pagination).
J'utilise la classe php ParallelCurl pour gérer les commandes curl_multi .
Une boucle génère l'url de la page et la passe à parallelcul afin d'être récupérée, moyennant une limite configurable du nombre de connexions simultanées.
[^] # Re: wget, curl
Posté par tigrou3tac . En réponse au message Parcourir un site web en mode spider. Évalué à 1.
C'est la méthode que j'ai retenue pour une partie des pages (celles qui contiennent une pagination).
J'utilise la classe php ParallelCurl pour gérer les commandes curl_multi .
Une boucle génère l'url de la page et la passe à parallelcul afin d'être récupérée, moyennant une limite configurable du nombre de connexions simultanées.