@NeoX
Je pense qu'il veut dire que le serveur web peut répondre à beaucoup plus qu'une seule connexion simultanée.
Cela n'empêche pas d'avoir toutes les pages du site en cache si elles sont coûteuses à construire (base de données + construction page + etc.)
Cette étape de construction peut certainement prendre plus d'une connexion simultanée mais pas autant que en simple consultation par les vrais clients.
D'où son besoin de remplir le cache rapidement mais sans tout écrouler.
@Fabien
Wget n'a pas d'option de multi connexions ; quant à curl, il ne crawl pas.
Est ce que tu as une façon simple (mécanique) de construire la liste des url à charger (genre /page?id=) ?
Dans ce cas, tu pourrais lancer plusieurs curl/wget, avec chacun un range.
[^] # Re: wget, curl
Posté par steph1978 . En réponse au message Parcourir un site web en mode spider. Évalué à 2.
@NeoX
Je pense qu'il veut dire que le serveur web peut répondre à beaucoup plus qu'une seule connexion simultanée.
Cela n'empêche pas d'avoir toutes les pages du site en cache si elles sont coûteuses à construire (base de données + construction page + etc.)
Cette étape de construction peut certainement prendre plus d'une connexion simultanée mais pas autant que en simple consultation par les vrais clients.
D'où son besoin de remplir le cache rapidement mais sans tout écrouler.
@Fabien
Wget n'a pas d'option de multi connexions ; quant à curl, il ne crawl pas.
Est ce que tu as une façon simple (mécanique) de construire la liste des url à charger (genre /page?id=) ?
Dans ce cas, tu pourrais lancer plusieurs curl/wget, avec chacun un range.