Il faut quand même préciser que sauf à vouloir explorer les headers HTTP (type de serveur web, statut de la page, etc ...)il faut quand même télécharger la page entière pour pouvoir analyser son contenu.
C'est exact, mais pour les headers HTTP, sans scan on ne peut soumettre qu'une page.
Le scan permet de récupérer les liens des autres pages du site pour les explorer aussi (que ce soit seulement les headers ou la page complète). Une fois le scan initial fait pour avoir la structure, il pourra en effet faire seulement les demandes de headers en HTTP (pour par exemple vérifier si une page a été mise à jour), mais même si c'est mieux que demander toute la page, cela n'est toujours pas très bon pour le serveur.
Donc dans tous les cas, comme vous l'avez très bien dit, les règles de la bonne conduite s'appliquent.
[^] # Re: wget
Posté par Vincent ORDY . En réponse au message scanner de sites. Évalué à 2.
C'est exact, mais pour les headers HTTP, sans scan on ne peut soumettre qu'une page.
Le scan permet de récupérer les liens des autres pages du site pour les explorer aussi (que ce soit seulement les headers ou la page complète). Une fois le scan initial fait pour avoir la structure, il pourra en effet faire seulement les demandes de headers en HTTP (pour par exemple vérifier si une page a été mise à jour), mais même si c'est mieux que demander toute la page, cela n'est toujours pas très bon pour le serveur.
Donc dans tous les cas, comme vous l'avez très bien dit, les règles de la bonne conduite s'appliquent.