Je remercie tout le monde pour les remarques et suggestions.
Je viens de trouver ceci, qui a l'air intéressant, pour tous ceux qui ont le même problème que moi : http://www.searchtools.com/robots/robot-code.html(...) . Ca liste tout une série de crawlers, parfois minimalistes (mais donc rapidement compréhensibles et personnalisables).
# Liste de crawlers
Posté par Robert VISEUR . En réponse au message Lire un fichier web en C++ avec wxWidgets. Évalué à 1.
Je viens de trouver ceci, qui a l'air intéressant, pour tous ceux qui ont le même problème que moi : http://www.searchtools.com/robots/robot-code.html(...) . Ca liste tout une série de crawlers, parfois minimalistes (mais donc rapidement compréhensibles et personnalisables).