Pour un crawler, c'est un outil qui va parcourir le web, en sautant de lien en lien sur chaque page.
Ça permet donc de récupérer des pages web en masse, pour faire tout et n'importe quoi (exemple : un moteur de recherche).
Google a donc un crawler « googlebot » ultra-sophistiqué qui se promène partout sur le web pour découvrir de nouvelles pages, par exemple.
Et c'est bien plus dur que ça en a l'air, car si on suit naïvement de lien en lien, il suffit qu'un site contienne plein de liens vers lui-même et on peut tourner en rond dessus. On peut dire au crawler de pas crawler plus de N pages du même site, mais alors il se passe quelque chose de très intéressant : il finit par seulement se promener sur un sous-ensemble du web constitué des sites les plus densément liés entre eux. En l’occurrence, il s'agit des sites porno.
[^] # Re: Demande d'explications complémentaires
Posté par palkeo (site web personnel) . En réponse au journal Crawler web & Google Sets. Évalué à 8.
Google Sets, du coup ça a déjà été expliqué.
Pour un crawler, c'est un outil qui va parcourir le web, en sautant de lien en lien sur chaque page.
Ça permet donc de récupérer des pages web en masse, pour faire tout et n'importe quoi (exemple : un moteur de recherche).
Google a donc un crawler « googlebot » ultra-sophistiqué qui se promène partout sur le web pour découvrir de nouvelles pages, par exemple.
Et c'est bien plus dur que ça en a l'air, car si on suit naïvement de lien en lien, il suffit qu'un site contienne plein de liens vers lui-même et on peut tourner en rond dessus. On peut dire au crawler de pas crawler plus de N pages du même site, mais alors il se passe quelque chose de très intéressant : il finit par seulement se promener sur un sous-ensemble du web constitué des sites les plus densément liés entre eux. En l’occurrence, il s'agit des sites porno.