Un crawler, c'est un genre de wget/curl récursif : on prend une page web, on récupère ses liens, puis on recommence avec ces liens, etc.
Là, pour aller plus vite, il utilise des listes de liens déja pré-établies.
Sinon je n'avais jamais entendu parler de Google Sets... faut demander a google !
[^] # Re: Demande d'explications complémentaires
Posté par jigso . En réponse au journal Crawler web & Google Sets. Évalué à 2.
Un crawler, c'est un genre de wget/curl récursif : on prend une page web, on récupère ses liens, puis on recommence avec ces liens, etc.
Là, pour aller plus vite, il utilise des listes de liens déja pré-établies.
Sinon je n'avais jamais entendu parler de Google Sets... faut demander a google !