Ça tombe très très bien : par défaut ton crawler n'indexe que les sites que tu lui donnes. Il y a aussi une option pour le faire fonctionner en proxy, histoire d'indexer les pages que tu visites, les pages qui ont besoins de cookies ou d'authentification ne seront pas crawler... La vie est bien faite parfois ;-)
[^] # Re: Que fait le « crawler » ?
Posté par Adrien . En réponse au journal je découvre yacy, moteur de recherche p2p. Évalué à 3.
Ça tombe très très bien : par défaut ton crawler n'indexe que les sites que tu lui donnes. Il y a aussi une option pour le faire fonctionner en proxy, histoire d'indexer les pages que tu visites, les pages qui ont besoins de cookies ou d'authentification ne seront pas crawler... La vie est bien faite parfois ;-)