Ou alors utiliser quelques serveurs centraux qui ne gèrent que les réponses et laisser faire l'indexation par la communauté.
Tu en es certain ?
Il me semblait que le crawling, l'indexation et la recheche était décentralisées.
Si tu installes un noeud tu peux effectuer tes recherches avec ton serveur local et on s'appuie sur un index distribué. http://en.wikipedia.org/wiki/Distributed_Hash_Table
L'avantage de cette solution complétement décentralisée est le support de la montée en charge ainsi que les couts d'infrastructure faibles. Il n'est plus nécessaire de disposer de clusters de machines. Ceci se prète donc bien à une approche communautaire pour des questions de financement . Chacun met à disposition ses maigres ressources.
L'inconvénient semble être la latence. Une même requête sera forcément plus longue à satisfaire.
Ceci s'oppose à feu WikiaSearch http://en.wikipedia.org/wiki/Wikia_Search qui s'appuyait sur un crawler distribué (grub) mais qui utilisait un index et un frontend de recherche en mode cluster me semble-t'il.
[^] # Re: Meta moteur ?
Posté par nomorepost . En réponse à la dépêche Sortie de Seeks stable 0.2. Évalué à 3.
Ou alors utiliser quelques serveurs centraux qui ne gèrent que les réponses et laisser faire l'indexation par la communauté.
Tu en es certain ?
Il me semblait que le crawling, l'indexation et la recheche était décentralisées.
Si tu installes un noeud tu peux effectuer tes recherches avec ton serveur local et on s'appuie sur un index distribué.
http://en.wikipedia.org/wiki/Distributed_Hash_Table
L'avantage de cette solution complétement décentralisée est le support de la montée en charge ainsi que les couts d'infrastructure faibles. Il n'est plus nécessaire de disposer de clusters de machines. Ceci se prète donc bien à une approche communautaire pour des questions de financement . Chacun met à disposition ses maigres ressources.
L'inconvénient semble être la latence. Une même requête sera forcément plus longue à satisfaire.
Ceci s'oppose à feu WikiaSearch http://en.wikipedia.org/wiki/Wikia_Search qui s'appuyait sur un crawler distribué (grub) mais qui utilisait un index et un frontend de recherche en mode cluster me semble-t'il.