Primo, ça réduit les ressources pour l'opérateur du moteur et le site web, vu qu'il n'y a qu'un fichier statique à télécharger au lieu de dizaines ou centaines de pages (et parfois des 10aines de fichiers dynamiques). Il n'y a pas besoin de parser le code HTML, vu que c'est déjà fait via l'index. Donc pas besoin non plus de détecter et retirer l'interface du site web via des heuristiques compliqués (eg, ML, etc) pour nettoyer l'index.
Réduire les ressources fait que le moteur d'indexation va prendre moins de CPU, de BP, etc ce qui permet d'abaisser le ticket d'entrée, ce qui est important si tu veux tourner ailleurs que sur une infra cloud.
Secundo, ça permet à l'opérateur du site de contrôler l'indexation de façon plus fine et précise. C'est un besoin que certains sites ont (cf mon exemple avec la doc d'ansible). Comme le modèle est aussi de n'avoir que des sites de confiance (cf la partie sur une curation manuelle des sites par un groupe), il est possible d'être dans une relation de confiance à priori plutôt qu'une relation de méfiance (cf Google qui se fait spammer et donc ne pas pas faire confiance à ce qui est indexé).
Tertio, tu peux décider toi même des mots à ignorer dans l'index. C'est con, mais si je prends l'exemple de l'intranet de mon employeur vu qu'on a le nom de la boite dans tout les produits, ça rends les recherches compliqués. Avoir un index ou on peut dire de traiter 'acme super firewall' comme 1 expression et pas polluer l'index en traitant firewall à part aiderais sans doute à avoir un moteur de recherche efficace.
[^] # Re: Yacy
Posté par Misc (site web personnel) . En réponse au journal censure ou pas. Évalué à 3.
Je vois plusieurs avantages.
Primo, ça réduit les ressources pour l'opérateur du moteur et le site web, vu qu'il n'y a qu'un fichier statique à télécharger au lieu de dizaines ou centaines de pages (et parfois des 10aines de fichiers dynamiques). Il n'y a pas besoin de parser le code HTML, vu que c'est déjà fait via l'index. Donc pas besoin non plus de détecter et retirer l'interface du site web via des heuristiques compliqués (eg, ML, etc) pour nettoyer l'index.
Réduire les ressources fait que le moteur d'indexation va prendre moins de CPU, de BP, etc ce qui permet d'abaisser le ticket d'entrée, ce qui est important si tu veux tourner ailleurs que sur une infra cloud.
Secundo, ça permet à l'opérateur du site de contrôler l'indexation de façon plus fine et précise. C'est un besoin que certains sites ont (cf mon exemple avec la doc d'ansible). Comme le modèle est aussi de n'avoir que des sites de confiance (cf la partie sur une curation manuelle des sites par un groupe), il est possible d'être dans une relation de confiance à priori plutôt qu'une relation de méfiance (cf Google qui se fait spammer et donc ne pas pas faire confiance à ce qui est indexé).
Tertio, tu peux décider toi même des mots à ignorer dans l'index. C'est con, mais si je prends l'exemple de l'intranet de mon employeur vu qu'on a le nom de la boite dans tout les produits, ça rends les recherches compliqués. Avoir un index ou on peut dire de traiter 'acme super firewall' comme 1 expression et pas polluer l'index en traitant firewall à part aiderais sans doute à avoir un moteur de recherche efficace.