Je l'avais installé il y a 15 ans. C'était assez la catastrophe avec les machines de l'époque.
Je suppose que de nos jours, ç'est sans doute plus facile. Mais je pense que le souci d'un moteur comme yacy est structurel, et qu'il faut revoir les fondamentaux.
Pour le boulot, on a regardé les formulaires de recherches sur les sites statiques (eg jekyll, zola, hugo, etc). Zola propose d'avoir un index pour un usage via Elasticlunr, les autres utilisent la même lib ou des choses équivalentes.
Et je me suis dit que ça serait parfait pour construire un bout d'alternative à l'hégémonie de Google. Je dit bien un bout, parce que je pense que c'est le souci de toute les initiatives, s'attaquer à un titan.
Si chaque site commence à fournir un index à un endroit standard, on peut imaginer l’émergence de structures intéressantes. Par exemple, un groupe de passionné d'histoire pourrait avoir une liste de site tenues à jour par la communauté, et un moteur pourrait se spécialiser sur ce sujet sur la base de la liste et des indexes publiés.
Avec le temps, des listes de haute qualité et tenus à jour par des humains vont émerger.
On évite le spam car les listes sont manuellement approuvés. Si un groupe commence à laisser passer du spam, j'imagine qu'un processus "démocratique" va arriver pour faire le ménage. Si un site rajoute du spam dans son index, le groupe va le virer.
Et ce système permet d'avoir des communautés autour d'un sujet spécifique. Si mon site est sur l’électronique, je vais aller chercher un groupe et me faire rajouter dans la liste. C'est le modèle des annuaires d'avant Google (eg, Dmoz, Yahoo, etc), et je pense que pour des sujets de niche, ça marche pas mal.
Avoir des indexes plus petit et distribué permet aussi d'éviter le coût d'indexer tout le web. Avoir des indexes fourni par le site web évite aussi le souci de devoir faire du parsing HTML, et permet d'avoir directement l'information.
Bien sur, ça ne va pas remplacer Google. La majorité des gens vont encore taper SNCF dans Google pour aller sur le site de la SNCF. Mais en évitant aussi d'être la pour tout le monde, on évite aussi d'attirer l'attention des spammeurs.
Mais imaginons vraiment ce que ça pourrait donner pour le logiciel libre.
On pourrait imaginer un site qui indexe uniquement la doc des distributions Linux, avec des sites de tutorial, peut être des forums spécifiques. La liste serait discuté comme n'importe quel projet de code, on éviterait tout les clones de site qui recopie Stack Overflow (vu qu'il y a une validation humaine), on aurait des résultats corrects vu que l'index serait sous le contrôle des sites webs.
Par exemple, je sais que certains projets (ansible, openshift) ont du mal à faire remonter les pages récentes de leur doc car l'index n'est ni sous le contrôle du projet, ni celui des utilisateurs. Avoir un format ouvert permettrait aux opérateurs de dire ce qu'ils ont et ce qu'ils veulent et à la communauté de l'accepter.
D'ailleurs, il suffit de comparer Google Scholar et Google Search pour voir ce qu'on peut améliorer avec un moteur spécialisé. Et avoir plus de moteurs spécialisés à taille humaine me parait un projet qui peut avoir du succès, par opposition à aller frontalement face à Google.
[^] # Re: Yacy
Posté par Misc (site web personnel) . En réponse au journal censure ou pas. Évalué à 7.
Je l'avais installé il y a 15 ans. C'était assez la catastrophe avec les machines de l'époque.
Je suppose que de nos jours, ç'est sans doute plus facile. Mais je pense que le souci d'un moteur comme yacy est structurel, et qu'il faut revoir les fondamentaux.
Pour le boulot, on a regardé les formulaires de recherches sur les sites statiques (eg jekyll, zola, hugo, etc). Zola propose d'avoir un index pour un usage via Elasticlunr, les autres utilisent la même lib ou des choses équivalentes.
Et je me suis dit que ça serait parfait pour construire un bout d'alternative à l'hégémonie de Google. Je dit bien un bout, parce que je pense que c'est le souci de toute les initiatives, s'attaquer à un titan.
Si chaque site commence à fournir un index à un endroit standard, on peut imaginer l’émergence de structures intéressantes. Par exemple, un groupe de passionné d'histoire pourrait avoir une liste de site tenues à jour par la communauté, et un moteur pourrait se spécialiser sur ce sujet sur la base de la liste et des indexes publiés.
Avec le temps, des listes de haute qualité et tenus à jour par des humains vont émerger.
On évite le spam car les listes sont manuellement approuvés. Si un groupe commence à laisser passer du spam, j'imagine qu'un processus "démocratique" va arriver pour faire le ménage. Si un site rajoute du spam dans son index, le groupe va le virer.
Et ce système permet d'avoir des communautés autour d'un sujet spécifique. Si mon site est sur l’électronique, je vais aller chercher un groupe et me faire rajouter dans la liste. C'est le modèle des annuaires d'avant Google (eg, Dmoz, Yahoo, etc), et je pense que pour des sujets de niche, ça marche pas mal.
Avoir des indexes plus petit et distribué permet aussi d'éviter le coût d'indexer tout le web. Avoir des indexes fourni par le site web évite aussi le souci de devoir faire du parsing HTML, et permet d'avoir directement l'information.
Bien sur, ça ne va pas remplacer Google. La majorité des gens vont encore taper SNCF dans Google pour aller sur le site de la SNCF. Mais en évitant aussi d'être la pour tout le monde, on évite aussi d'attirer l'attention des spammeurs.
Mais imaginons vraiment ce que ça pourrait donner pour le logiciel libre.
On pourrait imaginer un site qui indexe uniquement la doc des distributions Linux, avec des sites de tutorial, peut être des forums spécifiques. La liste serait discuté comme n'importe quel projet de code, on éviterait tout les clones de site qui recopie Stack Overflow (vu qu'il y a une validation humaine), on aurait des résultats corrects vu que l'index serait sous le contrôle des sites webs.
Par exemple, je sais que certains projets (ansible, openshift) ont du mal à faire remonter les pages récentes de leur doc car l'index n'est ni sous le contrôle du projet, ni celui des utilisateurs. Avoir un format ouvert permettrait aux opérateurs de dire ce qu'ils ont et ce qu'ils veulent et à la communauté de l'accepter.
D'ailleurs, il suffit de comparer Google Scholar et Google Search pour voir ce qu'on peut améliorer avec un moteur spécialisé. Et avoir plus de moteurs spécialisés à taille humaine me parait un projet qui peut avoir du succès, par opposition à aller frontalement face à Google.