Posté par beagf .
En réponse à la dépêche DuckDuckGo.
Évalué à 10.
Attention, ta traduction est mauvaise, il ne parle pas de « pub » mais de « spam ». Dans le cas du Web on parle d'ailleurs plutôt de « webspam » ou de « spamdexing ».
Le spamdexing regroupe les techniques utilisées pour tricher avec les algorithmes de classements des moteurs de recherche afin qu'un site Web ce retrouve artificiellement mieux classé qu'il ne le devrait sur certaines requêtes.
Dans les début des moteurs de recherche, par exemple, la principale méthodes de classement reposait sur une mesure très simple : le TF/IDF. Pour savoir si un document est bon vis-à-vis d'une requête, on regarde pour chaque mot de la requête sa fréquence dans le document par rapport à sa fréquence dans l'ensemble des pages indexées.
Si le score du TF/IDF est bon, cela veut dire que globalement les mots de la requête apparaissent plus souvent dans ce document que dans un document moyen, il est donc probablement intéressant pour l'utilisateur.
Rapidement, le gens ont compris comment marchait ce type de moteur et ils ont commencés à remplir leurs pages de mots-clés fréquemment utilisés dans les requêtes qui les intéressait. Et les résultats des moteurs de recherche ont commencé à devenir n'importe quoi.
Ce fût le début de la guerre entre spammeurs et moteurs de recherche. Les moteurs trouvent de nouvelles manières de classer les pages et de déjouer les techniques des spammeurs, pendant que les spammeurs font l'inverse. C'est le problème de l'épée et du bouclier.
La grosse amélioration apportée par Google à été la combinaison de deux scores : une mesure de pertinence tout-à-fait classique combinée à une mesure de confiance, le fameux « page-rank ». Le principe est tout simple : en général un site web ne contrôle que les liens qui sortent de chez lui, pas ceux qui pointent vers lui. Si on fait confiance à un site, on doit pouvoir faire confiance au site vers lesquels il pointe et vice-verca.
On commence donc en donnant un bon score à quelques site de confiance et un mauvais score à des spammeurs et on propage une partie de ce score vers les sites qu'ils pointent. En itérant, le système finit par ce stabiliser avec des scores de confiance pour tout le monde. (je simplifie un peu...)
Ça a bien marcher pendant un moment jusqu'à ce que les spammeurs comprennent comment contourner le truc : d'abord l'échange de liens puis « les fermes de liens ». C'est-à-dire un ensemble de site Webs comportant un très grands nombre de pages web très fortement connectées (plusieurs millions de pages) qui vont servir d'accumulateurs à page-rank.
La guerre entre les deux est permanente et contrairement à la cryptographie par exemple, il est à peu près impossible de créer un algo qui soit résistant de manière intrinsèque car on ne contrôle que l'algo pas les données, les spammeurs peuvent donc étudier l'algo et produire des site web spécialement adapté pour cet algo.
Pour avoir fait ma thèse dans le domaine je connais très bien le problème et je peut te garantir que les spammeurs suivent de très près toute la recherche qui est faite dans le domaine et sont très réactifs. Il n'est pas rare de voir apparaître de nouvelles technique de spams destinées à contrer des techniques anti-spam qui viennent d'être publiées et qui ne sont même pas encore arrivées dans les versions de production des moteurs de recherche.
Je n'aime pas ça mais ici on est vraiment dans une situation ou les algos doivent rester secrets pour le bien de l'utilisateur, c'est ce qui permet d'avoir des résultats pertinents.
Pour ce qui est des moteurs de recherche OpenSource, il ne sont tous simplement pas concernés, soient ils n'utilisent que des algos déjà publiés et donc les résultats sont pourris, soient il ne sont utilisés que par trois péquins et sont donc loin d'être une cible pour les spammeurs. Mais tu peut-être sûr que si un moteur de recherche OpenSource ce met à fournir des résultats pertinents et commence à avoir du succès, la qualité des résultats va vite chuter.
Il y a pour le moment une incompatibilité fondamentale entre OpenSource, pertinence et succès.
[^] # Re: je peut l'installer sur mon serveur ?
Posté par beagf . En réponse à la dépêche DuckDuckGo. Évalué à 10.
Attention, ta traduction est mauvaise, il ne parle pas de « pub » mais de « spam ». Dans le cas du Web on parle d'ailleurs plutôt de « webspam » ou de « spamdexing ».
Le spamdexing regroupe les techniques utilisées pour tricher avec les algorithmes de classements des moteurs de recherche afin qu'un site Web ce retrouve artificiellement mieux classé qu'il ne le devrait sur certaines requêtes.
Dans les début des moteurs de recherche, par exemple, la principale méthodes de classement reposait sur une mesure très simple : le TF/IDF. Pour savoir si un document est bon vis-à-vis d'une requête, on regarde pour chaque mot de la requête sa fréquence dans le document par rapport à sa fréquence dans l'ensemble des pages indexées.
Si le score du TF/IDF est bon, cela veut dire que globalement les mots de la requête apparaissent plus souvent dans ce document que dans un document moyen, il est donc probablement intéressant pour l'utilisateur.
Rapidement, le gens ont compris comment marchait ce type de moteur et ils ont commencés à remplir leurs pages de mots-clés fréquemment utilisés dans les requêtes qui les intéressait. Et les résultats des moteurs de recherche ont commencé à devenir n'importe quoi.
Ce fût le début de la guerre entre spammeurs et moteurs de recherche. Les moteurs trouvent de nouvelles manières de classer les pages et de déjouer les techniques des spammeurs, pendant que les spammeurs font l'inverse. C'est le problème de l'épée et du bouclier.
La grosse amélioration apportée par Google à été la combinaison de deux scores : une mesure de pertinence tout-à-fait classique combinée à une mesure de confiance, le fameux « page-rank ». Le principe est tout simple : en général un site web ne contrôle que les liens qui sortent de chez lui, pas ceux qui pointent vers lui. Si on fait confiance à un site, on doit pouvoir faire confiance au site vers lesquels il pointe et vice-verca.
On commence donc en donnant un bon score à quelques site de confiance et un mauvais score à des spammeurs et on propage une partie de ce score vers les sites qu'ils pointent. En itérant, le système finit par ce stabiliser avec des scores de confiance pour tout le monde. (je simplifie un peu...)
Ça a bien marcher pendant un moment jusqu'à ce que les spammeurs comprennent comment contourner le truc : d'abord l'échange de liens puis « les fermes de liens ». C'est-à-dire un ensemble de site Webs comportant un très grands nombre de pages web très fortement connectées (plusieurs millions de pages) qui vont servir d'accumulateurs à page-rank.
La guerre entre les deux est permanente et contrairement à la cryptographie par exemple, il est à peu près impossible de créer un algo qui soit résistant de manière intrinsèque car on ne contrôle que l'algo pas les données, les spammeurs peuvent donc étudier l'algo et produire des site web spécialement adapté pour cet algo.
Pour avoir fait ma thèse dans le domaine je connais très bien le problème et je peut te garantir que les spammeurs suivent de très près toute la recherche qui est faite dans le domaine et sont très réactifs. Il n'est pas rare de voir apparaître de nouvelles technique de spams destinées à contrer des techniques anti-spam qui viennent d'être publiées et qui ne sont même pas encore arrivées dans les versions de production des moteurs de recherche.
Je n'aime pas ça mais ici on est vraiment dans une situation ou les algos doivent rester secrets pour le bien de l'utilisateur, c'est ce qui permet d'avoir des résultats pertinents.
Pour ce qui est des moteurs de recherche OpenSource, il ne sont tous simplement pas concernés, soient ils n'utilisent que des algos déjà publiés et donc les résultats sont pourris, soient il ne sont utilisés que par trois péquins et sont donc loin d'être une cible pour les spammeurs. Mais tu peut-être sûr que si un moteur de recherche OpenSource ce met à fournir des résultats pertinents et commence à avoir du succès, la qualité des résultats va vite chuter.
Il y a pour le moment une incompatibilité fondamentale entre OpenSource, pertinence et succès.