j'ai vu GoogleBot indexer un wiki entier et garder sans sourciller plus de 300 pages (visible avec site:62.212.109.174 vaboofer , c'était une archive d'un wiki ailleurs).
pour site:www.cnn.com on obtient 285 000 liens.
les moteurs de recherche bien écrits ont des garde-fous pour éviter de surcharger un site en nombre de requêtes dans le temps (bande passante), suivant différents critères, et en nombre de pages mémorisées aussi.
le souci concerne les moteurs amateurs et ceux ... euh... en cours de rodage ou de mise au point sur le terrain - comme le fameux PompOs de dir.com (Illiad/Proxad) à l'époque. ils cassent tout et là, il faut effectivement jouer du robots.txt ... en plus, quand on se plaint et qu'ils répondent, c'est pour dire qu'ils sont "en rodage"...
ah, autre point, il a de la mémoire, ce con. j'ai viré ce wiki depuis des lustres, plusieurs mois en fait.
[^] # Re: robot.txt
Posté par Gniarf . En réponse au journal Comment font les moteurs de recherche ?. Évalué à 4.
pour site:www.cnn.com on obtient 285 000 liens.
les moteurs de recherche bien écrits ont des garde-fous pour éviter de surcharger un site en nombre de requêtes dans le temps (bande passante), suivant différents critères, et en nombre de pages mémorisées aussi.
le souci concerne les moteurs amateurs et ceux ... euh... en cours de rodage ou de mise au point sur le terrain - comme le fameux PompOs de dir.com (Illiad/Proxad) à l'époque. ils cassent tout et là, il faut effectivement jouer du robots.txt ... en plus, quand on se plaint et qu'ils répondent, c'est pour dire qu'ils sont "en rodage"...
ah, autre point, il a de la mémoire, ce con. j'ai viré ce wiki depuis des lustres, plusieurs mois en fait.