En tout cas, ils crawlent beaucoup... Ceux qui passent sur mon site bouffent une bande passante folle. Pourtant mon site est moins vaste que les nombre de Mo qu'ils crawlent (pour les 22 premiers jours de Mai j'en suis à 178Mo de bande passante, rien que pour Google. Alors que ma base-de-données fait environ 980ko !).
D'où l'idée qu'ils doivent repasser plusieurs fois sur les mêmes données, présentées différemment par le moteur PHP (daCode roulaize avec Charles).
Peut-être d'ailleurs qu'ils utilisent un indice de similarité entre les pages crawlées en profondeur et les pages proches de la surface. Quand la similarité devient trop grande (ou trop fréquente), c'est que le moteur de crawl brasse les mêmes données, il arête.
C'est peut-être plus fiable que simplement choisir de s'arrêter en fonction de la profondeur à laquelle il est.
[^] # Il crawlent en rond ces moteurs !
Posté par Beurt . En réponse au journal Comment font les moteurs de recherche ?. Évalué à 3.
D'où l'idée qu'ils doivent repasser plusieurs fois sur les mêmes données, présentées différemment par le moteur PHP (daCode roulaize avec Charles).
Peut-être d'ailleurs qu'ils utilisent un indice de similarité entre les pages crawlées en profondeur et les pages proches de la surface. Quand la similarité devient trop grande (ou trop fréquente), c'est que le moteur de crawl brasse les mêmes données, il arête.
C'est peut-être plus fiable que simplement choisir de s'arrêter en fonction de la profondeur à laquelle il est.