Et quand il indexait un site, il le faisait par dizaines de pages, en même temps, très vite, comme un goinfre, ce qui faisait souffrir certain sites.
Tu peux developer?
Si ton site ne supporte pas 10, 20 ou meme 100 requetes en paralleles, t'as un gros souci qui n'a pas grand chose a voir avec un crawler, non?
[^] # Re: Pas besoin de loi
Posté par groumly . En réponse au journal Google menace de déréférencer la presse française.. Évalué à -10.
Tu peux developer?
Si ton site ne supporte pas 10, 20 ou meme 100 requetes en paralleles, t'as un gros souci qui n'a pas grand chose a voir avec un crawler, non?