Youpee, encore un énième scrapy qui va bouffer nos ressources pour permettre à d'autres de se faire de l'argent sur notre dos.
Et comme la plus part des trucs basé sur scrapy, le robot.txt à l'air d'être un truc OSEF.
J'espère que vous avez au moins mis un user-agent par défaut histoire qu'on puisse bloquer les plus noobs.
[^] # Re: bravo
Posté par voxdemonix . En réponse à la dépêche Crowl, un crawler SEO open-source. Évalué à 2. Dernière modification le 31 août 2018 à 12:45.
Youpee, encore un énième scrapy qui va bouffer nos ressources pour permettre à d'autres de se faire de l'argent sur notre dos.
Et comme la plus part des trucs basé sur scrapy, le robot.txt à l'air d'être un truc OSEF.
J'espère que vous avez au moins mis un user-agent par défaut histoire qu'on puisse bloquer les plus noobs.