Ça a l'air pas mal. Dans la même veine il y a Weboob. Ce n'est pas simplement un ensemble d'applications aux noms qui font polémique, c'est une aussi une bibliothèque (Browser 2) qui intègre tout le nécessaire pour faire du scraping (parsing, post, pagination, etc : tout).
La différence que je vois avec Scrapy, c'est que Browser 2 dispose de nombreux filtres qui font pas mal de boulot et permettent d'éviter de manipuler soit même du xpath. On décrit ce qu'on veut récupérer plus que faire le traitement soi-même. Je vous renvoie à cet article pour un peu plus d'info.
Pour avoir développé un module Weboob avec, c'est assez puissant et assez joli. Et on peut aussi parfaitement s'en servir pour un projet perso.
Il existe deux catégories de gens : ceux qui divisent les gens en deux catégories et les autres.
# Weboob
Posté par erdnaxeli (site web personnel) . En réponse au journal Extraction de données du web - introduction à Scrapy (journal bookmark). Évalué à 10. Dernière modification le 30 janvier 2015 à 15:22.
Ça a l'air pas mal. Dans la même veine il y a Weboob. Ce n'est pas simplement un ensemble d'applications aux noms qui font polémique, c'est une aussi une bibliothèque (Browser 2) qui intègre tout le nécessaire pour faire du scraping (parsing, post, pagination, etc : tout).
La différence que je vois avec Scrapy, c'est que Browser 2 dispose de nombreux filtres qui font pas mal de boulot et permettent d'éviter de manipuler soit même du xpath. On décrit ce qu'on veut récupérer plus que faire le traitement soi-même. Je vous renvoie à cet article pour un peu plus d'info.
Pour avoir développé un module Weboob avec, c'est assez puissant et assez joli. Et on peut aussi parfaitement s'en servir pour un projet perso.
Il existe deux catégories de gens : ceux qui divisent les gens en deux catégories et les autres.