De fait, une classe APIBrowser a été rajoutée, ainsi que des filtres permettant de parser le JSON de façon similaire aux filtres CSS ou XPath.
Justement, comment ça marche les filtres CSS ?
Je suis en train de regarder par quoi remplacer mes scripts de scrapping qui traînent à gauche et à droite, en en réécrivant avec scrapy/weboob.browser. Et je dois dire que autant je préfère de loin le design général de weboob.browser, autant xpath me donne de l’urticaire. Par exemple, comment remplacer les sélecteurs xpath par des sélecteurs css dans l’exemple de la doc ?
(pourquoi xpath pue objectivement la merde pour le scraping ? parce que le sélecteur pour balance par exemple ne fonctionnera pas sur <td class="closed-account balance numeric">. En xpath pour sélectionner une classe c’est [@class and contains(concat(' ', normalize-space(@class), ' '), ' balance ')])
M’enfin toujours est-il que j’arrive pas à trouver quelque chose qui se rapproche de la simplicité de la mini lib que je m’étais faite (qui a par contre l’inconvénient d’être mal testée et bugguée à mort), je trouve ça un peu décevant :(
# Filtres CSS ?
Posté par Moonz . En réponse à la dépêche Weboob : une version 1.1 pour son sixième anniversaire. Évalué à 4. Dernière modification le 16 février 2016 à 09:31.
Justement, comment ça marche les filtres CSS ?
Je suis en train de regarder par quoi remplacer mes scripts de scrapping qui traînent à gauche et à droite, en en réécrivant avec scrapy/weboob.browser. Et je dois dire que autant je préfère de loin le design général de weboob.browser, autant xpath me donne de l’urticaire. Par exemple, comment remplacer les sélecteurs xpath par des sélecteurs css dans l’exemple de la doc ?
(pourquoi xpath pue objectivement la merde pour le scraping ? parce que le sélecteur pour
balancepar exemple ne fonctionnera pas sur<td class="closed-account balance numeric">. En xpath pour sélectionner une classe c’est[@class and contains(concat(' ', normalize-space(@class), ' '), ' balance ')])M’enfin toujours est-il que j’arrive pas à trouver quelque chose qui se rapproche de la simplicité de la mini lib que je m’étais faite (qui a par contre l’inconvénient d’être mal testée et bugguée à mort), je trouve ça un peu décevant :(