1/ étant donné la nature changeante des sites web pris en charge, avez vous mis en place des tests automatiques qui alerteraient de ces changements ?
Oui, il y a des buildbots qui tournent. Cependant, comme de nombreux sites demandent des identifiants, il n'est pas possible de tester cela de façon totalement centralisé. Donc si un mainteneur ne fait pas son travail de maintenance, il n'est pas forcément remplaçable. C'est d'ailleurs pour ça que notre objectif n'est pas d'attirer des contributeurs pour écrire des modules, mais surtout des contributeurs capables de maintenir dans la durée leurs modules (sachant qu'il est complètement impossible de prévoir à l'avance la fréquence des changements. Certains sites sont très stables).
2/ y a t il une méthode particulière employée pour limiter l'impact de ces changements dans la manière dont sont "scrapés" les sites web ?
J'ai pas compris la question je crois. Peut-être une piste de réponse serait cependant le module Cragr, qui vu la multiplicité des sites régionaux du crédit agricole, tente de deviner la structure de la page.
3/
Je laisse aux plus compétents sur la question. J'ai en tout cas comme objectif d'intégrer la demande de mot de passe dans le module Kmymoney, afin d'éviter le stockage dans un fichier.
4/ le module francetelevision est dans les choux depuis un moment: pose-t-il une difficulté particulière ?
Oui, il est bourré de DRM. Cependant il me semble que la théorie est résolue depuis longtemps, on manque surtout de bras motivés pour s'en occuper.
5/ dans le brouhaha des commentaires ci-dessus, moules< indique que plusieurs entreprises utilisent weboob: peut on savoir lesquelles et dans quels contextes ? offre-t-elle un retour quelconque, financier ou ligne de code ?
Je te renvoie vers le site « professionnel » de Weboob : http://weboob.com
Budget Insigh/Budgea est la principale entreprise contributrice à Weboob. Son impact sur les modules bancaires est non négligeable (c'est bien pour ça que les modules bancaires ne sont presque jamais « cassés », et aussi nombreux). Cette entreprise avait déjà été présenté ici dans la dépêche « ces start-ups qui contribuent au libre ». Ils ont à ma connaissance d'autres boîtes clientes, qui utilisent donc Weboob également.
Le fondateur de winancial est membre de l'association Weboob et passe de temps en temps sur IRC pour poser des questions, je n'ai cependant pas plus de détails.
6/ en dehors de la maintenance et l'ajout de modules, quelles sont les évolutions techniques prévues à plus ou moins long terme ? sont elles liés à des changements de l'architecture de weboob ou bien imposées par les spécificités de certains sites web qui ne peuvent pas être gérés par la version actuelle ?
On en a déjà parlé sur les dépêches précédentes, le projet Browser2 est toujours d'actualité. L'idée est de fournir un navigateur plus simple et plus efficace pour aider à l'écriture de module. De nombreux tickets sont ouverts à ce sujet, et il y a même une ébauche de page Wiki. Et également, pouvoir exécuter du javascript serait vraiment un plus pour certains modules.
On a ensuite de temps en temps des sites qui nous envoient des problèmes non prévus. Cf l'ajout du cache DNS dans cette version, suite au site de la BNP dont le nom de domaine est un CNAME renvoyant des adresses IP aléatoires. Sans cache dans le navigateur, le parcours du site est impossible.
7/ serait il possible d'avoir une FAQ vers laquelle serait systématiquement renvoyées les personnes choquées par le champ lexical et l'iconographie choisis par les auteurs, afin d'éviter la centaine de commentaires polluant chaque nouvelle sortie du logiciel.
C'est une idée. À noter cependant que toutes les dépêches ne sont pas polluées. La dépêche précédente était relativement calme. La chaleur du mois d'août semble avoir des effets étranges.
[^] # Re: Aaaaaahhhhh chouette: une nouvelle version !
Posté par Florent Fourcot . En réponse à la dépêche Weboob atteint le .g. Évalué à 6. Dernière modification le 06 août 2013 à 12:49.
Oui, il y a des buildbots qui tournent. Cependant, comme de nombreux sites demandent des identifiants, il n'est pas possible de tester cela de façon totalement centralisé. Donc si un mainteneur ne fait pas son travail de maintenance, il n'est pas forcément remplaçable. C'est d'ailleurs pour ça que notre objectif n'est pas d'attirer des contributeurs pour écrire des modules, mais surtout des contributeurs capables de maintenir dans la durée leurs modules (sachant qu'il est complètement impossible de prévoir à l'avance la fréquence des changements. Certains sites sont très stables).
J'ai pas compris la question je crois. Peut-être une piste de réponse serait cependant le module Cragr, qui vu la multiplicité des sites régionaux du crédit agricole, tente de deviner la structure de la page.
Je laisse aux plus compétents sur la question. J'ai en tout cas comme objectif d'intégrer la demande de mot de passe dans le module Kmymoney, afin d'éviter le stockage dans un fichier.
Oui, il est bourré de DRM. Cependant il me semble que la théorie est résolue depuis longtemps, on manque surtout de bras motivés pour s'en occuper.
Je te renvoie vers le site « professionnel » de Weboob : http://weboob.com
Budget Insigh/Budgea est la principale entreprise contributrice à Weboob. Son impact sur les modules bancaires est non négligeable (c'est bien pour ça que les modules bancaires ne sont presque jamais « cassés », et aussi nombreux). Cette entreprise avait déjà été présenté ici dans la dépêche « ces start-ups qui contribuent au libre ». Ils ont à ma connaissance d'autres boîtes clientes, qui utilisent donc Weboob également.
Le fondateur de winancial est membre de l'association Weboob et passe de temps en temps sur IRC pour poser des questions, je n'ai cependant pas plus de détails.
On en a déjà parlé sur les dépêches précédentes, le projet Browser2 est toujours d'actualité. L'idée est de fournir un navigateur plus simple et plus efficace pour aider à l'écriture de module. De nombreux tickets sont ouverts à ce sujet, et il y a même une ébauche de page Wiki. Et également, pouvoir exécuter du javascript serait vraiment un plus pour certains modules.
On a ensuite de temps en temps des sites qui nous envoient des problèmes non prévus. Cf l'ajout du cache DNS dans cette version, suite au site de la BNP dont le nom de domaine est un CNAME renvoyant des adresses IP aléatoires. Sans cache dans le navigateur, le parcours du site est impossible.
C'est une idée. À noter cependant que toutes les dépêches ne sont pas polluées. La dépêche précédente était relativement calme. La chaleur du mois d'août semble avoir des effets étranges.