Posté par Moonz .
En réponse à la dépêche Weboob 0.3.
Évalué à 2.
Y-a-t-il en projet la possibilité d’utiliser Twisted comme couche de communication réseau ?
Pour l’instant, j’utilise un script rss2maildir qui télécharge périodiquement une liste de feeds pour les placer dans une boîte Maildir. Un peu comme monboob, sauf que ça ne passe pas par un serveur SMTP mais tape directement sur le disque dur. En codant ce script, j’ai initialement utilisé la même approche que Weboob pour la parallélisation : un thread par fil. Grand mal m’en a pris : les performances des threads python étaient réellement décevantes dès lors que j’avais une vingtaine de threads.
Du coup, je suis passé à Twisted, et ça marche vachement mieux.
Je me tâte pour passer de cfeedparser+twisted à Weboob comme backend (ce qui me permettrait d’ajouter DLFP à mon rss2maildir :)), mais je considère la non-utilisation de Twisted comme un point réellement bloquant. D’où ma question.
# Twisted ?
Posté par Moonz . En réponse à la dépêche Weboob 0.3. Évalué à 2.
Pour l’instant, j’utilise un script rss2maildir qui télécharge périodiquement une liste de feeds pour les placer dans une boîte Maildir. Un peu comme monboob, sauf que ça ne passe pas par un serveur SMTP mais tape directement sur le disque dur. En codant ce script, j’ai initialement utilisé la même approche que Weboob pour la parallélisation : un thread par fil. Grand mal m’en a pris : les performances des threads python étaient réellement décevantes dès lors que j’avais une vingtaine de threads.
Du coup, je suis passé à Twisted, et ça marche vachement mieux.
Je me tâte pour passer de cfeedparser+twisted à Weboob comme backend (ce qui me permettrait d’ajouter DLFP à mon rss2maildir :)), mais je considère la non-utilisation de Twisted comme un point réellement bloquant. D’où ma question.