par contre je pensais pas que le faire à la volée poserait problème. Un cache en mémoire ne suffirait pas ?
Moi aussi, au départ :)
L'outil tourne en mode batch, dans un cron par exemple.
Compte tenu de la fréquence d'apparition de nouveaux contenu, je le lance toutes les deux heures.
Il n'a donc pas de cache mémoire possible entre deux exécutions.
Entre deux exécutions, il n'y a bien souvent que deux ou trois nouveaux articles dans le flux d'origine qui en liste 25.
Il y a deux actions couteuses pour chaque article : le télécharger et lui appliquer le readability.
L'utilisation d'une BDD par rapport à un traitement a la volé a pour bénéfice:
* exécution plus rapide (empiriquement 10x)
* maintient de l'ordre des entrées dans le flux entre deux exécutions
* possibilité de générer un flux d'une taille différente de celui d'origine (j'ai choisi 40 au lieu de 25)
[^] # Re: Chouette
Posté par steph1978 . En réponse au journal scraplap, pour mouler offline. Évalué à 2.
Moi aussi, au départ :)
L'outil tourne en mode batch, dans un cron par exemple.
Compte tenu de la fréquence d'apparition de nouveaux contenu, je le lance toutes les deux heures.
Il n'a donc pas de cache mémoire possible entre deux exécutions.
Entre deux exécutions, il n'y a bien souvent que deux ou trois nouveaux articles dans le flux d'origine qui en liste 25.
Il y a deux actions couteuses pour chaque article : le télécharger et lui appliquer le readability.
L'utilisation d'une BDD par rapport à un traitement a la volé a pour bénéfice:
* exécution plus rapide (empiriquement 10x)
* maintient de l'ordre des entrées dans le flux entre deux exécutions
* possibilité de générer un flux d'une taille différente de celui d'origine (j'ai choisi 40 au lieu de 25)