Ce projet semble intéressant dans son approche du traitement de flux. Cependant, comment se situe-t-il par rapport aux ETL tels que Talend ou DataStage? Est-ce un complément pour du traitement peu complexe, ou un concurrent direct?
Au niveau technique, il semble qu'il n'y ait pas de format de fichier intermédiaire (comme les datasets pour Datastage), comment alors découper un traitement en plusieurs sous traitement et réutiliser certaines données déjà traitées?
Enfin en terme de volumétrie traité, y a-t-il un benchmark pour se faire une idée (par exemple, extraction d'une table de 10 millions de lignes ayant 20 colonnes).
En tout cas je trouve ce projet intéressant et je vais essayer de le tester.
# ETL?
Posté par reeth . En réponse à la dépêche La programmation en flux, c'est facile avec PyF 2.0. Évalué à 8.
Au niveau technique, il semble qu'il n'y ait pas de format de fichier intermédiaire (comme les datasets pour Datastage), comment alors découper un traitement en plusieurs sous traitement et réutiliser certaines données déjà traitées?
Enfin en terme de volumétrie traité, y a-t-il un benchmark pour se faire une idée (par exemple, extraction d'une table de 10 millions de lignes ayant 20 colonnes).
En tout cas je trouve ce projet intéressant et je vais essayer de le tester.