L'autre jour je devais faire une aggregation sur un grand nombre d'elements stocke dans une table postgre.
Je commence par une requête SQL classique => c'est lent. Je check les index avec ANALYZE EXPLAIN, tout est bon. Bref, pas d'explication, c'est juste lent. J'essaie de bricoler des materialized view, franchement c'est galère, c'est pas terrible.
Je fais le goret, j'importe la table dans une dataframe pandas, je fais mon aggregation => bim c'est rapide.
OK alors, quand je dis qu'on choisit python pour les performances, je trolle peut etre un peu en faisant un raccourci mais c'est vrai. On choisit python pour son écosystème d'outils qui sont très performants. Si vous avez beaucoup de données a traiter/aggreger de plein de manières différentes, c'est certainement le meilleur choix que vous pouvez faire.
[^] # Re: performances
Posté par flagos . En réponse au journal Utilisation de Perl aujourd'hui.. Évalué à 4. Dernière modification le 08 octobre 2024 à 16:29.
L'autre jour je devais faire une aggregation sur un grand nombre d'elements stocke dans une table postgre.
Je commence par une requête SQL classique => c'est lent. Je check les index avec ANALYZE EXPLAIN, tout est bon. Bref, pas d'explication, c'est juste lent. J'essaie de bricoler des materialized view, franchement c'est galère, c'est pas terrible.
Je fais le goret, j'importe la table dans une dataframe pandas, je fais mon aggregation => bim c'est rapide.
OK alors, quand je dis qu'on choisit python pour les performances, je trolle peut etre un peu en faisant un raccourci mais c'est vrai. On choisit python pour son écosystème d'outils qui sont très performants. Si vous avez beaucoup de données a traiter/aggreger de plein de manières différentes, c'est certainement le meilleur choix que vous pouvez faire.