En fait, l'intégration de Dask m'a fait me poser des questions sur l'optimisation du code avec Pandas. L'origine est qu'un collègue est venu me voir en disant que le datasets ne rentrait pas en mémoire avec pandas. J'avoue que je n'ai pas vérifié son code et mon premier réflexe a été de lui dire : "Utilise Dask'. À l'époque on avait qu'un petit serveur de calcul avec 16Go de RAM, et plusieurs utilisateurs en même temps à faire apprendre des modèles, pour un dataset d'environ 7-8Go. On a donc utilisé Dask et ça a marché un temps jusqu'à avoir le vrai serveur de calcul avec 64Go de RAM. A ce moment Dask est devenu inutile.
Puis, je suis tombé sur ça : https://www.dataquest.io/blog/pandas-big-data/ Et là ma vision a changé. En fait, on aurait surement pas eu besoin de Dask mais d'un peu d'optimisation avec Pandas. Donc, mon expérience avec Dask est mitigée pour l'instant mais je pense que j'aurais l'occasion de tester plus tard avec des plus gros datasets.
Donc pour répondre à ta question : ça dépend de la machine que tu utilises :)
[^] # Re: Pandas/Dask et programmation fonctionnelle
Posté par Julien Laumonier . En réponse au journal L/D·es différents paradigmes de programmation en Python. Évalué à 1.
Je comprends pour la traduction :)
En fait, l'intégration de Dask m'a fait me poser des questions sur l'optimisation du code avec Pandas. L'origine est qu'un collègue est venu me voir en disant que le datasets ne rentrait pas en mémoire avec pandas. J'avoue que je n'ai pas vérifié son code et mon premier réflexe a été de lui dire : "Utilise Dask'. À l'époque on avait qu'un petit serveur de calcul avec 16Go de RAM, et plusieurs utilisateurs en même temps à faire apprendre des modèles, pour un dataset d'environ 7-8Go. On a donc utilisé Dask et ça a marché un temps jusqu'à avoir le vrai serveur de calcul avec 64Go de RAM. A ce moment Dask est devenu inutile.
Puis, je suis tombé sur ça : https://www.dataquest.io/blog/pandas-big-data/ Et là ma vision a changé. En fait, on aurait surement pas eu besoin de Dask mais d'un peu d'optimisation avec Pandas. Donc, mon expérience avec Dask est mitigée pour l'instant mais je pense que j'aurais l'occasion de tester plus tard avec des plus gros datasets.
Donc pour répondre à ta question : ça dépend de la machine que tu utilises :)
Julien