A 12M de lignes, un script en python peut s'avérer vachement pertinent.
Perso, sur un dataset quotidien d'1M de lignes je n'ai pas trouvé mieux comme solution. (27s de traitement contre 25mn sous Refine et... Impossible sous LibreOffice). Le script m'a pris 12 lignes sales.
Il faudrait voir tes données un peu plus en détail.
Pour R, j'ai assisté à une conf très intéressante sur le traitement des données du RCS qui vient de passer en OpenData.
R a les mêmes soucis de chargement en RAM des données.
Joel Gombin de Datactivist : http://datactivi.st/ (Gloire à lui) a présenté une astuce très élégante de passage préalable des données dans MonetDBLite. (un equivalent SQLite pour MonetDB)
[^] # Re: Cela a l'air pas mal ...
Posté par toctoc1 . En réponse à la dépêche Oui, Illico !. Évalué à 3.
A 12M de lignes, un script en python peut s'avérer vachement pertinent.
Perso, sur un dataset quotidien d'1M de lignes je n'ai pas trouvé mieux comme solution. (27s de traitement contre 25mn sous Refine et... Impossible sous LibreOffice). Le script m'a pris 12 lignes sales.
Il faudrait voir tes données un peu plus en détail.
Pour R, j'ai assisté à une conf très intéressante sur le traitement des données du RCS qui vient de passer en OpenData.
R a les mêmes soucis de chargement en RAM des données.
Joel Gombin de Datactivist : http://datactivi.st/ (Gloire à lui) a présenté une astuce très élégante de passage préalable des données dans MonetDBLite. (un equivalent SQLite pour MonetDB)
Le code est là :
www.github.com/datactivist/monet.