Tu devrais plutôt passer régulièrement derrière ton script avec un autre script pour archiver tes fichiers en .gz. Comme le contenu est répétitif le facteur de compression sera très intéressant.
Puis si tu as besoin de faire des calculs sur des données d'historiques, ou des tris, tu peux faire ça dans un script à part et conserver les résultats dans un fichier de texte simple.
Notes qu'avec l'exemple que tu donnes j'ai du mal à comprendre que la taille du fichier puisse poser problème. Tu sais que tu peux déjà faire pas mal d'opérations de filtrage avec seulement grep en ligne de commande:
$ grep 2015 fichier.txt > anno_2015.txt
Va sélectionner uniquement l'année 2015 et la mettre dans le fichier "anno_2015.txt". grep ne va jamais manquer de mémoire, même avec un très gros fichier car il travaille ligne par ligne.
De la même façon tu peux faire un sélection sur un numéro de sonde particulier, ou en éliminer avec grep -v. Tu peux enchaîner des filtres avec le pipe |
# Archivage des fichiers
Posté par j_m . En réponse au message Problème de doublons dans un fichier txt. Évalué à 2.
Tu devrais plutôt passer régulièrement derrière ton script avec un autre script pour archiver tes fichiers en .gz. Comme le contenu est répétitif le facteur de compression sera très intéressant.
Puis si tu as besoin de faire des calculs sur des données d'historiques, ou des tris, tu peux faire ça dans un script à part et conserver les résultats dans un fichier de texte simple.
Notes qu'avec l'exemple que tu donnes j'ai du mal à comprendre que la taille du fichier puisse poser problème. Tu sais que tu peux déjà faire pas mal d'opérations de filtrage avec seulement grep en ligne de commande:
Va sélectionner uniquement l'année 2015 et la mettre dans le fichier "anno_2015.txt". grep ne va jamais manquer de mémoire, même avec un très gros fichier car il travaille ligne par ligne.
De la même façon tu peux faire un sélection sur un numéro de sonde particulier, ou en éliminer avec grep -v. Tu peux enchaîner des filtres avec le pipe |