Ça veut dire une machine avec 32GB de RAM. Pas trop dans mes moyens en ce moment.
Pour ma défense, j'ai de la chance : des gens trop gâtés à $dayjob jettent (trop) régulièrement des machines dans la benne. Mon PC actuel est un "vieux" Dell avec un Core i5-7500 qui, au fil des ans et de mes trouvailles heureuses, est passé de 8 à 16, puis récemment à 32 Go de RAM. Franchement à part pour ce genre de trucs gourmands (parce que pas sérialisés), je n'en ai pas besoin. Là j'ai 1,6 Go de RAM utilisé (y compris les caches). J'ai même hésité à un moment donné à revenir à 8 Go de RAM mais comme je n'ai pas observé de différence significative de conso électrique, j'ai laissé en l'état.
Je connais bien la structure des fichiers de données car j'ai déjà joué avec par le passé. Ils peuvent être parsé en mode texte car les xml sont bien indentés.
Alors là, il va me falloir un peu de temps pour comprendre ces scripts AWK. J'en avais fait des biens plus simples il y a longtemps pour un autre truc mais c'est loin de mon niveau actuel tout ça ^
Le script prend 54.73s pour process les 4.257GB de données et consomme en pic 3.356Mo de RAM ; oui, moins de 4 mégaoctets de RAM. Le script AWK est bien le facteur limitant (pas le premier awk ni le unzip).
Et oui, c'est le gros avantage du traitement ligne par ligne.
[^] # Re: sauver un châton
Posté par nonas . En réponse au journal [HS] Prix des carburants vs. prix du brut : déphasage(s) ?. Évalué à 4 (+2/-0).
Pour ma défense, j'ai de la chance : des gens trop gâtés à $dayjob jettent (trop) régulièrement des machines dans la benne. Mon PC actuel est un "vieux" Dell avec un Core i5-7500 qui, au fil des ans et de mes trouvailles heureuses, est passé de 8 à 16, puis récemment à 32 Go de RAM. Franchement à part pour ce genre de trucs gourmands (parce que pas sérialisés), je n'en ai pas besoin. Là j'ai 1,6 Go de RAM utilisé (y compris les caches). J'ai même hésité à un moment donné à revenir à 8 Go de RAM mais comme je n'ai pas observé de différence significative de conso électrique, j'ai laissé en l'état.
Oh, ce journal ne me dit rien ! Je vais le lire avec grand intérêt ! J'avais commis il y a quelques années un journal aussi porté sur la cartographie : https://linuxfr.org/users/nonas/journaux/communes-de-france-finissant-par-ville
Alors là, il va me falloir un peu de temps pour comprendre ces scripts AWK. J'en avais fait des biens plus simples il y a longtemps pour un autre truc mais c'est loin de mon niveau actuel tout ça ^
Et oui, c'est le gros avantage du traitement ligne par ligne.
Merci !