Parce que chaque ligne est indépendante on peut splitter le parsing sur n coeurs (facteur limitant restant les IO) en splittant les fichiers de log (équivalent du map) et ensuite faire un reduce par addition des dicts avec archery (qu'on ne peut pas faire avec defaultdict)
[^] # Re: performances ?
Posté par Jul (site web personnel) . En réponse à la dépêche yahi un agrégateur de statistiques dans l'esprit d'awstats. Évalué à 2.
Parce que chaque ligne est indépendante on peut splitter le parsing sur n coeurs (facteur limitant restant les IO) en splittant les fichiers de log (équivalent du map) et ensuite faire un reduce par addition des dicts avec archery (qu'on ne peut pas faire avec defaultdict)
Ici la recette pour fusionner les dicts https://yahi.readthedocs.io/en/latest/faq.html#fusinoning-two-data-files-in-json
Donc, je pourrais si le cœur m'en disait augmenter les perfs en divisant pour mieux régner.