J'ai utilisé :
- Apache (forcément !)
- Analog
- qq scripts maison
- gnumeric
Je stocke les logs individuellement pour chaque vhost et à chaque fois que le repertoire des logs atteint 200Mo je mets tout dans un tar.bz2 et je vide le repertoire. Ainsi de suite.
Pour les analyser je les ai décompressés, chacun dans un fichier unique de 200Mo avec tar -jxv -O -f logs.tar.bz2 > fichier
Je vous passe les détails sur comment je me suis débrouillé pour décompresser une archive de 75Mo qui en faisait 3000Mo une fois décompressée et ne pouvait donc etre stockée en un seul fichier (limite des 2 Go) !
Ensuite j'ai passé tous les fichiers de 200 Mo dans une moulinette qui "lisait en diagonale" une ligne de temps en temps et constituait ainsi une table qui "savait" dans quels fichiers logs j'aurais trouvé les données de tel ou tel jour.
Ensuite, une autre moulinette, aidée par la table des jours/logs appelait analog avec les parametres necessaires pour analyser un jour à la fois et écrire les résultats dans un fichier texte.
Enfin, une derniere moulinette parsait tous les fichiers textes avec les résultats pour produire un csv que j'ai importé dans gnumeric et avec lequel j'ai fait les graphes.
[^] # Re: Evolution de Mozilla et autres stats...
Posté par Dario Spagnolo . En réponse au journal Evolution de Mozilla et autres stats.... Évalué à 2.
J'ai utilisé :
- Apache (forcément !)
- Analog
- qq scripts maison
- gnumeric
Je stocke les logs individuellement pour chaque vhost et à chaque fois que le repertoire des logs atteint 200Mo je mets tout dans un tar.bz2 et je vide le repertoire. Ainsi de suite.
Pour les analyser je les ai décompressés, chacun dans un fichier unique de 200Mo avec tar -jxv -O -f logs.tar.bz2 > fichier
Je vous passe les détails sur comment je me suis débrouillé pour décompresser une archive de 75Mo qui en faisait 3000Mo une fois décompressée et ne pouvait donc etre stockée en un seul fichier (limite des 2 Go) !
Ensuite j'ai passé tous les fichiers de 200 Mo dans une moulinette qui "lisait en diagonale" une ligne de temps en temps et constituait ainsi une table qui "savait" dans quels fichiers logs j'aurais trouvé les données de tel ou tel jour.
Ensuite, une autre moulinette, aidée par la table des jours/logs appelait analog avec les parametres necessaires pour analyser un jour à la fois et écrire les résultats dans un fichier texte.
Enfin, une derniere moulinette parsait tous les fichiers textes avec les résultats pour produire un csv que j'ai importé dans gnumeric et avec lequel j'ai fait les graphes.
Voilà tout !