Pour mitiger les points que tu cites des problèmes de mesure de la performance, j'applique plusieurs recettes :
- mesurer des "ticks" précis (rdtsc), cela donne un nombre de cycle d'horloge, qui est un peu moins sensible au changement de fréquence entre type de cpu, et qui donne une idée de la granularité du test (passer de 10 à 11, donne 10% de variation, mais on est dans le bruit de fond).
- ne jamais faire de moyenne, cela sert surtout à masquer toutes problèmes
- écrire des courbes à la place : cela permet de détecter les patterns spécials. Souvent un même test avec avoir 3 ou 4 paliers (l'un 90% du temps, le deuxième 9%, et le reste moins de 1%). On peut y voir un changement de contexte, un page miss, etc...
Le truc à faire est vraiment de faire une courbe. Cela permet aussi de voir le "chauffage des caches", genre sur 10 itérations, la 1ere est lente, puis cela s’accélère pour stabiliser à la 3ième itérations. Nettoyer les caches ne fait que pessimiser cela, cela aide peu.
[^] # Re: Pas de conclusion hâtive
Posté par Nicolas Boulay (site web personnel) . En réponse au journal Quand Pythran fait tourner du Python plus vite que du C++, c'est que.... Évalué à 5.
Pour mitiger les points que tu cites des problèmes de mesure de la performance, j'applique plusieurs recettes :
- mesurer des "ticks" précis (rdtsc), cela donne un nombre de cycle d'horloge, qui est un peu moins sensible au changement de fréquence entre type de cpu, et qui donne une idée de la granularité du test (passer de 10 à 11, donne 10% de variation, mais on est dans le bruit de fond).
- ne jamais faire de moyenne, cela sert surtout à masquer toutes problèmes
- écrire des courbes à la place : cela permet de détecter les patterns spécials. Souvent un même test avec avoir 3 ou 4 paliers (l'un 90% du temps, le deuxième 9%, et le reste moins de 1%). On peut y voir un changement de contexte, un page miss, etc...
Le truc à faire est vraiment de faire une courbe. Cela permet aussi de voir le "chauffage des caches", genre sur 10 itérations, la 1ere est lente, puis cela s’accélère pour stabiliser à la 3ième itérations. Nettoyer les caches ne fait que pessimiser cela, cela aide peu.
"La première sécurité est la liberté"