Le problème est que avec sa méthodologie on sait rarement déterminer l'origine des différences car il change plusieurs paramètres en même temps. Genre il va faire un article sur le fait que mesa a regressé en performance depuis un an, mais le bench utilise un noyau différent, un compilo différent, une version de llvm différente, une libc différente, etc. Aussi il ne suit pas les bonnes pratiques, comme désactiver les mécanismes d'économie d'énergie, ce qui lui a déjà permis de titrer "grave régression dans le noyau x.y.z" lorsque celui-ci a changé l'algo par défaut du pilote cpufreq. Ses bench filesystems sont aussi souvent dénués de sens ou avec des paramètres totalement arbitraires: qui ferait tourner une bdd sur fs2fs ou btrfs par exemple ? Aussi faire tourner un bench hyper-spécifique sur une configuration "stock" ça n'a pas beaucoup de sens non plus, on sait difficilement avoir une configuration qui fonctionne bien partout; ce n'est pas pour rien que certaines personnes sont payées pour tuner des systèmes et faire des benchmarks.
Ensuite, ce que je trouve dommage, c'est qu'il n'essaye jamais de donner une hypothéthique explication. Évidemment ça demande plus de temps d'investigation, une meilleur méthodologie et plus de connaissances. Mais je trouverais cela beaucoup plus intéressant ! C'est juste un choix éditorial de produire plus d'article d'une qualité discutable, j'imagine qu'il s'y retrouve comme ça et tant mieux pour lui, mais perso il est très rare que ce soient ses benchmarks qui soulève mon intérêt.
[^] # Re: Se tenir au courant ?
Posté par benja . En réponse au journal x86 ou x86_64 ?. Évalué à 3.
Le problème est que avec sa méthodologie on sait rarement déterminer l'origine des différences car il change plusieurs paramètres en même temps. Genre il va faire un article sur le fait que mesa a regressé en performance depuis un an, mais le bench utilise un noyau différent, un compilo différent, une version de llvm différente, une libc différente, etc. Aussi il ne suit pas les bonnes pratiques, comme désactiver les mécanismes d'économie d'énergie, ce qui lui a déjà permis de titrer "grave régression dans le noyau x.y.z" lorsque celui-ci a changé l'algo par défaut du pilote cpufreq. Ses bench filesystems sont aussi souvent dénués de sens ou avec des paramètres totalement arbitraires: qui ferait tourner une bdd sur fs2fs ou btrfs par exemple ? Aussi faire tourner un bench hyper-spécifique sur une configuration "stock" ça n'a pas beaucoup de sens non plus, on sait difficilement avoir une configuration qui fonctionne bien partout; ce n'est pas pour rien que certaines personnes sont payées pour tuner des systèmes et faire des benchmarks.
Ensuite, ce que je trouve dommage, c'est qu'il n'essaye jamais de donner une hypothéthique explication. Évidemment ça demande plus de temps d'investigation, une meilleur méthodologie et plus de connaissances. Mais je trouverais cela beaucoup plus intéressant ! C'est juste un choix éditorial de produire plus d'article d'une qualité discutable, j'imagine qu'il s'y retrouve comme ça et tant mieux pour lui, mais perso il est très rare que ce soient ses benchmarks qui soulève mon intérêt.