Comme je l'ai déjà dit dans le fil de discussion sur le sujet [1], ce n'est pas forcément si simple, en tout cas pour avoir des résultats exploitables. Pour que les notes de deux utilisateurs soient comparables, il faut qu'ils soient dans les mêmes conditions d'expérimentation, notamment en termes d'affichage et d'éclairage ambiant. Sans parler du fait que les utilisateurs sont normalement testés pour écarter les cas de daltonisme et d'acuité faible (les bons vieux tests avec des lettres à lire au fond de la salle :-) ). C'est pour ça que ce genre de test se fait dans des salles dédiées, normalisées et que ça prend du temps et de l'argent.
Alors maintenant, oui, on peut s'affranchir de ces contraintes et faire un test via une interface web bien foutue (c'est pas à Mozilla qu'on va apprendre ça), mais rien ne garantira que les écarts de notes, semble-t-il minimes, entre les différents systèmes de codage provienne des différences de codage ou de la méthodologie.
Ceci dit, des sessions de tests subjectifs bien faits me semblent plus pertinentes que d'utiliser des métriques type SSIM. Elles ont certes l'avantage d'avoir du code disponible, d'être rapides à mettre en place et d'être relativement simples à comprendre, mais aucune d'elles n'est suffisament précise (corrélation de l'ordre de 0.91) pour déclarer un vainqueur clair dans ce type de comparaison. Il existe d'autres métriques plus proches du système visuel humain, mais c'est pas la même complexité...
[^] # Re: site de comparaison ?
Posté par Stéphane Péchard . En réponse à la dépêche Étude de Mozilla comparant les taux de compression de différents formats d'images. Évalué à 5.
Comme je l'ai déjà dit dans le fil de discussion sur le sujet [1], ce n'est pas forcément si simple, en tout cas pour avoir des résultats exploitables. Pour que les notes de deux utilisateurs soient comparables, il faut qu'ils soient dans les mêmes conditions d'expérimentation, notamment en termes d'affichage et d'éclairage ambiant. Sans parler du fait que les utilisateurs sont normalement testés pour écarter les cas de daltonisme et d'acuité faible (les bons vieux tests avec des lettres à lire au fond de la salle :-) ). C'est pour ça que ce genre de test se fait dans des salles dédiées, normalisées et que ça prend du temps et de l'argent.
Alors maintenant, oui, on peut s'affranchir de ces contraintes et faire un test via une interface web bien foutue (c'est pas à Mozilla qu'on va apprendre ça), mais rien ne garantira que les écarts de notes, semble-t-il minimes, entre les différents systèmes de codage provienne des différences de codage ou de la méthodologie.
Ceci dit, des sessions de tests subjectifs bien faits me semblent plus pertinentes que d'utiliser des métriques type SSIM. Elles ont certes l'avantage d'avoir du code disponible, d'être rapides à mettre en place et d'être relativement simples à comprendre, mais aucune d'elles n'est suffisament précise (corrélation de l'ordre de 0.91) pour déclarer un vainqueur clair dans ce type de comparaison. Il existe d'autres métriques plus proches du système visuel humain, mais c'est pas la même complexité...
[1] https://groups.google.com/forum/#!topic/mozilla.dev.platform/9NKc7OeEFLM