Il me semble y avoir un point très important quand même, c'est qu'il vaut mieux des études imparfaites que pas d'études du tout. La recherche scientifique n'a jamais exigé une quelconque "pureté" des approches expérimentales, et surtout pas sur des questions de recherche nouvelles. Cette "pureté", elle semble exigée par des gens qui sont en dehors du monde de la recherche, souvent d'ailleurs parce que c'est une manière facile de ne pas se plier aux résultats scientifiques quand ils contredisent leurs préjugés.
Quoi qu'il en soit, le consensus scientifique ne se construit qu'autour de nombreuses études portées par des équipes différentes, souvent suivant une méthodologie différente. Quand on a 20 études à disposition, et que certaines sont contradictoires, alors là ça commence à valoir le coup de les disséquer, de lister leurs biais potentiels, etc. En particulier quand seulement quelques études contredisent les autres, s'il s'avère que ce sont également les plus faibles en terme de méthodologie, alors ça permet de construire un consensus autour des autres : on a des raisons rationnelles de penser que les résultats ne sont pas fiables.
C'est aussi pour ça que les méta-analyses, aussi intéressantes qu'elles soient, restent influencées par la qualité et l'honnêteté des études sous-jacentes. L'aspect social de la science fait qu'un résultat soutenu par 10 études indépendantes basées sur un effectif N=100 sera plus fiable qu'un résultat soutenu par une seule étude avec N=10000. Statistiquement pourtant, l'étude unique est plus puissante, mais il suffit d'une seule erreur (conception de l'expérience, boulette lors de l'analyse, malhonnêteté...) pour que le résultat s'effondre. Il est beaucoup moins probables que 10 équipes indépendantes fassent les mêmes erreurs...
# Une étude vaut mieux que rien du tout
Posté par arnaudus . En réponse au lien Les études statistiques sont-elles hors de contrôle ?. Évalué à 9.
Il me semble y avoir un point très important quand même, c'est qu'il vaut mieux des études imparfaites que pas d'études du tout. La recherche scientifique n'a jamais exigé une quelconque "pureté" des approches expérimentales, et surtout pas sur des questions de recherche nouvelles. Cette "pureté", elle semble exigée par des gens qui sont en dehors du monde de la recherche, souvent d'ailleurs parce que c'est une manière facile de ne pas se plier aux résultats scientifiques quand ils contredisent leurs préjugés.
Quoi qu'il en soit, le consensus scientifique ne se construit qu'autour de nombreuses études portées par des équipes différentes, souvent suivant une méthodologie différente. Quand on a 20 études à disposition, et que certaines sont contradictoires, alors là ça commence à valoir le coup de les disséquer, de lister leurs biais potentiels, etc. En particulier quand seulement quelques études contredisent les autres, s'il s'avère que ce sont également les plus faibles en terme de méthodologie, alors ça permet de construire un consensus autour des autres : on a des raisons rationnelles de penser que les résultats ne sont pas fiables.
C'est aussi pour ça que les méta-analyses, aussi intéressantes qu'elles soient, restent influencées par la qualité et l'honnêteté des études sous-jacentes. L'aspect social de la science fait qu'un résultat soutenu par 10 études indépendantes basées sur un effectif N=100 sera plus fiable qu'un résultat soutenu par une seule étude avec N=10000. Statistiquement pourtant, l'étude unique est plus puissante, mais il suffit d'une seule erreur (conception de l'expérience, boulette lors de l'analyse, malhonnêteté...) pour que le résultat s'effondre. Il est beaucoup moins probables que 10 équipes indépendantes fassent les mêmes erreurs...