Le risque quand on retente un raté, c'est pas seulement de perdre son temps. Perdre son temps, c'est gênant mais il y a pire. Le risque, c'est que, comme les expériences (en biologie) ont une forte composante aléatoire, et que cette composante n'est pas dûe à une mauvaise réalisation mais est intrinsèque au protocole expérimental, on risque d'avoir un positif là où il n'y a rien. Ce risque est connu et même fixé à l'avance : il est appelé alpha et fixé à 1/20. Sauf que si on répète l'expérience jusqu'à en avoir au moins une positive, on finit par avoir un alpha global largement supérieur à 1/20 ! Et c'est comme ça qu'on publie des conneries.
Heureusement, il commence à se mettre en place une régulation : pour les essais de médicament, par exemple, un essai ne peut être pris en compte pour un autorisation de mise sur le marché que s'il avait été déclaré préalablement. Du coup, on a de vastes bases de données de tous les essais thérapeutiques, et face à une demande d'AMM, les agences du médicament peuvent consulter tous les essais, et pas seulement ceux qu'on veut bien publier.
Le problème, c'est que ça ne s'applique qu'aux demandes d'AMM. On continue à tester des trucs qui ne marchent pas dans à peu près tous les autres domaines, par exemple l'étude des facteurs de risques des pathologies, la physiologie... Le raisonnement, c'est que comme il n'y a pas d'argent en jeu, l'expérimentateur est nécessairement honnête. C'est d'une part faux et d'autre part le mauvais problème :
C'est faux parce que l'expérimentateur a une pression pour publier, et qu'il est plus facile de publier un résultat positif.
C'est le mauvais problème parce que s'il y a 30 expérimentateurs, même tout à fait honnêtes, qui font tous la même expérience, et que tous cachent leurs résultats négatifs, alors l'un d'entre eux aura nécessairement un résultat positif et le publiera. C'est de la pure théorie des probabilités.
Ça, ce sont les sources. Le mouton que tu veux est dedans.
[^] # Re: Pas spécialement stressant
Posté par Liorel . En réponse au journal Psychologie, science et reproductibilité. Évalué à 6.
Le risque quand on retente un raté, c'est pas seulement de perdre son temps. Perdre son temps, c'est gênant mais il y a pire. Le risque, c'est que, comme les expériences (en biologie) ont une forte composante aléatoire, et que cette composante n'est pas dûe à une mauvaise réalisation mais est intrinsèque au protocole expérimental, on risque d'avoir un positif là où il n'y a rien. Ce risque est connu et même fixé à l'avance : il est appelé alpha et fixé à 1/20. Sauf que si on répète l'expérience jusqu'à en avoir au moins une positive, on finit par avoir un alpha global largement supérieur à 1/20 ! Et c'est comme ça qu'on publie des conneries.
Heureusement, il commence à se mettre en place une régulation : pour les essais de médicament, par exemple, un essai ne peut être pris en compte pour un autorisation de mise sur le marché que s'il avait été déclaré préalablement. Du coup, on a de vastes bases de données de tous les essais thérapeutiques, et face à une demande d'AMM, les agences du médicament peuvent consulter tous les essais, et pas seulement ceux qu'on veut bien publier.
Le problème, c'est que ça ne s'applique qu'aux demandes d'AMM. On continue à tester des trucs qui ne marchent pas dans à peu près tous les autres domaines, par exemple l'étude des facteurs de risques des pathologies, la physiologie... Le raisonnement, c'est que comme il n'y a pas d'argent en jeu, l'expérimentateur est nécessairement honnête. C'est d'une part faux et d'autre part le mauvais problème :
Ça, ce sont les sources. Le mouton que tu veux est dedans.