Ils mettent quand même en évidence un biais de publication : les tailles d'effets1 mesurées étaient en moyenne de la moitié des tailles d'effets initialement publiées. Ceci n'est pas lié au protocole, au contrôle des facteurs de confusion ou à la publication des données brutes car seul le biais de publication explique pourquoi des expériences publiées auraient une moyenne différente des expériences réelles. C'est intéressant car en s'intéressant à la différence de taille d'effet moyenne, ils éliminent un reproche qui m'est spontanément venu à l'esprit : que l'échec de la reproduction soit lié à un manque de puissance statistique2 lors de la reproduction.
1 : On appelle taille d'effet la différence entre la moyenne d'une variable A dans deux groupes différant selon une variable B. Par exemple, si je mesure la température corporelle (variable A ou variable expliquée) entre deux groupes de malades de la grippe, l'un prenant du paracétamol et l'autre un placebo (variable B ou variable explicative), que le groupe placebo a en moyenne 38,5 °C de température corporelle alors que le groupe paracétamol a 37,7 °C, la taille d'effet est : 37,7 - 38,5 = -0,8 °C. On peut transposer la chose à une probabilité assez simplement.
2 : On appelle puissance statistique la probabilité, pour une expérience donnée, de produire un résultat suffisamment éloigné du hasard pour pouvoir affirmer avec de bons arguments qu'il n'est pas lié au hasard pur. Supposons que je dispose d'une pièce déséquilibrée, qui tombe plus souvent sur pile que face (la probabilité d'obtenir pile est, par exemple, 0,6). Je souhaite prouver que cette pièce est déséquilibrée. Si je la lance une seule fois et que j'obtiens pile, je ne pourrai rien dire. Si je la lance deux fois et que j'obtiens 2 fois pile, même problème. Si je la lance 10 fois et que j'obtiens 6 pile...
Par contre, si je décide, avant de réaliser l'expérience, de la lancer 1000 fois, je peux prédire "je vais obtenir entre 450 et 550 pile avec 95% de probabilité, donc si j'obtiens une valeur hors de cet intervalle, tout un chacun pourra constater que ma pièce est probablement déséquilibrée" (je n'ai pas fait le calcul, c'est du pifomètre, mais l'idée y est). Ensuite, je vais faire l'hypothèse que ma pièce est déséquilibrée à titre d'hypothèse de travail. Je m'attends à avoir, mettons, 98% de probabilité d'obtenir plus de 550 pile (pifomètre toussa). Ce chiffre, 98%, est la puissance de l'expérience : c'est la probabilité d'obtenir un résultat qui prouve à tous que ma pièce n'est pas équilibrée. Encore une fois, l'exemple est pris avec une pièce, mais on peut transposer à un patient avec une probabilité de guérison sous traitement A et sous traitement B.
Ça, ce sont les sources. Le mouton que tu veux est dedans.
[^] # Re: Pas spécialement stressant
Posté par Liorel . En réponse au journal Psychologie, science et reproductibilité. Évalué à 3.
Ils mettent quand même en évidence un biais de publication : les tailles d'effets1 mesurées étaient en moyenne de la moitié des tailles d'effets initialement publiées. Ceci n'est pas lié au protocole, au contrôle des facteurs de confusion ou à la publication des données brutes car seul le biais de publication explique pourquoi des expériences publiées auraient une moyenne différente des expériences réelles. C'est intéressant car en s'intéressant à la différence de taille d'effet moyenne, ils éliminent un reproche qui m'est spontanément venu à l'esprit : que l'échec de la reproduction soit lié à un manque de puissance statistique2 lors de la reproduction.
1 : On appelle taille d'effet la différence entre la moyenne d'une variable A dans deux groupes différant selon une variable B. Par exemple, si je mesure la température corporelle (variable A ou variable expliquée) entre deux groupes de malades de la grippe, l'un prenant du paracétamol et l'autre un placebo (variable B ou variable explicative), que le groupe placebo a en moyenne 38,5 °C de température corporelle alors que le groupe paracétamol a 37,7 °C, la taille d'effet est : 37,7 - 38,5 = -0,8 °C. On peut transposer la chose à une probabilité assez simplement.
2 : On appelle puissance statistique la probabilité, pour une expérience donnée, de produire un résultat suffisamment éloigné du hasard pour pouvoir affirmer avec de bons arguments qu'il n'est pas lié au hasard pur. Supposons que je dispose d'une pièce déséquilibrée, qui tombe plus souvent sur pile que face (la probabilité d'obtenir pile est, par exemple, 0,6). Je souhaite prouver que cette pièce est déséquilibrée. Si je la lance une seule fois et que j'obtiens pile, je ne pourrai rien dire. Si je la lance deux fois et que j'obtiens 2 fois pile, même problème. Si je la lance 10 fois et que j'obtiens 6 pile...
Par contre, si je décide, avant de réaliser l'expérience, de la lancer 1000 fois, je peux prédire "je vais obtenir entre 450 et 550 pile avec 95% de probabilité, donc si j'obtiens une valeur hors de cet intervalle, tout un chacun pourra constater que ma pièce est probablement déséquilibrée" (je n'ai pas fait le calcul, c'est du pifomètre, mais l'idée y est). Ensuite, je vais faire l'hypothèse que ma pièce est déséquilibrée à titre d'hypothèse de travail. Je m'attends à avoir, mettons, 98% de probabilité d'obtenir plus de 550 pile (pifomètre toussa). Ce chiffre, 98%, est la puissance de l'expérience : c'est la probabilité d'obtenir un résultat qui prouve à tous que ma pièce n'est pas équilibrée. Encore une fois, l'exemple est pris avec une pièce, mais on peut transposer à un patient avec une probabilité de guérison sous traitement A et sous traitement B.
Ça, ce sont les sources. Le mouton que tu veux est dedans.