Ceci dit, je crois que dans la médecine une très faible partie des résultats sont reproductibles (<50%): trop de pression et d'argent en jeux probablement.
Ce n'est pas seulement une question de pression et d'argent en jeu. En fait, il y a tellement d'argent en jeu que si une agence du médicament exige d'un labo qu'il fasse deux études pour accorder une AMM, le labo fera deux études : c'est plus rentable que de ne pas commercialiser, et il en répercutera de toute façon le coût sur le médicament (au final, c'est donc l'État qui paie la facture via la sécurité sociale).
Par contre, il y a un problème d'ordre statistique. L'expérimentation, en médecine, est très stéréotypée : on donne le médicament test à un groupe, on donne le médicament témoin au groupe témoin (on ne donne de placebo que s'il n'existe pas de traitement de référence, cas de plus en plus rare), et on regarde la différence. Sauf que les effets ne sont pas déterministes. Si tu lances une pièce (équilibrée) 20 fois, la probabilité qu'elle tombe exactement 10 fois sur chaque face est en réalité assez faible. Tu as plus de chances d'observer un 9-11 (dans un sens ou dans l'autre) qu'un 10-10. En médecine, c'est le même problème : chaque patient a une probabilité donnée de guérir, probabilité qui est modifiée par le traitement. Tu cherches à estimer la valeur de cette modif, mais tu ne disposes que d'un nombre fini de patients.
Sauf traitement révolutionnaire, la plupart des améliorations sont faibles. Ce qui signifie que la probabilité d'observer une différence est faible aussi, sauf à recruter de nombreux patients, et les patients sont chers : il faut leur payer l'hôpital, le personnel...
Du coup, tu as tout un paquet d'expériences non reproductibles parce qu'elles sont réalisées sur des effectifs juste suffisants pour que la probabilité d'observer une différence soit acceptable. Par exemple, soit un essai thérapeutique où on a recruté 400 patients. On a calculé : la probabilité d'observer un effet est de 0,8. Si on veut faire passer cette proba à 0,9, il faut quadrupler le nombre de patients. Il n'est pas économiquement rationnel de réaliser cette étude sur 1600 patients, donc on en reste à 0,8 : on ne va pas quadrupler les coûts pour augmenter les gains de seulement 12,5%. Si on réalise l'étude 2 fois sur 2 échantillons différents de patients, la proba que les deux soient positives est de 0,8 \times 0,8 = 0,64. Dans cet exemple, pour des raisons purement statistiques, 36% des études sont négatives au moins une fois alors qu'il existe un effet réel. Et c'est réellement ce qui arrive en pratique.
Ça, ce sont les sources. Le mouton que tu veux est dedans.
[^] # Re: HS
Posté par Liorel . En réponse au journal Google News quitte l'Espagne. Évalué à 6. Dernière modification le 19 décembre 2014 à 14:11.
Ce n'est pas seulement une question de pression et d'argent en jeu. En fait, il y a tellement d'argent en jeu que si une agence du médicament exige d'un labo qu'il fasse deux études pour accorder une AMM, le labo fera deux études : c'est plus rentable que de ne pas commercialiser, et il en répercutera de toute façon le coût sur le médicament (au final, c'est donc l'État qui paie la facture via la sécurité sociale).
Par contre, il y a un problème d'ordre statistique. L'expérimentation, en médecine, est très stéréotypée : on donne le médicament test à un groupe, on donne le médicament témoin au groupe témoin (on ne donne de placebo que s'il n'existe pas de traitement de référence, cas de plus en plus rare), et on regarde la différence. Sauf que les effets ne sont pas déterministes. Si tu lances une pièce (équilibrée) 20 fois, la probabilité qu'elle tombe exactement 10 fois sur chaque face est en réalité assez faible. Tu as plus de chances d'observer un 9-11 (dans un sens ou dans l'autre) qu'un 10-10. En médecine, c'est le même problème : chaque patient a une probabilité donnée de guérir, probabilité qui est modifiée par le traitement. Tu cherches à estimer la valeur de cette modif, mais tu ne disposes que d'un nombre fini de patients.
Sauf traitement révolutionnaire, la plupart des améliorations sont faibles. Ce qui signifie que la probabilité d'observer une différence est faible aussi, sauf à recruter de nombreux patients, et les patients sont chers : il faut leur payer l'hôpital, le personnel...
Du coup, tu as tout un paquet d'expériences non reproductibles parce qu'elles sont réalisées sur des effectifs juste suffisants pour que la probabilité d'observer une différence soit acceptable. Par exemple, soit un essai thérapeutique où on a recruté 400 patients. On a calculé : la probabilité d'observer un effet est de 0,8. Si on veut faire passer cette proba à 0,9, il faut quadrupler le nombre de patients. Il n'est pas économiquement rationnel de réaliser cette étude sur 1600 patients, donc on en reste à 0,8 : on ne va pas quadrupler les coûts pour augmenter les gains de seulement 12,5%. Si on réalise l'étude 2 fois sur 2 échantillons différents de patients, la proba que les deux soient positives est de 0,8 \times 0,8 = 0,64. Dans cet exemple, pour des raisons purement statistiques, 36% des études sont négatives au moins une fois alors qu'il existe un effet réel. Et c'est réellement ce qui arrive en pratique.
Ça, ce sont les sources. Le mouton que tu veux est dedans.