Ça change que les études non-reproductibles ont quand même coûté leur part de l’argent public alloué à la recherche.
Le problème, c'est qu'il n'y a aucun moyen de savoir à l'avance si une manip est reproductible ou pas. Bien sûr, tu peux imaginer que certaines personnes savent que leurs résultats sont bancals mais publient quand même, mais il ne faut pas non plus sous-estimer l'éthique et l'estime de soi des scientifiques : presque tous les articles scientifiques sont publiés de bonne foi.
La plupart du temps, la non-reproductibilité est due à des facteurs qui sont difficilement contrôlables : effet spécifique de l'échantillon, problème technique non-détecté, conditions très difficiles à reproduire, matériel "maison", expertise de l'expérimentateur, etc. ou simplement la malchance, comme l'obtention d'un résultat qui passe le seuil de signification statistique.
Du coup, la seule manière de s'assurer de la reproductibilité, ça serait de répliquer la manip dans un autre laboratoire, par un autre expérimentateur. Et là, si tu es logique avec toi-même, tu devrais dire que la réplication inutile d'expériences concluantes a couté de l'argent public alloué à la recherche, avec lequel tu aurais pu faire d'autres expériences et avancer plus vite. Dans le même temps, il est d'ailleurs probable que des concurrents aient avancé plus vite, car ils n'ont pas vérifié les choses 50 fois.
D'ailleurs, il y a quelque chose qui est non-dit dans ces histoires de non-reproductibilité : je pense que la très grande majorité des cas sont des exemples de "semi-reproductibilité", je veux dire par là des manips qui sont techniquement reproductibles (on prend les mêmes échantillons, le même matériel, au même endroit, et on peut répliquer les résultats), mais qui sont spécifiques à l'expérimentation (par exemple, qui ne fonctionnement plus avec d'autres échantillons). Et je ne vois pas pourquoi on blâmerait les scientifiques pour de telles affaires ; c'est le processus normal des avancées scientifiques : on infirme ou confirme des hypothèses sur la base de faits ; parfois on se trompe, alors on revient en arrière, et on recommence. Le côté malsain, il est apporté par la volonté d'arriver à un objectif démesuré (guérir le cancer) le plus rapidement possible, avec un budget rikiki. Tu n'obtiendras jamais d'argent si tu expliques que tu as besoin d'un 1M€ pour vérifier qu'une molécule a un effet sur une souche de bactérie, puis un autre M€ pour vérifier si c'est aussi efficace contre d'autres bactéries de la même espèce, puis un autre M€ pour regarder si ça touche plusieurs espèces, puis un autre M€ pour regarder les sources pathogènes, puis encore un pour les souches résistantes... Tu vends ton truc en disant que tu vas tester l'étape 1 (puisque de toutes manières tu n'auras qu'un M€), et tu extrapoles. Et quand tu extrapoles, tu te goures, évidemment, mais c'est normal, parce qu'on ne t'a donné le temps et l'argent seulement pour la première étape.
Va donc essayer d’obtenir des financements pour uniquement reproduire un résultat déjà publié
En pratique, les gens le font, mais ils ne publient pas la vérification. C'est indispensable quand tes résultats se basent sur des résultats précédents : tu es obligé de reproduire la première étape, et en faisant ça, tu vois bien si c'est reproductible. D'une manière un peu plus générale, c'est aussi vrai que même en période de vaches maigres, les scientifiques restent des gens curieux. Quand quelqu'un publie que les poils du cul des marmottes deviennent bleus quand tu les nourris avec de la noix de coco et que tu es spécialiste des marmottes, tu vas isoler une marmotte et lui donner de la noix de coco, pour voir. Évidemment, la taille d'échantillon et la qualité du contrôle expérimental sera moins bon que dans l'expérience originale, mais tu pourras dire à tes collègues "oui oui, j'ai essayé, mais il faut beaucoup plus de noix de coco que ce qu'ils indiquent dans l'article". Il y a aussi beaucoup de gens qui ont essayé tout plein de trucs sans réussir, et qui vont donner leur opinion : est-ce crédible, est-ce contraire à leur expérience, etc. Bref, tout ne passe pas nécessairement par les publications, ni par une réplication parfaite des expériences.
[^] # Re: Un peu de lecture sur le sujet
Posté par arnaudus . En réponse à la dépêche L’Académie des sciences française prétend vouloir l’ouverture des publications scientifiques. Évalué à 3.
Le problème, c'est qu'il n'y a aucun moyen de savoir à l'avance si une manip est reproductible ou pas. Bien sûr, tu peux imaginer que certaines personnes savent que leurs résultats sont bancals mais publient quand même, mais il ne faut pas non plus sous-estimer l'éthique et l'estime de soi des scientifiques : presque tous les articles scientifiques sont publiés de bonne foi.
La plupart du temps, la non-reproductibilité est due à des facteurs qui sont difficilement contrôlables : effet spécifique de l'échantillon, problème technique non-détecté, conditions très difficiles à reproduire, matériel "maison", expertise de l'expérimentateur, etc. ou simplement la malchance, comme l'obtention d'un résultat qui passe le seuil de signification statistique.
Du coup, la seule manière de s'assurer de la reproductibilité, ça serait de répliquer la manip dans un autre laboratoire, par un autre expérimentateur. Et là, si tu es logique avec toi-même, tu devrais dire que la réplication inutile d'expériences concluantes a couté de l'argent public alloué à la recherche, avec lequel tu aurais pu faire d'autres expériences et avancer plus vite. Dans le même temps, il est d'ailleurs probable que des concurrents aient avancé plus vite, car ils n'ont pas vérifié les choses 50 fois.
D'ailleurs, il y a quelque chose qui est non-dit dans ces histoires de non-reproductibilité : je pense que la très grande majorité des cas sont des exemples de "semi-reproductibilité", je veux dire par là des manips qui sont techniquement reproductibles (on prend les mêmes échantillons, le même matériel, au même endroit, et on peut répliquer les résultats), mais qui sont spécifiques à l'expérimentation (par exemple, qui ne fonctionnement plus avec d'autres échantillons). Et je ne vois pas pourquoi on blâmerait les scientifiques pour de telles affaires ; c'est le processus normal des avancées scientifiques : on infirme ou confirme des hypothèses sur la base de faits ; parfois on se trompe, alors on revient en arrière, et on recommence. Le côté malsain, il est apporté par la volonté d'arriver à un objectif démesuré (guérir le cancer) le plus rapidement possible, avec un budget rikiki. Tu n'obtiendras jamais d'argent si tu expliques que tu as besoin d'un 1M€ pour vérifier qu'une molécule a un effet sur une souche de bactérie, puis un autre M€ pour vérifier si c'est aussi efficace contre d'autres bactéries de la même espèce, puis un autre M€ pour regarder si ça touche plusieurs espèces, puis un autre M€ pour regarder les sources pathogènes, puis encore un pour les souches résistantes... Tu vends ton truc en disant que tu vas tester l'étape 1 (puisque de toutes manières tu n'auras qu'un M€), et tu extrapoles. Et quand tu extrapoles, tu te goures, évidemment, mais c'est normal, parce qu'on ne t'a donné le temps et l'argent seulement pour la première étape.
En pratique, les gens le font, mais ils ne publient pas la vérification. C'est indispensable quand tes résultats se basent sur des résultats précédents : tu es obligé de reproduire la première étape, et en faisant ça, tu vois bien si c'est reproductible. D'une manière un peu plus générale, c'est aussi vrai que même en période de vaches maigres, les scientifiques restent des gens curieux. Quand quelqu'un publie que les poils du cul des marmottes deviennent bleus quand tu les nourris avec de la noix de coco et que tu es spécialiste des marmottes, tu vas isoler une marmotte et lui donner de la noix de coco, pour voir. Évidemment, la taille d'échantillon et la qualité du contrôle expérimental sera moins bon que dans l'expérience originale, mais tu pourras dire à tes collègues "oui oui, j'ai essayé, mais il faut beaucoup plus de noix de coco que ce qu'ils indiquent dans l'article". Il y a aussi beaucoup de gens qui ont essayé tout plein de trucs sans réussir, et qui vont donner leur opinion : est-ce crédible, est-ce contraire à leur expérience, etc. Bref, tout ne passe pas nécessairement par les publications, ni par une réplication parfaite des expériences.