Quelles belles excuses pour justifier des résultats que personne n’arrive à reproduire en dehors du labo d’origine...
Aussi bête que ça puisse paraitre, ça n'a presque aucune importante. Les résultats importants sont reproduits, et on s'aperçoit rapidement s'ils ne tiennent pas. Les résultats pas importants tombent dans l'oubli, qu'ils soient reproductibles ou non ne change rien.
On vit à l'époque ou toute critique doit être manichéenne. Y-a-t'il des problèmes méthodologiques avec les pratiques scientifiques actuelles? Oui, forcément. Est-ce nouveau? Absolument pas. Je pense que le niveau des publications scientifiques et leur reproductibilité n'a jamais été aussi élevée. Il suffit de se plonger dans les journaux scientifiques des décennies passées pour se rendre compte à quel point ce qu'on reproche aujourd'hui aux pratiques scientifiques a toujours existé. Faibles échantillions? C'est une conséquence intrinsèque des limites de la pratique expérimentale. Biais de publication? Ça a toujours existé, la seule chose qui a changé est que maintenant les gens sont au courant, les éditeurs, les reviewers, et les auteurs font plus attention. Seuil statistique arbitraire? Là encore, les méthodes ont progressé ; plus moyen de publier sans corriger les tests multiples ou utiliser les taux de faux positifs à la place des p-values. Fraude? C'est inévitable dans toute activité humaine ; le taux de fraude repérée augmente, mais il reste très marginal, et les gens sont de plus en plus conscients du risque. Tout ça démontre que la méthodologie scientifique continue à progresser.
Les principales plaies du système actuel sont le mode de financement, qui sélectionne les expériences peu originales ou convenues au détriment des nouvelles questions et qui génèrent des conflits d'intérêt, et le mode d'évaluation, qui privilégie des indicateurs quantitatifs (nombre d'articles et impact) plutôt que qualitatifs.
Et ceux qui prétendent expliquer aux autres qu’ils doivent se méfier d’un type dont ils viennent à peine de découvrir l’existence, tu t’en méfies aussi ?
Je connais le gusse depuis son buzz précédent qui prétendait que 85% de la recherche publiée était fausse—à mon avis, une belle mise en abîme. C'est profondément fallacieux—lisez le papier! Le gars joue avec des titres raccolleurs et les journalistes, mais c'est complètement creux. Il est strictement impossible de tirer des conclusions aussi générales sur la reproductibilité des résultats scientifiques sans mettre les mains dans le cambouis: tu te mets à la paillasse et tu essayes de reproduire les manips. C'est sûr, ça prend plus de temps que de publier des calculs crayonnés sur un bout de serviette!
[^] # Re: Un peu de lecture sur le sujet
Posté par arnaudus . En réponse à la dépêche L’Académie des sciences française prétend vouloir l’ouverture des publications scientifiques. Évalué à 2.
Aussi bête que ça puisse paraitre, ça n'a presque aucune importante. Les résultats importants sont reproduits, et on s'aperçoit rapidement s'ils ne tiennent pas. Les résultats pas importants tombent dans l'oubli, qu'ils soient reproductibles ou non ne change rien.
On vit à l'époque ou toute critique doit être manichéenne. Y-a-t'il des problèmes méthodologiques avec les pratiques scientifiques actuelles? Oui, forcément. Est-ce nouveau? Absolument pas. Je pense que le niveau des publications scientifiques et leur reproductibilité n'a jamais été aussi élevée. Il suffit de se plonger dans les journaux scientifiques des décennies passées pour se rendre compte à quel point ce qu'on reproche aujourd'hui aux pratiques scientifiques a toujours existé. Faibles échantillions? C'est une conséquence intrinsèque des limites de la pratique expérimentale. Biais de publication? Ça a toujours existé, la seule chose qui a changé est que maintenant les gens sont au courant, les éditeurs, les reviewers, et les auteurs font plus attention. Seuil statistique arbitraire? Là encore, les méthodes ont progressé ; plus moyen de publier sans corriger les tests multiples ou utiliser les taux de faux positifs à la place des p-values. Fraude? C'est inévitable dans toute activité humaine ; le taux de fraude repérée augmente, mais il reste très marginal, et les gens sont de plus en plus conscients du risque. Tout ça démontre que la méthodologie scientifique continue à progresser.
Les principales plaies du système actuel sont le mode de financement, qui sélectionne les expériences peu originales ou convenues au détriment des nouvelles questions et qui génèrent des conflits d'intérêt, et le mode d'évaluation, qui privilégie des indicateurs quantitatifs (nombre d'articles et impact) plutôt que qualitatifs.
Je connais le gusse depuis son buzz précédent qui prétendait que 85% de la recherche publiée était fausse—à mon avis, une belle mise en abîme. C'est profondément fallacieux—lisez le papier! Le gars joue avec des titres raccolleurs et les journalistes, mais c'est complètement creux. Il est strictement impossible de tirer des conclusions aussi générales sur la reproductibilité des résultats scientifiques sans mettre les mains dans le cambouis: tu te mets à la paillasse et tu essayes de reproduire les manips. C'est sûr, ça prend plus de temps que de publier des calculs crayonnés sur un bout de serviette!