[...] mais simplement qu'il y a plein de facteurs qu'on n'a pas (ou pas pu) contrôlé, faute de savoir s'ils étaient importants ou non.
Honnêtement, c'est quand même un gros problème si la publication ne mentionne pas l'intégralité des paramètres importants. Une publi c'est censé tirer des conclusions de résultats expérimentaux, du style: si j'augmente le taux de A, alors le taux de B augmente. Si l'augementation du taux de B dépend du taux de A, mais aussi de la température, de l'age du capitaine et de la latitude, la publication doit le mentionner. C'est tout le propos de la science d'isoler des relations de cause à effet. Quelle est la valeur d'une expérience non reproductible ? Un jour on a mesuré ça, on dit que c'est du a tel paramètre, mais en fait si ça se trouve y'a 100 autres paramètres qui rentrent en compte. Ça n'apporte pas grand chose.
En informatique, particulièrement en système, c'est assez catastrophique. Parfois les conclusions tirées ne proviennent pas des paramètres mentionnées dans la publication, mais d'erreurs d'implémentation. Pourtant les codes source ne sont que très rarement distribués.
Un exemple assez récent, dans un papier SIGMOD 2011, des auteurs montrent qu'un algorithme très simple de jointure relationnelle (je vous épargne les détails) offre des performances équivalentes à des algorithmes plus élaborés, contrairement à ce qui était publié jusqu'ici. Sauf qu'il a été montré par la suite que leurs résultats découlaient d'un problème trivial d'implémentation... (Papier).
Faut savoir que les chercheurs sont poussés à publier, publier, publier, publier. Ils ne sont aucunement incités à vérifier leurs résultats ou mettre en doute leurs conclusions. Les journaux/conférences veulent des résultats nouveaux, de préférence dans l'air du temps, un peu hype avec un pitch bien construit. Un papier de vérification/confirmation de résultats a peu de chances d'être publié aujourd'hui. Tout ça incite les chercheurs à travailler à la va-vite, et à pas vérifier leurs résultats.
[^] # Re: Pas spécialement stressant
Posté par X345 . En réponse au journal Psychologie, science et reproductibilité. Évalué à 10.
Honnêtement, c'est quand même un gros problème si la publication ne mentionne pas l'intégralité des paramètres importants. Une publi c'est censé tirer des conclusions de résultats expérimentaux, du style: si j'augmente le taux de A, alors le taux de B augmente. Si l'augementation du taux de B dépend du taux de A, mais aussi de la température, de l'age du capitaine et de la latitude, la publication doit le mentionner. C'est tout le propos de la science d'isoler des relations de cause à effet. Quelle est la valeur d'une expérience non reproductible ? Un jour on a mesuré ça, on dit que c'est du a tel paramètre, mais en fait si ça se trouve y'a 100 autres paramètres qui rentrent en compte. Ça n'apporte pas grand chose.
En informatique, particulièrement en système, c'est assez catastrophique. Parfois les conclusions tirées ne proviennent pas des paramètres mentionnées dans la publication, mais d'erreurs d'implémentation. Pourtant les codes source ne sont que très rarement distribués.
Un exemple assez récent, dans un papier SIGMOD 2011, des auteurs montrent qu'un algorithme très simple de jointure relationnelle (je vous épargne les détails) offre des performances équivalentes à des algorithmes plus élaborés, contrairement à ce qui était publié jusqu'ici. Sauf qu'il a été montré par la suite que leurs résultats découlaient d'un problème trivial d'implémentation... (Papier).
Faut savoir que les chercheurs sont poussés à publier, publier, publier, publier. Ils ne sont aucunement incités à vérifier leurs résultats ou mettre en doute leurs conclusions. Les journaux/conférences veulent des résultats nouveaux, de préférence dans l'air du temps, un peu hype avec un pitch bien construit. Un papier de vérification/confirmation de résultats a peu de chances d'être publié aujourd'hui. Tout ça incite les chercheurs à travailler à la va-vite, et à pas vérifier leurs résultats.