Il n'en reste pas moins que des résultats associées à une "bonne" p-value sont plus facilement publiés et de ce fait plus facilement visibles des médias/décideurs/public/etc... ce qui, dans certains domaines "polémiques" (homéopathie, glyphosate, etc...), a un impact non négligeable avec des gens en aval se chargeant de présenter ces résultats en vérité.
1) NON, ils ne sont pas "plus facilement publiés". Si tu vois la majorité des publications ayant une "bonne" p-value, c'est parce que un résultat scientifiquement publiable a souvent une bonne p-value.
2) De nouveau, un résultat statistiquement significatif mérite d'être publié. Il n'est pas question de changer les règles "ce résultat est statistiquement significatif mais on ne doit pas le publié parce que des 'gens en aval' inéduqués vont ensuite dire des conneries".
Ce que tu dis là reviens à ce que je disais: tu considères que si c'est publié, c'est donc okay que certains puissent considérer la conclusion comme vraie. Non. Le problème n'est pas la publication, le problème est l'inéducation des gens, et changer la publication pour s'adapter à l'inéducation des gens, c'est camoufler le véritable problème tout en détruisant les sciences.
En disant que la publication doit être décidée sur base de ça, tu confirmes ma phrase:
Tu sembles dire que ce qui devrait décider de la publication ou non d'un article, c'est le fait que le modèle soit vrai ou pas.
(tu noteras que cette phrase ne signifie pas que tu penses que le modèle est vrai ou pas, mais que la décision doit être prise en tenant compte de l'impression que c'est vrai ou pas. Exactement ce que tu dis plus haut, en disant qu'il y a un problème quand un article n'étant pas une vérité est publié.)
Aparté
Et de nouveau, un bon gros préjugé ridicule. Oui, il y a des acteurs biaisés, oui, il existe des rares cas où ça passe entre les mailles du filet, mais j'ai VU des acteurs comme ça, et dans 99.9999999%, PERSONNE N'EST DUPE. La publication requiert de LONG mois à défendre l'article devant plein de collègues, avec des discussions ouvertes. Le système, tel qu'il existe, n'est pas parfait, mais réduire la situation où l'existence de ces acteurs biaisés est directement impactant, c'est une très grosse simplification, qui ne correspond pas du tout à la façon dont le milieu scientifique fonctionne.
et qu'ensuite la méthode de calcul de la p-value ne correspond pas à cette définition
Mais la méthode de calcul de la p-value correspond toujours à cette définition.
Qu'ensuite tu dises "je préfère un seuil basé sur l'erreur de type II pour savoir si mes résultats sont statistiquement significatif", pourquoi pas, MAIS CETTE MÉTHODE PRODUIT LE MÊME PROBLÈME.
D'un point de vue statistique, un "bon article qu'il faut publier" et un "mauvais article qu'on n'aurait pas du publier" sont indistinguables, car les stat ne peuvent dire uniquement "on pense que c'est bon, mais il y a une petite chance que ça soit mauvais".
Ensuite, tu peux être non-scientifique et dire "je ne publie pas cet article, parce que sa significance statistique est bonne mais j'ai la conviction que c'est une fluctuation statistique". Un scientifique ne fait que dire "voilà les conclusions de ce que j'ai observé" et ne devrait pas avoir le droit de décider arbitrairement si, une fois que les stat disent que cette conclusion possède une information, la conclusion est "vraie" ou pas.
PS:
(biais cognitif "c'est un amateur, il n'a rien compris" ?)
NON. Je CONSTATE que ce que tu prétends être vrai n'est pas ce que j'ai observé en étant dans le milieu. Si ensuite tu n'es toi-même pas du milieu, je suis désolé, mais c'est scientifique de considérer que ton avis a plus de chance d'être le résultat de préjugés que par chance correspondre exactement à ce qui se passe réellement.
Le fait de te défendre de la sorte n'aide pas non plus: si tu mets en avant l'hypothèse du biais avant même de considérer qu'il y a peut-être des raisons légitimes, tout en te rapprochant du préjugé caricatural "ces scientifiques pensent qu'ils sont tous meilleurs que les amateurs et que eux seuls détiennent la vérité", comment puis-je faire confiance dans ton analyse de la situation.
[^] # Re: Information extraordinaire
Posté par j-c_32 . En réponse à la dépêche « Hygiène mentale » : une chaîne de vidéos sur l’esprit critique, sous licence de libre diffusion. Évalué à 4.
1) NON, ils ne sont pas "plus facilement publiés". Si tu vois la majorité des publications ayant une "bonne" p-value, c'est parce que un résultat scientifiquement publiable a souvent une bonne p-value.
2) De nouveau, un résultat statistiquement significatif mérite d'être publié. Il n'est pas question de changer les règles "ce résultat est statistiquement significatif mais on ne doit pas le publié parce que des 'gens en aval' inéduqués vont ensuite dire des conneries".
Ce que tu dis là reviens à ce que je disais: tu considères que si c'est publié, c'est donc okay que certains puissent considérer la conclusion comme vraie. Non. Le problème n'est pas la publication, le problème est l'inéducation des gens, et changer la publication pour s'adapter à l'inéducation des gens, c'est camoufler le véritable problème tout en détruisant les sciences.
En disant que la publication doit être décidée sur base de ça, tu confirmes ma phrase:
(tu noteras que cette phrase ne signifie pas que tu penses que le modèle est vrai ou pas, mais que la décision doit être prise en tenant compte de l'impression que c'est vrai ou pas. Exactement ce que tu dis plus haut, en disant qu'il y a un problème quand un article n'étant pas une vérité est publié.)
Et de nouveau, un bon gros préjugé ridicule. Oui, il y a des acteurs biaisés, oui, il existe des rares cas où ça passe entre les mailles du filet, mais j'ai VU des acteurs comme ça, et dans 99.9999999%, PERSONNE N'EST DUPE. La publication requiert de LONG mois à défendre l'article devant plein de collègues, avec des discussions ouvertes. Le système, tel qu'il existe, n'est pas parfait, mais réduire la situation où l'existence de ces acteurs biaisés est directement impactant, c'est une très grosse simplification, qui ne correspond pas du tout à la façon dont le milieu scientifique fonctionne.
Mais la méthode de calcul de la p-value correspond toujours à cette définition.
Qu'ensuite tu dises "je préfère un seuil basé sur l'erreur de type II pour savoir si mes résultats sont statistiquement significatif", pourquoi pas, MAIS CETTE MÉTHODE PRODUIT LE MÊME PROBLÈME.
D'un point de vue statistique, un "bon article qu'il faut publier" et un "mauvais article qu'on n'aurait pas du publier" sont indistinguables, car les stat ne peuvent dire uniquement "on pense que c'est bon, mais il y a une petite chance que ça soit mauvais".
Ensuite, tu peux être non-scientifique et dire "je ne publie pas cet article, parce que sa significance statistique est bonne mais j'ai la conviction que c'est une fluctuation statistique". Un scientifique ne fait que dire "voilà les conclusions de ce que j'ai observé" et ne devrait pas avoir le droit de décider arbitrairement si, une fois que les stat disent que cette conclusion possède une information, la conclusion est "vraie" ou pas.
PS:
NON. Je CONSTATE que ce que tu prétends être vrai n'est pas ce que j'ai observé en étant dans le milieu. Si ensuite tu n'es toi-même pas du milieu, je suis désolé, mais c'est scientifique de considérer que ton avis a plus de chance d'être le résultat de préjugés que par chance correspondre exactement à ce qui se passe réellement.
Le fait de te défendre de la sorte n'aide pas non plus: si tu mets en avant l'hypothèse du biais avant même de considérer qu'il y a peut-être des raisons légitimes, tout en te rapprochant du préjugé caricatural "ces scientifiques pensent qu'ils sont tous meilleurs que les amateurs et que eux seuls détiennent la vérité", comment puis-je faire confiance dans ton analyse de la situation.