En revanche, as-tu déjà vu des articles allant dans le sens d'une théorie mais affectés d'une p-value bien supérieure au seuil communément appliqué dans le domaine concerné ?
Uh? Si la p-value est très grande, c'est très très très rares qu'on ne soit pas de toutes façons dans une situation où on ne peut pas conclure, et qui est donc pas publiable par un scientifique qui se respecte.
Qu'il existe des cas particuliers où on peut conclure avec une valeur-p très grande, peut-être, mais ce sont des cas particuliers: si les résultats avec les grandes valeur-p ne sont pas publiés, ce n'est pas parce que la valeur-p est la raison, mais parce que toutes les autres mesures statistiques s'accordent à dire que la situation n'est statistiquement pas claire.
Peux-tu me présenter un "proof of concept" d'une situation où la valeur-p est élevée mais où le degré de confiance statistique est très grand, sans que ça soit un cas exceptionnel ?
c'est bien qu'il y a un blocage, soit au niveau de l'auteur lui-même, soit au niveau de l'éditeur (ou des reviewers)
Non.
La raison pour laquelle il existe souvent un seuil, c'est parce qu'il faut bien décider de quand la conclusion est statistiquement significative ou pas.
Mais TOUT LE MONDE dans mon secteur est parfaitement au courant que cette valeur est arbitraire, et qu'elle ne dit RIEN sur "le fait que le modèle est correct ou pas".
la p-value commence à être critiquée ...
Euh? La communauté scientifique s'accorde sur ce qu'est réellement la valeur-p et sur le fait qu'il faut être prudent depuis presque 20 ans déjà. On trouve des articles et réactions sur le sujet qui datent d'avant 2000.
De nouveau, je vois une ÉNORME différence entre la situation telle que tu la dépeins et ce qui se passe RÉELLEMENT dans mon secteur (et de nouveau, peut-être que je ne sais pas ce qui se passe dans d'autres, d'où ma question. Mais je n'ai toujours pas eu de réponses)
elle ne correspond pas mathématiquement à la définition qu'on lui donne
Et le problème que je veux évoquer, c'est le fait que cette idée que les scientifiques lui donnent majoritairement cette définition m'apparait, au vu de ce que j'ai vu dans le milieu scientifique (et apparemment je ne suis pas le seul), être juste un fantasme.
Un autre élément, c'est le fait que certains vont trouver des réactions de vrais scientifiques et sélectionner ceux qui satisfont leur biais de sélection. Par exemple, dans un autre commentaire, il y a un lien vers un article d'un scientifique qui critique l'usage de la valeur-p. Mais si regarde le blog dans son entièreté, le scientifique critique aussi la confusion entre précision et fiabilité, ou du bon usage de l'email, ou ...
Bref, le scientifique ne faisant que souligner un truc qu'il avait remarqué. Mais bizarrement, certains maintenant pointent cela du doigt comme si c'était la preuve d'un grave problème dans la communauté scientifique.
... publier des trucs qui n'auraient sans doute pas dû l'être
À vrai dire, je ne comprends même pas cette phrase.
Pour un scientifique, TOUT ce qui est "statistiquement significatif" peut être publié. Et tout ce qui est "non significatif statistiquement" est du bruit, et ne doit pas être publié, car cela n'apporte pas d'information (et évidemment, il y a un spectre continu entre les deux, d'où l'idée de s'accorder sur une valeur numérique arbitraire). La valeur-p fait EXACTEMENT cela: elle ne dit pas si un modèle est vrai ou pas, elle dit juste quand on a atteint une région où la conclusion est suffisamment peu aléatoire.
Tu sembles dire que ce qui devrait décider de la publication ou non d'un article, c'est le fait que le modèle soit vrai ou pas. Mais c'est un non-sens scientifique: on ne peut jamais décider de cela.
C'est pour cette raison que la valeur-p ne réponds pas à cette question (et aucune autre mesure n'y répond également d'ailleurs).
Mais "être publié" ne SIGNIFIE PAS QU'ON RÉPOND À CETTE QUESTION ÉGALEMENT.
C'est très clair dans la tête de la grosse majorité des scientifiques: exclure ou confirmer un modèle n'est jamais considérer comme une preuve de la vérité.
Et j'ai l'impression que c'est toi qui dit "si c'est publié et que ça dit 'on a vu moins de 0.05', alors, c'est qu'ils prétendent que c'est la vérité".
[^] # Re: Information extraordinaire
Posté par j-c_32 . En réponse à la dépêche « Hygiène mentale » : une chaîne de vidéos sur l’esprit critique, sous licence de libre diffusion. Évalué à 4.
Uh? Si la p-value est très grande, c'est très très très rares qu'on ne soit pas de toutes façons dans une situation où on ne peut pas conclure, et qui est donc pas publiable par un scientifique qui se respecte.
Qu'il existe des cas particuliers où on peut conclure avec une valeur-p très grande, peut-être, mais ce sont des cas particuliers: si les résultats avec les grandes valeur-p ne sont pas publiés, ce n'est pas parce que la valeur-p est la raison, mais parce que toutes les autres mesures statistiques s'accordent à dire que la situation n'est statistiquement pas claire.
Peux-tu me présenter un "proof of concept" d'une situation où la valeur-p est élevée mais où le degré de confiance statistique est très grand, sans que ça soit un cas exceptionnel ?
Non.
La raison pour laquelle il existe souvent un seuil, c'est parce qu'il faut bien décider de quand la conclusion est statistiquement significative ou pas.
Mais TOUT LE MONDE dans mon secteur est parfaitement au courant que cette valeur est arbitraire, et qu'elle ne dit RIEN sur "le fait que le modèle est correct ou pas".
Euh? La communauté scientifique s'accorde sur ce qu'est réellement la valeur-p et sur le fait qu'il faut être prudent depuis presque 20 ans déjà. On trouve des articles et réactions sur le sujet qui datent d'avant 2000.
De nouveau, je vois une ÉNORME différence entre la situation telle que tu la dépeins et ce qui se passe RÉELLEMENT dans mon secteur (et de nouveau, peut-être que je ne sais pas ce qui se passe dans d'autres, d'où ma question. Mais je n'ai toujours pas eu de réponses)
Et le problème que je veux évoquer, c'est le fait que cette idée que les scientifiques lui donnent majoritairement cette définition m'apparait, au vu de ce que j'ai vu dans le milieu scientifique (et apparemment je ne suis pas le seul), être juste un fantasme.
Un autre élément, c'est le fait que certains vont trouver des réactions de vrais scientifiques et sélectionner ceux qui satisfont leur biais de sélection. Par exemple, dans un autre commentaire, il y a un lien vers un article d'un scientifique qui critique l'usage de la valeur-p. Mais si regarde le blog dans son entièreté, le scientifique critique aussi la confusion entre précision et fiabilité, ou du bon usage de l'email, ou ...
Bref, le scientifique ne faisant que souligner un truc qu'il avait remarqué. Mais bizarrement, certains maintenant pointent cela du doigt comme si c'était la preuve d'un grave problème dans la communauté scientifique.
À vrai dire, je ne comprends même pas cette phrase.
Pour un scientifique, TOUT ce qui est "statistiquement significatif" peut être publié. Et tout ce qui est "non significatif statistiquement" est du bruit, et ne doit pas être publié, car cela n'apporte pas d'information (et évidemment, il y a un spectre continu entre les deux, d'où l'idée de s'accorder sur une valeur numérique arbitraire). La valeur-p fait EXACTEMENT cela: elle ne dit pas si un modèle est vrai ou pas, elle dit juste quand on a atteint une région où la conclusion est suffisamment peu aléatoire.
Tu sembles dire que ce qui devrait décider de la publication ou non d'un article, c'est le fait que le modèle soit vrai ou pas. Mais c'est un non-sens scientifique: on ne peut jamais décider de cela.
C'est pour cette raison que la valeur-p ne réponds pas à cette question (et aucune autre mesure n'y répond également d'ailleurs).
Mais "être publié" ne SIGNIFIE PAS QU'ON RÉPOND À CETTE QUESTION ÉGALEMENT.
C'est très clair dans la tête de la grosse majorité des scientifiques: exclure ou confirmer un modèle n'est jamais considérer comme une preuve de la vérité.
Et j'ai l'impression que c'est toi qui dit "si c'est publié et que ça dit 'on a vu moins de 0.05', alors, c'est qu'ils prétendent que c'est la vérité".