Le principal obstacle à mon avis à l'évaluation ouverte est l'effet de réseau, le même qui génèrent 90% de "j'aime" aux vidéos de Dédé en vacances sur les réseaux sociaux. Il va se mettre en place très rapidement des communautés d'amis qui ont des affinités scientifiques ou méthodologiques et qui vont s'autocongratuler en boucle. Par contre, les gens qui vont vraiment prendre leur rôle au sérieux et fournir des critiques plus argumentées vont se retrouver rapidement exclues des réseaux et leur boulot ne sera jamais reconnu. En plus de ça, il existe simplement des facteurs humains qui gênent l'honnêteté du processus : il est socialement inadéquat de descendre gratuitement le travail de quelqu'un qu'on ne connait pas quand on ne nous a rien demandé.
C'est le genre de truc qui peut je pense être mitigé avec un algo un peu intelligent de pondération (on peut détecter les boucles). Ceci dit, ça existe apparement déjà dans le monde des revus. Un ami fait un doctorat en physique des fluides, qui est apparement un domaine assez petit où tout le monde se connaît. Du coup les revues à l'aveugle sont un gag (tout le monde sait sur quoi travail tel autre labo) et il y a parfois des refus de publier d'une revue qui sont suspect voir carrément de mauvaise foi, parce que le type qui a fait la revue est en train de bosser sur la même chose et ne veut pas de conccurrence.
Et puis le fait d'avoir un graphe permet de déterminer toi-même qui tu trouves intéressant/pertinent et de t'orienter vers les articles qu'il/elle a validé. Du coup tu évites les boulets qui se reviewent en boucle.
Pour la motivation à évaluer, on peut tout à fait faire un réseau social où on demande à d'autres d'évaluer un de nos articles. De plus, les gens ne vont pas le faire sur le site des éditeurs peut-être parce qu'ils savent que ça ne sert à rien (puisqu'il y a déjà les reviewers officiels qui ont évalulé l'article et tout le monde se fout des commentaires sur le web).
J'ai l'impression que le réseau social, c'est déjà ce qui existe plus ou moins, sauf qu'on le formalise et qu'on vire les intermédiaires coûteux et pas forcément bénéfique (Elsevier).
[^] # Re: Réseau social
Posté par Jux . En réponse à la dépêche Le libre accès et l'appel au boycott contre Elsevier. Évalué à 6.
C'est le genre de truc qui peut je pense être mitigé avec un algo un peu intelligent de pondération (on peut détecter les boucles). Ceci dit, ça existe apparement déjà dans le monde des revus. Un ami fait un doctorat en physique des fluides, qui est apparement un domaine assez petit où tout le monde se connaît. Du coup les revues à l'aveugle sont un gag (tout le monde sait sur quoi travail tel autre labo) et il y a parfois des refus de publier d'une revue qui sont suspect voir carrément de mauvaise foi, parce que le type qui a fait la revue est en train de bosser sur la même chose et ne veut pas de conccurrence.
Et puis le fait d'avoir un graphe permet de déterminer toi-même qui tu trouves intéressant/pertinent et de t'orienter vers les articles qu'il/elle a validé. Du coup tu évites les boulets qui se reviewent en boucle.
Pour la motivation à évaluer, on peut tout à fait faire un réseau social où on demande à d'autres d'évaluer un de nos articles. De plus, les gens ne vont pas le faire sur le site des éditeurs peut-être parce qu'ils savent que ça ne sert à rien (puisqu'il y a déjà les reviewers officiels qui ont évalulé l'article et tout le monde se fout des commentaires sur le web).
J'ai l'impression que le réseau social, c'est déjà ce qui existe plus ou moins, sauf qu'on le formalise et qu'on vire les intermédiaires coûteux et pas forcément bénéfique (Elsevier).