• # Peer review

    Posté par . En réponse à la dépêche Rendre les résultats de la recherche scientifique accessibles à tous. Évalué à 9.

    Il y a un problème réel associé au modèle OA, c'est la qualité de la revue par les pairs.

    Dans un journal "classique", le nombre de papiers publiés est en général plus ou moins constant (imposé par le format papier du joural). Le journal reçoit un nombre variable de manuscrits tous les mois, et seuls les meilleurs sont publiés. Les critères d'acceptation varient en fonction de la qualité du journal, ce qui revient au même que de dire que les critères dépendent de la qualité et de la quantité de manuscrits reçus.

    Pour les journaux OA, la situation est très différente. Les revenus ne dépendent pas de la quantité de journaux vendus, mais directement de la quantité d'articles publiés. Il y a donc une corrélation négative parfaite entre la sévérité des critères et la quantité d'argent qui rentre dans les caisses. Bien sûr, on pourrait se dire que de publier trop de papiers pourris va tendre à faire diminuer à long terme la quantité d'articles soumis, mais c'est partiellement faux (de nombreux chercheurs sont bien contents de pouvoir publier leurs mauvais papiers), et en plus c'est un bénéfice à long terme, qui pèse bien peu par rapport à la nécessité de remplir les caisses à court terme.

    Du coup, le système s'est scindé en deux. Il y a quelques revues OA, en général les premières sur le marché (je pense aux PLoS ou à la série des BMC par exemple) qui gardent des critères "traditionnels", et qui survivent grâce à la certitude d'attirer beaucoup de soumissions. Et puis il y a les autres, des milliers de petits journaux online crées par quelques dizaines d'éditeurs (souvent des filiales de gros éditeurs traditionnels créees pour l'occasion), qui innondent le marché d'une offre gigantesque de journaux inconnus. La plupart de ces journaux sont mort-nés, ils disparaissent après avoir publiés deux ou trois papiers, mais certains survivent, vivant justement du marché des papiers difficilement publiables ailleurs. Ces journaux garantissent en général un passage par comité de lecture rapide et "léger" (donc très permissif), de manière à publier la quasi-totalité des manuscrits reçus (bref, une sorte de gagnant-gagnant avec les auteurs).

    La toute dernière nouveauté dans ce système est la mise en place par les "gros" OA d'une sorte de "garbage collector", une revue online fourre-tout destinée à ne pas perdre les manuscrits refusés par les quelques journaux sélectifs. Les PLoS One sont probablement le meilleur exemple. Ces éditeurs combinent donc la réputation de leurs gros journaux phares, et les revenus des fourre-tout.

    Alors oui, la publication disponible pour tous, c'est bien. Mais au passage, on a aussi créé un monstre, celui de l'ouverture libérale démentielle du marché de la publication scientifique, avec l'apparition d'une concurrence malsaine entre les revues online pour attirer les manuscrits, quelle que soit leur qualité. Du coup, il n'existe virtuellement plus de filtre avant publication (en gros, n'importe qui peut publier n'importe quoi s'il amène le pognon qui va bien), et on voit fleurir des publications "scientifiques" signées par des créationnistes, des raéliens, et toutes sortes d'allumés. Ce n'est pas vraiment nouveau ni uniquement réservé aux journaux OA (cf les papiers des Bogdanoff), mais ça a simplement fait sauter les quelques derniers verrous qui existaient. Maintenant, on ne peut plus juger de la qualité d'un article au fait qu'il ait été publié dans une revue à comité de lecture, et c'est assez grave.

    D'ailleurs, dans mon entourage professionnel, je trouve que les gens accordent encore beaucoup plus de confiance aux revues traditionnelles (malgré un facteur d'impact plus faible parfois), et certains chercheurs se refusent simplement à lire et à citer les papiers en OA, en accusant l'OA d'avoir détruit la notion de communauté scientifique.