L'argument est en effet paradoxal, et traduit aussi des désaccords profonds dans les différentes communautés scientifiques.
Il est de notoriété publique que l'évaluation des projets et des bilans scientifiques sont extrêmement complexes. Bon, pour les projets, c'est même objectivement impossible, puisqu'en recherche fondamentale, il est évident qu'on ne peut pas savoir a priori si une expérience va fonctionner, puisque savoir si ça fonctionne est le but même du projet. On ne peut donc évaluer que l'intérêt d'avoir une réponse à cette question (quelle que soit la question).
Pour les bilans, c'est plus discutable. En fait, il y a une pression très forte des institutions et des citoyens pour une transparence et une évaluation des dépenses publiques, et l'évaluation bureaucratique de la recherche est une réponse à cette question. Le problème c'est que là encore l'évaluation est complexe. Soit elle est objectivée par des indicateurs chiffrés (nombre de publications, de brevets, d'étudiants formés, etc), avec les objections classiques liées à la manipulation des indicateurs, soit elle est confiée à des pairs spécialistes du domaine, en devenant par là-même plus subjective et plus coûteuse pour la communauté (puisque ça mobilise du temps d'expertise qui pourrait être destiné à la recherche). La situation actuelle est mixte; les chercheurs et les unités de recherche sont évalués par des experts sur la base de dossiers qui compilent les fameux indicateurs.
Ce qu'il ne faut pas perdre de vue, c'est que la génération de chercheurs qui occupent actuellement les postes à responsabilité dans la recherche publique est une génération qui a justifié son succès scientifique par ces indicateurs bureaucratiques (et par leur succès aux appels à projets). Il semble donc assez illusoire d'imaginer qu'ils abandonnent facilement les indicateurs chiffrés alors même qu'ils leur doivent leur position sociale!
Pour moi, poser cette question comme une question de principe est un mensonge bienveillant, basé sur la légende du chercheur de génie qui ne saurait pas publier. Comme partout, une telle situation n'est pas logiquement impossible et on pourrait forcément trouver quelques exemples statistiquement rares (par exemple en mathématiques, qui a tendance à favoriser les traits de personnalité inhabituels), mais à mon avis c'est une mauvaise perspective. Ce qui se passe, c'est qu'un bon chercheur bien implanté dans sa discipline, reconnu par ses collaborateurs et à l'international, n'a absolument aucun mal à optimiser ses indicateurs chiffrés. La réelle question c'est plutôt si c'est un bon calcul d'utiliser son expertise ou son énergie à des tâches plutôt formelles au détriment de sa créativité scientifique. A contrario, les mauvais chercheurs sont peu productifs dans tous les domaines. Ce n'est malheureusement pas des vases communicants, les problèmes sont en général assez liés et finissent par créer des cercles vicieux (mauvaise recherche -> peu de résultats intéressants -> peu de publications -> peu de financements). Ces cercles vicieux sont vécus comme des injustices par les intéressés, mais au final rien n'indique que les indicateurs de productivité ne reflètent pas la qualité des résultats scientifiques obtenus (hors fraude scientifique, évidemment).
Tout ça pour dire qu'on peut admettre l'imperfection des indicateurs bibliométriques sans verser dans l'idée qui me semble assez absurde que l'absence de publication pourrait être interprétée comme un signe positif. Le problème de l'évaluation bibliométrique n'est pas qu'elle classe mal (parce qu'en fait elle classe plutôt bien), mais c'est qu'elle détourne les ressources vers l'optimisation du critère, ce qui n'est pas forcément souhaitable.
[^] # Re: L’imprégnation des esprits ?
Posté par arnaudus . En réponse au lien Debout pour les sciences, nécessité de défendre l’intégrité scientifique et combattre désinformation. Évalué à 4.
L'argument est en effet paradoxal, et traduit aussi des désaccords profonds dans les différentes communautés scientifiques.
Il est de notoriété publique que l'évaluation des projets et des bilans scientifiques sont extrêmement complexes. Bon, pour les projets, c'est même objectivement impossible, puisqu'en recherche fondamentale, il est évident qu'on ne peut pas savoir a priori si une expérience va fonctionner, puisque savoir si ça fonctionne est le but même du projet. On ne peut donc évaluer que l'intérêt d'avoir une réponse à cette question (quelle que soit la question).
Pour les bilans, c'est plus discutable. En fait, il y a une pression très forte des institutions et des citoyens pour une transparence et une évaluation des dépenses publiques, et l'évaluation bureaucratique de la recherche est une réponse à cette question. Le problème c'est que là encore l'évaluation est complexe. Soit elle est objectivée par des indicateurs chiffrés (nombre de publications, de brevets, d'étudiants formés, etc), avec les objections classiques liées à la manipulation des indicateurs, soit elle est confiée à des pairs spécialistes du domaine, en devenant par là-même plus subjective et plus coûteuse pour la communauté (puisque ça mobilise du temps d'expertise qui pourrait être destiné à la recherche). La situation actuelle est mixte; les chercheurs et les unités de recherche sont évalués par des experts sur la base de dossiers qui compilent les fameux indicateurs.
Ce qu'il ne faut pas perdre de vue, c'est que la génération de chercheurs qui occupent actuellement les postes à responsabilité dans la recherche publique est une génération qui a justifié son succès scientifique par ces indicateurs bureaucratiques (et par leur succès aux appels à projets). Il semble donc assez illusoire d'imaginer qu'ils abandonnent facilement les indicateurs chiffrés alors même qu'ils leur doivent leur position sociale!
Pour moi, poser cette question comme une question de principe est un mensonge bienveillant, basé sur la légende du chercheur de génie qui ne saurait pas publier. Comme partout, une telle situation n'est pas logiquement impossible et on pourrait forcément trouver quelques exemples statistiquement rares (par exemple en mathématiques, qui a tendance à favoriser les traits de personnalité inhabituels), mais à mon avis c'est une mauvaise perspective. Ce qui se passe, c'est qu'un bon chercheur bien implanté dans sa discipline, reconnu par ses collaborateurs et à l'international, n'a absolument aucun mal à optimiser ses indicateurs chiffrés. La réelle question c'est plutôt si c'est un bon calcul d'utiliser son expertise ou son énergie à des tâches plutôt formelles au détriment de sa créativité scientifique. A contrario, les mauvais chercheurs sont peu productifs dans tous les domaines. Ce n'est malheureusement pas des vases communicants, les problèmes sont en général assez liés et finissent par créer des cercles vicieux (mauvaise recherche -> peu de résultats intéressants -> peu de publications -> peu de financements). Ces cercles vicieux sont vécus comme des injustices par les intéressés, mais au final rien n'indique que les indicateurs de productivité ne reflètent pas la qualité des résultats scientifiques obtenus (hors fraude scientifique, évidemment).
Tout ça pour dire qu'on peut admettre l'imperfection des indicateurs bibliométriques sans verser dans l'idée qui me semble assez absurde que l'absence de publication pourrait être interprétée comme un signe positif. Le problème de l'évaluation bibliométrique n'est pas qu'elle classe mal (parce qu'en fait elle classe plutôt bien), mais c'est qu'elle détourne les ressources vers l'optimisation du critère, ce qui n'est pas forcément souhaitable.