Je ne peux qu'être d'accord avec toi. Ces normes comptables m'exaspèrent au quotidien et au CNU. Ça biaise tout le jugement qu'on devrait avoir sur des travaux scientifiques dans toutes leurs dimensions. Mais, parce qu'il y a un mais de taille, c'est la moins pire des solutions.
En fait, le CNU n'évalue pas les activités de recherche, il se contente de chercher et compiler les indicateurs d'une activité de recherche pour produire un jugement ou un classement. C'est très différent ! Si on devait évaluer réellement une activité de recherche, on y passerait beaucoup plus de temps (puisqu'il faudrait comprendre l'objet des recherches, évaluer leur pertinence, évaluer les résultats obtenus, etc) et ce temps, nous ne l'avons pas. Sans compter que nous n'avons sans doute pas les compétences pour le faire pour tous les collègues. Un article publié, en revanche, donne une indication : ce chercheur a été évalué par des pairs et son travail a été validé pour être publié. Doit-on refaire le travail du comité de lecture ? Ça dépend de ce qu'on cherche à faire. Si on voulait réellement évaluer, alors il faudrait (mais il faudrait également d'autres méthodes et d'autres moyens pour le faire correctement). Mais ce n'est pas la tâche qui a été assignée au CNU, donc on ne le fait pas, on se contente de l'indicateur.
Dans ce cadre, un logiciel, c'est compliqué à intégrer dans la fiche de notes. Parce qu'il y a assez peu d'indicateurs pertinents du point de vue de la recherche. Je les ai donné auparavant : nombre d'utilisateurs, nombre de téléchargements, etc. Mais ça n'indique pas la qualité de la recherche, juste sa diffusion. Là encore, si on faisait réellement un travail d'évaluation, on pourrait décortiquer le logiciel et se rendre compte qu'il contient des algorithmes originaux non-triviaux (qui peuvent avoir fait l'objet d'une publication ou non) et que c'est bien une production scientifique à part entière. Et comme tu le dis, vu le temps qu'on peut y passer, ça vaudrait largement des publications en plus du côté utilisabilité (parce qu'une publication vient rarement avec le bout de code qui va bien, et même pire, il est souvent difficile de refaire le bout de code en lisant la publication, ce qui est un comble).
Bref, on ne trouvera pas la solution ici mais je ne désespère pas de convaincre des collègues au fur et à mesure (beaucoup le sont déjà même s'ils continuent de «jouer le jeu»).
[^] # Re: Retour d'expérience sur 10 ans
Posté par rewind (Mastodon) . En réponse à la dépêche G’MIC : 2.2, v’là les filtres !. Évalué à 8.
Je ne peux qu'être d'accord avec toi. Ces normes comptables m'exaspèrent au quotidien et au CNU. Ça biaise tout le jugement qu'on devrait avoir sur des travaux scientifiques dans toutes leurs dimensions. Mais, parce qu'il y a un mais de taille, c'est la moins pire des solutions.
En fait, le CNU n'évalue pas les activités de recherche, il se contente de chercher et compiler les indicateurs d'une activité de recherche pour produire un jugement ou un classement. C'est très différent ! Si on devait évaluer réellement une activité de recherche, on y passerait beaucoup plus de temps (puisqu'il faudrait comprendre l'objet des recherches, évaluer leur pertinence, évaluer les résultats obtenus, etc) et ce temps, nous ne l'avons pas. Sans compter que nous n'avons sans doute pas les compétences pour le faire pour tous les collègues. Un article publié, en revanche, donne une indication : ce chercheur a été évalué par des pairs et son travail a été validé pour être publié. Doit-on refaire le travail du comité de lecture ? Ça dépend de ce qu'on cherche à faire. Si on voulait réellement évaluer, alors il faudrait (mais il faudrait également d'autres méthodes et d'autres moyens pour le faire correctement). Mais ce n'est pas la tâche qui a été assignée au CNU, donc on ne le fait pas, on se contente de l'indicateur.
Dans ce cadre, un logiciel, c'est compliqué à intégrer dans la fiche de notes. Parce qu'il y a assez peu d'indicateurs pertinents du point de vue de la recherche. Je les ai donné auparavant : nombre d'utilisateurs, nombre de téléchargements, etc. Mais ça n'indique pas la qualité de la recherche, juste sa diffusion. Là encore, si on faisait réellement un travail d'évaluation, on pourrait décortiquer le logiciel et se rendre compte qu'il contient des algorithmes originaux non-triviaux (qui peuvent avoir fait l'objet d'une publication ou non) et que c'est bien une production scientifique à part entière. Et comme tu le dis, vu le temps qu'on peut y passer, ça vaudrait largement des publications en plus du côté utilisabilité (parce qu'une publication vient rarement avec le bout de code qui va bien, et même pire, il est souvent difficile de refaire le bout de code en lisant la publication, ce qui est un comble).
Bref, on ne trouvera pas la solution ici mais je ne désespère pas de convaincre des collègues au fur et à mesure (beaucoup le sont déjà même s'ils continuent de «jouer le jeu»).