Forcément en faisant du nombre des articles — nonobstant jusqu'aux titres & mots-clefs :-( — l'alpha et l’oméga de la recherche...
Goodhart's law
Ici on part à la base d'une très mauvaise métrique, et on fait tenir la vie de gens, et des sommes considérables quasiment sur elle seule... Pas étonnant de voir des détournements fleurir comme l'Atacama après l'ondée.
Deux brèves anecdotes :
En analysant des dossiers de candidatures, il m'est arrivé de tomber sur une publication « Springer Nature » (édition cité dans l'article). C'était tellement nul et non avenu, même abstraction faite d'une orthographe et d'une grammaire balbutiante, que j'ai cru qu'il s'agissait d'un faux journal, ou de faux scientifiques paieraient pour publier du PDF. Pas étonné de retrouver leur nom dans cette nouvelle.
Ce matin même je reçois une demande pour évaluer un article dont le résumé peut sans rien omettre se résumer à : « Nous avons utilisé l'IA générative pour lire une centaine d'articles. Nous en concluons qu'il est possible de gagner du temps en pharmacovigilance en faisant cela. » Pas la moindre évaluation de la pertinence des sorties de l'IA. De la recherche de haute volée assurément.
# Les délires des métriques
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . En réponse au lien L'IA contribue à la fraude scientifique. Évalué à 2.
Forcément en faisant du nombre des articles — nonobstant jusqu'aux titres & mots-clefs :-( — l'alpha et l’oméga de la recherche...
Goodhart's law
Ici on part à la base d'une très mauvaise métrique, et on fait tenir la vie de gens, et des sommes considérables quasiment sur elle seule... Pas étonnant de voir des détournements fleurir comme l'Atacama après l'ondée.
Deux brèves anecdotes :
En analysant des dossiers de candidatures, il m'est arrivé de tomber sur une publication « Springer Nature » (édition cité dans l'article). C'était tellement nul et non avenu, même abstraction faite d'une orthographe et d'une grammaire balbutiante, que j'ai cru qu'il s'agissait d'un faux journal, ou de faux scientifiques paieraient pour publier du PDF. Pas étonné de retrouver leur nom dans cette nouvelle.
Ce matin même je reçois une demande pour évaluer un article dont le résumé peut sans rien omettre se résumer à : « Nous avons utilisé l'IA générative pour lire une centaine d'articles. Nous en concluons qu'il est possible de gagner du temps en pharmacovigilance en faisant cela. » Pas la moindre évaluation de la pertinence des sorties de l'IA. De la recherche de haute volée assurément.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace