Il y a pas mal de discussions dans les milieux scientifiques pour savoir ce que "reproductible" veut dire. Tout le monde est d'accord pour dire que c'est super d'avoir des analyses reproductibles, mais comme les gens n'entendent pas la même chose...
Les gens avec une formation forte en informatique cherchent plutôt une reproductibilité informatique (au sens d'une compilation reproductible, par exemple : même binaire généré). Les solutions s'orientent alors vers la puliblication de l'environnement de travail complet (container Docker, machine virtuelle, etc).
Mais j'ai l'impression que la plupart des scientifiques entendent plutôt la capacité à reproduire l'analyse (dans le sens, être capable de la faire tourner nativement sur leur système), avec leurs propres versions de leurs logiciels. Y compris, avec une version récente (avec des corrections de bugs ou des nouvelles fonctionnalités) des paquets statistiques, par exemple. C'est bien l'analyse qui doit être reproductible (pour pouvoir en refaire une un peu différente), pas les résultats (ou du moins, pas à la dixième décimale près...).
Le plus gros problème auquel j'ai été confronté, c'est la gestion des caches. En réalité, c'est assez rare d'avoir des analyses de gros jeux de données instantanées; et c'est très désagréable de devoir attendre 20 minutes (ou 20 heures) pour refaire une figure. Il faut donc stocker les calculs intermédiaires (c'est assez facile avec R, puisque les objets sont facilement séralisés), mais il faut gérer quand il faut refaire l'analyse ou non, avec le risque d'avoir un cache désynchronisé (changement dans les données ou dans le script d'analyse).
[^] # Re: Reproductibilité
Posté par arnaudus . En réponse au journal Préparation de figures avec R : automatiser l'ajout d'annotations manuelles. Évalué à 7. Dernière modification le 19 septembre 2021 à 17:29.
Il y a pas mal de discussions dans les milieux scientifiques pour savoir ce que "reproductible" veut dire. Tout le monde est d'accord pour dire que c'est super d'avoir des analyses reproductibles, mais comme les gens n'entendent pas la même chose...
Les gens avec une formation forte en informatique cherchent plutôt une reproductibilité informatique (au sens d'une compilation reproductible, par exemple : même binaire généré). Les solutions s'orientent alors vers la puliblication de l'environnement de travail complet (container Docker, machine virtuelle, etc).
Mais j'ai l'impression que la plupart des scientifiques entendent plutôt la capacité à reproduire l'analyse (dans le sens, être capable de la faire tourner nativement sur leur système), avec leurs propres versions de leurs logiciels. Y compris, avec une version récente (avec des corrections de bugs ou des nouvelles fonctionnalités) des paquets statistiques, par exemple. C'est bien l'analyse qui doit être reproductible (pour pouvoir en refaire une un peu différente), pas les résultats (ou du moins, pas à la dixième décimale près...).
Le plus gros problème auquel j'ai été confronté, c'est la gestion des caches. En réalité, c'est assez rare d'avoir des analyses de gros jeux de données instantanées; et c'est très désagréable de devoir attendre 20 minutes (ou 20 heures) pour refaire une figure. Il faut donc stocker les calculs intermédiaires (c'est assez facile avec R, puisque les objets sont facilement séralisés), mais il faut gérer quand il faut refaire l'analyse ou non, avec le risque d'avoir un cache désynchronisé (changement dans les données ou dans le script d'analyse).