Il y a effectivement des solutions logicielles apportées par les filesystems distribués tels que ceph, Lustre, et probablement GPFS aussi. Ça demande des compétences pointues sur ces filesystems (ou plutôt des frais de support en dehors des grands centres avec une équipe dédiée), ça ajoute du travail de maintenance et des risques de panne donc je n'ai pas approfondi cette piste.
Il me semble que sur des centres comme Jean Zay il y a une solution matérielle et logicielle ad-hoc, c'est top mais on n'est pas sur les même tarifs.
J'avais regardé HDF5, niveau fonctionnalités c'est pas mal. Mais ça oblige à convertir les datasets au format HDF5. Pareil pour apache Arrow. La simplicité d'utilisation et la qualité des docs ne m'ont pas semblé suffisantes aussi. Si sur un stage de recherche de 6 mois on perd 15 jours à convertir des données, à écrire et à déboguer du code de chargement, c'est embêtant.
[^] # Re: Alternative ?
Posté par nlgranger . En réponse au journal scratch_manager: gestionnaire de mise en cache de jeux de données. Évalué à 3.
Merci!
Il y a effectivement des solutions logicielles apportées par les filesystems distribués tels que ceph, Lustre, et probablement GPFS aussi. Ça demande des compétences pointues sur ces filesystems (ou plutôt des frais de support en dehors des grands centres avec une équipe dédiée), ça ajoute du travail de maintenance et des risques de panne donc je n'ai pas approfondi cette piste.
Il me semble que sur des centres comme Jean Zay il y a une solution matérielle et logicielle ad-hoc, c'est top mais on n'est pas sur les même tarifs.
J'avais regardé HDF5, niveau fonctionnalités c'est pas mal. Mais ça oblige à convertir les datasets au format HDF5. Pareil pour apache Arrow. La simplicité d'utilisation et la qualité des docs ne m'ont pas semblé suffisantes aussi. Si sur un stage de recherche de 6 mois on perd 15 jours à convertir des données, à écrire et à déboguer du code de chargement, c'est embêtant.