Une remarque également sur les codes à effacement, qui tu sembles vouloir utiliser pour réduire la quantité d'espace de ton cluster dédiée à la tolérance aux pannes.
Certains codes (Reed-solomon notamment) sont dit systématiques, ce qui signifie qu'un fichier encodé en Reed-solomon peut être lu directement, sans décodage. Un décodage est seulement nécessaire lorsqu'il faut réparer (ie, récupérer) le fichier suite à la panne d'un disque.
D'autres codes (notamment la transformée mojette utilisée par RozoFS) sont non-systématiques, ce qui signifie qu'un fichier encodé en RozoFS doit être décodé avant de pouvoir être utilisé. Un décodage est également nécessaire pour réparer le fichier suite à la panne d'un disque. Le décodage consomme du temps CPU (de la puissance de calcul), ce qui peut être un problème (ou non, en fonction de ta worload).
Des quelques démo que j'ai vu, RozoFS a de bonnes performances voir très bonnes, c'est à dire que le décodage consomme peu de puissance CPU, mais peut-être qu'un code systématique serait mieux dans ton cas. Je sais pas exactement ou ça en est, mais les codes à effacement dont Reed-solomon (qui est systématique) sont en cours d'implémentation dans Ceph ( http://ceph.com/docs/giant/dev/erasure-coded-pool/http://ceph.com/releases/v0-80-firefly-released/ ).
Je te conseille de :
1. Vérifier que RozoFS ne mange pas trop de CPU, et fournit une bande passante suffisante. Si c'est le cas, aucun problème, tu devrais pouvoir l'utiliser. Il me semble que c'est un produit assez mature.
2. Sinon, regarde du coté de Ceph avec un Erasure Coded Backend (Reed-Solomon). La bande passante et la consommation CPU seront excellentes, par contre c'est peut-être un peu plus bêta/un peu moins mature.
# Code à effacement, codes systématiques et puissance de calcul
Posté par X345 . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Une remarque également sur les codes à effacement, qui tu sembles vouloir utiliser pour réduire la quantité d'espace de ton cluster dédiée à la tolérance aux pannes.
Certains codes (Reed-solomon notamment) sont dit systématiques, ce qui signifie qu'un fichier encodé en Reed-solomon peut être lu directement, sans décodage. Un décodage est seulement nécessaire lorsqu'il faut réparer (ie, récupérer) le fichier suite à la panne d'un disque.
D'autres codes (notamment la transformée mojette utilisée par RozoFS) sont non-systématiques, ce qui signifie qu'un fichier encodé en RozoFS doit être décodé avant de pouvoir être utilisé. Un décodage est également nécessaire pour réparer le fichier suite à la panne d'un disque. Le décodage consomme du temps CPU (de la puissance de calcul), ce qui peut être un problème (ou non, en fonction de ta worload).
Des quelques démo que j'ai vu, RozoFS a de bonnes performances voir très bonnes, c'est à dire que le décodage consomme peu de puissance CPU, mais peut-être qu'un code systématique serait mieux dans ton cas. Je sais pas exactement ou ça en est, mais les codes à effacement dont Reed-solomon (qui est systématique) sont en cours d'implémentation dans Ceph ( http://ceph.com/docs/giant/dev/erasure-coded-pool/ http://ceph.com/releases/v0-80-firefly-released/ ).
Je te conseille de :
1. Vérifier que RozoFS ne mange pas trop de CPU, et fournit une bande passante suffisante. Si c'est le cas, aucun problème, tu devrais pouvoir l'utiliser. Il me semble que c'est un produit assez mature.
2. Sinon, regarde du coté de Ceph avec un Erasure Coded Backend (Reed-Solomon). La bande passante et la consommation CPU seront excellentes, par contre c'est peut-être un peu plus bêta/un peu moins mature.