J'ai en production un cluster Ceph (qui fonctionne très bien). J'y stocke des images de VM, et j'en fais régulièrement des snapshots. Ces snapshots finissent par consommer beaucoup de place, et tant qu'ils seront stockés au même endroit il y aura toujours un risque de perdre des données (piratage du cluster, conflit avec le fournisseur, fausse manip, bug logiciel, etc). Je veux donc pouvoir sauvegarder ce cluster, chez un autre prestataire que la production, et le moyen le plus efficace est «rbd export-diff/import-diff» (similaire à zfs send/receive) ce qui implique donc d'avoir un second cluster Ceph.
J'ai également besoin d'un espace de stockage en dehors de ma production pour y stocker des sauvegardes plus classiques (via rsync), et utiliser des VM stockées sur un cluster Ceph est très pratique, le stockage de chaque VM étant ainsi virtuellement illimité.
Je n'ai pas de cluster Ceph de test, et c'est un vrai manque. Avoir un second cluster, moins critique, sur lequel je pourrais déployer les nouvelles versions avant la prod, ce serait un gros plus.
L'ASRock Rack en question me permet donc d'ajouter des noeuds de 48To (43.6 Tio en pratique) à 3k€ chacun, disques compris. Plus simplement, à 800€ le boitier, avec alimentation, carte mère et CPU inclus, je n'ai clairement pas trouvé d'équivalent, même en 2U. Asus a bien un modèle similaire (à ce que je sache c'est le même groupe qu'ASRock), mais je ne suis pas certain qu'on y gagne beaucoup.
Partir sur des boitiers 4U gavés de disques serait également une alternative, mais peu adaptée pour Ceph (resynchroniser 72*4To par le réseau, faut pas être pressé).
Au final avec 3 boitiers de ce type ainsi que 3 supermicro très basiques et un switch, pour un total de 48 disques de 4To, je ne consomme «que» 2.5A sur 7U. Ce qui devrait me permettre de remplir progressivement la baie, sans que je ne dépasse les 16A de quota.
Pour ce qui est du choix du fournisseur, j'ai simplement opté pour le datacenter le plus près de chez moi (5 minutes à pieds), c'est clairement ce qui m'a décidé à franchir le pas.
[^] # Re: Ton besoin
Posté par Kioob (site web personnel) . En réponse au journal stabilité du contrôleur SATA Marvell 88SE9230. Évalué à 10.
mmm au départ plusieurs besoins :
J'ai en production un cluster Ceph (qui fonctionne très bien). J'y stocke des images de VM, et j'en fais régulièrement des snapshots. Ces snapshots finissent par consommer beaucoup de place, et tant qu'ils seront stockés au même endroit il y aura toujours un risque de perdre des données (piratage du cluster, conflit avec le fournisseur, fausse manip, bug logiciel, etc). Je veux donc pouvoir sauvegarder ce cluster, chez un autre prestataire que la production, et le moyen le plus efficace est «rbd export-diff/import-diff» (similaire à zfs send/receive) ce qui implique donc d'avoir un second cluster Ceph.
J'ai également besoin d'un espace de stockage en dehors de ma production pour y stocker des sauvegardes plus classiques (via rsync), et utiliser des VM stockées sur un cluster Ceph est très pratique, le stockage de chaque VM étant ainsi virtuellement illimité.
Je n'ai pas de cluster Ceph de test, et c'est un vrai manque. Avoir un second cluster, moins critique, sur lequel je pourrais déployer les nouvelles versions avant la prod, ce serait un gros plus.
L'ASRock Rack en question me permet donc d'ajouter des noeuds de 48To (43.6 Tio en pratique) à 3k€ chacun, disques compris. Plus simplement, à 800€ le boitier, avec alimentation, carte mère et CPU inclus, je n'ai clairement pas trouvé d'équivalent, même en 2U. Asus a bien un modèle similaire (à ce que je sache c'est le même groupe qu'ASRock), mais je ne suis pas certain qu'on y gagne beaucoup.
Partir sur des boitiers 4U gavés de disques serait également une alternative, mais peu adaptée pour Ceph (resynchroniser 72*4To par le réseau, faut pas être pressé).
Au final avec 3 boitiers de ce type ainsi que 3 supermicro très basiques et un switch, pour un total de 48 disques de 4To, je ne consomme «que» 2.5A sur 7U. Ce qui devrait me permettre de remplir progressivement la baie, sans que je ne dépasse les 16A de quota.
Pour ce qui est du choix du fournisseur, j'ai simplement opté pour le datacenter le plus près de chez moi (5 minutes à pieds), c'est clairement ce qui m'a décidé à franchir le pas.
alf.life