si je peux me permettre, BTRFS, par le biais des snapshots permet aussi nativement de gérer de la déduplication par bloc. Plus précisément, suite à un snapshot, si 1 octet change sur un fichier de 1Go, seul le différentiel sera conservé sur le volume courant.
Par expérience, le mécanisme de snapshot fonctionne assez bien avec une volumétrie de 25To et plusieurs dizaines de millions de fichiers et sur un historique de 30 jours. Le serveur est monté en RAID matériel (je n'ai pas choisi) et en partition BTRFS pour ces volumes de données. La rotation par snapshot est réalisée par un script maison.
La création et suppression de snapshot est instantanée : on récupère la main dans les quelques secondes qui suivent. Mais attention, suite à une suppression d'un snapshot, il y a une tache qui va faire du nettoyage en tache de fond et qui dure environ 1 ou 2 heures.
Nous avions une solution basée sur rsnapshot pour faire la même chose à l'époque ou BTRFS n'existait pas encore. La suppression par une sorte de "rm -fr" des snapshots durait des heures. Cette tache était programmée pour tourner la nuit, mais notre système arrivait au bout et risquait de déborder sur les taches de backup en début de matinée.
BTRFS c'est vraiment bien. Méfiance avec certains fonction avancée, en particulier le RAID. Sans RAID, pas d'incident constaté depuis des années.
[^] # Re: Pourquoi si compliqué ?
Posté par Marc Quinton . En réponse au journal Sauvegarde de données. Évalué à 4.
si je peux me permettre, BTRFS, par le biais des snapshots permet aussi nativement de gérer de la déduplication par bloc. Plus précisément, suite à un snapshot, si 1 octet change sur un fichier de 1Go, seul le différentiel sera conservé sur le volume courant.
Par expérience, le mécanisme de snapshot fonctionne assez bien avec une volumétrie de 25To et plusieurs dizaines de millions de fichiers et sur un historique de 30 jours. Le serveur est monté en RAID matériel (je n'ai pas choisi) et en partition BTRFS pour ces volumes de données. La rotation par snapshot est réalisée par un script maison.
La création et suppression de snapshot est instantanée : on récupère la main dans les quelques secondes qui suivent. Mais attention, suite à une suppression d'un snapshot, il y a une tache qui va faire du nettoyage en tache de fond et qui dure environ 1 ou 2 heures.
Nous avions une solution basée sur rsnapshot pour faire la même chose à l'époque ou BTRFS n'existait pas encore. La suppression par une sorte de "rm -fr" des snapshots durait des heures. Cette tache était programmée pour tourner la nuit, mais notre système arrivait au bout et risquait de déborder sur les taches de backup en début de matinée.
BTRFS c'est vraiment bien. Méfiance avec certains fonction avancée, en particulier le RAID. Sans RAID, pas d'incident constaté depuis des années.