Il suffit de faire le calcul. En dehors du texte (qui ne représentera pas une fraction significative de l'espace disque utilisé), les données binaires binaires compressées ressemblent à des données aléatoires (si ce n'est pas le cas, il faut changer de format pour stocker vos musiques ou vos photos...).
Le gain entre une déduplication par blocs ou par fichier se trouve parmi les blocs de données identiques, appartenant à des fichiers différents. On va donc considérer que deux blocs appartenant à deux fichiers différents n'ont pas de liens a priori entre eux. La probabilité de trouver une paire de blocs identiques se calcule bien.
Btrfs, ext4 et probablement beaucoup d'autres ont une taille de bloc qui est de 4kio. Cela fait 2^(8*4*210) = 2^(2^15) blocs différents. D'après le paradoxe des anniversaires, il faut environ sqrt() de ce nombre pour avoir 50% de chances d'avoir une paire (une !) de blocs identiques. Cela fait 2^(214) blocs. D'après Wolfram Alpha, ça fait ×ばつ104932 (à comparer au nombre d'atomes dans l'univers, 1085).
Ceci dit, on est parti sur une hypothèse de blocs complètement aléatoires (mais toujours sur des fichiers différents). Je vais faire une énorme concession, et considérer que l'espace auquel un bloc peut appartenir fait 2^(211). Il nous faut alors 2^(210) = 2^1024 blocs = ×ばつ10308 blocs. Nope, toujours aussi peu utile...
[^] # Re: Système de fichiers et déduplication
Posté par Frédéric Perrin (site web personnel) . En réponse à la dépêche Sortie de DragonFly BSD 2.10. Évalué à 4.
Il suffit de faire le calcul. En dehors du texte (qui ne représentera pas une fraction significative de l'espace disque utilisé), les données binaires binaires compressées ressemblent à des données aléatoires (si ce n'est pas le cas, il faut changer de format pour stocker vos musiques ou vos photos...).
Le gain entre une déduplication par blocs ou par fichier se trouve parmi les blocs de données identiques, appartenant à des fichiers différents. On va donc considérer que deux blocs appartenant à deux fichiers différents n'ont pas de liens a priori entre eux. La probabilité de trouver une paire de blocs identiques se calcule bien.
Btrfs, ext4 et probablement beaucoup d'autres ont une taille de bloc qui est de 4kio. Cela fait 2^(8*4*210) = 2^(2^15) blocs différents. D'après le paradoxe des anniversaires, il faut environ sqrt() de ce nombre pour avoir 50% de chances d'avoir une paire (une !) de blocs identiques. Cela fait 2^(214) blocs. D'après Wolfram Alpha, ça fait ×ばつ104932 (à comparer au nombre d'atomes dans l'univers, 1085).
Ceci dit, on est parti sur une hypothèse de blocs complètement aléatoires (mais toujours sur des fichiers différents). Je vais faire une énorme concession, et considérer que l'espace auquel un bloc peut appartenir fait 2^(211). Il nous faut alors 2^(210) = 2^1024 blocs = ×ばつ10308 blocs. Nope, toujours aussi peu utile...