Au niveau algo de découpe des fichiers en blocs, et échanges réseau on est vraiment sur ce qui ce fait de mieux.
C'est la même technique que BUP : https://github.com/bup/bup/blob/master/DESIGN , qui consiste à découper les données en blocs dont la taille est variable et portée par les données elles-même.
On fait glisser (FIFO) une fenêtre de taille fixe (48 octets) sur les données, une somme de contrôle est générée à chaque pas, dès que l'on a une empreinte prédéfinie, c'est la fin d'un bloc. On calcule la somme de hachage sur ce bloc. Cette somme est transmise au client/serveur si elle est connue, le bloc en question est reconstituée par celui déjà connu, si non le bloc est transféré.
Pour plus d'information lire : http://pdos.csail.mit.edu/papers/lbfs:sosp01/lbfs.pdf .
La partie découpage en bloc a l'aide de la fenêtre glissante, et découpe en fonction de la somme de contrôle de cette fenêtre est vraiment géniale de simplicité et d'efficacité comme algo !!!
Je viens de mettre 2Go de fichiers répartis en 38000 fichiers "jpg" sur un RPi, et c'est très fluide et rapide.
[^] # Re: Et niveau perfs ?
Posté par Guillaume D. . En réponse à la dépêche Seafile, un Dropbox-like libre à héberger sort en version 3. Évalué à 4.
Bonjour,
Au niveau algo de découpe des fichiers en blocs, et échanges réseau on est vraiment sur ce qui ce fait de mieux.
C'est la même technique que BUP : https://github.com/bup/bup/blob/master/DESIGN , qui consiste à découper les données en blocs dont la taille est variable et portée par les données elles-même.
On fait glisser (FIFO) une fenêtre de taille fixe (48 octets) sur les données, une somme de contrôle est générée à chaque pas, dès que l'on a une empreinte prédéfinie, c'est la fin d'un bloc. On calcule la somme de hachage sur ce bloc. Cette somme est transmise au client/serveur si elle est connue, le bloc en question est reconstituée par celui déjà connu, si non le bloc est transféré.
Pour plus d'information lire : http://pdos.csail.mit.edu/papers/lbfs:sosp01/lbfs.pdf .
La partie découpage en bloc a l'aide de la fenêtre glissante, et découpe en fonction de la somme de contrôle de cette fenêtre est vraiment géniale de simplicité et d'efficacité comme algo !!!
Je viens de mettre 2Go de fichiers répartis en 38000 fichiers "jpg" sur un RPi, et c'est très fluide et rapide.