• [^] # Re: Déduplication

    Posté par (site web personnel) . En réponse au journal On vient de passer un seuil économique pour la sauvegarde en ligne !. Évalué à 2.

    Mes excuses, je pensais que tu te servais de S3 ou de GCS comme d'un bête espace de stockage brut, et que la logique sur les données pouvait se faire côté client ou côté proxy. Dans ce cas-là, camlistore aurait pu t'être utile: en implémentant un blobserver.Storage, tu peux décider où sont lus et où sont écrits les bouts de données, ce qui te permettrait de lire depuis "bucket1" et d'écrire dans "bucket1-test". Note que par défaut Camlistore déduplique déjà automatiquement les données (ce qui fait que les blobs stockés dans S3/GCS n'auraient aucun sens en tant que tel), et que tu peux rajouter par dessus la compression, le chiffrement, le cache...
    Ça aurait été, à mon avis, beaucoup plus simple que de faire un proxy HTTP de 0.

    Effectivement si la hiérarchie de l'organisation dans S3/GCS compte, camlistore ne peut pas t'aider. Mais je continue de penser qu'il est mauvais de faire trop confiance à un fournisseur de stockage dans les nuages, et qu'il vaudrait mieux les considérer comme un fournisseur de stockage brut.