Voici que ce j'envisage de faire : stocker dans la base de données la taille, le hash partiel, le hash complet de chaque fichier.
Pour tout nouveau fichier, je vérifie si sa taille correspond à qqc de connu; si c'est le cas, je calcule un hash partiel (sur 1 Mo ?) sur les fichiers qui ont la même taille; si ce hash partiel correspond à qqc dans la base de données, je calcule alors le hash complet. Si le hash complet correspond, normalement j'élimine le fichier source comme doublon; si une option "strict cmp" est activée, je vérifie bit à bit.
[^] # Re: Questions
Posté par Xavier Faure (site web personnel) . En réponse à la dépêche Katal, catalogue de fichiers. Évalué à 2.
Voici que ce j'envisage de faire : stocker dans la base de données la taille, le hash partiel, le hash complet de chaque fichier.
Pour tout nouveau fichier, je vérifie si sa taille correspond à qqc de connu; si c'est le cas, je calcule un hash partiel (sur 1 Mo ?) sur les fichiers qui ont la même taille; si ce hash partiel correspond à qqc dans la base de données, je calcule alors le hash complet. Si le hash complet correspond, normalement j'élimine le fichier source comme doublon; si une option "strict cmp" est activée, je vérifie bit à bit.
Trust the Python !