Posté par romain11 .
En réponse au journal Wikipédia en mode offline.
Évalué à 3.
Dernière modification le 06 décembre 2021 à 15:51.
D'après un rapide test avec rsync sur un mise à jour d'un zim quelconque il est effectivement possible de gagner un peu et de ne pas tout re-télécharger [1].
Cependant le calcul du delta à la demande est coûteux (en CPU) pour le serveur et probablement dans des proportions plus grandes que le surcoût évité de bande passante, toujours pour le serveur.
Il existe des méthodes de distribution efficace de ce genre de delta par pré-calcul (par exemple avec zsync).
La question s'est bien sûr posée pour le projet kiwix [2][3] mais les "delta-transfer" sur des binaires étant inefficace, il faudrait avoir une certaine stabilité dans la façon de regrouper les document pour créer les zim [3] ce qui impliquerait un modification profonde de libzim, ce qui ne serait probablement pas une mince affaire !
# mise à jour
Posté par romain11 . En réponse au journal Wikipédia en mode offline. Évalué à 3. Dernière modification le 06 décembre 2021 à 15:51.
D'après un rapide test avec rsync sur un mise à jour d'un zim quelconque il est effectivement possible de gagner un peu et de ne pas tout re-télécharger [1].
Cependant le calcul du delta à la demande est coûteux (en CPU) pour le serveur et probablement dans des proportions plus grandes que le surcoût évité de bande passante, toujours pour le serveur.
Il existe des méthodes de distribution efficace de ce genre de delta par pré-calcul (par exemple avec zsync).
La question s'est bien sûr posée pour le projet kiwix [2][3] mais les "delta-transfer" sur des binaires étant inefficace, il faudrait avoir une certaine stabilité dans la façon de regrouper les document pour créer les zim [3] ce qui impliquerait un modification profonde de libzim, ce qui ne serait probablement pas une mince affaire !
[1] avec son algorithme de "delta-transfer" rsync "speedup is 1.31"
entre https://archive.org/download/ekopedia_fr_all_maxi_2020-06.zim et https://archive.org/download/ekopedia_fr_all_maxi_2020-04.zim
[2] https://github.com/kiwix/overview/issues/12
[3] https://github.com/ipfs/distributed-wikipedia-mirror/issues/71#issuecomment-660609200