Avant toute chose, une question bête: comment fait-on pour être informé des nouveaux messages sur le forum ? je pensais que j'allais recevoir un courriel lorsque le fil de discussion allait "vivre" mais apparemment, ce n'est pas le cas.
Pour ZFS, j'ai investi (pour voir, lol ... ouille ça coute cher quand même !) dans un SSD de 500Go (tant qu'à faire), j'ai regardé la différence avec mes disques SAS et pour l'instant sur des petites taille de cache, je ne vois pas trop la différence.
Perso, je trouve ZFS très facile d'utilisation, si on a un disque /dev/sda, on fait: zpool create mypool /dev/sda
puis, un zfs set dedup=on mypool et c'est tout !
quelques zpool list pour voir la dedup de temps en temps.
Si on a que des disques sata, on peut les mettre en raid0 avec mdadm ça accumule les performances pour pas cher: zpool add mypool cache /dev/md0
mais on peut aussi utiliser séparément les disques avec ZFS: zpool add mypool cache /dev/sda /dev/sdb /dev/sdc
avec zpool iostat -v 1, on voit le travail du cache
Je trouve que ZFS offre pas mal de possibilité sur Linux, soit en dev directement, soit en iscsi, soit en fichier ... ou pourquoi pas tous les 3 en mirroir ZFS ;-)
En tout cas je reste ouvert sur une déduplication en "offline", car en fait, j'utilise ZFS qui est "online" dans un mode plutôt "offline", d'un certain coté çà à l'avantage de faire les deux.
J'ai regardé du coté de bup, mais j'ai rien compris ;-/
vous pouvez essayer la déduplication ZFS facilement pour voir zpool create mypool /dev/sdb
et vous voilà avec un pool de la totalité du disque
un p'tit coup de zfs set dedup=on mypool et c'est partit pour la dedup
vous copiez une image iso de CD dedans, puis la même avec un nom différent, un petit zpool list, et normalement vous avez une dedup égale à 2
là, il faudra voir la vitesse d'écriture, et, voir si ça "tient la route" ou pas, c’est votre matériel qui fera les choses.
pour améliorer:
mettre un disque en plus (zpool export mypool, arrêt de la machine et ajout du disque, zpool import mypool) zpool add mypool cache /dev/sdc
puis, zfs primarycache=metadata mypool
zfs secondarycache=metadata mypool
Je mets toujours les deux cache en metadata pour minimiser la RAM et pour ne pas écrire un cache trop gros, car celui-ci augmente énormément et le temps de lecture augmentera par la même occasion.
regardez avec zpool iostat -v 1 le travail du cache lorsque l'on recopie le même fichier
si on peut, on rajoute un second disque: zpool add mypool cache /dev/sdd
l'avantage avec ZFS, c'est qu'on peut facilement récupérer ses disques "à chaud", par exemple, si on a un cache de 2 disques dont /dev/sdc, on fait: zpool remove mypool /dev/sdc et sdc est dispo de suite, et tout cela pendant que "ça tourne".
On peut imaginer démarrer un pool sur un fichier, le mettre en mirroir en iscsi et ensuite détacher le fichier, ainsi, on peut déplacer un pool en production, on peut jouer avec des To "en plein boulot", après, faut que le matos le permette, avec un PC normal en Go ça va ;-) ... en To c'est une une autre histoire !
Toutefois, Btrfs est sans doute intéressant et je suivrai de près cet outil, mais pour l'instant j'ai besoin de quelque chose qui marche tout de suite, ZFS est disponible et fonctionne très bien sous Linux.
[^] # Re: petit retour d'expérience en ZFS
Posté par mtiburs . En réponse au message ZFS performance et déduplication. Évalué à 3.
Salut,
Merci pour le lien, c'est très intéressant.
Avant toute chose, une question bête: comment fait-on pour être informé des nouveaux messages sur le forum ? je pensais que j'allais recevoir un courriel lorsque le fil de discussion allait "vivre" mais apparemment, ce n'est pas le cas.
Pour ZFS, j'ai investi (pour voir, lol ... ouille ça coute cher quand même !) dans un SSD de 500Go (tant qu'à faire), j'ai regardé la différence avec mes disques SAS et pour l'instant sur des petites taille de cache, je ne vois pas trop la différence.
Perso, je trouve ZFS très facile d'utilisation, si on a un disque /dev/sda, on fait: zpool create mypool /dev/sda
puis, un zfs set dedup=on mypool et c'est tout !
quelques zpool list pour voir la dedup de temps en temps.
Si on a que des disques sata, on peut les mettre en raid0 avec mdadm ça accumule les performances pour pas cher:
zpool add mypool cache /dev/md0
mais on peut aussi utiliser séparément les disques avec ZFS:
zpool add mypool cache /dev/sda /dev/sdb /dev/sdc
avec zpool iostat -v 1, on voit le travail du cache
Je trouve que ZFS offre pas mal de possibilité sur Linux, soit en dev directement, soit en iscsi, soit en fichier ... ou pourquoi pas tous les 3 en mirroir ZFS ;-)
En tout cas je reste ouvert sur une déduplication en "offline", car en fait, j'utilise ZFS qui est "online" dans un mode plutôt "offline", d'un certain coté çà à l'avantage de faire les deux.
J'ai regardé du coté de bup, mais j'ai rien compris ;-/
vous pouvez essayer la déduplication ZFS facilement pour voir
zpool create mypool /dev/sdb
et vous voilà avec un pool de la totalité du disque
un p'tit coup de zfs set dedup=on mypool et c'est partit pour la dedup
vous copiez une image iso de CD dedans, puis la même avec un nom différent, un petit zpool list, et normalement vous avez une dedup égale à 2
là, il faudra voir la vitesse d'écriture, et, voir si ça "tient la route" ou pas, c’est votre matériel qui fera les choses.
pour améliorer:
mettre un disque en plus (zpool export mypool, arrêt de la machine et ajout du disque, zpool import mypool)
zpool add mypool cache /dev/sdc
puis,
zfs primarycache=metadata mypool
zfs secondarycache=metadata mypool
Je mets toujours les deux cache en metadata pour minimiser la RAM et pour ne pas écrire un cache trop gros, car celui-ci augmente énormément et le temps de lecture augmentera par la même occasion.
regardez avec zpool iostat -v 1 le travail du cache lorsque l'on recopie le même fichier
si on peut, on rajoute un second disque:
zpool add mypool cache /dev/sdd
l'avantage avec ZFS, c'est qu'on peut facilement récupérer ses disques "à chaud", par exemple, si on a un cache de 2 disques dont /dev/sdc, on fait:
zpool remove mypool /dev/sdc et sdc est dispo de suite, et tout cela pendant que "ça tourne".
On peut imaginer démarrer un pool sur un fichier, le mettre en mirroir en iscsi et ensuite détacher le fichier, ainsi, on peut déplacer un pool en production, on peut jouer avec des To "en plein boulot", après, faut que le matos le permette, avec un PC normal en Go ça va ;-) ... en To c'est une une autre histoire !
Toutefois, Btrfs est sans doute intéressant et je suivrai de près cet outil, mais pour l'instant j'ai besoin de quelque chose qui marche tout de suite, ZFS est disponible et fonctionne très bien sous Linux.