Désolé, j'ai fait un peu un amalgame au niveau de mes réponses, car je me suis mis à utiliser tous les outils en même temps. Je vais essayer de répondre ci-dessous.
la suppression des entête VSS quand on restaure sous linux, j'ai du faire strip_vss = 1 pour résoudre le problème, mais du coup je dois préciser -x sous windows en plus de perdre ces entêtes.
Est-ce que tu parles de Burp-UI ? En principe, je strip les fichiers contenants des en-tête VSS avant de générer l'archive lorsque tu utilises le bouton "Download" depuis Burp-UI.
Si ça n'est pas le cas, c'est un bug et dans ce cas j'aimerais en savoir un peu plus sur la marche à suivre pour le reproduire. (N'hésite pas à ouvrir une issue sur le tracker du projet ou à m'envoyer un mail)
Su tu parles de Burp par contre, via la commande "burp -a r -b X ...", je ne peux que te conseiller de contacter l'auteur de Burp (via la mailing list du projet par exemple).
Mon besoin :
* Je veux faire des sauvegardes incrémentales, avec un historique, et de façon complètement transparente (je ne veux pas surveiller en continu, je ne veux pas le lancer manuellement). Sur ce point burp fonctionne parfaitement. En cas de besoin burp-ui est là pour fouiller dans l'historique et voir si tout se passe bien.
* Je veux également faire faire une sauvegarde externalisée. Le principe que j'utilise : Je copie tout sur un disque dur USB que je dépose régulièrement dans la famille en rotation avec un second disque. J'ai toujours un disque à la maison et le second dans la famille. Je fais une rotation toutes les semaines.
Pour ce dernier point je fais une copie toutes les semaines du contenu de la dernière sauvegarde sur le disque dur USB. Jusqu'ici sans burp, un bête rsync me permettait de mettre à jour le contenu du disque dur USB avec la dernière version des 6 PC (environ un total de 900Go contenant des photos, énormément de petits fichier PSD/EPS, des sites en PHP contenant des frameworks volumineux de plusieurs milliers de fichiers ...).
Pour synchroniser la derniers sauvegarde burp avec le disque dur je pensais copier le dossier contenu du lien symbolique "current" avec le disque dur USB. Mais comme dans ce répertoire les fichiers ont un entête VSS pour windows et sont compressés, j'ai écarté cette idée. Je souhaite que le fichier soit facilement récupérable.
La seconde solution est d'utiliser burp (dans un cron) et dans lancer la commande "burp -a r -C client -d /disqueUSB". Le problème est que si les fichiers sont déjà présents j'ai plein de warnings m'indiquant que les fichiers existent et ne sont pas écrasés, et si je force l'écrasement, ou si j'efface le disque, tous les fichiers sont copiés (900Go).
Du coup contrairement à un rsync, la copie des fichiers est très longue. Une expérience de restauration dans un dossier m'a pris plusieurs dizaines d'heures. De plus la restauration de sauvegarde windows sous linux laisse l'entête VSS si l'option strip_vss n'a pas été positionnée..
Je me suis alors tourné vers une solution telle que BurpFS qui m'aurait permis de représenter les sauvegardes sous la forme d'un système de fichiers lisibles afin de pouvoir faire un rsync entre la dernière version de burp et celle du disque USB, mais BurpFS n'a pas fonctionné.
Pour l'instant j'en suis à ce stade, je n'ai pas encore de bonne solution à mon goût pour mettre à jour les sauvegardes présentes sur le disque USB.
je trouve l'interface graphique un peu lente (désolé) pour parcourir les 150Go de la backup dans une arborescence.
Je n'ai effectivement pas encore eu à traiter un volume conséquent de données (je n'ai qu'une dizaine de clients avec une volumétrie moyenne de 50Go par client).
À quel(s) niveau(x) de l'interface rencontres-tu ces lenteurs ?
Il faut savoir que j'essaie d'être le moins intrusif possible avec Burp-UI et j'essaie de traiter un maximum avec le status-port de Burp. La limitation peut donc également venir de ce dernier.
Néanmoins, j'ai prévu dans ma roadmap d'ajouter un peu de caching par-ci par-là afin d'améliorer les performances de l'UI.
Je réfléchis également à faire du pré-chargement en tâche de fond par exemple au niveau du browser car l'interface charge les informations petit à petit à chaque fois qu'on déroule un noeud.
Là c'est bien au niveau de l'interface graphique Burp-UI : L'affichage est globalement rapide sauf lors de l'affichage des fichiers. Lorsque je veux afficher les fichiers d'une sauvegarde il faut une dizaine de secondes pour afficher la page (ie : http://server:8000/client-browse/pc-xxx/12).
Ensuite je déplie le 1er nœud, il me faut 8 secondes pour afficher 3 répertoires. Puis une dizaine de secondes pour encore le noeud suivant, ... . Je me doute bien que derrière Burp-UI est tributaire de Burp et attend que ce dernier lise le manifest à chaque fois pour en filtrer la liste des fichiers.
Le fichier manifest de la dernière sauvegarde fait 16M gzippé et 119M dégzippé.
On a aucune information dans l'interface graphique de ce qu'économise bedup. D'ailleurs une fois que le script à tourner n fois dans un cron, on ne sais plus ce qu'on gagne.
Je ne comprends pas la question, mais encore une fois, il faut bien comprendre que Burp et Burp-UI sont deux projets totalement distincts gérés par deux personnes différentes. Je ne travaille "que" sur Burp-UI, même si j'échange assez régulièrement avec l'auteur de Burp.
bedup n'est donc aucunement géré dans Burp-UI. Il peut s'agir ici d'une demande de feature, mais il faudrait que tu me détailles ton besoin car je n'ai malheureusement pas compris ta demande.
La 1ère fois que j'ai lancé bedup, ce dernier m'a sorti qu'il avait pu libérer quelques Go en dédupliquant certains fichiers. Du coup j'ai mis ce dernier dans une tâche cron. Par contre je n'ai aucune info sur l'efficacité de bedup dans le temps sauf à envoyer des mails à chaque cron (pas de joli graphe).
Même si je comprends bien que le programme est un peu à l'écart de burp, en tant qu'utilisateur je trouve ça dommage. A une époque j'avais utilisé backuppc. Ce dernier affiche quelques stats le nombre et la taille des fichiers dans le pool qui sont mutualisés.
Il manque une restauration dans un dossier en utilisant librsync. Le but serait de restaurer la dernière sauvegarde régulièrement dans un dossier (disque USB), en ne restaurant que les derniers fichiers modifiés. Du coup j'ai regardé du coté de burpfs mais il n'a pas fonctionné sur mon serveur :'(
Idem, je n'ai pas compris la demande. De plus, burpfs n'est pas un projet supporté par le développeur de Burp (pas plus que Burp-UI d'ailleurs).
Pas de soucis, je cherchais juste une solution à mon problème de copie de sauvegarde sur disque USB.
Sinon, je trouve Burp et Burp-UI très bien et c'est pour ca que je l'ai est choisi.
[^] # Re: Nouvel utilisateur de burp
Posté par phoenix (site web personnel) . En réponse au journal Burp-UI rend vos backups sexy. Évalué à 3.
Bonjour,
Désolé, j'ai fait un peu un amalgame au niveau de mes réponses, car je me suis mis à utiliser tous les outils en même temps. Je vais essayer de répondre ci-dessous.
Mon besoin :
* Je veux faire des sauvegardes incrémentales, avec un historique, et de façon complètement transparente (je ne veux pas surveiller en continu, je ne veux pas le lancer manuellement). Sur ce point burp fonctionne parfaitement. En cas de besoin burp-ui est là pour fouiller dans l'historique et voir si tout se passe bien.
* Je veux également faire faire une sauvegarde externalisée. Le principe que j'utilise : Je copie tout sur un disque dur USB que je dépose régulièrement dans la famille en rotation avec un second disque. J'ai toujours un disque à la maison et le second dans la famille. Je fais une rotation toutes les semaines.
Pour ce dernier point je fais une copie toutes les semaines du contenu de la dernière sauvegarde sur le disque dur USB. Jusqu'ici sans burp, un bête rsync me permettait de mettre à jour le contenu du disque dur USB avec la dernière version des 6 PC (environ un total de 900Go contenant des photos, énormément de petits fichier PSD/EPS, des sites en PHP contenant des frameworks volumineux de plusieurs milliers de fichiers ...).
Pour synchroniser la derniers sauvegarde burp avec le disque dur je pensais copier le dossier contenu du lien symbolique "current" avec le disque dur USB. Mais comme dans ce répertoire les fichiers ont un entête VSS pour windows et sont compressés, j'ai écarté cette idée. Je souhaite que le fichier soit facilement récupérable.
La seconde solution est d'utiliser burp (dans un cron) et dans lancer la commande "burp -a r -C client -d /disqueUSB". Le problème est que si les fichiers sont déjà présents j'ai plein de warnings m'indiquant que les fichiers existent et ne sont pas écrasés, et si je force l'écrasement, ou si j'efface le disque, tous les fichiers sont copiés (900Go).
Du coup contrairement à un rsync, la copie des fichiers est très longue. Une expérience de restauration dans un dossier m'a pris plusieurs dizaines d'heures. De plus la restauration de sauvegarde windows sous linux laisse l'entête VSS si l'option strip_vss n'a pas été positionnée..
Je me suis alors tourné vers une solution telle que BurpFS qui m'aurait permis de représenter les sauvegardes sous la forme d'un système de fichiers lisibles afin de pouvoir faire un rsync entre la dernière version de burp et celle du disque USB, mais BurpFS n'a pas fonctionné.
Pour l'instant j'en suis à ce stade, je n'ai pas encore de bonne solution à mon goût pour mettre à jour les sauvegardes présentes sur le disque USB.
Là c'est bien au niveau de l'interface graphique Burp-UI : L'affichage est globalement rapide sauf lors de l'affichage des fichiers. Lorsque je veux afficher les fichiers d'une sauvegarde il faut une dizaine de secondes pour afficher la page (ie : http://server:8000/client-browse/pc-xxx/12).
Ensuite je déplie le 1er nœud, il me faut 8 secondes pour afficher 3 répertoires. Puis une dizaine de secondes pour encore le noeud suivant, ... . Je me doute bien que derrière Burp-UI est tributaire de Burp et attend que ce dernier lise le manifest à chaque fois pour en filtrer la liste des fichiers.
Le fichier manifest de la dernière sauvegarde fait 16M gzippé et 119M dégzippé.
La 1ère fois que j'ai lancé bedup, ce dernier m'a sorti qu'il avait pu libérer quelques Go en dédupliquant certains fichiers. Du coup j'ai mis ce dernier dans une tâche cron. Par contre je n'ai aucune info sur l'efficacité de bedup dans le temps sauf à envoyer des mails à chaque cron (pas de joli graphe).
Même si je comprends bien que le programme est un peu à l'écart de burp, en tant qu'utilisateur je trouve ça dommage. A une époque j'avais utilisé backuppc. Ce dernier affiche quelques stats le nombre et la taille des fichiers dans le pool qui sont mutualisés.
Pas de soucis, je cherchais juste une solution à mon problème de copie de sauvegarde sur disque USB.
Sinon, je trouve Burp et Burp-UI très bien et c'est pour ca que je l'ai est choisi.