URL: https://linuxfr.org/news/dobuke-une-clef-usb-amorcable-orientee-donnees Title: DoBuKe : une clef USB amorçable orientée données Authors: toctoc1 Davy Defaud, Xavier Teyssier, palm123, BAud, Benoît Sibaud et bubar🦥 Date: 2018年01月21日T23:54:21+01:00 License: CC By-SA Tags: franglais, dobuke, dataviz, libreoffice et outil Score: 27 [DoBuKe](http://www.dobuke.org) est une clef USB amorçable, basée sur Xubuntu, orientée données. Elle contient une grande quantité d’outils utiles au la récupération (_scraping_), au nettoyage et à l’enrichissement de données, à la _datavisualisation_ et à la recherche en sources ouvertes (OSINT). Ce projet est parti d’un constat de formateur : dans la plupart des lieux où j’enseigne, les machines sont gérées par un administrateur qui voit souvent d’un mauvais œil l’installation de logiciels non prévus à son palier technique. Parfois, il n’y a aucune machine dédiée à la formation, et les stagiaires viennent alors avec leur machine personnelle. Dans ce cas, le formateur doit gérer une situation complexe, avec un parc hétérogène : système d’exploitation, mais aussi version logicielle. Et travailler avec des machines virtuelles (VM) n’est pas toujours possible. Enfin, il peut arriver de vouloir traiter un jeu de données en mobilité ou en vacances, depuis une machine qui ne nous appartient pas (le PC de maman ou un cybercafé...) et réinstaller rapidement son environnement de travail peut s’avérer très compliqué et contre‐productif. C’est là qu’intervient **DoBuKe**. ![DoBuKe : distribution GNU/Linux amorçable sur clef USB orientée données](https://linuxfr.org/images/historique/images_perdues/dobuke-une-clef-usb-amorcable-orientee-donnees-5uHwVgwmbSfI.png) ---- [Le site de DoBuKe](http://www.dobuke.org) [Pinguy Builder, un outil pour créer des images ISO depuis une machine physique](http://pinguyos.com/2015/09/pinguy-builder-an-app-to-backupremix-buntu/) [Le script de DoBuKe sur GitHub](https://github.com/hpiedcoq/dobuke) ---- #Comment est créée DoBuKe# L’idée de base de DoBuKe était de créer une « machine idéale » _ex‐abrupto_ dans une machine virtuelle, puis de la transformer en une clef USB amorçable. Pour cela, on utilise on utilise une distribution Xubuntu à jour (17.10, à la date de rédaction de cette dépêche), sur laquelle on applique un script de téléchargement (script Bash) et d’installation des paquets et des logiciels, puis on exporte cette machine au format ISO, à l’aide de [Pinguy Builder](http://pinguyos.com/2015/09/pinguy-builder-an-app-to-backupremix-buntu/). Pourquoi ce choix ? Tout simplement parce que plusieurs outils présents dans DoBuKe ne sont pas des paquets `.deb`, mais parfois des exécutables Java ou encore des outils utilisant Node.js et nécessitant une compilation en amont. Pinguy Builder permet, sous certaines conditions, de transformer votre machine de rêve en ISO prête à amorcer. La clef est générée à l’aide d’[UNetbootin](https://unetbootin.github.io/) (sous macOS et GNU/Linux) ou [LiLi](http://www.linuxliveusb.com/fr/home) (sous Windows) avec une partition persistante, pour conserver ses données personnelles. Il est également possible d’utiliser DoBuKe comme base de machine virtuelle dans [[VirtualBox]] ou [[QEMU]]. Enfin, DoBuKe est installable sur une machine en dur, une option du démarrage permet cette utilisation. #Ça ressemble à quoi, DoBuKe ?# ![L’interface de DoBuKe](https://linuxfr.org/images/historique/images_perdues/dobuke-une-clef-usb-amorcable-orientee-donnees-29ffeef6-cf3d-4215-95f1-c679827d150a.jpeg) Le public pour lequel est destinée DoBuKe n’est pas forcément un public de _geeks_ ou de férus d’informatique. Il semblait important de garder une esthétique proche de celle d’un Mac ou d’un PC, pour ne pas perdre l’utilisateur en route. Un dock, des icônes facilement identifiables, un fond d’écran connu... Tout est fait pour rendre l’outil rapide à prendre en main, sans sacrifier à l’esthétique. L’utilisation de [Plank](https://launchpad.net/plank) et [Compton](https://github.com/chjj/compton) vient compléter et enjoliver [Xfce 4](https://xfce.org/), retenu pour son empreinte légère en mémoire vive. DoBuKe tourne facilement sur un Core 2 Duo, avec 4 Gio de mémoire vive. Bien sûr, si vous disposez d’une machine plus puissante, c’est encore mieux. Elle est amorçable sur un PC mais également sur un Mac. #Qu’y a‐t‐il sous le capot de DoBuKe ?# Les outils de DoBuke cherchent à couvrir l’essentiel d’un data‐workflow : acquisition (_scraping_), nettoyage et enrichissement (_datacleansing_), visualisation (cartographie, schémas), mais aussi post‐production (édition de [[SVG]]). ##Acquisition R, Python, et Selenium (geckodriver) pour « scraper » les données. R est livré avec [Rstudio](https://www.rstudio.com/), son [EDI](https://fr.wikipedia.org/wiki/Environnement_de_d%C3%A9veloppement "environnement de développement intégré"), mais également ses paquets les plus courants : Tidyverse, lubridate, Rvest, notamment. Pour Python, outre certains paquets préinstallés, on retrouve également [mini-conda](https://conda.io/miniconda.html), un _framework_ permettant d’y installer facilement plein d’autres outils. Enfin, pour extraire des données tabulaires depuis des PDF, [Tabula](http://tabula.technology/) est préinstallé. ##Nettoyage et enrichissement des données À côté de Rstudio, qui se voit doté de ses principaux paquets pour cette tâche et, bien évidemment, Python, on trouve [OpenRefine](http://openrefine.org/) et des greffons très utiles : Vib-bits (tableau croisé dynamique) et jointure de tables et refinestats. [Csvkit](https://csvkit.readthedocs.io/en/1.0.2/) et [data-tools](https://github.com/clarkgrubb/data-tools) vous permettront en ligne de commande de manipuler et convertir des fichiers [CSV](https://fr.wikipedia.org/wiki/Comma-separated_values "Comma‐separated values"). ##Visualisation de données [Qgis](https://www.qgis.org/fr/site/) et [Gephi](https://gephi.org/) (et ses greffons) sont évidemment de la partie. Mais DoBuKe intègre également [Khartis](http://www.sciencespo.fr/cartographie/khartis/) 2.0, la très belle application de création de cartes de l’atelier de cartographie de Sciences Po. Enfin, [Raw](https://github.com/densitydesign/raw/), en local, permet de prototyper très rapidement une _dataviz_ sans transmettre de données confidentielles en ligne. ##Bases de données Difficile de faire l’impasse sur les bases de données. DoBuKe ouvre un espace à Apache Drill, qui permet de facilement effectuer des requêtes en SQL sur du NoSQL (du CSV par exemple...), mais également à MySQL Workbench. ##Chiffrement et transmission de données Enfin, et parce qu’on a finalement toujours besoin de transmettre et d’échanger des données, [Veracrypt](https://veracrypt.codeplex.com/) s’occupera à merveille de l’espace de stockage persistant de la clef USB, tandis que [Magic-wormhole](https://github.com/warner/magic-wormhole) vous permettra de transférer des fichiers aisément d’une machine à une autre. Cette liste d’outils n’est pas exhaustive ! On y trouve également LibreOffice et VLC, par exemple. Il reste un petit gigaoctet d’espace disque sur DoBuKe et cette liste va encore s’enrichir, au gré des besoins, des trouvailles et des suggestions. #Vous voulez aider DoBuKe ? C’est possible ! DoBuKe est empaquetée sur mon temps libre et le moins que l’on puisse dire, c’est que je n’y connais pas grand’chose, en création d’outils ! Le script Bash qui installe les paquets est totalement séquentiel et n’est absolument pas optimisé : on pourrait sans doute paralléliser par exemple l’installation des fichiers `.deb` et la compilation des fichiers `.npm`. Le paramétrage de Xfce en ligne de commande peut lui aussi être largement amélioré... Le site Internet est très moche, pas bilingue, alors même que DoBuke pourrait largement être utilisée à l’étranger, et intéressera sans doute des « datajournalistes » ailleurs qu’en francophonie.

AltStyle によって変換されたページ (->オリジナル) /