Posté par Paf .
En réponse à la dépêche Logiciel libre et Big Data.
Évalué à 3.
Dernière modification le 14 mars 2012 à 21:54.
Bon boulot!
Meme si j'aurai bien aime voir un diagramme facon "couche d'os" montrant quels sont les projets qui font quoi. Par exemple avec Apache HAdoop au centre, puis les projets gravitant autour permettant de gerer les jobs, importer les donnees en flux, importer/exporter les donnees depuis les bases de donnees, bases nosql…
Il serait admirable aussi d'introduire des cas d'utilisation. Voir ceux decrits dans les differents blogs et conferences (Hadoop summit, Hadoop World…)
De meme, des informations concernant comment sont utilises se soutils serait un plus. Par exemple pour Apache Hadoop on passe soit par du code java, C/C++ via pipes, ou n;importe quel executable via stdin/stdout.
Mais du fait de la complexite/bas niveau du concept MapReduce, des outils d'abstration tels que Hive ou Pig ont vu le jour.
De manière similaire, on voit se développer des besoins importants, et des projets matures, dans
les domaines de la gestion de parc, du déploiement automatique, du monitoring, etc. Parmi les
projets significatifs, citons: Chef, Puppet, Fabric, Zookeeper, etc.
Pourquoi mettre Apache Zookeeper dans ce sac?
Apache Zookeeper fourni un framework pour coordonner des processus distribues.
Donc je vois comment on pourrait le mettre dans la categorie "infrastructure", mais tout de meme pas au meme niveau que chef/puppet
Dans les clones de BigTable, on pourrait rajouter Apache Accumulo qui a ete developpe par la NSA puis soumis recemment pour incubation a la fondation Apache.
Dans la categorie des moteurs d'indexation et de recherche, il existe aussi blur. Voir http://www.blur.io/
Sinon il manque Hue qui sert d'interface web pour les utilisateurs (lancer des jobs, requetes Hive, pig…), Apache Hive, Apache Pig, Apache sqoop pour pouvoir transferer les donees depuis des bases de donnees vers Apache HAdoop, Apache Oozie pour la coordination de workflow, Apache Whirr pour la creation de clusters dans le cloud et Apache Bigtop (en incubation) qui sert de point d'integration a tous ces projets BigData centres sur Apache Hadoop en fournissant les choses suivantes :
Des paquets/depots pour les distributions GNU/Linux les plus populaires (fedora, centos, debian, ubuntu, mageia, openSUSE, SLES)
Des recettes de deploiements (recettes puppet, creation de VM, creation de bootable live cd/usb)
Un framework de test ainsi que des tests d'integrations pour tous ces composants
Au final Apache Bigtop permet de fournir et valider un stack complet repondant aux besoins du BigData. A noter par ailleurs que Apache Bigtop (en incubation) a ete donne a la fondation Apache par Cloudera et ser de base a CDH4.
# Base de données Logiciel libre et Big Data
Posté par Paf . En réponse à la dépêche Logiciel libre et Big Data. Évalué à 3. Dernière modification le 14 mars 2012 à 21:54.
Bon boulot!
Meme si j'aurai bien aime voir un diagramme facon "couche d'os" montrant quels sont les projets qui font quoi. Par exemple avec Apache HAdoop au centre, puis les projets gravitant autour permettant de gerer les jobs, importer les donnees en flux, importer/exporter les donnees depuis les bases de donnees, bases nosql…
Il serait admirable aussi d'introduire des cas d'utilisation. Voir ceux decrits dans les differents blogs et conferences (Hadoop summit, Hadoop World…)
De meme, des informations concernant comment sont utilises se soutils serait un plus. Par exemple pour Apache Hadoop on passe soit par du code java, C/C++ via pipes, ou n;importe quel executable via stdin/stdout.
Mais du fait de la complexite/bas niveau du concept MapReduce, des outils d'abstration tels que Hive ou Pig ont vu le jour.
Pourquoi mettre Apache Zookeeper dans ce sac?
Apache Zookeeper fourni un framework pour coordonner des processus distribues.
Donc je vois comment on pourrait le mettre dans la categorie "infrastructure", mais tout de meme pas au meme niveau que chef/puppet
Dans les clones de BigTable, on pourrait rajouter Apache Accumulo qui a ete developpe par la NSA puis soumis recemment pour incubation a la fondation Apache.
Dans la categorie des moteurs d'indexation et de recherche, il existe aussi blur. Voir http://www.blur.io/
Sinon il manque Hue qui sert d'interface web pour les utilisateurs (lancer des jobs, requetes Hive, pig…), Apache Hive, Apache Pig, Apache sqoop pour pouvoir transferer les donees depuis des bases de donnees vers Apache HAdoop, Apache Oozie pour la coordination de workflow, Apache Whirr pour la creation de clusters dans le cloud et Apache Bigtop (en incubation) qui sert de point d'integration a tous ces projets BigData centres sur Apache Hadoop en fournissant les choses suivantes :