Non, non je ne confond pas. En gros, Hadoop est un framework composé de trois modules :
- HDFS : système de fichier distribué
- Yarn : moteur de partage de ressources distribués (CPU et RAM) un peu comme Mesos
- Map/Reduce : moteur de traitement distribué qui est de moins en moins utilisé car chaque étape génère une écriture disque et les perfs très faible à la différence de moteur d'exécution qui utilise plus la RAM comme Spark.
Pour ce qui est de Hive c'est une surcouche SQL qui permet de faire rapidement des requêtes sur des données structurée stockée sur HDFS à l'aide moteur de traitement comme Map/Reduce et Spark.
ps : je vulgarise, je défis les puristes de trouver les raccourcis que je prends dans mes explications.
[^] # Re: Hadoop ?
Posté par MrBidon . En réponse au journal Data Warehouse. Évalué à 1.
Non, non je ne confond pas. En gros, Hadoop est un framework composé de trois modules :
- HDFS : système de fichier distribué
- Yarn : moteur de partage de ressources distribués (CPU et RAM) un peu comme Mesos
- Map/Reduce : moteur de traitement distribué qui est de moins en moins utilisé car chaque étape génère une écriture disque et les perfs très faible à la différence de moteur d'exécution qui utilise plus la RAM comme Spark.
Pour ce qui est de Hive c'est une surcouche SQL qui permet de faire rapidement des requêtes sur des données structurée stockée sur HDFS à l'aide moteur de traitement comme Map/Reduce et Spark.
ps : je vulgarise, je défis les puristes de trouver les raccourcis que je prends dans mes explications.