ebook Initiation à l écosystème Hadoop V2

JUVENAL CHOKOGOUE
Maîtrisez l’utilisation des technologies Big Data
Initiation
à l’écosystème Hadoop

Table de matières
Introduction ............................................................................................................... 4
1 – Introduction à l’écosystème Hadoop ................................................................ 5
1.1 – De l’approche centralisée à l’approche décentralisée .............................. 5
1.2 – Généralités sur Hadoop ............................................................................... 7
1.3 – Taxonomie de l’écosystème Hadoop ....................................................... 15
2 – Hive .................................................................................................................... 21
2.1 – Ecriture des requêtes Hive ........................................................................ 21
3 – Pig ...................................................................................................................... 27
3.1 – Ecriture des requêtes en Pig ..................................................................... 27
3.2 – Rétro-ingénierie du Hive à Pig .................................................................. 28
4 – Spark .................................................................................................................. 30
4.1 – Définition de Spark ..................................................................................... 30
4.2 – Tutoriel Spark Scala ................................................................................... 32
5 – HBase ................................................................................................................ 35
6 – Sqoop ................................................................................................................ 36
7 – Kafka .................................................................................................................. 37
8 – Oozie .................................................................................................................. 39
9 – Conclusion ........................................................................................................ 40
Votre avis compte ! ................................................................................................ 43

Mentions légales
Cet ebook est une propriété exclusive de Juvénal CHOKOGOUE. Il a fait l’objet d’un
dépôt légal. Toute personne a le droit de le télécharger et de l’utiliser uniquement sous les
conditions listées ci-dessous :
- Vous avez le droit de copier ou d’intégrer partiellement le texte de l’ebook dans vos
propres travaux à condition de mentionner le nom de l’auteur, Juvénal CHOKOGOUE ;
- L’intégration de tout le texte de l’ebook nécessite une permission écrite de l’auteur ;
- le contenu de l’ebook ne doit sous aucune manière que ce soit être modifié. Il doit rester
fidèle à sa version d’origine tel que téléchargé ;
- Les références aux marques, aux entreprises et aux universités citées dans cet ebook
n’ont en aucune façon que ce soit un but publicitaire, elles sont utilisées exclusivement à
des fins académiques et restent entièrement la propriété de leurs détenteurs ;
- Les marques citées dans cet ebook, les logos d’entreprises, sont des marques déposées
des entreprises en France, aux états Unis ou partout dans le monde ;
- Les conseils, les tableaux comparatifs, les benchmark de solutions et les prises de
position présents dans l’ebook représentent le point de vue personnel de l’auteur à la date
de publication. Aucun favoritisme n’a été fait lors des benchmarks et des comparaisons.
Etant donné la vitesse avec laquelle évolue le monde de la technologie et du Big Data,
beaucoup de ces conseils et tableaux peuvent devenir obsolètes après la publication de
cet ebook. Ainsi, bien que l’auteur ait pris tous les soins nécessaires pour vous initier aux
technologies de l’écosystème Hadoop, il ne peut être tenu pour responsable des résultats
négatifs qu’auraient causé l’application de ces conseils après la date de publication de
l’ebook ;
- En raison des changements rapides du marché, le contenu des sites Web fournis peut
être modifié ou changé, ou le site Web lui-même peut être indisponible. Donc, après la
date de publication de cet ebook, l’auteur ne peux vous donner aucune garantie quant à
la disponibilité des sites Internet fournis ;
- Il y’a de l'anglicisme dans cet ebook. C'est un choix personnel de l'auteur, qui veut par-là
conserver la fiabilité de la teneur sémantique des mots du jargon ;
- Toute personne qui exécutera un acte non-autorisé à l’égard de cet ebook (recopie de
tout l’ebook sans permission écrite de l’auteur, recopie partielle de l’ebook sans
mentionner l’auteur, utilisation commerciale) s’expose à des poursuites judiciaires
conformément aux dispositions du Copyright en vigueur en France, dans l’Union
Européenne et dans le monde.
Copyright 2018 © Juvénal CHOKOGOUE

Introduction
Le 21ème siècle a été témoin d’une explosion sans précédent du volume de données.
D’après le constat des experts, des institutions publiques et privés, 90 % des données
récoltées depuis le début de l’humanité ont été générées durant les 2 dernières
années. Le marché qualifie aujourd’hui de « Big Data » cette explosion de données.
En réalité, le Big Data est le reflet d’un changement plus profond : le passage d’une
ère industrielle caractérisée par l’électricité vers une ère Numérique caractérisée par
la donnée. Ce changement a entraîné de profondes modifications dans la société
contemporaine : modèles économiques à coût marginal décroissant, commoditisation
de la connaissance, décentralisation du pouvoir de création de l’information,
suppression des barrières à l’entrée, ubérisation de la société, Internet des Objets,
blockchains. Bref, aucun aspect de la société et de nos vies n‘y échappe.
Bien qu’effrayant à vue d’œil, ce changement est en réalité les prémices de grandes
opportunités. En chine, il y’a un proverbe qui résume très bien cela : « lorsque les
vents du changement souffle, certains construisent des moulins, tandis que d’autres
construisent des abris ». Le changement contient toujours des opportunités qui lui sont
inhérentes et ce que le proverbe essaye de dire c’est que les opportunités se
perçoivent, elles ne se voient pas à l’œil nu.
La manière de penser nécessaire pour « voir » les opportunités d’un changement est
ce que l’on appelle un paradigme (terme emprunté à Thomas Kuhn).
Dans cet ebook, nous allons vous initier à l’utilisation des technologies qui permettent
d’identifier les opportunités cachées du Big Data en BtoB (c’est-à-dire pour
l’entreprise), au-delà du tapage médiatique et de la publicité des éditeurs logiciels. Plus
concrètement, à la fin de la lecture de cet ebook :
- Vous saurez pourquoi il est nécessaire de vous équiper d’un écosystème de
technologies pour identifier les opportunités du Big Data ;
- Vous serez initié(e)s à l’utilisation d’Hadoop ;
- Vous serez initié(e)s à l’utilisation du SQL sur Hadoop ;
- Vous serez initié(e)s à l’utilisation de Spark via Scala ;
- Vous connaîtrez la portée fonctionnelle et stratégique des technologies de
l’écosystème Hadoop ;
Puisse cet ebook contribuer à vous mettre sur le chemin des opportunités du monde
abondant créé par la donnée ! Merci pour votre confiance et bonne lecture !
Juvénal CHOKOGOUE

1 – Introduction à l’écosystème Hadoop
1.1 – De l’approche centralisée à l’approche
décentralisée
Avant l’explosion du volume de données, l’approche de gestion des données
consistait à centraliser le stockage et le traitement des données sur un serveur
central dans une architecture client/serveur. Ces données étaient gérées dans
le serveur par un SGBDR. Le serveur central, ici, est une machine très
puissante, conçue sur mesure par des sociétés spécialistes de l’infrastructure
informatique comme EMC, Dell ou encore HP. La figure suivante illustre cette
approche.
Figure 1 : approche traditionnelle de gestion des données
Google fait partie des entreprises qui a très tôt ressenti les faiblesses de cette
approche. En 2002, son directeur général (CEO) de l’époque Eric Schmidt, a
envoyé une onde de choc dans toute l’industrie IT en annonçant que Google
n’avait aucune intention d’acheter le nouveau serveur HP doté du tout dernier
microprocesseur Itanium développé par Intel. Dans la vision de Google, avec la
baisse des coûts d’ordinateurs engendré par le doublement du nombre de