Hadoop - Semaine 8

Hadoop - Semaine 8
Hadoop - Semaine 8
Pierre Nerzic
février-mars 2017
1 / 31 Pierre Nerzic

Hadoop - Semaine 8
HBase est un mécanisme pour stocker des données très
volumineuses de type (clé, {valeurs. . . }) et y accéder très
rapidement, mais d’une manière très simpliste :
get 'meteo','id19971225203000','data:temperature'
Hive et Cassandra permettent d’utiliser SQL pour interroger les
données :
SELECT annee, MAX(temperature)
FROM releves
WHERE temperature != 9999 AND quality IN (0,1,4,5,9)
GROUP BY annee;
Hive peut utiliser les données de HBase en tant que tables,
Cassandra gère ses propres tables.
2 / 31 Pierre Nerzic

Hadoop - Semaine 8
Hive
Hive
3 / 31 Pierre Nerzic

Hadoop - Semaine 8
Hive
Présentation rapide
Hive simplifie le travail avec une base de données comme HBase ou
des fichiers CSV. Hive permet d’écrire des requêtes dans un langage
inspiré de SQL et appelé HiveQL. Ces requêtes sont transformées en
jobs MapReduce.
Pour travailler, il suffit définir un schéma qui est associé aux
données. Ce schéma donne les noms et types des colonnes, et
structure les informations en tables exploitables par HiveQL.
4 / 31 Pierre Nerzic

Hadoop - Semaine 8
Hive
Définition d’un schéma
Le schéma d’une table est également appelé méta-données (c’est à
dire informations sur les données). Les métadonnées sont stockées
dans une base de données MySQL, appelée metastore.
Voici la définition d’une table avec son schéma :
CREATE TABLE releves (
idreleve STRING,
annee INT, ...
temperature FLOAT, quality BYTE,
...)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
Le début est classique, sauf les contraintes d’intégrité : il n’y en a
pas. La fin de la requête indique que les données sont dans un
fichier CSV. Voyons d’abord les types des colonnes.
5 / 31 Pierre Nerzic