L`algorithme MapReduce: son rôle dans la révolution des Big Data

L’algorithme MapReduce:
son rôle dans la révolution des Big Data
Guillaume Poulain

MapReduce : un algorithme simple…
2
reduce
(Ki,V1,V2,…,VN)
map
data sort output
(Key,Value)

…une implémentation géniale…
Idées et concepts de Google
3
Structure
d data
Raw Data
Data
Extraction
Fast
Slow
Compute nodes
Storage nodes
Archives
Raw
data
Raw
data
Raw
data
Raw
data
Raw
data
Raw
data
Compute and storage nodes
MapReduce: Simplified Data Processing on Large Clusters
Jeffrey Dean and Sanjay Ghemawat (2004)
The Google File System
Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung (2003)

4
…une implémentation géniale, Open Source,…

5
(K1,V2)
(K1,(V1,V2))
(K1,V1)
Initial
Dataset
HDFS
IMPORT
Yarn
…une implémentation géniale, Open Source et intégrée