MIF18 : BASES DE DONNÉES AVANCÉES
FRAMEWORK MAPREDUCE :
FONDAMENTAUX FONCTIONNELS
http://liris.cnrs.fr/~ecoquery/dokuwiki/doku.php?id=enseignement:
bdav:start
Romuald THION M1-MIF18: MapReduce 1
Outline
1Introduction
2Principe de MapReduce
3Implémentation jouet
4Conclusion
Romuald THION M1-MIF18: MapReduce 2
Introduction
1Introduction
Traitement à large échelle
Distribution des calculs
2Principe de MapReduce
Pipeline MapReduce
La fonction Map
La fonction Sort/Group/Shuffle
La fonction Reduce
3Implémentation jouet
4Conclusion
Romuald THION M1-MIF18: MapReduce 3
Introduction Traitement à large échelle
1Introduction
Traitement à large échelle
Distribution des calculs
2Principe de MapReduce
Pipeline MapReduce
La fonction Map
La fonction Sort/Group/Shuffle
La fonction Reduce
3Implémentation jouet
4Conclusion
Romuald THION M1-MIF18: MapReduce 4
Introduction Traitement à large échelle
Motivation originale : Google
Jeffrey Dean, Sanjay Ghemawat : MapReduce : simplified data
processing on large clusters OSDI, 2004
Contexte applicatif
Famille de traitement simples :
index inversé, statistiques, requêtes ou mots fréquents
Sur de très grands volumes de données :
page web, log d’accès, documents
Les challenges / contraintes
Distribution des données, parallélisation des calculs, gestion des
pannes, utilisable sur des petites machines
Dans cette partie, on va s’intéresser à comment et pourquoi ça marche
Romuald THION M1-MIF18: MapReduce 5
1 / 36 100%
La catégorie de ce document est-elle correcte?
Merci pour votre participation!

Faire une suggestion

Avez-vous trouvé des erreurs dans linterface ou les textes ? Ou savez-vous comment améliorer linterface utilisateur de StudyLib ? Nhésitez pas à envoyer vos suggestions. Cest très important pour nous !