/opt/hadoop-2.6.3/bin/hadoop jar \
/opt/hadoop-2.6.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.3.jar \
WordCount input/ output/
Note : la commande précédente est à taper sur une seule ligne, sans les \.
Question 1.3
Lancer le programme et observer les fichiers générés.
Compilation d’un programme Télécharger le fichier source Java http://www-connex.lip6.
fr/~schwander/enseignement/2015-2016/m2bigdata_cloud/WordCount.java.
La première étape est de compiler le fichier WordCount.java avec :
javac -cp $(/opt/hadoop-2.6.3/bin/hadoop classpath) WordCount.java
La partie dans le $(...) appelle une commande qui renvoie les arguments à donner au compilateur
Java (javac) pour que la compilation fonctionne (on peut lancer directement hadoop classpath
pour voir ces arguments).
La deuxième étape est de créer une bibliothèque (le fichier .jar), avec la commande suivante
jar cf wc.jar WordCount*.class
/opt/hadoop-2.6.3/bin/hadoop jar \
wc.jar \
WordCount input/ output2/
Question 1.4
Compiler la bibliothèque à partir du fichier source.
Question 1.5
Lancer le programme qui vient d’être compilé. Comparer les résultats générés par les deux pro-
grammes.
2 À vous
On veut désormais calculer des moyennes d’étudiants. Télécharger le fichier http://www-connex.
lip6.fr/~schwander/enseignement/2015-2016/m2bigdata_cloud/notes.zip contenant les notes
d’étudiants pour différentes matières.
Chaque fichier est de la forme (nom, matière, coefficient, note), chaque colonne étant séparée
par une tabulation ("\t") :
2