20170120_Ecole_Spark

Ecole Spark 14-15 mars 2017

Présentation
•Tour d’horizon en deux jours intégrant cours et TP sur
les principales technologies de l’éco-système Spark
•Pré-requis, connaissances attendues
–Connaissance du langage python, (le langage Scala sera
abordé sans prérequis)
–Pratique des environnements Unix (bash)
•Organisation de l’école
–Deux jours pleins
–au LAL (salle d’enseignement 203).
–20 postes Mac => possibilité pour 40 personnes en binôme
•Participation de la société Databricks
•Souhait de coller au plus près des besoins des équipes
scientifiques du projet ERM

Programme
•Structure et principes de Spark/Hadoop
•La programmation fonctionnelle (lambda) –la logique MAP-
REDUCE
•Elements du langage Scala
•Les connecteurs Spark pour les différentes structures de données
–Les données textuelles
–Les bases de données SQL
–Une base de données noSQL (MongoDB)
–La structure généraliste : les dataframes
–Sérialisation avec AVRO
•Les outils de pilotage Spark disponibles sur la plateforme
Spark/OpenStack
–Construction d’une application Spark
–Monitoring du cluster Spark
–Monitoring des ressources