journées plateforme 06/10/2016 plateforme galactica

JOURNÉES PLATEFORME
06/10/2016
PLATEFORME GALACTICA
WHO AM I ?
•
Frédéric Gaudet
•
IR LIMOS depuis octobre 2015
OBJECTIFS
•
Infrastructure de stockage et de calcul pour l’expérimentation scientifique
•
Mettre à disposition :
•
•
Des jeux de données
•
Des requêtes type
•
Des machines pré-configurées
•
Statistiques
Accès Web
PLATEFORME
•
Openstack -> cloud computing
•
Orchestrateur de ressources, IaaS
•
Calcul
•
Stockage
•
Réseau
PLATEFORME
•
15 machines physiques
•
5 noeuds de calcul
•
5 noeuds de stockage CEPH
•
5 machines de gestion de l’infra (proxys,
controller network, Ceph monitors…)
CATALOGUE DE SERVICE
•
Compute
•
Network
•
Object Storage
•
Block Storage
•
Orchestration
•
Elastic Data Processing
COMPUTE
•
Gestion des VMs
•
Création/suppression/migration/resize
•
80 Cores (Bi-Xeon 2630, 256Go RAM par noeud)
•
1,2 To de RAM
•
Réseau 10G
•
Accès API REST
Chaque VM est répliquée x2
Règles de pare-feu
Accès Console
NETWORK
•
Gestion du réseau
•
Routeurs virtuels
•
Floating IPs
•
Basé sur SDN (software defined computing :
OpenvSwitch et OpenvFlow)
•
Accès API REST
Internet
Floating IP :
193.55.95.225
193.55.95.218
193.55.95.219
10.0.0.1
10.0.0.1
10.0.0.0/24
10.0.0.10
10.0.0.0/24
VM1
VM1
10.0.1.3
193.55.95.220
10.0.20.1
192.168.0.1
192.168.0.0/24
VM2
VM1
10.0.20.0/24
VM3
10.0.1.0/24
VM4
10.0.2.3
10.0.2.0/24
Projet 1
Projet 2
Projet 3
VM2
Exemple : Projet I
Exemple : Projet I
OBJECT STORAGE
•
Eventually consistent
•
L’object Storage n’est pas une BD, ni un Filesystem
•
Rados GW -> pool répliqué
•
Accès API REST
BLOCK STORAGE
•
Accès à des disques durs virtuels, appelés volumes
•
Possibilité de snapshots, resize etc…
•
RBD Ceph
•
2 pools : l’un est répliqué (x2) l’autre non
•
Accès API REST
POOL
Sélectionner le pool dans la
liste déroulante
ORCHESTRATION
•
Description d’une infra complète sous forme d’un
seul fichier yaml
•
Accès API REST
ceph
Création d’un cluster Cassandra
1-Définition d’un noeud
Création d’un cluster Cassandra
2-Définition du cluster
Lancement
Finalement…..
Et Cassandra ?
ELASTIC DATA PROCESSING
•
Module permettant de provisionner un cluster big
data
•
Datasource (Object Store)
•
Job binaries
•
Clusters (Spark, Hadoop, Cloudera, Hortonworks)
BINDINGS
Exemple :
Python
Exemple :
Python
https://galactica.isima.fr
ORGANISATION
•
La plateforme est ouverte
•
Rédaction d’une fiche projet
•
Utilisation puis libération des ressources
Merci