Préservation d`environnements de calcul à l`aide de conteneurs

Préservation d’environnements de calcul à l’aide de
conteneurs
Ecole thématique PRECIS
Cédric Clerget
Mai 2017
Cédric Clerget Préservation d’environnements de calcul 1 / 29

Plan
Environnement de calcul
Conteneurs et reproductibilité
Démo
Limites des conteneurs HPC
Cédric Clerget Préservation d’environnements de calcul 2 / 29

Plan
Environnement de calcul
Conteneurs et reproductibilité
Démo
Limites des conteneurs HPC
Cédric Clerget Préservation d’environnements de calcul 3 / 29

Qu’est-ce qu’un environnement de calcul ?
Du matériel :
•CPU/GPU
•Mémoire
•Réseau (Ethernet, Infiniband)
Du logiciel :
•Système d’exploitation (Linux très majoritairement)
•Compilateurs/Interpréteurs
•Bibliothèques systèmes/outils (libc, libpthread ...)
•Bibliothèques scientifiques/numériques (blas, lapack ...)
•Bibliothèques communications/messages (OpenMPI, OFED ...)
Cédric Clerget Préservation d’environnements de calcul 4 / 29

Isolation d’un environnement de calcul logiciel
Problèmes :
•Dépendances des applications
$ ld d / usr / b in / p yt ho n
li nu x - vd so . so . 1 = > ( 0x 0 00 07 ff fc 5 de 6 00 0 )
l ib p th re a d . so . 0 = > / l ib / x 8 6 _6 4 - li nux - g nu / l i bp t hr e ad . s o . 0 ( 0x 0 0 00 7 f 43 f 4 b 5f 0 0 0)
l ibc . so . 6 = > / l ib / x 8 6_ 6 4 - lin ux - g nu / li bc . s o . 6 ( 0x 0 0 00 7 f 43 f 4 79 7 0 0 0)
l ib dl . s o .2 = > / l ib / x 86 _ 6 4 - li nu x - gn u / l ib dl . s o . 2 ( 0x 0 0 00 7 f 4 3f 4 5 93 0 0 0)
l ib ut i l . so . 1 = > / l ib / x 8 6_ 6 4 - lin ux - g nu / l ib ut il . so . 1 ( 0 x 00 0 0 7f 4 3 f4 3 9 00 0 0 )
l ibz . so . 1 = > / l ib / x 8 6_ 6 4 - lin ux - g nu / li bz . s o . 1 ( 0x 0 0 00 7 f 43 f 4 17 7 0 0 0)
l ibm . so . 6 = > / l ib / x 8 6_ 6 4 - lin ux - g nu / li bm . s o . 6 ( 0x 0 0 00 7 f 43 f 3 e7 1 0 0 0)
/ l ib 6 4 /ld - l in ux - x 8 6 -6 4 . so . 2 ( 0 x 00 0 0 7f 4 3 f4 d 7 d0 0 0 )
•Version de bibliothèques
•Portabilité
•Environnement de calcul type MPI et GPU
Cédric Clerget Préservation d’environnements de calcul 5 / 29