Le calcul scientifique au LPNHE Paris

Version 1.4
1
Le calcul scientifique au LPNHE Paris
Etat des lieux – 9 mai 2016
Auteurs : P.Astier, T. Beau, O. Dadoun, F. Derue, V. Gligorov, B. Laforge, J-
Ph. Lenain, V. Mendoza, F. Polci
Laboratoire de Physique Nucléaire et de Hautes Énergies,
UPMC et Université Paris-Diderot et CNRS - IN2P3
1er étage, barre 12/22,
4 place Jussieu, 75252 Paris Cedex 05
Ce document décrit les besoins en calcul scientifique au LPNHE Paris [1].
1) Le contexte scientifique au LPNHE
L'effort en physique expérimentale au LPNHE s'effectue dans le contexte de
collaborations internationales travaillant auprès d'accélérateurs ou d'obser-
vatoires. Les principaux axes de recherche en physique des particules sont
sur l'identification des composantes du secteur du Modèle Standard de la
physique des particules associées à la brisure spontanée de la symétrie
électrofaible, à travers la recherche et l'étude de nouvelles particules (comme
le boson de Higgs) et/ou des mesures de précision, la compréhension de
l'asymétrie matière-antimatière ou les propriétés du neutrino. Ces processus
fondamentaux affectent, à différents niveaux, le contenu et la dynamique de
la formation des structures dans l'Univers, et le LPNHE poursuit des
observations dans les domaines de la physique des astroparticules et en
cosmologie. Ces activités sont complémentaires des mesures effectuées
auprès des accélérateurs.
2) Le calcul scientifique
Le calcul scientifique est un outil indispensable dans de nombreux domaines
scientifiques. Il peut s'agir de simulations ou de modélisations de systèmes de
plus en plus réalistes et complexes, qui nécessitent des supercalculateurs
massivement parallèles ou l'accès à la grille de calcul (ou d'infrastructure
comme le cloud computing). On peut, par ailleurs, avoir besoin d'analyser ou
de visualiser de gros volumes de données issues d'expériences ou de
simulations numériques. Il peut également être question de trouver des
correspondances dans de grandes bases de données dont l’analyse serait
tout simplement impossible sur des ordinateurs individuels. Cette démesure
dans le stockage données (dont les unités on largement dépassées les peta
octets) et dans l’analyse numérique (dont la grille de calcul est le meilleur
exemple) sont regroupés dans le terme « Big Data » ou science des
données.
Le Big Data fait ainsi figure de révolution numérique non seulement dans le
domaine scientifique mais aussi dans les domaines plus larges qui vont des
sciences sociales au journalisme en passant par les réseaux sociaux.
2.1) Le calcul HPC
Le calcul haute performance (HPC), ou calcul intensif, a été l'objet d'un livre
blanc [2] du CNRS et a été édité par le COCIN (Comité d'orientation pour le

Version 1.4
2
calcul scientifique). Ces moyens de calcul sont disponibles à différentes
échelles :
 Tier 0 : au niveau européen, des moyens de capacité petaflopique sont
accessibles par le biais de l'infrastructure PRACE [3] dont la France,
représentée par GENCI [4], est un des membres fondateurs.
 Tier 1 : au niveau national, il s'agit de moyens d'une puissance de
plusieurs centaines de teraflop/s, qui sont ceux des centres nationaux
dont l'action est coordonnée par GENCI, ainsi que du CCIN2P3.
 Tier 2 : au niveau régional, ce sont des moyens d'une puissance
inférieure à typiquement 50 teraflop/s et généralement exploités par les
centres universitaires (mésocentres ou grille). Avec le projet
Equip@Meso [5], porté par GENCI, une dizaine d'entre eux, répartis
sur tout le territoire national, ont été significativement renforcés pour
offrir un meilleur service.
 Tier 3 : au niveau des laboratoires individuels.
2.2) La grille de calcul et le cloud computing
La grille (ou le cloud computing) est un moyen de partager de manière
sécurisée les capacités de calcul et de stockage à travers l’internet grâce à
des réseaux de plus en plus rapide (la dizaine de Giga bits étant usuel on
parle maintenant de liaison à plusieurs centaines de Giga bits entre certain
sites). C'est un outil indispensable à la communauté scientifique dans de
nombreuses disciplines allant de la physique des hautes énergies aux
sciences humaines, en passant par les sciences de la vie et de la planète.
Aujourd’hui, plus de 300 sites à travers le monde sont connectés à cette grille.
La communauté de physique des particules a développé son propre projet
WLCG [6] qui représente la plus grande partie de l’infrastructure de la grille.
Elle utilise l'intergiciel développé pour le projet européen EGI (European Grid
Infrastructure [7]).
En 2010, une organisation permanente a été créée pour maintenir l’opération
et le développement de la grille au niveau européen avec EGI. Les Initiatives
de Grille Nationales (NGI) sont des organisations mises au point au niveau
national, en charges du suivi de ces grilles, en relation avec l’EGI. En France,
c’est le Groupement d’Intérêt Scientifique France Grilles [8]. La grille de
production française est labellisée Très Grande Infrastructure de Recherche.
Les besoins des communautés scientifiques en termes de grille de calcul ont
été répertoriés dans un livre blanc en 2009 [9].
Les projets WLCG, dans le cadre d'un Memorandum of Understanding [10], et
LCG France [11,12,13] ont défini ces objectifs pour la physique des hautes
énergies auprès du LHC. Les données produites par le LHC sont distribuées
selon un modèle hiérarchique à quatre niveaux notés Tier-0 à Tier-3, les deux
premiers dédiés principalement à la reconstruction et à la sauvegarde
pérenne des données, les deux derniers principalement aux analyses de
données et simulations.
3) Ressources de calcul accessibles au LPNHE
Une page web du laboratoire répertorie ces ressources [14].

Version 1.4
3
3.1) Au CERN
Le CERN [15] développe un projet visant à mettre à disposition différentes
plateformes de calcul HPC, dans un mode « best effort ». Celui-ci contient
différents types de cartes GPU, Phi, etc. Le projet s'appelle TechLab [16].
3.1) Au CCIN2P3
Le CCIN2P3 [17] offre une grande variété de calculateurs [11]. Parmi ceux-ci
il y a environ 1400 processeurs (Intel(R) Xeon(R) CPU E5-2698 v3 @ 2.30
GHz) disponibles pour le calcul parallèle. Le CCIN2P3 voit aussi une montée
en puissance de fermes de calculs parallèles.
3.2) Dans les Universités
Les membres du LPNHE ont accès aux ressources de calcul de leurs
universités de tutelle :
 L'UPMC [18] et Sorbonne Université [19] se sont dotées en 2012 d'un
nouvel institut, l'Institut du Calcul et des sciences des données (ICS)
[20]. L'ICS gère une plateforme de calculateurs HPC (clusters, machine
à grande mémoire partagée, GPUs), soit un ensemble de plus de
10000 cœurs, pour une puissance de calcul totale avoisinant les 200
Tflop/s.
 L'Université Paris-Diderot [21] et l'USPC [22] ont aussi des ressources
de calcul disponibles, environ 5000 cœurs de calcul.
3.3) Au LPNHE
Un nœud de la grille de calcul est implanté au LPNHE, c'est le projet GRIF
(Grille de calcul au service de la Recherche en Ile de France [23]). Le projet
regroupe les six laboratoires de physique des hautes énergies d’île de France
pour mettre en place une ressource unique de calcul et de stockage basée
sur les technologies des grilles de calcul et du cloud. Le but du projet est :
 d’être un centre de calcul et de stockage majeur, appelé Tier 2 et Tier 3
pour les expériences auprès du LHC (« Large Hadron Collider ») au
CERN, dans le cadre du projet WLCG.
 De répondre aux besoins de calcul et de stockage des autres
expériences des laboratoires impliqués tout en préservant une partie
des ressources pour un cadre pluridisciplinaire dans le cadre de la
grille EGI.
L'ensemble du projet représente environ 10000 cœurs de calcul et environ 8
péta-octets d'espace de stockage. Le projet GRIF au LPNHE dispose en 2016
des ressources suivantes :
 environ 3200 cœurs de calcul équivalant à une puissance de calcul de
32000 HEP-SPEC06. Sur ce total, le LPNHE contribue pour 20200
HEP-SPEC06 et l'Institut des Systèmes Complexes Paris-Île de France
[24], qui a installé une partie de ses ressources informatiques au
LPNHE dans le cadre d'un accord, pour 11800 HEP-SPEC06.
 environ 1900 To utiles d'espace de stockage.
 des liens à 10 Gbit/s à travers RENATER [25].

Version 1.4
4
Le LPNHE possède depuis début 2016, des cartes GPUs et XeonPhi, pour
permettre aux membres du laboratoire de se familiariser avec ces
technologies :
 deux processeurs Intel Xeon Phi Coprocesseur 5110P (8 GB, 1.053
GHz, 60 cores).
 deux cartes GPU K2200, chacune avec 5 multiprocesseurs de 128
cœurs, 4 Go GDDR5, soit 1280 cœurs au total.
4) Besoins des groupes de physique
On répertorie ici les besoins en calcul scientifique des groupes de physique.
4.1) Masses et Interactions Fondamentales
Le groupe ATLAS [26] du LPNHE est impliqué dans la mise en place des
moyens de calcul et de stockage au laboratoire :
 le groupe participe au développement du projet GRIF au laboratoire
dont un de ses membres (F.Derue) est le responsable scientifique. Le
groupe bénéficie d'une grande partie des ressources du site, pour près
de 60 % de la puissance de calcul utilisée en 2015 et près de 70 % de
l'espace de stockage. L'évolution des ressources du projet GRIF est en
grande partie dictée par les besoins de l'expérience ATLAS. La
majeure partie du budget du projet GRIF provient de LCG-France pour
les besoins en calcul des expériences auprès du LHC.
Le groupe bénéficie des ressources de la grille de calcul à travers toute
la reconstruction des données, la production de simulation et l'analyse
de données.
 le groupe est impliqué dans la mise à disposition des ressources de
calcul de type GPU au laboratoire avec deux physiciens du groupe,
avec l'ensemble des tests initiaux et de l'écriture de la documentation,
en collaboration avec le service informatique.
 Le groupe est impliqué dans le développement des ressources de
calcul à l'UPMC, Frédéric Derue a fait partie du comité stratégique de
calcul à l'UPMC (2010-2012) et maintenant du comité de pilotage
BigData.
 le groupe est impliqué dans le groupe de travail Calcul Atlas France,
regroupant les efforts des groupes français en calcul (principalement
pour la grille).
La collaboration ATLAS a entrepris depuis plus de deux ans des études pour
utiliser des ressources de calcul de type HPC et pour faire évoluer son logiciel
vers une plus grande utilisation du parallélisme. Ceci sera important en
particulier vu l'accroissement des besoins pour les Run 3 et 4 du LHC. Le
groupe du LPNHE a lui aussi commencé à participer à cet effort :
 Les ressources de calcul HPC de l'UPMC (plus de 10000 cœurs de
calcul parallèle) pourraient être utilisées par le système de production
de l'expérience ATLAS, soit dans le cadre d'une utilisation opportuniste

Version 1.4
5
en mode CPU soit une réelle utilisation des capacités de calcul
parallèle. Là, les progrès sont lents, dus au manque de personnel
impliqué à la fois dans le groupe mais aussi au niveau du support
utilisateur disponible sur ces machines.
 Une veille technologique est effectuée, en participant à l'effort commun
soit dans les groupes de travail correspondant dans ATLAS, soit dans
le cadre de la HEP-software foundation [27].
 Le groupe bénéficierait des développements effectués dans la
collaboration GEANT pour paralléliser ce logiciel utilisé dans toutes les
simulations.
Certaines analyses de physique dans lesquelles le groupe est impliqué sont
particulièrement demandeuses en puissance de calcul :
 L'une des méthodes pour mesurer la masse du quark top est la
méthode des éléments de matrice qui calcule un poids pour chaque
événement quantifiant la probabilité qu'un modèle théorique
(dépendant de la masse du quark top) reproduise les données. Ce
calcul nécessite une intégration numérique dans un espace de phase
multidimensionnel qui est effectué à l'aide de l'algorithme d'intégration
Monte Carlo VEGAS. Le temps requis pour effectuer une telle
intégration est de plusieurs secondes par événement, impliquant au
final plusieurs millions d'heures de calcul pour obtenir une mesure avec
l'ensemble des systématiques. Deux thèses ont été effectuées dans le
groupe, avec les données à 7 TeV et 8 TeV, en utilisant les ressources
de la grille de calcul.
Depuis le groupe investigue de nouvelles versions des programmes,
toujours basées sur VEGAS, en particulier pour l'utilisation des clusters
de machines parallèles accessibles à l'UPMC ainsi que les cartes
GPU/XeonPhi disponibles au laboratoire. Ces études et
développements sont assez proches de ceux effectués au LLR
Palaiseau pour le groupe CMS, là aussi pour des calculs d’éléments de
matrice basés sur VEGAS. Cette convergence avait déjà été utilisée
dans le cadre d'une demande ANR (non obtenue) appelée LPaso (LHC
Parallel Software), regroupant les groupes ATLAS, CMS et LHCb du
LAL, LLR et LPNHE.
 Le groupe est intéressé à utiliser des ressources HPC pour améliorer
la rapidité et la complexité de certains ajustements (fits) complexes, en
particulier dans les études sur le boson de Higgs.
 Le groupe pourrait bénéficier de l'utilisation de ressources HPC pour
effectuer plus rapidement des simulations de senseurs pixels pour le
système de trajectographie Itk (Inner Tracking) pour l'upgrade du
détecteur pour la phase de haute luminosité. Ces simulations utilisent
TCAD (Technology Computer Aided Design) pour développer et
optimiser des technologies basées sur des semiconducteurs pour des