Nouveaux algorithmes Particle-in-Cell pour une simulation

Mot-clés :
Particles-in-Cell, extreme intensity, 3D, pseudo-spectral methods, cache optimization, MPI
Contact : [email protected]
Nouveaux algorithmes Particle-in-Cell pour une simulation 3D
réaliste de l’interaction laser-plasma à ultrahaute intensité
La technologie des lasers femtosecondes permet aujourd'hui d'atteindre des puissances
crêtes de plusieurs PetaWatt (PW). En focalisant un tel faisceau sur une cible, on atteint des
intensités lumineuses extrêmes, dépassant 1020 W/cm2, telles que la cible est ionisée et transformée
en plasma, au sein duquel le mouvement des électrons sous l'effet du champ laser est relativiste. Il
s'agit d'un régime extrême de l'interaction laser-matière, qui met en jeu une physique très riche,
impliquant de nombreux effets collectifs, et très intéressante d'un point de vue fondamental. De
plus, du fait des champs électromagnétiques considérables obtenus au foyer, ce régime d'interaction
permet d'accélérer les particules du plasma (électrons, ions) à haute énergie sur des distances
beaucoup plus petites que dans les accélérateurs de particules conventionnels, ce qui ouvre la voie à
des applications scientifiques et sociétales de cette physique extrême. Ces perspectives ont
récemment motivé de grands projets de recherche PW aussi bien à l'échelle nationale (projet
APOLLON) qu'internationale (Extreme Light Infrastructure – ELI, BELLA laser - LBNL).
Au cours des dernières décennies, les codes de simulation de type 'Particle-In-Cell' (PIC)
ont apporté un support théorique essentiel au développement de ce domaine de recherche, à la fois
en contribuant grandement à l'interprétation des expériences réalisées et à la compréhension de la
physique mise en jeu, mais aussi en permettant la prédiction de nouveaux effets ou régimes
d'interaction. Ces simulations ont jusqu'à présent été réalisées le plus souvent en considérant des
géométries 1D ou 2D, les cas 2D nécessitant parfois déjà l'usage de calculateurs massivement
parallèles. Or les progrès réalisés ces dernières années au niveau expérimental rendent à présent les
simulations 3D indispensables. D'une part, certains effets ne peuvent être reproduits que de façon
qualitative par les simulations 2D, ce qui n'est plus suffisant lorsqu'on arrive au stade des
applications des sources de lumière et de particules produites par ces interactions pour lesquelles on
souhaite avoir des prédictions quantitatives. D'autre part, certains effets ne peuvent tout simplement
pas être simulés en 2D, comme notamment le cas des interactions mettant en jeu des faisceaux
lasers 'structurés' en 3D, qui permettent d'introduire de nouveaux effets physiques dans ces
expériences (e.g faisceaux de type Laguerre-Gauss, ou les 'ressorts optiques').
Dans ce contexte, les simulations 3D deviennent donc incontournables pour l’étude de la
physique à ultrahaute intensité laser. Toutefois, dans ces régimes d’intensité, la méthode PIC
standard ne permet pas de réaliser des simulations 3D prédictives car elle utilise des solveurs de
Maxwell d’ordre 2 (solveur de Yee) qui sont sujets à de nombreuses instabilités numériques lorsque
les faisceaux de particules sont relativistes et les rayonnements émis s’étendent jusque dans le
domaine X-UV (dispersion numérique, effet Cerenkov numérique). A l’heure actuelle, la
suppression de ces instabilités requiert une résolution spatio-temporelle très importante qui
empêche la réalisation de simulations 3D dans des conditions similaires aux expériences et ce,
même sur les plus gros supercalculateurs du TOP 500 (http://www.top500.org).
Le challenge de cette thèse est d’implémenter une nouvelle méthode PIC dans le code
SMILEI, qui apportera la précision nécessaire à la réalisation de simulations 3D dans ces conditions
extrêmes d’interaction. Cette méthode utilisera des solveurs de Maxwell d’ordres très élevés, voire
pseudo-spectraux beaucoup plus stables que les solveurs d’ordre 2. En dépit de leur grande
précision, ces solveurs ont en revanche très peu été utilisés au cours des 30 dernières années car ils
utilisent des algorithmes de Fast Fourier Transform (FFT) globaux qui requièrent l’échange de gros
volumes de données entre tous les processeurs de la machine. Ceci limite actuellement la scalabilité
de ces solveurs à environ 10,000 cœurs, ce qui est largement insuffisant pour tirer profit des
millions de cœurs disponibles sur les superordinateurs, pourtant nécessaires à la réalisation de

simulations en 3D.
Pour franchir cette barrière et rendre possible l’usage des solveurs d’ordre élevé/pseudo-
spectraux en 3D, de récentes études ont proposé d’utiliser une variante améliorée de la méthode de
partition cartésienne standard (déjà utilisée à l’ordre 2) pour laquelle le domaine de simulation est
divisé en plusieurs sous-domaine et les équations de Maxwell résolues indépendamment sur chaque
sous domaine (FFT locale). Les valeurs aux frontières appartenant à des sous-domaines adjacents
sont stockées dans des cellules additionelles appelées ‘cellules fantômes’ qui sont échangées entre
sous-domaines voisins à chaque pas de temps. Cette méthode permet un très bon scaling de ces
solveurs sur des centaines de milliers/millions de processeurs mais implique des erreurs de
troncatures aux frontières qui ont été récemment caractérisées et pour lesquelles on sait désormais
prédire le nombre de cellules fantômes nécessaires à leur stabilisation.
Le premier objectif de la thèse sera donc d’implémenter un version parallèle des solveurs
d’ordre élevé/pseudo-sepctraux en utilisant cette technique de décomposition. Le candidat devra
notamment développer une stratégie d’implementation hybride MPI/OpenMP de la méthode PIC
qui utilisera de gros sous-domaines MPI afin de réduire les erreurs de troncature survenant aux
frontières. L’utilisation de gros sous-domaines posera notamment des problèmes dans l’utilisation
optimale du cache que le candidat devra résoudre par des stratégies de tiling/blocking.
Ensuite, le candidat aura pour mission de quantifier les bénéfices apportés par les méthodes
d’ordre élevé/pseudo-spectrales dans ces régimes d’intensité. En particulier, le candidat réalisera
des benchmarks poussés du code dans des domaines d’intérêt pour le CEA (génération
d’harmoniques sur miroir plasma, accélération d’électrons/ions etc.) et comparera les résultats de
simulation avec la méthode PIC standard en termes de précision et de gain en temps de calcul pour
atteindre une précision donnée.
Enfin, le candidat utilisera le code pour aider à modéliser les futures expériences qui seront
réalisées sur la chaîne laser PW APOLLON.
L’issue de ce projet sera un code PIC 3D extrêmement précis qui devrait réduire
considérablement le temps de calcul nécessaire à une modélisation réaliste de ces nouveaux régimes
d’interaction et ainsi avoir un fort impact dans le domaine de l‘interaction laser plasma à haute
intensité qui est très actif en Europe (projet ELI – Extreme Light Infrastructure).
En plus du partenariat étroit entre DSM/Maison de la Simulation et DSM/LIDyL, cette thèse
impliquera également des collaborations étroites sur les aspects
algorithmiques/numériques/optimisation avec le groupe simulation du Dr. J-L Vay au Berkeley
Lab, avec lequel le groupe DSM/LIDyL collabore étroitement depuis plus d’un an sur ces
thématiques.
Résumé :
Le projet PetaWatt (PW) APOLLON actuellement en cours de construction aura pour objectif
principal de produire des sources de lumière et de particules très énergétiques à partir de
l’interaction entre un laser PW et un plasma. Le succès de ce projet reposera en partie sur un
couplage fort entre expériences et simulations numériques à grande échelle avec le code Particle-In-
Cell (PIC) SMILEI développé à la maison de la simulation.
La méthode PIC 3D standard utilisée à l’heure actuelle ne parvient pas à décrire assez précisément
les nouveaux régimes d’interaction qui seront rendus possibles avec APOLLON car le solveur de
Maxwell utilisé pour calculer l’évolution des champs électromagnétiques génère de fortes
instabilités numériques lorsque les particules de plasma bougent à des vitesses relativistes. A
présent, la suppression de ces instabilités requiert une résolution spatio-temporelle très élevée qui
accroît considérablement le temps de calcul et empêche la réalisation de simulations 3D dans des
temps réalistes.
Notre projet commun à DSM/Maison de la Simulation et DSM/IRAMIS/LIDyL, en collaboration

avec le BELLA center du Lawrence Berkeley Lab a donc pour ambition de construire une nouvelle
génération de codes Particle-In-Cell qui rendra possible la modélisation de ces nouveaux régimes
d’interaction en 3D. Le nouveau code utilisera des solveurs très précis d’ordre très élevé voire
pseudo-spectraux pour résoudre les équations de Maxwell. En dépit de leur grande précision, ces
solveurs ont très peu été utilisés au cours 30 dernières années en raison de leur faible scalibilité -
jusqu’à 10,000 cœurs seulement- ce qui est loin d’être suffisant pour tirer partie des millions de
cœurs disponibles dans les architectures haute performance actuelles pourtant requises pour la
simulation 3D.
Dans ce contexte, le challenge de cette thèse sera d’implémenter une version 3D parallèle haute
performance de ces solveurs dans le code PIC SMILEI qui reposera sur une décomposition de
domaine innovante. Cette nouvelle implémentation devrait permettre une parallélisation efficace du
code sur des millions de cœurs. Le nouveau code PIC sera ensuite comparé aux codes existants afin
de quantifier les bénéfices de la nouvelle méthode en termes de précision et de temps de calcul.
Enfin, le nouveau code sera utilisé en production en support aux expériences menées sur la chaîne
laser APOLLON.
Résumé anglais :
The success of the PetaWatt (PW) APOLLON laser facility presently under construction, which aim
at producing promising particle and light sources from relativistic laser-plasma interactions, will
partly rely on the strong coupling between experiments and large-scale simulations with the
Particle-In-Cell (PIC) code SMILEI currently under development at CEA/Maison de la Simulation.
Standard 3D PIC codes currently in use fail to accurately describe these new interaction regimes
because the finite difference Maxwell solver used to compute electromagnetic fields generates
strong instabilities when particles move at relativistic velocities. At present, the mitigation of these
instabilities requires the use of very high resolution, which dramatically increases the computation
time, and prevents realistic 3D modeling.
Our joint project at DSM/Maison de la Simulation and DSM/IRAMIS/LIDyL, in collaboration with
LBNL/BELLA center in California, aims at building a new generation of highly accurate 3D PIC
codes, which will enable realistic 3D simulations of these yet unexplored interaction regimes. It will
use highly precise pseudo-spectral methods to solve Maxwell’s equations. Despite their accuracy,
such methods have however hardly been used so far, due to their low scalability to 10,000s of cores
only, which is not enough to take advantage of supercomputer architectures required for 3D
modeling.
To break this barrier, the PhD candidate will implement a parallel version of these very high
order/pseudo-spectral solvers in the SMILEI PIC code, that relies on the classical cartesian domain
decomposition currently used at low orders. This should enable for the first time a massively
parallel implementation of pseudo-spectral solvers on up to a million of cores. The new PIC code
will then be used to model future experiments with the APOLLON PW laser and compared to the
standard PIC implementation in SMILEI. The outcome of this project will be a much more accurate
3D PIC code which should dramatically reduce the time-to-solution needed to solve a given
problem, and hence have a huge impact on the field of ultrahigh intensity laser-plasma interaction,
which is extremely active in Europe (ELI project).