Nouveaux algorithmes Particle-in-Cell pour une simulation 3D réaliste de l’interaction laser-plasma à ultrahaute intensité Mot-clés : Particles-in-Cell, extreme intensity, 3D, pseudo-spectral methods, cache optimization, MPI Contact : [email protected] La technologie des lasers femtosecondes permet aujourd'hui d'atteindre des puissances crêtes de plusieurs PetaWatt (PW). En focalisant un tel faisceau sur une cible, on atteint des intensités lumineuses extrêmes, dépassant 1020 W/cm2, telles que la cible est ionisée et transformée en plasma, au sein duquel le mouvement des électrons sous l'effet du champ laser est relativiste. Il s'agit d'un régime extrême de l'interaction laser-matière, qui met en jeu une physique très riche, impliquant de nombreux effets collectifs, et très intéressante d'un point de vue fondamental. De plus, du fait des champs électromagnétiques considérables obtenus au foyer, ce régime d'interaction permet d'accélérer les particules du plasma (électrons, ions) à haute énergie sur des distances beaucoup plus petites que dans les accélérateurs de particules conventionnels, ce qui ouvre la voie à des applications scientifiques et sociétales de cette physique extrême. Ces perspectives ont récemment motivé de grands projets de recherche PW aussi bien à l'échelle nationale (projet APOLLON) qu'internationale (Extreme Light Infrastructure – ELI, BELLA laser - LBNL). Au cours des dernières décennies, les codes de simulation de type 'Particle-In-Cell' (PIC) ont apporté un support théorique essentiel au développement de ce domaine de recherche, à la fois en contribuant grandement à l'interprétation des expériences réalisées et à la compréhension de la physique mise en jeu, mais aussi en permettant la prédiction de nouveaux effets ou régimes d'interaction. Ces simulations ont jusqu'à présent été réalisées le plus souvent en considérant des géométries 1D ou 2D, les cas 2D nécessitant parfois déjà l'usage de calculateurs massivement parallèles. Or les progrès réalisés ces dernières années au niveau expérimental rendent à présent les simulations 3D indispensables. D'une part, certains effets ne peuvent être reproduits que de façon qualitative par les simulations 2D, ce qui n'est plus suffisant lorsqu'on arrive au stade des applications des sources de lumière et de particules produites par ces interactions pour lesquelles on souhaite avoir des prédictions quantitatives. D'autre part, certains effets ne peuvent tout simplement pas être simulés en 2D, comme notamment le cas des interactions mettant en jeu des faisceaux lasers 'structurés' en 3D, qui permettent d'introduire de nouveaux effets physiques dans ces expériences (e.g faisceaux de type Laguerre-Gauss, ou les 'ressorts optiques'). Dans ce contexte, les simulations 3D deviennent donc incontournables pour l’étude de la physique à ultrahaute intensité laser. Toutefois, dans ces régimes d’intensité, la méthode PIC standard ne permet pas de réaliser des simulations 3D prédictives car elle utilise des solveurs de Maxwell d’ordre 2 (solveur de Yee) qui sont sujets à de nombreuses instabilités numériques lorsque les faisceaux de particules sont relativistes et les rayonnements émis s’étendent jusque dans le domaine X-UV (dispersion numérique, effet Cerenkov numérique). A l’heure actuelle, la suppression de ces instabilités requiert une résolution spatio-temporelle très importante qui empêche la réalisation de simulations 3D dans des conditions similaires aux expériences et ce, même sur les plus gros supercalculateurs du TOP 500 (http://www.top500.org). Le challenge de cette thèse est d’implémenter une nouvelle méthode PIC dans le code SMILEI, qui apportera la précision nécessaire à la réalisation de simulations 3D dans ces conditions extrêmes d’interaction. Cette méthode utilisera des solveurs de Maxwell d’ordres très élevés, voire pseudo-spectraux beaucoup plus stables que les solveurs d’ordre 2. En dépit de leur grande précision, ces solveurs ont en revanche très peu été utilisés au cours des 30 dernières années car ils utilisent des algorithmes de Fast Fourier Transform (FFT) globaux qui requièrent l’échange de gros volumes de données entre tous les processeurs de la machine. Ceci limite actuellement la scalabilité de ces solveurs à environ 10,000 cœurs, ce qui est largement insuffisant pour tirer profit des millions de cœurs disponibles sur les superordinateurs, pourtant nécessaires à la réalisation de simulations en 3D. Pour franchir cette barrière et rendre possible l’usage des solveurs d’ordre élevé/pseudospectraux en 3D, de récentes études ont proposé d’utiliser une variante améliorée de la méthode de partition cartésienne standard (déjà utilisée à l’ordre 2) pour laquelle le domaine de simulation est divisé en plusieurs sous-domaine et les équations de Maxwell résolues indépendamment sur chaque sous domaine (FFT locale). Les valeurs aux frontières appartenant à des sous-domaines adjacents sont stockées dans des cellules additionelles appelées ‘cellules fantômes’ qui sont échangées entre sous-domaines voisins à chaque pas de temps. Cette méthode permet un très bon scaling de ces solveurs sur des centaines de milliers/millions de processeurs mais implique des erreurs de troncatures aux frontières qui ont été récemment caractérisées et pour lesquelles on sait désormais prédire le nombre de cellules fantômes nécessaires à leur stabilisation. Le premier objectif de la thèse sera donc d’implémenter un version parallèle des solveurs d’ordre élevé/pseudo-sepctraux en utilisant cette technique de décomposition. Le candidat devra notamment développer une stratégie d’implementation hybride MPI/OpenMP de la méthode PIC qui utilisera de gros sous-domaines MPI afin de réduire les erreurs de troncature survenant aux frontières. L’utilisation de gros sous-domaines posera notamment des problèmes dans l’utilisation optimale du cache que le candidat devra résoudre par des stratégies de tiling/blocking. Ensuite, le candidat aura pour mission de quantifier les bénéfices apportés par les méthodes d’ordre élevé/pseudo-spectrales dans ces régimes d’intensité. En particulier, le candidat réalisera des benchmarks poussés du code dans des domaines d’intérêt pour le CEA (génération d’harmoniques sur miroir plasma, accélération d’électrons/ions etc.) et comparera les résultats de simulation avec la méthode PIC standard en termes de précision et de gain en temps de calcul pour atteindre une précision donnée. Enfin, le candidat utilisera le code pour aider à modéliser les futures expériences qui seront réalisées sur la chaîne laser PW APOLLON. L’issue de ce projet sera un code PIC 3D extrêmement précis qui devrait réduire considérablement le temps de calcul nécessaire à une modélisation réaliste de ces nouveaux régimes d’interaction et ainsi avoir un fort impact dans le domaine de l‘interaction laser plasma à haute intensité qui est très actif en Europe (projet ELI – Extreme Light Infrastructure). En plus du partenariat étroit entre DSM/Maison de la Simulation et DSM/LIDyL, cette thèse impliquera également des collaborations étroites sur les aspects algorithmiques/numériques/optimisation avec le groupe simulation du Dr. J-L Vay au Berkeley Lab, avec lequel le groupe DSM/LIDyL collabore étroitement depuis plus d’un an sur ces thématiques. Résumé : Le projet PetaWatt (PW) APOLLON actuellement en cours de construction aura pour objectif principal de produire des sources de lumière et de particules très énergétiques à partir de l’interaction entre un laser PW et un plasma. Le succès de ce projet reposera en partie sur un couplage fort entre expériences et simulations numériques à grande échelle avec le code Particle-InCell (PIC) SMILEI développé à la maison de la simulation. La méthode PIC 3D standard utilisée à l’heure actuelle ne parvient pas à décrire assez précisément les nouveaux régimes d’interaction qui seront rendus possibles avec APOLLON car le solveur de Maxwell utilisé pour calculer l’évolution des champs électromagnétiques génère de fortes instabilités numériques lorsque les particules de plasma bougent à des vitesses relativistes. A présent, la suppression de ces instabilités requiert une résolution spatio-temporelle très élevée qui accroît considérablement le temps de calcul et empêche la réalisation de simulations 3D dans des temps réalistes. Notre projet commun à DSM/Maison de la Simulation et DSM/IRAMIS/LIDyL, en collaboration avec le BELLA center du Lawrence Berkeley Lab a donc pour ambition de construire une nouvelle génération de codes Particle-In-Cell qui rendra possible la modélisation de ces nouveaux régimes d’interaction en 3D. Le nouveau code utilisera des solveurs très précis d’ordre très élevé voire pseudo-spectraux pour résoudre les équations de Maxwell. En dépit de leur grande précision, ces solveurs ont très peu été utilisés au cours 30 dernières années en raison de leur faible scalibilité jusqu’à 10,000 cœurs seulement- ce qui est loin d’être suffisant pour tirer partie des millions de cœurs disponibles dans les architectures haute performance actuelles pourtant requises pour la simulation 3D. Dans ce contexte, le challenge de cette thèse sera d’implémenter une version 3D parallèle haute performance de ces solveurs dans le code PIC SMILEI qui reposera sur une décomposition de domaine innovante. Cette nouvelle implémentation devrait permettre une parallélisation efficace du code sur des millions de cœurs. Le nouveau code PIC sera ensuite comparé aux codes existants afin de quantifier les bénéfices de la nouvelle méthode en termes de précision et de temps de calcul. Enfin, le nouveau code sera utilisé en production en support aux expériences menées sur la chaîne laser APOLLON. Résumé anglais : The success of the PetaWatt (PW) APOLLON laser facility presently under construction, which aim at producing promising particle and light sources from relativistic laser-plasma interactions, will partly rely on the strong coupling between experiments and large-scale simulations with the Particle-In-Cell (PIC) code SMILEI currently under development at CEA/Maison de la Simulation. Standard 3D PIC codes currently in use fail to accurately describe these new interaction regimes because the finite difference Maxwell solver used to compute electromagnetic fields generates strong instabilities when particles move at relativistic velocities. At present, the mitigation of these instabilities requires the use of very high resolution, which dramatically increases the computation time, and prevents realistic 3D modeling. Our joint project at DSM/Maison de la Simulation and DSM/IRAMIS/LIDyL, in collaboration with LBNL/BELLA center in California, aims at building a new generation of highly accurate 3D PIC codes, which will enable realistic 3D simulations of these yet unexplored interaction regimes. It will use highly precise pseudo-spectral methods to solve Maxwell’s equations. Despite their accuracy, such methods have however hardly been used so far, due to their low scalability to 10,000s of cores only, which is not enough to take advantage of supercomputer architectures required for 3D modeling. To break this barrier, the PhD candidate will implement a parallel version of these very high order/pseudo-spectral solvers in the SMILEI PIC code, that relies on the classical cartesian domain decomposition currently used at low orders. This should enable for the first time a massively parallel implementation of pseudo-spectral solvers on up to a million of cores. The new PIC code will then be used to model future experiments with the APOLLON PW laser and compared to the standard PIC implementation in SMILEI. The outcome of this project will be a much more accurate 3D PIC code which should dramatically reduce the time-to-solution needed to solve a given problem, and hence have a huge impact on the field of ultrahigh intensity laser-plasma interaction, which is extremely active in Europe (ELI project).