Physics-Informed Neural Networks (PINNs)

Suivez CTIF
Votre Email
↲
Physics-Informed Neural Networks
By
Publié le 17 janvier 2022— Laisser un commentaire
Temps de lecture : 11 à 14 minutes
Les PINNs (Physics-Informed Neural Networks) constituent une nouvelle classe de réseaux de
neurones qui hybride apprentissage automatique et lois physiques. Cette nouvelle technologie
algorithmique, relativement récente (2019) et issue des laboratoires de recherche, pourrait avoir
dans les années à venir des applications scientifiques importantes (simulation temps réel, jumeaux
numériques, calcul inverse, …) dans le domaine des sciences de l’ingénieur. Cet article rappelle le
30/10/2024 23:02
Physics-Informed Neural Networks - MetalBlog
https://metalblog.ctif.com/2022/01/17/physics-informed-neural-networks/
1/14

principe de la résolution numérique des équations différentielles par discrétisation, les limites
actuelles du Deep Learning et enfin l’apport des PINNs et leurs applications potentielles.
L’article de référence sur les PINNs «Physics-informed neural networks: A deep learning framework
for solving forward and inverse problems involving nonlinear partial differential equations » de
Maziar Raissi, Paris Perdikaris, et George Em Karniadakis (travaux financés par la DARPA / USA) est
paru dans la revue Journal of Computational Physics en février 2019. Cet article détaille le principe
et les applications potentielles de cette nouvelle architecture de réseaux de neurones.
Les réseaux de neurones traditionnels donnent de très bons résultats. Cependant, ils présentent
plusieurs limitations : solutions multiples possibles, non prise en compte de la réalité des
phénomènes physiques et data set d’apprentissage de taille importante. En effet, les réseaux de
neurones étant stochastiques, d’un apprentissage à un autre, les résultats peuvent être différents,
ce qui peut être gênant. De plus, les réseaux traditionnels ne tiennent pas compte des phénomènes
physiques. Si cela n’est pas problématique en marketing ou en analyse de comportement (réseaux
sociaux, …) ou aucune loi physique n’est réellement pertinente, cela l’est davantage dans les
sciences de l’ingénieur où la prédiction peut s’éloigner sensiblement de la réalité physique. Enfin, le
réseau de neurones, pour être entrainé et donner des réponses sensées doit bénéficier d’un grand
nombre de données en phase d’apprentissage.
Une équation différentielle
traduit un phénomène physique
selon une équation
mathématique. Les équations
différentielles ont été théorisées
à la fin du 17 et résolues
progressivement au début du
18 siècle et au 19 siècle
pour les plus complexes. Elles
mettent en œuvre
généralement des variables
(position, vitesse, pression,
température, …) évoluant dans
ième
ième ième
30/10/2024 23:02
Physics-Informed Neural Networks - MetalBlog
https://metalblog.ctif.com/2022/01/17/physics-informed-neural-networks/
2/14

le temps et dans l’espace. Ces équations différentielles peuvent être d’ordre 1 (comme du/dx) ou
d’ordre 2 (d u/dt ).
Ces dernières sont sans doute les plus utilisées dans des domaines physiques variés. En particulier,
les problèmes de dynamique basés sur la deuxième loi de Newton aboutissent à une équation du
deuxième ordre (ou plusieurs) dans laquelle le produit de la masse d’un corps par son accélération
est égal à la somme des forces appliquées. Mais la thermique ou la fluidique utilisent largement
aussi ce type d’équations différentielles.
Les équations différentielles sont donc à la base de la physique moderne et sont calculées
numériquement dans les codes de simulation par résolution explicite ou implicite. La résolution
numérique est réalisée grâce à la discrétisation des variables en imposant un pas de temps spatial
(dx) et temporel (dt) et en s’appuyant sur le développement de Taylor. Ainsi, les résultats ne sont pas
calculés en tous points de l’espace et du temps de manière continue, mais localement à pas
constant (en différences finies) ou avec un pas évolutif (en éléments finis). Pour garantir la stabilité
et la convergence des calculs, on est amené à imposer des conditions supplémentaires (entre dx et
dt par exemple dans le cas de l’équation de la chaleur en 1 dimension).
2 2
30/10/2024 23:02
Physics-Informed Neural Networks - MetalBlog
https://metalblog.ctif.com/2022/01/17/physics-informed-neural-networks/
3/14

Dans un réseau de neurones traditionnel, les poids des neurones (noté souvent w) sont calculés
pendant la phase d’apprentissage avec l’algorithme de rétropropagation du gradient de l’erreur.
Cette erreur (MSE pour Mean Square Error ou erreur moyenne au carré) est la différence entre la
valeur prédite et la valeur réelle utilisée pour l’apprentissage. La rétropropagation du gradient de
l’erreur consiste à corriger les erreurs selon l’importance des neurones qui ont justement participés
à la réalisation de ces erreurs. Les poids synaptiques (w) des neurones qui contribuent à engendrer
une erreur importante se verront donc modifiés de manière plus significative que les poids qui ont
engendré une erreur marginale.
En pratique, l’algorithme d’apprentissage commence par une propagation avant (forward
propagation) qui permet de prédire la valeur de sortie à partir d’un jeu de données de la base
d’apprentissage. On calcule ensuite l’erreur (entre la valeur prédite et la valeur attendue de la base
d’apprentissage) et le gradient d’erreur est rétro propagé (back-propagation) dans tout le réseau de
neurones. L’algorithme met à jour ensuite l’ensemble des poids des neurones (en fonction d’un taux
d’apprentissage). On réitère un grand nombre de fois cette succession de propagations vers l’avant
et vers l’arrière sur l’ensemble de la base d’apprentissage jusqu’à un critère d’arrêt.
Les équations différentielles, représentant un phénomène physique, interviennent justement dans
le calcul de la fonction d’erreur. Dans un PINN, cette fonction MSE (MSE = MSE + MSE ) est alors la
somme de l’erreur entre la valeur réelle et la valeur prédite (MSE ) -comme pour celle d’un réseau
de neurone traditionnel – et celle entre valeur prédite et la valeur respectant la loi physique (MSE ).
Dans le cas où les équations différentielles sont multiples, l’erreur MSE est la somme de plusieurs
u R
u
R
30/10/2024 23:02
Physics-Informed Neural Networks - MetalBlog
https://metalblog.ctif.com/2022/01/17/physics-informed-neural-networks/
4/14

erreurs issues de chaque
équation. L’équation
différentielle limite donc
l’espace des solutions
admissibles par le réseau
de neurones lors de la
phase d’apprentissage.
Un exemple récent de l’utilisation des PINNs a été donné par Ben Moseley pour la prédiction des
points d’un oscillateur harmonique simple. Il s’agit d’un ressort au bout duquel une masse oscille de
bas en haut selon un mouvement sinusoïdal amorti. Ce type de mouvement d’oscillation amortie
est relativement complexe à prédire pour un réseau de neurones conventionnel, ce qui en fait un
bon indicateur de performance.
Principe d’un PINN – somme de l’erreur et de l’erreur par rapport à une
physique.
30/10/2024 23:02
Physics-Informed Neural Networks - MetalBlog
https://metalblog.ctif.com/2022/01/17/physics-informed-neural-networks/
5/14