Quelques voies d`améliorations en importance sampling et

Synthèse sur les méthodes d'estimation
d'évènements rares – Quelques
développements réalisés à l'Onera
Jérôme Morio – Mathieu Balesdent
(ONERA/DCPS)
15/11/2012
Plan
•
Synthèse sur les méthodes d'estimation d'évènements
rares
•
Quelques développements réalisés à l'Onera
JSO Evènements rares 15/11/2012
•
•
•
2
Estimations de courbes de niveaux de probabilités faibles
Réglage d'estimateur d'importance splitting (avec J. Marzat)
Analyse de la sensibilité des paramètres des densités des entrées d'un
code de calcul sur la probabilité d'un évènement rare
Analyse du problème
Cas général
Code de calcul Φ
Boîte noire Φ
Aléatoires de PDF
JSO Evènements rares 15/11/2012
Code Φ déterministe
3
de PDF inconnue g
Estimation de probabilités et de quantiles sur Y
Simulation d’évènements rares
Il faut estimer la probabilité de dépassement d’un seuil S par Y avec un nombre
"raisonnable" de simulations.
Exemple : retombée d’un étage d'engin
N entrées :
- aérodynamique
- masses
- caractéristiques
injection
-…
JSO Evènements rares 15/11/2012
500 échantillons Monte
Carlo
4
Code de
calcul Φ
2 sorties :
- Position
horizontale de
la retombée
10000 échantillons Monte
Carlo
Techniques d'estimation d'évènements rares
•
Techniques statistiques :
- théorie des valeurs extrêmes : à partir d'un jeu d'échantillons de la
sortie du code, estimation paramétrique de la PDF de sortie du code
- théorie des grandes déviations : caractériser les bornes de variations
d'un estimateur
•
Techniques de simulation :
- Monte-Carlo
- importance sampling : générer des échantillons en entrée selon une
JSO Evènements rares 15/11/2012
densité auxiliaire f', favorisant les évènements rares
5
- importance splitting : méthodes multi-niveaux qui permettent d'estimer la
probabilité cible rare par un produit de probabilités conditionnelles peu rares
Techniques d'estimation d'évènements rares
•
Techniques issues des études de fiabilité:
- FORM/SORM/FOSPA, line sampling : estimation par approximation
paramétrique de la probabilité de défaillance
•
Techniques utilisant des métamodèles (couplage métamodèlestechniques de simulation-optimisation)
•
Autres algorithmes : variables de contrôle, antithétiques: méthodes
JSO Evènements rares 15/11/2012
simples de réduction de variance
6
Quelles méthodes choisir selon la situation ?
Retour d'expériences
-
JSO Evènements rares 15/11/2012
-
7
Peut-on utiliser le code Φ pour obtenir des échantillons de
la sortie Y ?
NON : Utiliser la théorie des valeurs extrêmes ou des
métamodèles pour représenter Φ
OUI : Eviter la théorie des valeurs extrêmes et se
focaliser sur les autres algorithmes
Le code de calcul Φ est-il analytiquement connu ?
OUI : Regarder l'applicabilité de méthodes simples
comme importance sampling (avec de simples changements de mesures,
exponential twisting), variables de contrôle, antithétiques, les
bornes définies par la théorie des grandes déviations.
NON : Se tourner vers des algorithmes plus
complexes comme importance sampling, splitting,
métamodèle
Retour d'expériences
-
JSO Evènements rares 15/11/2012
-
8
Quelle est la dimension du problème ?
d<10 : FORM/SORM, line sampling et non parametric
importance sampling, métamodèles sont efficaces
d>10 : importance splitting et importance sampling
optimisé par cross-entropy résistent bien à la dimension
Quel est le budget de simulation disponible ?
N<1000 : FORM/SORM, line sampling, métamodèles
peuvent être envisagés
N>1000 : importance sampling et splitting nécessitent
un budget de simulation plus important
Retour d'expériences
-
-
JSO Evènements rares 15/11/2012
-
9
Le code Φ est-il fortement non linéaire ?
OUI : Attention à l'utilisation de FORM/SORM, Line
sampling et métamodèle
La région de l'entrée du code de calcul qui aboutit à
l'évènement rare est-elle multimodale ?
OUI ou réponse inconnue : Attention à l'utilisation de
FORM/SORM et importance sampling optimisé par cross
entropy
La région de l'entrée du code de calcul qui aboutit à
l'évènement rare est-elle approximativement connue ?
OUI : stratified sampling et FORM/SORM peuvent être
efficaces
Conclusion
JSO Evènements rares 15/11/2012
Souvent difficile de choisir a priori la méthode la plus
adaptée à une situation donnée
10
1)
Bien définir, étudier le problème et notamment les
caractéristiques du code de calcul Φ
2)
Eviter l'utilisation à contre-emploi de certains algorithmes
3)
Caractériser l'estimation de la probabilité donnée par un
algorithme par son erreur relative (bornes, estimation Monte
Carlo,…)
Plan
•
Synthèse sur les méthodes d'estimation d'évènements
rares
•
Quelques développements réalisés à l'Onera
JSO Evènements rares 15/11/2012
•
•
•
11
Estimations de courbes de niveaux de probabilités faibles
Réglage d'estimateur d'importance splitting (avec J. Marzat)
Analyse de la sensibilité des paramètres des densités des entrées d'un
code de calcul sur la probabilité d'un évènement rare
Développements réalisés à l’Onera
•
Quelques sujets d’intérêt
Réduction des coûts calculatoires
Utilisation de méta-modèles
Méthodes adaptatives
Evénements rares
dynamiques (Imp. Splitting)
Applicabilité des méthodes
dans cas industriels et challenges induits
(quelle méthode choisir, quels réglages?)
JSO Evènements rares 15/11/2012
Collisions d’avions
Collisions débris - satellites
Retombéesd’étages,
d’étages…
Retombées
12
Détermination des caractéristiques
des densités d’entrée conduisant
à l'évènement rare
analyses de
de sensibilité
sensibilité
analyses
méthodes particulaires
particulaires
méthodes
Représentation des quantiles
multidimensionnels
courbes de niveaux
Définition d’une courbe de niveau pour les plages
engagées horizontales
Auparavant : calcul de CEP (Circular Error Probable) à X% =
rayon du cercle contenant X% des points d’impacts
Pas efficace lorsque la distribution est non isotrope
Définition de la notion de courbe de niveau pour les zones
engagées à X% ?
80%
JSO Evènements rares 15/11/2012
Exemple - Cas gaussien:
13
R
1
1000 simulations
Densité de probabilité
Courbe de niveaux
50%
Courbe de niveau à 50% = 50 % des
impacts sont situés à l’intérieur de la
courbe bleue
Définition d’une courbe de niveau pour les plages
engagées horizontales
Définition d'une courbe
de niveau t
Mapping avec les
probabilités
JSO Evènements rares 15/11/2012
une courbe de niveau t correspond une aire de
volume minimal de probabilité α (réciproque fausse)
14
densité de Y, g inconnue
à noyaux
utilisation d'un estimateur
Niveau t inconnu
estimé à l'aide du α-quantile de la
densité estimée des échantillons (estimation plug-in)
Définition d’une courbe de niveau pour les plages
engagées horizontales
JSO Evènements rares 15/11/2012
Cas simple Gaussien 2D N(0,I2)
avec méthodes de Monte Carlo
(10000 échantillons)
15
R
1
Courbe bleue= estimation Monte Carlo et courbe verte= théorie
Définition d’une courbe de niveau pour les plages
engagées horizontales
Cas simple Gaussien 2D N(0,I2) avec importance sampling
non parametrique adaptatif (10000 échantillons)
JSO Evènements rares 15/11/2012
R
1
16
Courbe bleue= estimation Importance Sampling et courbe verte= théorie
Définition d’une courbe de niveau pour les plages
engagées horizontales
Cas d'une retombée d'un engin
JSO Evènements rares 15/11/2012
Importance Sampling non
paramétrique (10000 échantillons)
17
Monte Carlo (1000000 échantillons)
Niveau : 0.95, 0.99, 0.999, 0.99999
J. Morio and R. Pastel, Plug-in estimation of d-dimensional density minimum volume set of a rare event in a complex system, Proceedings
of the IMechE, Part O, Journal of Risk and Reliability, 2012, 226, 3, 347-345
Plan
•
Synthèse sur les méthodes d'estimation d'évènements
rares
•
Quelques développements réalisés à l'Onera
JSO Evènements rares 15/11/2012
•
•
•
18
Estimations de courbes de niveaux de probabilités faibles
Réglage d'estimateur d'importance splitting (avec J. Marzat)
Analyse de la sensibilité des paramètres des densités des entrées d'un
code de calcul sur la probabilité d'un évènement rare
Principe du splitting
PDF
Échantillons
S
y
JSO Evènements rares 15/11/2012
Seuil S trop difficile à atteindre en une seule fois
19
Principe du splitting
PDF
Échantillons
S1
S
JSO Evènements rares 15/11/2012
y
20
On va considérer un seuil S1<S plus facile à atteindre par
les échantillons
Importance Splitting
- Duplication des échantillons qui ont passé le seuil S1 pour conserver N
constant (doublons) : perte de diversité et corrélation
- Agitation des échantillons par un noyau markovien réversible pour explorer
l’espace et ajouter de l'indépendance sans changer la densité des échantillons
(algorithme de Metropolis-Hastings ; expression analytique pour certaines
densités usuelles comme les gaussiennes)
PDF
S1
S
JSO Evènements rares 15/11/2012
y
21
On peut donc estimer la probabilité P1 :
P1=P(Y>S1)
Principe du splitting
On va considérer un nouveau seuil S2
PDF
S1
S2
S
JSO Evènements rares 15/11/2012
y
22
Estimation de P2 puis on régénère et mute à nouveau les
échantillons
P1=P(Y>S1)
P2=P(Y>S2|Y>S1)
Principe du splitting
De façon répétitive, on définit les seuils S3 et S4
PDF
S1
S3
S
JSO Evènements rares 15/11/2012
y
P1=P(Y>S1)
P2=P(Y>S2|Y>S1)
S2
P3=P(Y>S3|Y>S2)
P4=P(Y>S|Y>S3)
P(Y > S) = P1 x P2 x P3 x P4
La meilleure estimation est réalisée lorsque P1=P2=P3=P4…
23
1) Réglage de l’estimateur Splitting
Paramètres à fixer avant d'utiliser les techniques de splitting :
Le quantile β définissant les seuils S1, S2,…
La taille de la population de particules N
La force α d'agitation du noyau
JSO Evènements rares 15/11/2012
-
24
Le nombre d'application du noyau Napp
Comment trouver des réglages « optimaux »,
minimisant l'erreur relative d'estimation de la probabilité
donnée par le splitting ?
1) Réglage de l’estimateur Splitting
JSO Evènements rares 15/11/2012
Détermination automatique et optimale des paramètres de réglage de
l’estimateur
o
Détermination d’un modèle de substitution (krigeage) représentatif du
comportement de l’estimateur
o
Optimisation globale des paramètres de réglage en utilisant et
raffinant ce modèle de substitution (optimisation du progrès espéré –
algorithme « Efficient Global Optimization »)
25
1) Réglage de l’estimateur Splitting
JSO Evènements rares 15/11/2012
Réalisation d’une « campagne d’essais » sur une série représentative
de fonctions test
26
•
Fonction « Ackley »
dimension 2
•
Fonction « Ackley »
multimodale, dimension 4
•
Fonction « Rayleigh »
multimodale, dimension 15
1) Réglage de l’estimateur Splitting
JSO Evènements rares 15/11/2012
Détermination d’ensembles de réglages « optimaux »
27
1) Réglage de l’estimateur Splitting
JSO Evènements rares 15/11/2012
Test de ces réglages sur un cas de retombée d’étage
28
M. Balesdent, J. Morio, J. Marzat, Recommendations for the tuning of rare event probability
estimators, soumis à Reliability engineering and System Safety
Plan
•
Synthèse sur les méthodes d'estimation d'évènements
rares
•
Quelques développements réalisés à l'Onera
JSO Evènements rares 15/11/2012
•
•
•
29
Estimations de courbes de niveaux de probabilités faibles
Réglage d'estimateur d'importance splitting (avec J. Marzat)
Analyse de la sensibilité des paramètres des densités des entrées d'un
code de calcul sur la probabilité d'un évènement rare
Analyse de sensibilité
Code de calcul Φ
Boîte noire Φ
Aléatoires de PDF
Paramétrisée par
JSO Evènements rares 15/11/2012
Supposés indépendants et
aléatoires (uniformes ou
Gaussien)
30
Estimation de la probabilité de
dépassement du seuil S par Y
Erreur sur les paramètres des PDF en entrées du code
de calcul rarement prise en compte dans les modèles
J. Morio, « Influence of input PDF parameters of a model on a failure probability estimation », Simulation Modelling Practice and
Theory, 19, 10, 2011, 2244-2255
Analyse de sensibilité
La densité de Y dépend la valeur des paramètres de δi
JSO Evènements rares 15/11/2012
Exemple de densités Y sur le code de retombée
Quelle est l'influence des paramètres δi sur l'estimation de
P(Y>S) ?
31
Analyse de sensibilité
Les échantillons "utiles" pour estimer P(Y>S) le sont
pour tout δi car le code Φ est déterministe.
Par importance sampling,
JSO Evènements rares 15/11/2012
Où les échantillons Xi sont générés selon la
densité optimale des paramètres moyens δi
(Condition sur la variation de la probabilité en fonction de δi pour que l'estimée soit correcte)
Analyse de l'influence des δi sur
32
J. Morio, « Influence of input PDF parameters of a model on a failure probability estimation », Simulation Modelling Practice and
Theory, 19, 10, 2011, 2244-2255
Analyse de sensibilité
Utilisation des indices de Sobol :
Pas de problème de temps de calcul pour l'estimation
d'indice de Sobol car relation analytique entre δi et probabilité
JSO Evènements rares 15/11/2012
Exemple de résultats sur l'estimation de P(Y>5)
33
Paramètre
Indice de Sobol total
δ1
0.22
δ2
0.13
δ3
0.42
δ4
δ5
δ6
0.07
0.38
0.08
Monte Carlo 50000 échantillons
JSO Evènements rares 15/11/2012
Merci de votre attention.
Questions ?
34