La méthode l`entropie croisée

République Algérienne Démocratique et Populaire
Université des Sciences et de la Technologie d’Oran
Mohamed Boudiaf (USTO)
Module : optimisation avancée
12
Présentation de :
La méthode l'entropie croisée
MASTER 2 : Option RFIA
Présenté par : HENNI Farid
Enseigné par : Mr Benyettou
Mohamed.

1. Introduction
2. Définition et Historique
3. Principe
4. L’organigramme de l’algorithme EC
5. Algorithme
6. Exemple simple
7. Avantage et Inconvénient
8. Conclusion
9. Bibliographie

1. Introduction (les problèmes difficiles)
Une métaheuristique est un algorithme d’optimisation visant à résoudre des problèmes
d’optimisation difficile, on distingue en réalité deux types de problèmes d’optimisation les
problèmes discret ou combinatoire et les problèmes à variables contenues.
Pour fixer les idées, citons deux exemples :
Parmi les problèmes discrets, on trouve le célèbre problème de voyageur de commerce il
s’agit de minimiser la longueur de la tournée d’un voyageur de commerce qui doit visiter un
certain nombre de villes, avant de retourner à la ville de départ.
Un exemple classique de problème continu est celui de la recherche des valeurs à affecter
aux paramètres d’un modèle numérique de processus, pour que ce modèle reproduise au
mieux le comportement réel observé.
En pratique on rencontre aussi des problèmes mixtes, qui comportent à la fois des variables
discrètes et des variables continues.
La méthode l'entropie croisée utilisée pour résoudre les problèmes difficiles.
2. Définition et historique
La méthode de l'entropie-croisée (CE) (Reuven Rubinstein 1997) est une méthode générale
d'optimisation de type Monte-Carlo, pour l'optimisation combinatoire et continue.
La méthode a été conçue à l'origine pour la simulation d'événements rares, où des densités
de probabilités très faibles doivent être estimées correctement, par exemple dans l'analyse
de la sécurité des réseaux, les modèles de file d'attente, ou l'analyse des performances des
systèmes de télécommunication.
La méthode CE peut être appliquée à tout problème d'optimisation combinatoire où les
observations sont bruitées comme le problème du voyageur de commerce, l'optimisation
quadratique, le problème d'alignement de séquences d'ADN, le problème de la coupure
maximale et les problèmes d'allocation de mémoire.
3. Principe
La méthode CE implique un processus itératif où chaque itération peut être décomposée en
deux phases :
1. Génération aléatoire d'un échantillon d'information (trajectoires, vecteurs,
etc.) selon un mécanisme bien déterminé.
2. Mise à jour de paramètres de la génération aléatoire. Cette phase implique la
minimisation selon le principe d'entropie croisée ou la divergence de Kullback
Leiber.

3. L’organigramme de l’algorithme EC
La figure 1 décrit l'algorithme CE pour l'optimisation
Figure 1 : l’Organigramme de l’algorithme EC
Initialiser une loi de probabilité
représentative du problème
Tirer un échantillon de valeurs
suivant cette loi
Evaluer les valeurs tirées
Sélectionner les meilleurs
Déformer la loi de probabilité en
fonction de meilleures valeurs
Répéter jusqu'à convergence

4. Algorithme
La méthode d’entropie croisée est un algorithme stochastique itératif qui cherche à résoudre un
Problème d’optimisation de la forme :
∗
= arg max S( )
Entrées:
(μ
0
,σ
0
) : moyenne et écart-type initiaux de la distribution des paramètres
evaluer () : une fonction qui estime la fonction à optimiser S pour un certain vecteur ϴ
P : la fraction de vecteurs sélectionnés
Zt : le bruit ajouté à chaque itération
N : le nombre de vecteurs générés à chaque itération
Sorties : paramètres optimisés = μ
T
Répéter :
Générer N vecteurs 
1 , 2
. . .
N
selon N(μ
,
σ
2
)
Evaluer chaque vecteur à l’aide de la fonction évaluer ()
Sélectionner les ⌊p × N⌋ vecteurs ayant reçu les meilleures évaluations
μ ← (moyenne des vecteurs sélectionnés)
σ
2
← (variance des vecteurs sélectionnés) +Zt
Fin