Partitionnement par recuit simulé

Partitionnement par recuit simul´e∗
Eduardo Piza–Volio†Javier Trejos–Zelaya‡
Programa de Investigaci´on en Modelos y An´alisis de Datos (PIMAD)
Escuela de Matem´atica
Universidad de Costa Rica
2060 San Jos´e, Costa Rica
Tel.: [phone], Fax.: [phone]
Abstract
On propose un nouvel algorithme de classification automatique du type partitionnement, qui utilise
la technique du recuit simul´e. Cette technique se caract´erise par la recherche des optima globaux, `a
l’oppos´e des m´ethodes traditionnelles de classification qui recherchent de optima locaux. La m´ethode
est bas´ee sur l’algorithme de transferts de R´egnier, quoique ce dernier est plutˆot deterministe; par
contre, notre algorithme est du type stochastique.
Mots–cl´es: classification automatique, inertie intra–classes, programme de recuit, optimisation stochas-
tique.
1 Introduction
Dans une autre communication [11], nous examinons les raisons d’´etudier les m´ethodes d’optimisation
dites stochastiques pour r´esoudre le probl`eme de la recherche d’une partition P=(C1,C
2,...,C k) d’un
ensemble Ω = {1,2,...,n}en kclasses. Il est facile de montrer [4] que la maximisation de l’inertie
inter–classes B, qui est utilis´ee dans [11], est ´equivalente `a la minimisation de l’inertie intra–classes:
W(P)=
k
X
`=1
X
i∈C`
pid2(xi,g
`)
o`ug`=1
µ`Pxi∈C`pixiest le centre de gravit´e de la classe C`,µ`le poids de la classe C`,xiles donn´ees
observ´ees pour l’individu i,piest le poids de l’individu iet dest une distance euclidienne. Ce sera ce
dernier crit`ere que l’on utilisera ici.
2 La technique du recuit simul´e
Le recuit simul´e a ´et´e formul´e originalement par Kirkpatrick, Gelat & Vecchi [5] en 1983, et de fa¸con
ind´ependante par ˘ Cerny en 1985. Le but de la m´ethode est de trouver les optima globaux des probl`emes
d’optimisation combinatoire.
Cette m´ethode simule num´eriquement le processus physique appel´e de recuit, qui d´ecrit l’´evolution
d’un syst`eme physique d’un ´etat d´esordonn´e vers un ´etat ordonn´e: au d´ebut, on rechauffe le mat´eriau
pour le porter `a l’´etat liquide; apr`es, on le refroidit on diminuant lentement la temp´erature, jusqu’`a
obtenir un ´etat solide tr`es stable. La m´ethode du recuit simul´e est bas´ee sur un r´esultat de la mecanique
statistique, qui ´etablit que, pour une temp´erature T, l’´equilibre thermique du syst`eme est atteint si la
∗Recherche partiellement financ´ee par l’Universit´e du Costa Rica et le Conseil National pour les Recherches Scientifiques
et Technologiques (CONICIT).
†e-mail:[email protected]
‡e-mail: [email protected]

probabilit´e d’ˆetre dans un ´etat avec une ´energie de E, est proportionnelle `a exp(−E/κBT), o`u κBest la
constante de Boltzmann.
Pour simuler l’´evolution du syst`eme physique, Metropolis et al. ont introduit le principe suivant, connu
sous le nom de r`egle d’acceptation de Metropolis: “`a partir d’une configuration du syst`eme, on fait une
modification ´el´ementaire de celui-ci. Alors, si l’´energie du syst`eme diminue, on accepte la modification; ou
bien, si l’´energie augmente en ∆E, la modification peut ˆetre accept´ee avec une probabilit´e exp(−∆E/T),
o`uTest la temp´erature du syst`eme en ce moment”.
Dans un probl`eme d’optimisation stochastique it´erative, le recuit simul´e utilise le principe pr´ec´edent.
On introduit un param`etre de contrˆole c∈IR +qui joue le rˆole de la temp´erature du syst`eme physique.
Ce param`etre permettra de conditionner le nombre des ´etats qu’on peut acc´eder `a partir de chaque
´etat, de mˆeme que la probabilit´e d’acc´eder `a chacun d’entre eux. L’´etat optimal sera alors atteint si la
valeur de cest diminu´ee lentement et de fa¸con bien contrˆol´ee. On montre que le recuit simul´e trouve,
asymptotiquement, un optimum global de la fonction f`a optimiser [1, 7].
Initialement, le param`etre cde contrˆole a une grande valeur et on g´en`ere une suite d’´etats du probl`eme:
´etant donn´e un ´etat, on g´en`ere le suivant, qui peut ˆetre accept´e suivant la r`egle d’aceptation de Metropolis.
Le param`etre de contrˆole est diminu´e par niveaux, g´en´erant ainsi une suite d’´etats qui permetront au
syst`eme de s’approcher `a l’´equilibre de ce niveau. L’algorithme s’arrˆete pour une petite valeur de c
telle que pratiquement aucune nouvelle g´en´eration n’est accept´ee. On retient alors comme solution du
probl`eme trait´e, l’´etat qui optimise fparmi les ´etats de la succession g´en´er´ee.
3 Description de l’algorithme propos´e
L’algorithme commence par le choix au hasard d’une partition Pde Ω en kclasses. A partir de cette
partition, on commence `a it´erer pour les diff´erentes valeurs du param`etre de contrˆole c. Pour obtenir une
nouvelle partition P0, on suit un sch´ema transferts al´eatoires, par opposition `a la m´ethode de transferts
de R´egnier [8], qui est compl´etement d´eterministe:
1. On choisit al´eatoirement un individu x∈Ω.
2. On choisit al´eatoirement un indice `∈{1,...,k}.
3. On introduit xdans la classe C`.
Remarque: Suivant cette proc´edure de g´en´eration de nouvelles partitions, une classe peut se vider. Dans
ce cas, on conserve quand mˆeme l’indice de classe, car dans un pas post´erieur la classe peut de nouveau
avoir des ´el´ements. De toutes fa¸cons, on sait [7] que la partition optimale doit avoir exactement kclasses
(la partition optimale en kclasses poss`ede une inertie Winf´erieure ou ´egale `a la partition optimale en
k−1 classes).
Ce m´ecanisme de g´en´eration poss`ede les caract´eristiques suivantes:
•Il y a une r´eversibilit´e entre les partitions: en effet, si on passe de la partition P`a la partition ˜ Pen
un nombre fini de pas, il est alors possible de retourner sur la partition Pen faisant les transferts
inverses.
•Il y a une connexit´e: en effet, ´etant donn´e deux partitions quelconques Pet P0de Ω en kclasses,
on peut passer de P`a P0dans un nombre fini de g´en´erations al´eatoires d’individus et d’indices, par
des simples transferts d’individus.
•Le voisinage SPde la partition Pest form´e par toutes les partitions obtenues par une modification
de P, d´efinie par le transfert d’un seul objet x∈Ω. Vu que pour chaque x∈Ωilyak−1 transferts
possibles, et qu’il y a n´el´ements dans Ω, alors le cardinal de SPest |SP|=n(k−1).
Par ce qui pr´ec`ede, il est ´evident que la probabilit´e de g´en´erer l’´etat i0=P0`a partir de l’´etat i=P
est Gii0=1
n(k−1) , qui ne d´epend pas de l’´etat sp´ecifique du syst`eme `a ce moment. Ces conditions sont
importantes parce qu’elles sont suffisantes pour montrer que, th´eoriquement, le recuit simul´e converge
asymptotiquement vers un minimum global de la fonction objectif W(P) [1].

3.1 Programme de recuit utilis´e
Dans toute impl´ementation du recuit simul´e, on doit d´efinir avec toute pr´ecision quatre aspects, appel´es
le programme de recuit:
(i) Valeur initiale du param`etre de contrˆole c0: nous utilisons l’approche traditionnelle de Kirkpatrick
et al., qui consiste `a estimer c0`a partir d’un certain nombre de tirages `a blanc. Alors, c0:=
∆W+/ln(χ−1
0), o`u ∆W+est la moyenne des changements dans Wpour des partitions qui font
augmenter l’inertie, et χ0est un taux initial d’acceptation, donn´e par l’utilisateur, pour les partitions
qui font augmenter W. Ce calcul se fait de fa¸con adaptative. Ainsi, on garantit qu’au d´ebut de
l’algorithme la r`egle de Metropolis acceptera en moyenne 100χ0% des partitions qui font augmenter
l’inertie [1]. Nous avons utilis´e avec succ`es la valeur de χ0=0.8.
(ii) M´ethode de refroidissement: on calcule le param`etre de contrˆole ct+1 d’un niveau `a partir du
pr´ec´edent par: ct+1 := λ·ct,o`uλ∈[0.85,0.97]. Dans nos exemples, la valeur λ=0.9 a donn´e de
bons r´esultats.
(iii) Longueur des chaˆınes d’it´erations: Nous utilisons avec succ`es le valeur min{20000,100n(k−1)}.
Cependant, les it´erations s’arrˆetent pour une chaˆıne si on a accept´e min{500,10n(k−1)}partitions
qui font augmenter W.
(iv) Crit`ere d’arrˆet: Nous utilisons un nombre maximal de 150 it´erations de la valeur du param`etre
de contrˆole ct, mais l’algorithme s’interrompt si dans les mderni`eres chaˆınes, on n’a pas accept´e
aucune nouvelle partition suivant la r`egle de Metropolis. Dans nos impl´ementations, nous utilisons
m=4.
3.2 Quelques propri´et´es simplificatrices
Pour l’impl´ementation, il est important de simplifier le calcul de la variation∆Wde Wlors du transfert
d’un individu xide la classe Cjvers la classe C`. Cette variation est [7]:
∆W=µ`·pi
µ`+pi
d2(g`,x
i)−µj·pi
µj−pi
d2(gj,x
i).
De mˆeme, nous avons des expressions qui simplifient le calcul de l’inertie de la classe Cjet de la classe
C`si le transfert est accept´e, ainsi que le calcul des centres de gravit´e de ces classes modifi´ees.
4 R´esultats num´eriques
Nous avons appliqu´e l’algorithme de partitionnement propos´e sur divers tableaux de donn´ees. On montre
ici les r´esultats sur le tableau de notes scolaires [9], qui contient les notes de 9 ´el`eves en cinq mati`eres.
Le tableau de donn´ees est montr´e dans le tableau 1.
Maths Sciences Fran¸cais Latin Gym
Jean 6 6 5 5.5 8
Alain 88 889
Anne 6 7 11 9.5 11
Monique 14.5 14.5 15.5 15 8
Didier 14 14 12 12.5 10
Andr´e 11 10 5.5 7 13
Pierre 5.5 7 14 11.5 10
Brigitte 13 12.5 8.5 9.5 12
Evelyne 9 9.5 12.5 12 18
Tableau 1: Tableau des notes scolaires
L’algorithme a ´et´e appliqu´e afin d’obtenir 2, 3 et 4 classes. En moins de 10 secondes on a obtenu les
r´esultats montr´es dans la tableau 2, qui coincident avec les resultats optimaux globaux, bien connus pour
ce tableau de donn´ees. Ces r´esultats sont les mˆemes que ceux obtenus pour l’algorithme g´en´etique [11] et
la recherche tabou[6], et ils sont sup´erieurs `a ceux obtenus par la m´ethode de nu´ees dynamiques (recherche
d’une partition en 2, 3 et 4 classes, selon le cas, qui sont repr´esent´ees par leur centre de gravit´e, on faisant
une initialisation al´eatoire des noyaux) et la classification hi´erarchique suivant le crit`ere de Ward (coupure

Centres de gravit´e
# classes classes Math Sci Fra Lat Gym
2 classes {Jean, Alain, Andr´e, Anne, Pierre}7.30 7.60 8.70 8.30 10.20
W = 28.19 {Evelyne, Brigitte, Didier, Monique}12.63 12.63 12.13 12.25 12.00
3 classes {Jean, Alain, Andr´e}8.33 8.00 6.17 6.83 10.00
W = 16.81 {Anne, Pierre, Evelyne}6.83 7.83 12.50 11.00 13.00
{Brigitte, Didier, Monique}13.83 13.67 12.00 12.33 10.00
4 classes {Jean, Alain}7.00 7.00 6.50 6.75 8.50
W = 10.47 {Anne, Pierre, Evelyne}6.83 7.83 12.50 11.00 13.00
{Andr´e, Brigitte}12.00 11.25 7.00 8.25 12.50
{Didier, Monique}14.25 14.25 13.75 13.75 9.00
Tableau 2: Partitions en 2, 3 et 4 classes – Tableau des notes scolaires
de l’arbre hi´erarchique au niveau o`u on trouve 2, 3 ou 4 classes, selon le cas). On peut voir ces r´esultats
comparatifs dans [11].
Les r´esultats de l’algorithme sur deux autres exemples, les poissons d’Amiard et la sociomatrice de
Thomas (voir [2]), sont montr´es dans le tableau 3.
Poissons d’Amiard Sociomatrice de Thomas
# classes RS RT AG MND CAH RS RT AG MND CAH
3 classes 32213 32213 32213 32213 33149 271.83 271.83 272.98 271.83 279.33
4 classes 18281 18281 22456 28058 19589 235.03 235.03 250.76 241.00 239.37
5 classes 14497 14497 20474 14497 14497 202.58 202.35 223.78 202.23 204.67
Tableau 3: R´esultats de Wpour le recuit simul´e (RS), la recherche tabou (RT), l’algorithme g´en´etique
(AG), la m´ethode des nu´ees dynamiques (MND) et la classification hi´erarchique selon Ward (CAH)
On peut voir que les r´esultats sont les mˆemes pour le recuit simul´e et pour la recherche tabou, et que
ceux–ci sont sup´erieurs `a ceux de l’algorithme g´en´etique. Cependant, sur le tableau des Iris de Fisher,
on obtient des r´esultats sup´erieures pour le recuit simul´e par rapport `a la recherche tabou.
5 Conclusions
Nous avons d´evelopp´e un algorithme de classification automatique par partitions, en utilisant la technique
du recuit simul´e. On a obtenu de tr`es bons r´esultats sur plusieurs tableaux de donn´ees; ces r´esultats sont
comparables ou sup´erieurs en temps et en qualit´e avec ceux obtenus par les m´ethodes classiques.
Notre algorithme cherche des partitions sous–optimales tr`es proches de la partition optimale globale,
dans un temps et un espace de taille polynomiale. Jusqu’`a pr´esent, nous n’avons pas trouv´e un ensemble
de donn´ees tel que les m´ethodes traditionnelles trouvent de meilleurs r´esultats que notre algorithme.
D’autre part, les r´esultats obtenus avec le recuit simul´e sont meilleurs ou ´egaux `a ceux obtenus avec
un algorithme g´en´etique [11] ou la recherche tabou [6].
R´ef´erences
[1] Aarts, E.; Korst, J. (1990) Simulated Annealing and Boltzmann Machines. John Wiley & Sons, Chichester.
[2] Cailliez, F.; Pag`es, J.P. (1976) Introduction `a l’Analyse des Donn´ees. SMASH, Paris.
[3] Celeux, G.; Govaert, G. (1991) “A classification EM algorithm for clustering and two stochastic versions”, Rapport de
Recherche No. 1364, INRIA-Rocquencourt, Le Chesnay.
[4] Diday, E.; Lemaire, J.; Pouget, J.; Testu, F. (1982) El´ements d’Analyse de Donn´ees. Dunod, Paris.
[5] Kirkpatrick, S.; Gelatt, D.; Vecchi, M.P. (1983) “Optimization by simulated annealing”, Science 220, 671-680.
[6] Murillo, A.; Trejos, J. (1996) “Classification tabou bas´ee en transferts”, communication propos´ee aux IV Journ´ees de
la Soci´et´e Francophone de Classification, Vannes.
[7] Piza, E.; Trejos, J.; Murillo, A. (1994–1996) Clasificaci´on Autom´atica: Particiones Utilizando Algoritmos Gen´eticos
y de Sobrecalentamiento Simulado. Informes de Investigaci´on PI-114-94-228, Universidad de Costa Rica, San Pedro.
[8] R´egnier, S. (1965) “Sur quelques aspects math´ematiques des probl`emes de la classification automatique”, I.C.C. Bull.,
Vol. 4, pp. 175–191.
[9] Schektman, Y. (1988) Analyse et Traitement Informatique de Donn´ees. Cours de D.E.A., Universit´e Paul Sabatier.

[10] Siarry, P.; Dreyfus, G. (1988) La M´ethode du Recuit Simul´e. IDSET, Paris.
[11] Trejos, J. (1996) “Un algorithme g´en´etique de partitionnement”, communication propos´ee aux IV Journ´ees de la
Soci´et´e Francophone de Classification, Vannes.