Théorie de l`information et du codage Apprentissage de structure

le-logo
Théorie de l’information et du codage
Apprentissage de structure : travail
François Schnitzler
[email protected]
François Schnitzler (ULG) Travail : Diagnostic médical 3 8 novembre 2012 1 / 11

le-logo
L’utilisation d’un réseau bayésien fait appel à plusieurs
algorithmes.
Etant donné :
IUn ensemble X={X1,...,Xn}de variables aléatoires
discrètes
IDes données Di.i.d. hors d’une distribution P(X)
IUn espace de modèles graphiques M=SS∈S {P(X|S, θ)}
Les algorithmes suivants sont nécessaires :
IIdentification de la structure optimale S∗
IApprentissage des ensembles de paramètres optimaux θ∗for
S∗
IInférence sur une nouvelle réalisation de la loi P(X), à partir
de la structure S∗et des paramètres θ∗
François Schnitzler (ULG) Travail : Diagnostic médical 3 8 novembre 2012 2 / 11

le-logo
Arbre
Un arbre est :
une structure sans cycle,
où chaque variable a maximum un parent.
L’orientation des arcs n’a pas d’importance, car il n’y a pas de
v-structure.
François Schnitzler (ULG) Travail : Diagnostic médical 3 8 novembre 2012 3 / 11

le-logo
Il est possible d’apprendre le réseau bayésien en
forme d’arbre qui approxime le mieux P(X).
Comment faire ?
Pour une structure donnée, quels sont les paramètres qui
approximent le mieux P(X)?
Parmis toutes les structures, laquelle permet de se reprocher le
plus de P(X)?
L’apprentissage des paramètres est simple :
Chacune des distributions conditionnelles présente dans l’arbre doit
être identique à celle observée dans la distribution initiale :
Parbre(Xi|Xj) = P(Xi|Xj)
∀Xi,Xj:Xjest le parent de Xidans l’arbre.
François Schnitzler (ULG) Travail : Diagnostic médical 3 8 novembre 2012 4 / 11

le-logo
Il est possible d’apprendre le réseau bayésien en
forme d’arbre qui approxime le mieux P(X).
Comment faire ?
Algorithme efficace :
1calcul des informations mutuelles 1 à 1
2construction d’un arbre de recouvrement de poids maximal
(MWST)
3(orientation des arcs)
4paramétrisation
L’orientation des arcs est facultative.
François Schnitzler (ULG) Travail : Diagnostic médical 3 8 novembre 2012 4 / 11