Estimation des paramètres

IFT6085-H2014: Modèles Graphiques Probabilistes 03 - Estimation des paramètres
IFT6085-H2014: Modèles Graphiques Probabilistes
Prof:
Aaron Courville
Email:
[email protected]
Office:
3253 Pav. Andre Aisenstadt
Estimation des paramètres
1

IFT6085-H2014: Modèles Graphiques Probabilistes 03 - Estimation des paramètres
Estimation des paramètres - L'idée
•Le but de la théorie de l'estimation est d'arriver à un estimateur.
-Approche statistique standard prend les données mesurées comme aléatoire
avec une distribution de probabilité dépend d'un ensemble de paramètres.
-L'estimateur prend les données mesurées comme entrée et produit une
estimation des paramètres avec une certaine précision.
2

IFT6085-H2014: Modèles Graphiques Probabilistes 03 - Estimation des paramètres
Le fonction de vraisemblance
•Considère que nous avons
1. Un modèle paramétré par θ:
2. Un ensemble de données {x1,x2,...,xn}
•Probabilité (densité) de l'ensemble de données:
-Spécification de la distribution conjointe des données:
-données indépendantes et identiquement distribuées:
•Vraisemblance:
-Examine la fonction p(x1, x2,..., xn; θ) à partir d'un point de vue différent en
considérant les valeurs observées x1, x2,..., xn comme des paramètres fixes, alors
que θ est la variable de la fonction.
-Souvent pratique d'utiliser le log vraisemblance:
3
PΘ={p(x;θ)|θ∈Θ}
L:Θ→R+
p(x1,x
2,...,x n;θ)
p(x1,x
2,...,x n;θ)=
n
!
i=1
p(xi;θ)
L(θ|x1,x
2,...,x n)=
n
!
i=1
p(xi;θ)
(associe l'espace des paramètres à + ve réels)
ln L(θ|x1,...,x
n)=
n
!
i=1
ln p(xi;θ)

IFT6085-H2014: Modèles Graphiques Probabilistes 03 - Estimation des paramètres
Principe du maximum de vraisemblance
•Estimateur du maximum de vraisemblance:
-Pour le cas de donné i.i.d.:
-Comment pouvons-nous trouver le maximum
de vraisemblance
‣nous pouvons suivre le gradient (monter la pente)
‣nous pouvons trouver θ qui résout l'équation:
4
ˆ
θML = argmax
θ∈Θ
p(x1,...,x
n;θ)
Sir Ronald Fisher
(1890-1962)
ˆ
θML = argmax
θ∈Θ
n
!
i=1
p(xi;θ) = argmax
θ∈Θ
n
"
i=1
ln p(xi;θ)
∂
∂θ ln L(θ|x1,...,x
n)=0

IFT6085-H2014: Modèles Graphiques Probabilistes 03 - Estimation des paramètres
Maximum de vraisemblance exemple: loi de Bernoulli
•Bernoulli distribution:
-X est un v.a. binaire:
-The model parameter:
-The Bernoulli p.m.f(x):
5
∂
∂θ ln L(θ|x1,...,x
n)=0
∂
∂p
n
�
i=1
ln f(xi;p)=0
∂
∂p
n
�
i=1
ln pxi(1 −p)1−xi=0
∂
∂p
n
�
i=1
xiln p−(1 −xi) ln(1 −p)=0
n
�
i=1
xi
p
−
1−xi
1−p=0
n
�
i=1
xi(1 −p)=
n
�
i=1
p(1 −xi)
n
�
i=1
xi−pxi=
n
�
i=1
p−pxi
n
�
i=1
xi=p
n
�
i=1
1
p=1
n
n
�
i=1
x1
X∼Bernoulli(p)
f(x;p)=px(1 −p)1−x
x∈{0,1}
θ=p∈Θ=[0,1]