L`estimation ponctuelle Références : Lecoutre, chap. VII, §1, 2, 3

publicité
Chapitre IV : L’estimation ponctuelle
Références : Lecoutre, chap. VII, §1, 2, 3 (p. 193-206) ;
Tassi, Chap. 5, 6, 8 ;
cours de Pradel (sur le site de Gwenn
Parent)
1. Définition d’un estimateur
Observations (x1,…, xn) →loi de probabilité P :
Discrète :
P(x1,…, xn ; θ)=Pθ(X1=x1) Pθ(X2=x2) … Pθ(Xn=xn)
Continue :
f(x1,…, xn ; θ)=f(x1; θ) f(x2; θ) … f(xn; θ)
Non-paramétrique : toutes lois possibles
Paramétrique : (Pθ, θ Θ), généralement Θ dans R
Donc fonction Tn : (x1,…, xn) → θ
Estimation ponctuelle : une valeur de θ.
Estimation par intervalle : plusieurs valeurs dans un
intervalle (fourchette pour le paramètre).
Exemples : * fréquence empirique d’anticipation d’une
inflation plus élevée ; de popularité d’un président ;
• Nombre moyen de ménages endetté ; nombre
moyen de pannes.
Remarque :
* Estimateur est une v.a.
Estimation est un nombre certain
*L’estimateur peut être de dimension k>1 : θ=(m, σ)
pour une loi normale.
2. Qu’est-ce qu’un bon estimateur ?
a) Estimateur sans biais : Eθ(Tn) = θ qui est la « valeur
vraie » du paramètre.
Estimateur asymptotiquement sans biais : pour
tout θ de Θ, Eθ(Tn) → θ quand n →∞
Exemples :
* Soit à estimer θ = E(X). La moyenne empirique
n est un estimateur sans biais de la moyenne
théorique : Eθ( n)=E(X)= θ, quelle que soit la loi de
probabilité de la v.a.X.
*Estimons la variance de X : θ=V(X). L’estimateur
« naturel » est la variance empirique Sn2 = 1/N∑(Xi2
n) mais on sait qu’elle est biaisée : Eθ(Sn)=[(n-1)/n] θ.
Par contre, cette formule montre qu’elle est
asymptotiquement non biaisée puisque (n-1)/n →1
quand n tend vers l’infini.
b) Estimateur convergent :
L’estimateur Tn est convergent s’il converge en
probabilité vers la valeur vraie du paramètre θ :
Pour tout ε >0, Probθ{| Tn - θ |<ε} → 1 quand n→∞
Remarques : (i) Eθ(Tn) = θ et Vθ(Tn) → 0 => Tn→ θ en
probabilité quand n→∞.
(ii) idem pour un estimateur
asymptotiquement sans biais :
Eθ(Tn) → θ et Vθ(Tn) = 0 => Tn→ θ en probabilité
quand n→∞.
Exemple : θ = E(X) est estimé sans biais par la moyenne
empirique n. Par ailleurs, Vθ(Tn) = V(X)/n → 0 quand
n→∞. Donc l’estimateur Tn= n est convergent quelle
que soit la loi de X.
c) Variance d’un estimateur : θ dépend de
l’échantillonnage des observations, donc est une
v.a. dont la dispersion est mesurée par sa variance.
L’estimateur est d’autant plus précis qu’elle est
faible.
3. Estimateur optimal :
Erreur quadratique moyenne :
Eθ(Tn – θ)2= Eθ{(Tn – Eθ(Tn))+(Eθ(Tn) - θ)}2
= V θ(Tn)+[ Eθ(Tn) – θ]2
car le terme croisé = 2 Eθ{(Tn – Eθ(Tn))+(Eθ(Tn) - θ)}
= 2 {( Eθ(Tn) - Eθ(Tn))+(Eθ(Tn) - θ)} = 0
[(Eθ(Tn) - θ)]2=erreur structurelle mesurant le biais
de l’estimateur
Définition : L’estimateur T’n est plus efficace que Tn s’il
a une variance plus faible.
Question : Y a-t-il une borne inférieure à ces
variances ? Dans ce cas, on pourrait mesurer le degré
d’efficacité des estimateurs et savoir si un estimateur est
optimal (dans le cas où sa variance est égale à la
variance minimale).
Quantité d’information (de Fisher) contenue dans
l’échantillon :
In(θ) = Eθ{
} = Eθ{(
= V{
) 2}
}
Inégalité de Frechet-Cramer-Rao : Sous réserve de
certaines conditions mathématiques (régularité de la
fonction de vraisemblance ; en particulier pas de loi
uniforme),
Il existe une borne inférieure pour l’ensemble des
variances des estimateurs sans biais :
Vθ(Tn) ≥
avec In(θ) la quantité d’information de Fisher.
Définition : Un estimateur est efficace si sa variance est
égale à
.
Exemple de calcul de la quantité d’information :
Loi exponentielle (Lacoutre p. 201-202)
f(x, θ)= e-x/θ
(i) Vraisemblance : L(x1,…, xn;θ) = ∏i
f(xi; θ)
= ( )n exp(-
i)
(ii)Log-Vraisemblance : lnL(x1,…, xn;θ) = -n lnθ +
i
(iii)Dérivation par rapport au paramètre θ :
=-
(
) 2=
(iv) Eθ(
avec Sn=
i
{n2-2
)2 =
2
i) }
I+
{n2-2
n)
+
n)
i
(v) Eθ(Sn) = n Eθ(X) = nθ
Eθ(Sn2) = Vθ(Sn) + Eθ2(Sn) = n Vθ(X) + n2θ2 =
n(n+1) θ2
(vi) soit In(θ) = n/θ2
(vi) Autre calcul par
= n/θ2 - 2/θ3
n
2
}
soit In(θ) = Eθ(-
) = - n/θ2 + 2n θ/θ3 = n/θ2
Exemple d’estimateur efficace :
(i) Loi exponentielle de paramètre 1/θ: Eθ(X) = θ.
(ii)Tn = moyenne empirique des X =
i est un
estimateur sans biais et convergent de Eθ(X).
(iii) Vθ(Tn) = Vθ(X)/n = θ2/n = 1/In(θ) donc Tn est un
estimateur efficace.
4. Méthode du Maximum de vraisemblance
Vraisemblance : L(x1,…, xn ; θ) = proba d’observer
(x1,…, xn) pour une valeur fixée de θ.
Dans le cas d’échantillons iid :
L(x1,…, xn;θ) = ∏i P(X i=x i|θ) = ∏i f(xi; θ) pour
une v.a. X continue de densité f(xi; θ).
On cherche le n qui maximise la vraisemblance
pour les observations (x1,…, xn) :
L(x1,…, xn ; n)=Maxθ L(x1,…, xn ; θ)
Cas usuel : L dérivable au second ordre :
l’optimum est défini par ∂L/∂θ = 0 et ∂2L/∂θ2 < 0 ou
les mêmes conditions pour le log de la
vraisemblance.
Justification du log : la vraisemblance est un
produit de probabilités (cas d’un échantillon iid)
donc son log une somme plus facile à dériver.
Remarque : Même signe des dérivées première et
seconde de L et de lnL.
=
=0
=0
=
=
<0
Exemples : (a) Loi exponentielle (Lacoutre p. 201202)
f(x, θ)= e-x/θ
(i) Vraisemblance :
L(x1,…, xn;θ) = ∏i f(xi; θ)
= ( )n exp(-
i)
(ii)Log-Vraisemblance :
lnL(x1,…, xn;θ) = -n lnθ +
i
(iii)Dérivation par rapport au paramètre θ :
=-
i
=0 =>
I
:
f(x,m) =
exp{-(x-m)2/2σ2}
L(x1,…, xn; m, σ) = (
)nexp{-∑(xi-m)2/2σ2}
Ln L = -nlnσ -
- lnπ
=
=- +
= 0 => n
=0
= ∑xi =>
=
=
Les estimateurs du MV de l’espérance et de la variance
sont donc la moyenne empirique et la variance
empirique non corrigée Sn.
Estimateur à k dimensions :
Conditions nécessaires :
=0
=0
…
=0
Conditions suffisantes :
La matrice [
] est définie négative
Théorème :
a) Dans les conditions (mathématiques) d’application
de l’inégalité de Fréchet-Cramer-Rao, l’estimateur
du maximum de vraisemblance
(i) Tend en probabilité vers la valeur vraie du
paramètre (est asymptotiquement sans
biais) ;
(ii) Est asymptotiquement normal et efficace.
b) S’il existe un estimateur efficace, il est solution de
l’équation du maximum de vraisemblance.
Ceci justifie l’emploi de cette méthode.
Néanmoins, les équations de vraisemblance (CN et
CS) peuvent être non calculable → utilisation d’une
autre méthode (par exemple celle des moments).
5. Méthode des moments
Equations des moments :
E(Y) = m1 = f1(θ1, θ2, … θp)
E(Y2) = m2 = f2(θ1, θ2, … θp)
………..
E(Yp) = mp = fp(θ1, θ2, … θp)
θ1= g1(m1, m2,..., mp)
θ2= g2(m1, m2,..., mp)
θp= gp(m1, m2,..., mp)
*Convergence des moments empiriques vers les
moments théoriques. On égalise donc moment théorique
(dépendant des paramètres à estimer) aux moments
k
i
empiriques :
=
*p estimateurs
p équations de moments
*un estimateur → équation du moment d’ordre 1
(moyenne) ou deux (variance)… : f1(θ)=Eθ ou f2(θ)=Vθ
*par exemple : θ=Eθ → θ=moyenne empirique des x ;
θ=Vθ → θ=estimateur sans biais de la
variance empirique des x = s’n.
exemple : X suit une loi exponentielle de paramètre θ.
*Eθ(X) = 1/θ. L’équation à résoudre s’écrit :
1/θ=
i
et sa solution est :
n=
1/
i
*Si on utilisait le moment du deuxième ordre, on
obtiendrait :
Vθ(X) = 1/θ2 et donc : n= 1/ s’n.
Autre exemple :
Un assureur considère, d’après nses études empiriques,
que la densité du coût y d’un sinistre dépend de deux
paramètres a et r :
F(y;a,r) =
dont les espérance et variance sont :
E(y) = ra et V(y) = ra2
On a donc les équations des deux premiers moments :
a=
et r =
dont les estimateurs sont en fonction des moments
empiriques :
a=
r=
avec
l’estimateur sans biais de la variance.
6. Méthode de la minimisation de l’erreur
quadratique
Exemple : Ajustement d’une droite : θ = (m, σ)
Etudié au Chapitre VII
Autre exemple : estimateur de l’espérance d’un v.a.
Observations : (x1,…, xn)
=
Fonction constante :
Q=
=2
Soit
=0
=
Téléchargement
Explore flashcards