TD 12

L3 - 2016/2017 - TD 12
Mercredi 4 janvier
Mathématiques discrètes
Soit X une loi de probabilité dépendant d’un paramètre p qu’on cherche à estimer à l’aide d’un
échantillon de valeurs prises par X : [x1 , ..., xn ]. On rappelle qu’un estimateur est une fonction
f telle quelle f (X1 , ..., Xn ) détermine le paramètre p, les variables aléatoires X1 , ..., Xn étant des
copies indépendantes de même loi que X. La valeur f (x1 , ..., xn ) sera utilisée comme estimation
pour proposer une valeur de p.
Il faut remarquer qu’un estimateur est défini pour toutes les valeurs de n, se qui permet de produire
une estimation quelque soit la taille de l’échantillon, c’est donc plutôt une suite d’estimateurs
(fn )n∈N .
On dit que l’estimateur f est sans biais si pour tout entier naturel n, E(f (X1 , ..., Xn )) = p. Dans
le cas contraire, l’estimateur est dit biaisé et on définit son biais comme la suite (Bn (f ))n∈N , où
Bn (f ) = E(f (X1 , ..., Xn )) − p.
Exercice 1.
1. On considère l’estimateur de la moyenne : µ(X1 , ..., Xn ) =
biais.
1
n
Pn
i=1
Xi . Démontrer qu’il est sans
Pn
Pn
2. On considère l’estimateur de la variance : ν(X1 , ..., Xn ) = n1 i=1 (Xi − n1 j=1 Xj )2 . Démontrer
qu’il est biasé. En déduire un facteur correctif αn tel que l’estimateur αn ν(X1 , ..., Xn ) est sans
biais.
Corrigé 1. Posons m = E(Xi ) et σ 2 = σ 2 (Xi ), pour tout i.
Pn
Pn
1. E(µ(X1 , ..., Xn )) = E( n1 i=1 Xi ) = n1 i=1 E(Xi ) = m.
Pn
Pn
2. Posons Sn = n1 i=1 Xi . Sa variance est : σ 2 (Sn ) = n12 i=1 σ 2 (Xi ) =
E(ν(X1 , ..., Xn ))
On pose αn =
n
n−1 .
L’estimateur
1 2
nσ .
Pn
= n1 E(Pi=1 (Xi − Sn )2 )
n
2
2
= n1 E(
Pn i=1 (Xi2 − 2Xi Sn +2 Sn ))
1
= n (Pi=1 E(Xi ) − 2nE(Sn ) + nE(Sn2 )
n
= n1 ( i=1 E(Xi2 ) − nE(Sn2 )
2
= E(X1 ) − E(Sn2 )
= E(X12 ) − m2 + m2 − E(Sn2 )
= σ 2 − n1 σ 2
2
= n−1
n σ
n
n−1 ν(X1 , ..., Xn )
est appelé l’estimateur de la variance corrigé .
On dit que l’estimateur est convergent si la suite de variables aléatoires (f (X1 , ..., Xn )) converge
en probabilités vers le paramètre p.
Exercice 2. Démontrer que l’estimateur de la moyenne est convergent vers p = E(X).
Corrigé 2. On applique la loi faible des grands nombres vue en cours.
Exercice 3. Soit X une variable aléatoire suivant une loi de Bernouilli de paramètre p. On considère
l’estimateur f (X1 , ..., Xn ) =
Pn
1
n(
i=1 (Xi ))(1
− n1 (
Pn
i=1 (Xi )))
pour le paramètre p(1 − p).
1. Démontrer que f est un opérateur biaisé. Comment le corriger pour qu’il soit sans biais?
J. Dubut, A. Lick, C. Picaronny
1
E.N.S. de Cachan
L3 - 2016/2017 - TD 12
Mercredi 4 janvier
Mathématiques discrètes
2. Démontrer que f ainsi que sa correction sont des estimateurs convergents.
Corrigé 3. Posons Sn =
1
n
Pn
i=1
Xi .
(calculs faits dans l’exercice 1). Donc
1. Sa moyenne est p et sa variance est : σ 2 (Sn ) = p(1−p)
n
2
2
2
= n−1
E(Sn(1−Sn)) = E(Sn )−E(Sn ) = E(Sn )−E(Sn ) +E(Sn ) −E(Sn2 ) = p−p2 − p(1−p)
n
n p(1−p).
P
P
n
n
1
Donc f est biaisé et on peut le corriger en prenant f˜(X1 , ..., Xn ) = n−1 ( i=1 Xi )(1 − n1 ( i=1 Xi )).
2. La loi des grands nombres assure la convergence en probabilité de Sn vers p :
∀ > 0, ∀η > 0, ∃N,η ∈ N tel que n > N,η ⇒ P (|Sn − p| > η) < .
Comme x → x(1 − x) est une application continue,
∀η > 0, ∃αη > 0 tel que |x − p| < αη ⇒ |x(1 − x) − p(1 − p)| < η.
Donc ∀ > 0, ∀η > 0, pour n > N,αη , P (|Sn (1 − Sn ) − p(1 − p)| > η) < P (|Sn − p| > αη ) < .
Pour la version corrigée, on modifie légèrement : ∀ > 0, ∀η > 0, ∃Mη ∈ N tel que n > Mη ⇒
n−1
1
n p(1 − p) < η/2. On prend alors ζ = η/2 et n > max(N,αζ , Mη , |Sn (1 − Sn ) − n p(1 − p)| 6
n
|Sn (1 − Sn ) − p(1 − p)| + | p(1−p)
| 6 |Sn (1 − Sn ) − p(1 − p)| + ζ. Donc P (| n−1
Sn (1 − Sn ) − p(1 − p)| >
n
n−1
n−1
η) = P (|Sn (1−Sn )− n p(1−p)| > n η) 6 P (|Sn (1−Sn )−p(1−p)| > ζ) < P (|Sn −p| > αζ ) < .
On apprécie la convergence de l’estimateur f par son erreur quadratique définie comme la suite
(EQn (f ))n∈N :
∀n ∈ N, EQn (f ) = E((f (X1 , ..., Xn ) − p)2 ).
Exercice 4. Soit f un estimateur sans biais et p = E(X). Démontrer que ∀n ∈ N, EQn (f ) = σ 2 (f ).
Plus généralement, exprimer EQn (f ) − σ 2 (f ) à l’aide du biais Bn (f ).
Corrigé 4. ∀n ∈ N, EQn (f ) = E((f (X1 , ..., Xn ) − p)2 ) = E((f (X1 , ..., Xn )2 ) − 2pE(f (X1 , ..., Xn )) +
p = E((f (X1 , ..., Xn )2 ) − p2 = σ 2 (f ). Dans le cas général,
2
EQn (f )
=
=
=
=
=
E((f (X1 , ..., Xn ) − p)2 )
E((f (X1 , ..., Xn ) − E(f (X1 , ..., Xn )) + E(f (X1 , ..., Xn )) − p)2 )
E((f (X1 , ..., Xn ) − E(f (X1 , ..., Xn )) + Bn (f ))2 )
E(((f (X1 , ..., Xn ) − E(f (X1 , ..., Xn ))2 − 2Bn (f )((f (X1 , ..., Xn ) − E(f (X1 , ..., Xn )) + Bn (f )2 )
σ 2 (f ) − 2Bn (f ) E(f (X1 , ..., Xn ) − E(f (X1 , ..., Xn ))) +Bn (f )2
|
{z
}
0
Exercice 5. Soit X une variable aléatoire suivant une loi de Bernouilli de paramètre p.
Pn
On considère comme l’estimateur de la moyenne µ(X1 , ..., Xn ) = n1 i=1 Xi .
Justifier l’utilisation de l’estimateur de la moyenne pour produire une estimation de p.
Calculer EQn (f ). Démontrer que la suite des écarts quadratiques est décroissante et tend vers 0.
Corrigé 5. E(X) = p donc l’estimateur de la moyenne est convergent vers p.
EQn (µ) = σ 2 (µ) = n12 (σ 2 (Xi )) = p(p−1)
.
n
J. Dubut, A. Lick, C. Picaronny
2
E.N.S. de Cachan
L3 - 2016/2017 - TD 12
Mercredi 4 janvier
Mathématiques discrètes
On dit qu’un estimateur f1 est plus efficace qu’un estimateur f2 pour un même paramètre p si
∀n ∈ N, EQn (f2 ) 6 EQn (f1 ).
On définit l’estimateur selon le maximum de vraisemblance pour le paramètre p la valeur du
paramètre p0 qui maximise gn (p) = P (X1 = x1 , ..., Xn = xn ).. Soit :
argmax[0,1] P (X1 = x1 , ..., Xn = xn ).
Rappelons pour bien comprendre que l’on cherche à estimer le paramètre p d’une loi de probabilité
X, à l’aide d’un échantillon de valeurs prises par X : [x1 , ..., xn ], considéré comme la valeur d’un
n-uplet de variables aléatoires X1 , ..., Xn , copies indépendantes de même loi que X. Donc
gn (p) = P (X1 = x1 , ..., Xn = xn ) =
n
Y
P (Xi = xi ) =
i=1
n
Y
P (X = xi ).
i=1
Chaque terme P (X = xi ) est une fonction de p, ce qui ne se voit pas dans la notation! La fonction
logarithme étant strictement croissante sur [0, 1], il peut être plus pratique de calculer le paramètre
le plus vraisemblable en cherchant à maximiser ln gn (p).
Exercice 6. On considère une X une variable aléatoire suivant une loi de Bernouilli de paramètre p.
On cherche à estimer p selon le maximum de vraisemblance avec un échantillon de taille n. Démontrer
que cet estimateur fournit la même valeur que l’estimateur de la moyenne. En déduire qu’il est non biaisé
et convergent.
Corrigé 6. Soit n la taille de l’échantillon et s le nombre de 1 dans l’échantillon. Alors gn (p) =
ps (1 − p)n−s . Donc hn (p) = ln gn (p) = s ln(p) + (n − s) ln(1 − p). On cherche le maximum de cette
fonction sur [0, 1) : h0n (p) = s/p − (n − s)/(1 − p) = (s(1 − p) − (n − s)p)/p(1 − p) = (s − np)/p(1 − p).
Donc le maximum de gn (c’est bien un maximum vu les signes de la dérivée (> 0 avant s/n, < 0 après))
est atteint en p = s/n, exactement comme l’estimateur de la moyenne. Donc il est non biaisé et sa
convergence relève donc de la loi des grands nombres.
Exercice 7. On considère une variable aléatoire X qui suit une loi de Poisson de paramètre λ > 0. On
cherche à estimer λ selon le maximum de vraisemblance avec un échantillon de taille n. Démontrer que
cet estimateur fournit la même valeur que l’estimateur de la moyenne. En déduire qu’il est non biaisé et
convergent.
k
Corrigé 7. Soit [x1 , ..., xn ] n l’échantillon. On rappelle que P (X = k) = e−λ λk! .
gn (λ) =
Qn
i=1
P (X = xi ) =
hn (λ) = ln(gn (λ)) = −nλ + (
Pn
xi
Qn
i=1
Pn
xi
e−λ λxi ! = e−nλ λQni=1xi ! .
i=1
i=1
xi ) ln(λ) −
Pn
i=1
ln(xi !).
Pn
Pn
xi
h0n (λ) = −n + ( i=1 xiP
) λ1 , h0n s’annule en λ0 = i=1
. C’est bien un maximun : si on dérive une
n
n
seconde fois, h”n (λ) = −( i=1 xi ) λ12 < 0 , ce qui dit que la fonction hn est concave. On retrouve la
valeur de l’estimateur de la moyenne. Donc il est non biaisé et convergent.
Exercice 8. On considère une variable aléatoire X qui suit une loi géométrique de paramètre p
(P (X = k) = pqk − 1, k > 1). On cherche à estimer p selon le maximum de vraisemblance avec un
échantillon de taille n.
P
Qn
n
i xi −n ;
Corrigé 8. Soit [x1 , ..., xn ] l’échantillon.
g
(p)
=
P
(X
=
x
)
=
p
q
n
i
i=1
P
P
0
hn (p) =
Pln(gn (p)) = n ln(p) + ( i xi −
Pn) ln(1 − p), donc hn (p) = n/p − ( i xi − n)/(1P− p) = (n(1 −
p) − p( i xi − n))/p(1 − p) = (n − p( i xi ))/p(1 − p). Donc h0n s’annule pour p0 = n/( i xi ). Comme
J. Dubut, A. Lick, C. Picaronny
3
E.N.S. de Cachan
L3 - 2016/2017 - TD 12
Mercredi 4 janvier
Mathématiques discrètes
P
h”n (p) = −n/p2−( i xiP
−n)/(1−p)2 < 0, p0 est bien un maximum. Donc l’estimateur selon le maximum
de vraisemblance est n/ i Xi .
Exercice 9. On considère une variable aléatoire X qui suit une loi uniforme sur l’ensemble {0, 1, ..., p}.
On cherche a estimer p.
1. Décrire précisément la loi de X.
2. Utiliser l’estimateur de la moyenne pour proposer un estimateur sans biais et convergent.
3. Justifier que l’estimateur selon le maximum de vraisemblance est max(X1 , ..., Xn ).
4. Est-il non biaisé ?
Corrigé 9.
1. P (X = k) = 1/(p + 1), pour tout k dans {0, 1, ..., p}.
Pn
1
2. On considère
Pp comme l’estimateur de la moyenne µ(X1 , ..., Xn ) = n i=1 Xi . E(µ(X1 , ..., Xn )) =
E(X) = k=0 k/(p+1) = p(p+1)/2(p+1) = p/2. Donc 2µ(X1 , ..., Xn ) est un estimateur
Pp sans biais
et convergent de p. L’erreur quadratique est : EQn (2µ) = 4σ 2 (µ) = 4σ 2 (X)/n = n4 ( k=0 k 2 )/(p+
1
(p2 + p).
1) − p2 /4) = n4 (p(p + 1)(2p + 1))/6(p + 1) − p2 /4) = n4 (p(2p + 1))/6 − p2 /4) = 3n
3. Soit [x1 , ..., xn ] n l’échantillon. Alors
gn (p) = P (X1 = x1 , ..., Xn = xn ) =
0,
si p 6 max(x1 , ..., xn )
1/(p + 1)n , sinon.
Donc gn (p) est maximal pour p = max(x1 , ..., xn ).
4. Posons Tn = max(X1 , ..., Xn ). Alors pour tout k dans {0, 1, ..., p}, P (T 6 k) = P (X1 6 k, X2 6
Qn
Pp−1
k, · · · , Xn 6 k) = i=1 P (Xi 6 k) = ((k + 1)/(p + 1))n . Donc E(Tn ) =
i=0 P (Tn > i) =
Pp−1
Pp
n
n
(1
−
((i
+
1)/(p
+
1))
)
=
(1
−
((i/(p
+
1))
).
L’estimateur
est
biaisé
mais non biaisé
i=0
i=1
asymptotiquement. On peut montrer qu”il est plus efficace que le précédent, mais le calcul n’est
pas facile.
Exercice 10. On effectue un sondage pour estimer la proportion p de personnes qui trichent dans
leur déclaration d’impôt. Pour garantir l’anonymat de la réponse, on utilise le protocole suivant:
La personne sondée tire confidentiellement une boule dans une urne. Si la boule est blanche, elle
répond honnêtement. Si la boule est noire, elle répond le contraire. Soit α la probabilité de tirer
une boule blanche dans l’urne. On suppose α 6= 1/2.
(a) Soit Y la variable aléatoire qui prend la valeur 1 si la réponse est oui et 0 sinon. Exprimer en
fonction de p et α la probabilité de (y = 1).
(b) En déduire un estimateur sans biais et convergent de p.
(c) Y-a t’il un choix optimal de α?
Corrigé 10.
(a) Notons BB (resp. BN ) l’evènement " la boule tirée est blanche", (resp "noire") ; P (Y = 1) =
P (Y = 1|BB)p(BB) + P (Y = 1|BN )p(BN ) = pα + (1 − p)(1 − α).
(b) Y suit une loi de Bernouilli de paramètre q = pα + (1 − p)(1 − α) = (1 − α) + p(2α − 1).
Donc p = (q + α − 1)/(2α − 1). On peut donc estimer p avec (T + α − 1)/(2α − 1), ou T est
l’estimateur dela moyenne de q. E((T + α − 1)/(2α − 1)) = (q +a lpha − 1)/(2α − 1) = p,
donc cet estimateur est sans biais. σ 2 ((T + α − 1)/(2α − 1)) = σ 2 (T + α − 1)/(2α − 1)2 =
σ 2 (T ))/(2α − 1)2 = q(1 − q)/n(2α − 1)2 .
J. Dubut, A. Lick, C. Picaronny
4
E.N.S. de Cachan
L3 - 2016/2017 - TD 12
Mercredi 4 janvier
Mathématiques discrètes
(c) Non. Si on fait tendre α vers 0 ou 1, le protocole n’est plus confidentiel. Mais si on fait tendre
α vers 1/2, la variance tend vers ∞. L’efficacité de l’estimateur diminue avec l’augmentation
de la confidentialité.
Exercice 11. Soit X une loi uniforme sur un intervalle [0, a], P (X ∈ [u, v]) = v−u
On cherche à
a
estimer a. on considère deux estimateurs l’estimateur de la moyenne µ, et l’estimateur du maximum,
noté t et défini par t(X1 , ..., Xn ) = max(X1 , ..., Xn ).
(a) Déterminer l’espérance et la variance de µ.
(b) Justifier que l’estimateur 2µ est convergent vers a.
(c) Justifier que t(X1 , ..., Xn ) est de densité f (x)nxn−1 /an .
(d) Déterminer l’espérance et la variance de t.
(e) Modifier t en un estimateur t0 pour obtenir un estimateur sans biais.
(f) Comparer alors t0 et µ en efficacité.
Corrigé 11.
(a) E(µ) =
1
a
Ra
0
2
tdt = a1 [ t2 ]a0 =
a
2
et σ 2 (µ) =
1 1
n(a
Ra
0
t2 dt − ( a2 )2 ) =
a2
12n .
(b) L’estimateur 2µ est sans biais et convergent vers a par la loi des grands nombres. On obtient
a2
son erreur quadratique par le calcul de la variance : 3n
.
(c) On calcule la fonction de répartition
Qn de t(X1 , ..., Xn ) : Ft (x) = P (t(X1 , ..., Xn ) 6 x) =
P (X1 6 x, X2 6 x, · · · , Xn 6 x) = i=1 P (Xi 6 x) = ( xa )n . Donc t(X1 , ..., Xn ) est de densité
ft (x) = Ft0 (x) = nxn−1 /an .
Ra
(
n+1) a
na
]0 = (n+1)
. L’estimateur est biaisé mais
(d) E(t(X1 , ..., Xn ) = a1n 0 u(nun−1 )du = ann [ u n+1
na
a
asymptotiquement non biaisé. Le biais se calcule : E(t(X1 , ..., Xn )) − a = | (n+1)
− a| = (n+1)
.
σ 2 (t(X1 , ..., Xn )
Ra 2
1
na
n−1
)du − ( (n+1)
)2 ,
an 0 u (nu
n+2
n u
na
a
2
an [ n+2 ]0 − ( (n+1) ) ,
2
na
na
2
n+2 − ( (n+1) ) ,
2
na
(n+1)2 (n+2)2 .
=
=
=
=
L’erreur quadratique est alors
na2
(n+1)2 (n+2)2
+
a2
(n+1)2
=
(n2 +5n+4)a2
(n+1)2 (n+2)2
donc ∼
a2
n2 .
(e) On modifie t en un estimateur pour obtenir un estimateur sans biais en posant t0 (X1 , ..., Xn ) =
n+1
n t(X1 , ..., Xn ).
2 2
(f) La variance de t0 est : σ 2 (t0 (X1 , ..., Xn )) = ( n+1
n ) σ (t(X1 , ..., Xn )) =
quadratique est
a2
n(n+2)2
J. Dubut, A. Lick, C. Picaronny
∼
a2
n3
a2
n(n+2)2 ,
Son erreur
ce qui est mieux asymptotiquement que celui de t.
5
E.N.S. de Cachan