TD 12

L3 - 2016/2017 - TD 12 Mercredi 4 janvier Mathématiques discrètes
Soit Xune loi de probabilité dépendant d’un paramètre pqu’on cherche à estimer à l’aide d’un
échantillon de valeurs prises par X:[x1, ..., xn]. On rappelle qu’un estimateur est une fonction
ftelle quelle f(X1, ..., Xn)détermine le paramètre p, les variables aléatoires X1, ..., Xnétant des
copies indépendantes de même loi que X. La valeur f(x1, ..., xn)sera utilisée comme estimation
pour proposer une valeur de p.
Il faut remarquer qu’un estimateur est défini pour toutes les valeurs de n, se qui permet de produire
une estimation quelque soit la taille de l’échantillon, c’est donc plutôt une suite d’estimateurs
(fn)n∈N.
On dit que l’estimateur fest sans biais si pour tout entier naturel n,E(f(X1, ..., Xn)) = p. Dans
le cas contraire, l’estimateur est dit biaisé et on définit son biais comme la suite (Bn(f))n∈N, où
Bn(f) = E(f(X1, ..., Xn)) −p.
Exercice 1.
1. On considère l’estimateur de la moyenne :µ(X1, ..., Xn) = 1
nPn
i=1 Xi. Démontrer qu’il est sans
biais.
2. On considère l’estimateur de la variance :ν(X1, ..., Xn) = 1
nPn
i=1(Xi−1
nPn
j=1 Xj)2. Démontrer
qu’il est biasé. En déduire un facteur correctif αntel que l’estimateur αnν(X1, ..., Xn)est sans
biais.
Corrigé 1. Posons m=E(Xi)et σ2=σ2(Xi), pour tout i.
1. E(µ(X1, ..., Xn)) = E(1
nPn
i=1 Xi) = 1
nPn
i=1 E(Xi) = m.
2. Posons Sn=1
nPn
i=1 Xi. Sa variance est : σ2(Sn) = 1
n2Pn
i=1 σ2(Xi) = 1
nσ2.
E(ν(X1, ..., Xn)) = 1
nE(Pn
i=1(Xi−Sn)2)
=1
nE(Pn
i=1(X2
i−2XiSn+S2
n))
=1
n(Pn
i=1 E(X2
i)−2nE(S2
n) + nE(S2 n)
=1
n(Pn
i=1 E(X2
i)−nE(S2
n)
=E(X2
1)−E(S2
n)
=E(X2
1)−m2+m2−E(S2
n)
=σ2−1
nσ2
=n−1
nσ2
On pose αn=n
n−1. L’estimateur n n−1ν(X1, ..., Xn)est appelé l’estimateur de la variance corrigé .
On dit que l’estimateur est convergent si la suite de variables aléatoires (f(X1, ..., Xn)) converge
en probabilités vers le paramètre p.
Exercice 2. Démontrer que l’estimateur de la moyenne est convergent vers p=E(X).
Corrigé 2. On applique la loi faible des grands nombres vue en cours.
Exercice 3. Soit Xune variable aléatoire suivant une loi de Bernouilli de paramètre p. On considère
l’estimateur f(X1, ..., Xn) = 1
n(Pn
i=1(Xi))(1 −1
n(Pn
i=1(Xi))) pour le paramètre p(1 −p).
1. Démontrer que fest un opérateur biaisé. Comment le corriger pour qu’il soit sans biais?
J. Dubut, A. Lick, C. Picaronny 1 E.N.S. de Cachan

L3 - 2016/2017 - TD 12 Mercredi 4 janvier Mathématiques discrètes
2. Démontrer que fainsi que sa correction sont des estimateurs convergents.
Corrigé 3. Posons Sn=1
nPn
i=1 Xi.
1. Sa moyenne est pet sa variance est : σ2(Sn) = p(1−p)
n(calculs faits dans l’exercice 1). Donc
E(Sn(1−Sn)) = E(Sn)−E(S2
n) = E(Sn)−E(Sn)2+E(Sn)2−E(S2 n) = p−p2−p(1−p)
n=n−1 np(1−p).
Donc fest biaisé et on peut le corriger en prenant ˜ f(X1, ..., Xn) = 1
n−1(Pn
i=1 Xi)(1−1
n(Pn
i=1 Xi)).
2. La loi des grands nombres assure la convergence en probabilité de Snvers p:
∀ > 0,∀η > 0,∃N,η ∈Ntel que n>N,η ⇒P(|Sn−p|> η)< .
Comme x→x(1 −x)est une application continue,
∀η > 0,∃αη>0tel que |x−p|< αη⇒ |x(1 −x)−p(1 −p)|< η.
Donc ∀ > 0,∀η > 0, pour n>N,αη,P(|Sn(1 −Sn)−p(1 −p)|> η)< P (|Sn−p|> αη)< .
Pour la version corrigée, on modifie légèrement : ∀ > 0,∀η > 0,∃Mη∈Ntel que n>Mη⇒
1
np(1 −p)< η/2. On prend alors ζ=η/2et n > max(N,αζ, Mη,|Sn(1 −Sn)−n−1 np(1 −p)|6
|Sn(1 −Sn)−p(1 −p)|+|p(1−p)
n|6|Sn(1 −Sn)−p(1 −p)|+ζ. Donc P(|n n−1Sn(1 −Sn)−p(1 −p)|>
η) = P(|Sn(1−Sn)−n−1
np(1−p)|>n−1 nη)6P(|Sn(1−Sn)−p(1−p)|> ζ)< P (|Sn−p|> αζ)< .
On apprécie la convergence de l’estimateur fpar son erreur quadratique définie comme la suite
(EQn(f))n∈N:
∀n∈N, EQn(f) = E((f(X1, ..., Xn)−p)2).
Exercice 4. Soit fun estimateur sans biais et p=E(X). Démontrer que ∀n∈N, EQn(f) = σ2(f).
Plus généralement, exprimer EQn(f)−σ2(f)à l’aide du biais Bn(f).
Corrigé 4. ∀n∈N, EQn(f) = E((f(X1, ..., Xn)−p)2) = E((f(X1, ..., Xn)2)−2pE(f(X1, ..., Xn)) +
p2=E((f(X1, ..., Xn)2)−p2=σ2(f). Dans le cas général,
EQn(f) = E((f(X1, ..., Xn)−p)2)
=E((f(X1, ..., Xn)−E(f(X1, ..., Xn)) + E(f(X1, ..., Xn)) −p)2)
=E((f(X1, ..., Xn)−E(f(X1, ..., Xn)) + Bn(f))2)
=E(((f(X1, ..., Xn)−E(f(X1, ..., Xn))2−2Bn(f)((f(X1, ..., Xn)−E(f(X1, ..., Xn)) + Bn(f)2)
=σ2(f)−2Bn(f)E(f(X1, ..., Xn)−E(f(X1, ..., Xn)))
| {z }
0
+Bn(f)2
Exercice 5. Soit Xune variable aléatoire suivant une loi de Bernouilli de paramètre p.
On considère comme l’estimateur de la moyenne µ(X1, ..., Xn) = 1
nPn
i=1 Xi.
Justifier l’utilisation de l’estimateur de la moyenne pour produire une estimation de p.
Calculer EQn(f). Démontrer que la suite des écarts quadratiques est décroissante et tend vers 0.
Corrigé 5. E(X) = pdonc l’estimateur de la moyenne est convergent vers p.
EQn(µ) = σ2(µ) = 1
n2(σ2(Xi)) = p(p−1) n.
J. Dubut, A. Lick, C. Picaronny 2 E.N.S. de Cachan

L3 - 2016/2017 - TD 12 Mercredi 4 janvier Mathématiques discrètes
On dit qu’un estimateur f1est plus efficace qu’un estimateur f2pour un même paramètre psi
∀n∈N, EQn(f2)6EQn(f1).
On définit l’estimateur selon le maximum de vraisemblance pour le paramètre pla valeur du
paramètre p0qui maximise gn(p) = P(X1=x1, ..., Xn=xn).. Soit :
argmax[0,1]P(X1=x1, ..., Xn=xn).
Rappelons pour bien comprendre que l’on cherche à estimer le paramètre pd’une loi de probabilité
X, à l’aide d’un échantillon de valeurs prises par X:[x1, ..., xn], considéré comme la valeur d’un
n-uplet de variables aléatoires X1, ..., Xn, copies indépendantes de même loi que X. Donc
gn(p) = P(X1=x1, ..., Xn=xn) =
n
Y
i=1
P(Xi=xi) =
n
Y
i=1
P(X=xi).
Chaque terme P(X=xi)est une fonction de p, ce qui ne se voit pas dans la notation! La fonction
logarithme étant strictement croissante sur [0,1], il peut être plus pratique de calculer le paramètre
le plus vraisemblable en cherchant à maximiser ln gn(p).
Exercice 6. On considère une Xune variable aléatoire suivant une loi de Bernouilli de paramètre p.
On cherche à estimer pselon le maximum de vraisemblance avec un échantillon de taille n. Démontrer
que cet estimateur fournit la même valeur que l’estimateur de la moyenne. En déduire qu’il est non biaisé
et convergent.
Corrigé 6. Soit nla taille de l’échantillon et sle nombre de 1dans l’échantillon. Alors gn(p) =
ps(1 −p)n−s.Donc hn(p) = ln gn(p) = sln(p) + (n−s) ln(1 −p). On cherche le maximum de cette
fonction sur [0,1) : h0
n(p) = s/p −(n−s)/(1 −p)=(s(1 −p)−(n−s)p)/p(1 −p)=(s−np)/p(1 −p).
Donc le maximum de gn(c’est bien un maximum vu les signes de la dérivée (>0avant s/n,<0après))
est atteint en p=s/n, exactement comme l’estimateur de la moyenne. Donc il est non biaisé et sa
convergence relève donc de la loi des grands nombres.
Exercice 7. On considère une variable aléatoire Xqui suit une loi de Poisson de paramètre λ > 0. On
cherche à estimer λselon le maximum de vraisemblance avec un échantillon de taille n. Démontrer que
cet estimateur fournit la même valeur que l’estimateur de la moyenne. En déduire qu’il est non biaisé et
convergent.
Corrigé 7. Soit [x1, ..., xn]nl’échantillon. On rappelle que P(X=k) = e−λλk
k!.
gn(λ) = Qn
i=1 P(X=xi) = Qn i=1 e−λλxi
xi!=e−nλ λPn
i=1 xi
Qn
i=1 xi!.
hn(λ) = ln(gn(λ)) = −nλ + (Pn
i=1 xi) ln(λ)−Pn i=1 ln(xi!).
h0
n(λ) = −n+ (Pn
i=1 xi)1
λ,h0
ns’annule en λ0=Pn
i=1 xi
n. C’est bien un maximun : si on dérive une
seconde fois, h”n(λ) = −(Pn
i=1 xi)1
λ2<0, ce qui dit que la fonction hnest concave. On retrouve la
valeur de l’estimateur de la moyenne. Donc il est non biaisé et convergent.
Exercice 8. On considère une variable aléatoire Xqui suit une loi géométrique de paramètre p
(P(X=k) = pqk −1,k>1). On cherche à estimer pselon le maximum de vraisemblance avec un
échantillon de taille n.
Corrigé 8. Soit [x1, ..., xn]l’échantillon. gn(p) = Qn
i=1 P(X=xi) = pnqPixi−n;
hn(p) = ln(gn(p)) = nln(p)+(Pixi−n) ln(1 −p), donc h0
n(p) = n/p −(Pixi−n)/(1 −p) = (n(1 −
p)−p(Pixi−n))/p(1 −p) = (n−p(Pixi))/p(1 −p). Donc h0
ns’annule pour p0=n/(Pixi). Comme
J. Dubut, A. Lick, C. Picaronny 3 E.N.S. de Cachan

L3 - 2016/2017 - TD 12 Mercredi 4 janvier Mathématiques discrètes
h”n(p) = −n/p2−(Pixi−n)/(1−p)2<0,p0est bien un maximum. Donc l’estimateur selon le maximum
de vraisemblance est n/ PiXi.
Exercice 9. On considère une variable aléatoire Xqui suit une loi uniforme sur l’ensemble {0,1, ..., p}.
On cherche a estimer p.
1. Décrire précisément la loi de X.
2. Utiliser l’estimateur de la moyenne pour proposer un estimateur sans biais et convergent.
3. Justifier que l’estimateur selon le maximum de vraisemblance est max(X1, ..., Xn).
4. Est-il non biaisé ?
Corrigé 9.
1. P(X=k)=1/(p+ 1), pour tout kdans {0,1, ..., p}.
2. On considère comme l’estimateur de la moyenne µ(X1, ..., Xn) = 1
nPn
i=1 Xi.E(µ(X1, ..., Xn)) =
E(X) = Pp
k=0 k/(p+1) = p(p+1)/2(p+1) = p/2. Donc 2µ(X1, ..., Xn)est un estimateur sans biais
et convergent de p. L’erreur quadratique est : EQn(2µ) = 4σ2(µ) = 4σ2(X)/n =4
n(Pp
k=0 k2)/(p+
1) −p2/4) = 4
n(p(p+ 1)(2p+ 1))/6(p+ 1) −p2/4) = 4 n(p(2p+ 1))/6−p2/4) = 1 3n(p2+p).
3. Soit [x1, ..., xn]nl’échantillon. Alors
gn(p) = P(X1=x1, ..., Xn=xn) = 0,si p6max(x1, ..., xn)
1/(p+ 1)n,sinon.
Donc gn(p)est maximal pour p= max(x1, ..., xn).
4. Posons Tn= max(X1, ..., Xn). Alors pour tout kdans {0,1, ..., p},P(T6k) = P(X16k, X26
k, · · · , Xn6k) = Qn
i=1 P(Xi6k) = ((k+ 1)/(p+ 1))n. Donc E(Tn) = Pp−1 i=0 P(Tn> i) =
Pp−1
i=0 (1 −((i+ 1)/(p+ 1))n) = Pp i=1(1 −((i/(p+ 1))n). L’estimateur est biaisé mais non biaisé
asymptotiquement. On peut montrer qu”il est plus efficace que le précédent, mais le calcul n’est
pas facile.
Exercice 10. On effectue un sondage pour estimer la proportion pde personnes qui trichent dans
leur déclaration d’impôt. Pour garantir l’anonymat de la réponse, on utilise le protocole suivant:
La personne sondée tire confidentiellement une boule dans une urne. Si la boule est blanche, elle
répond honnêtement. Si la boule est noire, elle répond le contraire. Soit αla probabilité de tirer
une boule blanche dans l’urne. On suppose α6= 1/2.
(a) Soit Yla variable aléatoire qui prend la valeur 1si la réponse est oui et 0 sinon. Exprimer en
fonction de pet αla probabilité de (y= 1).
(b) En déduire un estimateur sans biais et convergent de p.
(c) Y-a t’il un choix optimal de α?
Corrigé 10.
(a) Notons BB (resp. BN ) l’evènement " la boule tirée est blanche", (resp "noire") ; P(Y= 1) =
P(Y= 1|BB)p(BB) + P(Y= 1|BN )p(BN) = pα + (1 −p)(1 −α).
(b) Ysuit une loi de Bernouilli de paramètre q=pα + (1 −p)(1 −α) = (1 −α) + p(2α−1).
Donc p= (q+α−1)/(2α−1). On peut donc estimer pavec (T+α−1)/(2α−1), ou Test
l’estimateur dela moyenne de q.E((T+α−1)/(2α−1)) = (q+alpha −1)/(2α−1) = p,
donc cet estimateur est sans biais. σ2((T+α−1)/(2α−1)) = σ2(T+α−1)/(2α−1)2=
σ2(T))/(2α−1)2=q(1 −q)/n(2α−1)2.
J. Dubut, A. Lick, C. Picaronny 4 E.N.S. de Cachan

L3 - 2016/2017 - TD 12 Mercredi 4 janvier Mathématiques discrètes
(c) Non. Si on fait tendre αvers 0ou 1, le protocole n’est plus confidentiel. Mais si on fait tendre
αvers 1/2, la variance tend vers ∞. L’efficacité de l’estimateur diminue avec l’augmentation
de la confidentialité.
Exercice 11. Soit Xune loi uniforme sur un intervalle [0, a],P(X∈[u, v]) = v−u
aOn cherche à
estimer a. on considère deux estimateurs l’estimateur de la moyenne µ, et l’estimateur du maximum,
noté tet défini par t(X1, ..., Xn) = max(X1, ..., Xn).
(a) Déterminer l’espérance et la variance de µ.
(b) Justifier que l’estimateur 2µest convergent vers a.
(c) Justifier que t(X1, ..., Xn)est de densité f(x)nxn−1/an.
(d) Déterminer l’espérance et la variance de t.
(e) Modifier ten un estimateur t0pour obtenir un estimateur sans biais.
(f) Comparer alors t0et µen efficacité.
Corrigé 11.
(a) E(µ) = 1
aRa
0tdt =1
a[t2 2]a
0=a
2et σ2(µ) = 1 n(1 aRa
0t2dt −(a
2)2) = a2 12n.
(b) L’estimateur 2µest sans biais et convergent vers apar la loi des grands nombres. On obtient
son erreur quadratique par le calcul de la variance : a2
3n.
(c) On calcule la fonction de répartition de t(X1, ..., Xn):Ft(x) = P(t(X1, ..., Xn)6x) =
P(X16x, X26x, · · · , Xn6x) = Qn
i=1 P(Xi6x) = (x
a)n. Donc t(X1, ..., Xn)est de densité
ft(x) = F0
t(x) = nxn−1/an.
(d) E(t(X1, ..., Xn) = 1
anRa
0u(nun−1)du =n
an[u(n+1) n+1 ]a
0=na
(n+1) . L’estimateur est biaisé mais
asymptotiquement non biaisé. Le biais se calcule : E(t(X1, ..., Xn)) −a=|na
(n+1) −a|=a (n+1) .
σ2(t(X1, ..., Xn) = 1
anRa
0u2(nun−1)du −(na
(n+1) )2,
=n
an[un+2 n+2 ]a
0−(na
(n+1) )2,
=na2
n+2 −(na (n+1) )2,
=na2
(n+1)2(n+2)2.
L’erreur quadratique est alors na2
(n+1)2(n+2)2+a2 (n+1)2=(n2+5n+4)a2 (n+1)2(n+2)2donc ∼a2 n2.
(e) On modifie ten un estimateur pour obtenir un estimateur sans biais en posant t0(X1, ..., Xn) =
n+1
nt(X1, ..., Xn).
(f) La variance de t0est : σ2(t0(X1, ..., Xn)) = (n+1
n)2σ2(t(X1, ..., Xn)) = a2 n(n+2)2, Son erreur
quadratique est a2
n(n+2)2∼a2 n3ce qui est mieux asymptotiquement que celui de t.
J. Dubut, A. Lick, C. Picaronny 5 E.N.S. de Cachan