Variables aléatoires, Estimation ponctuelle, Principes généraux sur

Variables aléatoires, Estimation ponctuelle,
Principes généraux sur les tests
Mémo 2015-2016
1
Rappels sur les variables aléatoires
Définition 1.1 (Loi de Bernoulli B(π ))
C’est une une variable aléatoire discrète X représentant une épreuve à deux issues qu’on appellera souvent
échec et succès en prenant uniquement les valeurs 0 et 1 avec les probabilités suivantes :
π = P( X = 1) = P(succès)
1 − π = P( X = 0) = P(échec)
C’est une variable d’espérance E( X ) = π, et de variance V ( x ) = π (1 − π ).
Loi de Bernoulli B(0.6)
Probabilités π et 1 − π
1
0.8
0.6
0.4
0.2
0
0
1
Issue
Définition 1.2 (Loi binomiale B(n, π ))
C’est une variable aléatoire discrète X représentant le nombre de succès lors la réalisation de n épreuves de
Bernoulli indépendantes. Elle prend les valeurs 0, 1, 2, . . . n avec les probabilités suivantes :
πk = P( X = k ) = P(k succès parmi n) = Cnk π k (1 − π )n−k
C’est une variable d’espérance E( X ) = nπ, et de variance V ( x ) = nπ (1 − π ).
Loi binomiale B(25, 0.2)
Loi binomiale B(5, 0.2)
0.4
Probabilités πk
Probabilités πk
0.4
0.2
0.2
0
0
0
1
2
3
Valeurs k
5
4
0 1 2 3 4 5 6 7 8 9 101112131415
Valeurs k
Définition 1.3 (Loi normale (Gaussienne) N (µ, σ ))
C’est une variable aléatoire continue X caractérisée par une densité en forme de cloche, symétrique par
rapport à son espérance µ et de variance σ2 :
f (x) =
( x − µ )2
1
−
√ e 2σ2 .
σ 2π
N (0, 1)
N (1, 1.5)
0.4
0.3
0.2
0.1
0
−4
−2
0
2
4
6
Plusieurs remarques à son sujet :
— C’est la loi de probabilité limite obtenue à l’issue de n épreuves de Bernouilli B(n, π ) lorsque nπ
tend vers l’infini.
— Sa dispersion est telle que 95% des valeurs se trouvent dans l’intervalle [µ − 1.96 σ; µ + 1.96 σ ].
— Toute combinaison linéaire Y = aX + b d’une variable aléatoire Gaussienne X ∼ N (µ, σ ) reste une
variable aléatoire Gaussienne d’espérance aµ + b et de variance a2 σ2 .
X −µ
— En particulier, si X ∼ N (µ, σ ), alors σ suit une loi normale centrée réduite N (0, 1).
Définition 1.4 (Loi de Student)
Soient deux variables aléatoires X et Z, indépendantes l’une de l’autre, telles que Z suit une loi normale
centrée réduite et X une distribution du χ2 à k degrés de liberté, alors la variable aléatoire T définie par :
T= √
suit une loi de Student à k degrés de liberté.
Z
X/k
0.4
0.2
0.0
0.1
density
0.3
Gaussian
Student 1 df
Student 2 df
Student 5 df
-4
-2
0
2
4
t
— C’est en particulier le cas d’une variable aléatoire Gaussienne que l’on réduit non pas à l’aide de
l’écart-type théorique mais d’un écart-type estimé sur un échantillon.
— La courbe de la loi de Student ressemble à celle d’une loi Gaussienne, avec des queues de distributions plus épaisses.
— Plus le degré de liberté est grand, plus la courbe de la Student se rapproche de la courbe d’une loi
normale centrée réduite.
Définition 1.5 (Loi du χ2 )
Soient k variables aléatoires Gaussiennes indépendantes X1 , . . . , Xk , alors la variable X définie par :
k
X=
∑ Xi2
i =1
suit une loi du χ2 à k degrés de liberté.
On remarque les propriétés suivantes :
— X ne prend que des valeurs positives ou nulles.
— La courbe de densité du χ2 est asymétrique, avec une longue queue de distribution vers +∞.
— L’espérance de X vaut k et sa variance 2k
Définition 1.6 (Loi de Fisher F (k1 , k2 ))
Soient 2 variables aléatoires continues X1 et X2 indépendantes l’une de l’autre et distribuées chacune suivant une loi du χ2 à respectivement k1 et k2 degrés de liberté, alors la variable F définie par :
F=
X1 /k1
X2 /k2
suit une loi de Fisher à k1 et k2 degrés de liberté. On remarque les propriétés suivantes :
— Si X ∼ F (k1 , k2 ), alors X1 ∼ F (k2 , k1 )
Définition 1.7 (Quantiles)
Pour appliquer les tests statistiques, on va souvent s’intéresser aux quantiles de la loi normale, d’une loi de
Student ou d’une loi du χ2 tels qu’on peut les trouver dans les tables statistiques de ces distributions. Selon
les explications fournies avec les tables, on y lira :
— le quantile d’ordre α, qα , vérifiant :
P( X < qα ) = α
C’est la valeur seuil telle que l’aire sous la courbe de densité située à gauche de qα soit égale à α.
Cela signifie qu’il y a α% de chances pour que la variable X soit inférieure à qα . Il y a alors 1 − α% de
chances pour que la variable X soit supérieure à qα .
α
qα
— l’opposé du quantile d’ordre α, dα , vérifiant :
P( X > dα ) = α
C’est la valeur seuil telle que l’aire sous la courbe de densité située à droite de dα soit égale à α. Cela
signifie qu’il y a α% de chances pour que la variable X soit supérieure à qα . Il y a alors 1 − α% de
chances pour que la variable X soit inférieure à dα .
α
dα
Propriétés 1.1 (Opérations sur les variables aléatoires et changements d’échelle)
Soient deux variables aléatoires X et Y.
1. De façon générale, E( X + Y ) = E( X ) + E(Y ).
2. En particulier, l’espérance est linéaire, E( aX + b) = aE( X ) + b.
3. Si X et Y sont indépendantes l’une de l’autre, alors V ( X + Y ) = V ( X ) + V (Y ).
4. V ( aX + b) = a2 V ( X ).
2
Estimation ponctuelle et intervalle de confiance
On s’intéresse à une variable aléatoire X dont la distribution est caractérisée par un paramètre d’intérêt
inconnu θ. On étudie ce paramètre à l’aide d’un échantillon indépendamment et identiquement distribué de n
observations x1 , . . . , xn de la variable X.
Définition 2.1 (Intervalle de confiance)
Un intervalle de confiance à (100 − α)% (on dit aussi au risque α) pour le paramètre θ est un intervalle tel que
(100 − α)% des intervalles construits de la même manière à partir d’échantillons similaires indépendants
contiendront la vraie valeur du paramètre θ.
On observe un échantillon i.i.d. de taille n, noté ( X1 , . . . , Xn ), d’une variable aléatoire Gaussienne X dont
l’espérance µ est inconnue, mais la variance σ2 est connue :
iid
X1 , . . . , Xn ∼ N (µ, σ2 ).
Définition 2.2 (Estimateur de l’espérance)
On estime l’espérance µ par la moyenne empirique :
M=
1
n
n
∑ Xi
i =1
Lorsque la variance est inconnue, on l’estime à l’aide de l’estimateur sans biais de la variance.
Définition 2.3 (Estimateur non biaisé de la variance)
On estime la variance σ2 par :
n
1
1
S2 =
( X − M )2 =
∑
n − 1 i =1 i
n−1
"
n
∑ Xi2
#
− nM2
i =1
Lorsque l’on observe deux échantillons i.i.d. de deux variables aléatoires Gaussiennes X1 et X2 de tailles n1
et n2 , de moyennes inconnues µ1 et µ2 et de même variance connue σ2 :
(i )
(i ) iid
X1 , . . . , X n ∼ N ( µ i , σ 2 ) ,
on utilise l’estimateur de la variance commune.
i = 1, 2,
Définition 2.4 (Estimateur non biaisé de la variance commune)
On estime la variance commune σ2 par :
S2 =
(n1 − 1)S12 + (n2 − 1)S22
n1 + n2 − 2
Définition 2.5 (Intervalle de confiance d’une moyenne théorique)
"
r
IC1−α (µ) = m ± tn−1,α/2
s2
n
#
Définition 2.6 (Intervalle de confiance d’une proportion théorique)
"
#
r
p (1 − p )
IC1−α (π ) = p ± uα/2
n
3
Principes généraux sur les tests
Définition 3.1 (Erreur de type I ou Niveau d’un test)
C’est la probabilité de rejeter l’hypothèse nulle à tort, notée α :
α = P (Rejeter H0 |H0 est vraie)
Sous l’hypothèse H0
Rejet de H0
Rejet de H0
uα/2
µ0
u1−α/2
Erreur de type I (α = 5%)
F IGURE 1 – Calibration d’un test sous H0
Définition 3.2 (Erreur de type II)
C’est la probabilité de ne pas rejeter l’hypothèse nulle, alors que l’on aurait dû, notée β :
β = P (Ne pas rejeter H0 |H0 est fausse)
Définition 3.3 (Puissance d’un test)
C’est la probabilité de rejeter l’hypothèse nulle à raison, c’est 1 − β.
Sous l’hypothèse H0
Sous l’hypothèse H1
Rejet de H0
Rejet de H0
uα/2
µ0
µ1 u1−α/2
Erreur de type 2
Sous l’hypothèse H0
Sous l’hypothèse H1
Rejet de H0
uα/2
Puissance (Sensibilité)
Rejet de H0
µ0
Erreur de type 2
u1−α/2
µ1
Puissance (Sensibilité)
F IGURE 2 – Erreurs de type 2 et puissance du test sous deux scenarios possibles de l’hypothèse alternative.