Table des matières 1 Principe d`un test

publicité
Tests
Chapitre 2
Table des matières
1 Principe d’un test
1.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Méthode générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
2
3
2 Test de conformité à un paramètre
2.1 Test de conformité à une moyenne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Test de conformité à une proportion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
3
4
3 Test d’homogénéité faible entre deux paramètres
3.1 Test de comparaison entre deux moyennes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Test de comparaison entre deux proportions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
4
5
4 Test d’adéquation à une loi
4.1 Cas particulier d’une variable aléatoire prenant un nombre fini de valeurs . . . . . . . . . . . . . . .
4.2 Extension aux variables aléatoires continues ou à valeurs dans un ensemble dénombrable . . . . . . .
5
5
6
1
Principe d’un test
But : accepter ou refuser, au vue d’un échantillon, une hypothèse faite sur un ou plusieurs paramètres (inconnus).
Par exemple :
— Une usine fabrique des pièces cylindriques et précise que leur diamètre moyen est de 25mm. Pour vérifier
si la fabrication est bien conforme, on prélève au hasard 100 pièces de la production et on constate que la
moyenne de leurs diamètres est de 25.1mm. On souhaite savoir si, au vue de cet échantillon, il est raisonnable
de penser que l’usine fabrique effectivement des pièces dont le diamètre, en moyenne, est bien de 25mm.
— Afin de tester une solution toxique, on fait des injections à un groupe de 80 souris. On admet que l’injection
est mortelle dans 90% des cas. Sur les 80 souris, 7 ont survécu. Est-il raisonnable de penser que la solution
toxique est bien mortelle dans 90% des cas ?
Plus formellement, un test est une procédure permettant de rejeter ou non une hypothèse avec un certain risque
d’erreur. L’hypothèse en question est dite nulle et est notée H0 . Elle est testée contre une seconde hypothèse dite
alternative notée H1 . Le choix de l’hypothèse alternative dépend de ce qu’on cherche à savoir.
— Dans le cas des pièces cylindriques, on a H0 ="le diamètre moyen est 25mm". Pour l’hypothèse alternative,
on peut prendre H1 ="la diamètre moyen est différent de 25mm".
— Dans le cas des souris, on a H0 ="la solution est mortelle dans 90 des cas". Pour l’hypothèse alternative, on
peut prendre H1 ="la solution est mortelle dans moins de 90% des cas".
Remarque.
1. L’hypothèse H1 est souvent la négation de H0 mais pas nécessairement : un a priori peut conduire
à un ensemble d’alternatives plus réduit.
2. En pratique, l’hypothèse nulle est souvent une égalité entre deux quantités d’un modèle.
1
— Lorsque l’hypothèse alternative postule une différence de ces quantités, on parle de test bilatéral.
— Lorsque l’hypothèse alternative postule une inégalité entre les quantités, on parle de test unilatéral.
1.1
Définitions
Définition 1. On appelle :
1. risque (ou erreur) de première espèce α la probabilité de rejeter, au vue de l’échantillon, l’hypothèse alors
qu’elle est vraie ;
2. risque (ou erreur) de seconde espèce β la probabilité d’accepter, au vue de l’échantillon, l’hypothèse alors
qu’elle est fausse ;
On a donc le tableau suivant :
H0 acceptée
H0 refusée
H0 vraie
1−α
α
H0 fausse
β
1−β
Table 1 – Risques de première et seconde espèce
Remarque.
α = 1%.
1. En pratique, le risque α est fixé par celui qui effectue le test. On prend en général α = 5% ou
2. Le risque de seconde espèce β dépend de la réalité et de l’hypothèse alternative.
3. Le nombre 1 − β s’appelle la puissance du test. Cette dernière est d’autant plus grande que la probabilité de
rejeter l’hypothèse, alors qu’elle est effectivement fausse, est grande.
4. L’intérêt d’un test est davantage de rejeter une hypothèse que le contraire (c’est pour cette raison que l’on
définit la puissance du test en fonction de β et non en fonction de α). En fait, "accepter une hypothèse" au
sens de la statistique ne signifie pas que l’on confirme que l’hypothèse est vraie mais qu’on "ne peut pas la
rejeter au vue de l’échantillon".
Définition 2. Soit α ∈ [0, 1] et x1 , . . . , xn un échantillon de valeurs issues de X1 , . . . , Xn . Désignons par Z =
φ(X1 , . . . , Xn ) une statistique (dite discriminante) et posons z = φ(x1 , . . . , xn ). On appelle :
1. zone de rejet (au critère z) au risque α tout sous-ensemble Rα (x1 , . . . , xn ) ⊂ R tel que, sous l’hypothèse H0 ,
on a
P ( Z ∈ Rα (X1 , . . . , Xn ) ) = α;
2. zone d’acceptation (au critère z), le complémentaire de Rα (x1 , . . . , xn ).
Remarque. Contrairement au test où l’aléa ne portait que sur l’intervalle, deux quantités aléatoires (statistique
et intervalle) sont, en général, considérées pour les tests.
Règle de décision :
— lorsque z appartient à Rα (x1 , . . . , xn ), on rejette l’hypothèse nulle au risque (de première espèce) α ;
— sinon, on ne rejette pas l’hypothèse nulle.
2
1.2
1.
2.
3.
4.
Méthode générale
Formulation des hypothèses nulle H0 et alternative H1 ;
Choix de la statistique discriminante Z = φ(X1 , . . . , Xn ) ;
Détermination de Rα (X1 , . . . , Xn ) ;
Règle de décision :
— Calcul de z ;
— Calcul de la zone de rejet Rα (x1 , . . . , xn ) ;
— Décision (acceptation ou rejet).
Remarque.
1. Le résultat d’un test dépend du choix de l’hypothèse nulle H0 et de la statistique Z.
2. En pratique, le choix de Z est fait de telle sorte que ce dernier, ainsi que la zone de rejet, soient faciles à
calculer.
2
2.1
Test de conformité à un paramètre
Test de conformité à une moyenne
But : étant donnée une variable aléatoire X de moyenne µ, on souhaite tester l’hypothèse µ = µ0 au vu d’un
échantillon de n valeurs de X. On considère un échantillon X1 , . . . , Xn de variables aléatoires (indépendantes) ayant
la même loi que X.
— Hypothèse nulle H0 = ”µ = µ0 ” contre hypothèse alternative H1 = ”µ 6= µ0 ”, pour un test bilatéral, ou
H1 = ”µ < µ0 ” (resp. H1 = ”µ > µ0 ”), pour un test unilatéral.
— Statistique discriminante : Z = Xn .
Cas d’une loi normale
µ non connue.
Ici, on considère une variable aléatoire X suivant une loi normale N (µ, σ 2 ) de moyenne
Test bilatéral Dans le même esprit que pour l’estimation, on envisage divers cas selon que la variance de X
soit connue ou non.
Proposition 3. Les zones de rejet associés à un test bilatéral (symétrique), au risque α, de conformité à une
moyenne pour une loi normale sont données par :
q q
2
2
1. cas où σ 2 est connue : Rα (x1 , . . . , xn ) = −∞, µ0 − u1−α/2 · σn ∪ µ0 + u1−α/2 · σn , ∞ ;
q 2 q 2
Sn
Sn
2. cas où σ 2 n’est pas connue : Rα (x1 , . . . , xn ) = −∞, µ0 − t1−α/2;n−1 · n−1
∪ µ0 + t1−α/2;n−1 · n−1
,∞ .
Remarque.
1. Les zones de rejet ressemblent très fortement aux intervalles de confiance associés à l’estimation
de la moyenne pour une loi normale (cela vient du fait que ces deux ensembles reposent sur les mêmes égalités
en loi).
2. Pour le test, la moyenne hypothétique µ0 apparaît dans les intervalles en question tandis que, pour l’estimation,
c’est la moyenne empirique µ̂ = xn qui intervient.
Exercice 1. Une entreprise agroalimentaire produit des yaourts allégés dont la valeur énergétique étiquetée est
de 60 kilocalories. La répression des fraudes souhaite vérifier la validité de ce chiffre. Elle prélève un échantillon
aléatoire de 13 yaourts dans la fabrication. On obtient les résultats suivants : 60.4, 62.2, 61.1, 59.6, 62, 60.1, 61.2,
59.4, 60.4, 58.9, 59.1, 61.3 et 61.1. On suppose que la variable aléatoire X égale à la valeur énergétique, exprimée
en Kcal, d’un yaourt prélevé au hasard dans cette fabrication, est distribuée selon la loi normale de moyenne µ et
d’écart-type σ (connu) égal à 1. Au vu de ces résultats, peut-on considérer que la valeur énergétique moyenne des
yaourts de cette fabrication est égale à 60 Kcal ?
3
Test unilatéral
façon.
On se limite à l’hypothèse alternative H1 = ”µ < µ0 ”, le cas opposé se traitant de la même
Proposition 4. Les zones de rejet associées à un test unilatéral (d’hypothèse alternative H1 = ”µ < µ0 ”), au risque
α, de conformité à une moyenne pour une loi normale sont données par :
q 2
2
1. cas où σ est connue : Rα (x1 , . . . , xn ) = −∞, µ0 − u1−α · σn ;
q 2 Sn
2
.
2. cas où σ n’est pas connue : Rα (x1 , . . . , xn ) = −∞, µ0 − t1−α;n−1 · n−1
Généralisation à une loi non normale Dans le même esprit que ci-dessus (mais en appliquant cette fois-ci le
théorème central limite), on peut, comme pour l’estimation, étendre les résultats précédents à des lois non normales
de variance connue ou non connue. Les zones de rejet obtenues sont alors asymptotiques et valables uniquement
lorsque n ≥ 30.
2.2
Test de conformité à une proportion
But : étant donnée une variable aléatoire X de Bernoulli de paramètre p, on souhaite tester l’hypothèse p = p0
au vu d’un échantillon de n valeurs. On considère un échantillon X1 , . . . , Xn de variables aléatoires (indépendantes)
ayant la même loi que X, avec n ≥ 30.
— Hypothèse nulle H0 = ”p = p0 ” contre hypothèse alternative H1 = ”p 6= p0 ”, pour un test bilatéral, ou
H1 = ”p < p0 ” (resp. H1 = ”p > p0 ”), pour un test unilatéral.
— Statistique discriminante : Z = Pn .
Test bilatéral
Proposition 5. La zone
un test bilatéral,
au risque α,qde conformité
à une proportion est donnée
de rejet associée àq
p0 (1−p0 )
p0 (1−p0 )
∪ p0 + u1−α/2 ·
,∞ .
par : Rα (x1 , . . . , xn ) = −∞, p0 − u1−α/2 ·
n
n
Exercice 2. Une entreprise fabrique des flacons destinés à contenir une substance particulière. Un flacon est dit
conforme s’il vérifie un ensemble de critères définis par l’entreprise. On appelle p la proportion de flacons conforme
dans l’ensemble de la production. Dans un échantillon de 200 flacons, on a trouvé 156 flacons conformes. Au vu de
cet échantillon, doit-on, au seuil de risque 5%, accepter ou refuser l’hypothèse p = 0.8 ?
Test unilatéral
Comme pour la moyenne, on se limite à l’hypothèse alternative H1 = ”p < p0 ”.
Proposition 6. La zone de rejet associée à un test unilatéral (d’hypothèse
alternative H1 = ”p <
p0 ”), au risque
q
p0 (1−p0 )
α, de conformité à une proportion est donnée par : Rα (x1 , . . . , xn ) = −∞, p0 − u1−α ·
.
n
3
3.1
Test d’homogénéité faible entre deux paramètres
Test de comparaison entre deux moyennes
But : étant données deux variables aléatoires X et X 0 de moyennes µ et µ0 , on veut tester l’hypothèse µ = µ0
au vu d’un échantillon de n valeurs de X et de n0 valeurs de X 0 . On commence par traiter un cas particulier.
4
Test bilatéral pour deux lois normales à variance non connue et pour des échantillons de taille n1 et
2
02
n2 supérieures à 30 Par le théorème central limite, on sait que Xn ' N (µ, σn ) et que Xn0 0 ' N (µ0 , σn0 ). Un tel
fait permettra d’avoir la loi (asymptotique) de la statistique discriminante.
— Hypothèse nulle H0 = ”µ = µ0 ” contre hypothèse alternative H1 = ”µ 6= µ0 ”.
02
2
— Statistique discriminante : Z = Xn − Xn0 0 ' N (µ − µ0 , σn + σn0 ).
2
S 0 2n0
Sn
+ n0 −1
. En particulier,
— Détermination de la zone de rejet : sous l’hypothèse H0 , on a Z ' N 0, n−1


P  −u1α /2 ≤ q
Z
2
Sn
n−1
+
S 0 2n0
n0 −1
≤ u1−α/2  ' P −u1α /2 ≤ U ≤ u1α /2 = 1 − α.
Ainsi la zone de rejet est donnée par :

s
Rα (x1 , . . . , xn ) = −∞, −u1−α/2 ·
s
 

2
2
σ̂ 2
σ̂ 0 n0  
σ̂ 2
σ̂ 0 n0
∪ +u1−α/2 ·
+
+
, ∞
n − 1 n0 − 1
n − 1 n0 − 1
— Règle de décision : si z = xn − x0n0 appartient à la zone de rejet, on refuse l’hypothèse ; sinon on l’accepte.
Extension des résultats On a supposé dans le paragraphe précédent que n1 et n2 soient suffisamment grands
(en l’occurrence supérieurs à 30). On peut également étendre l’étude au cas où n1 et n2 ne sont pas nécessairement
grands en faisant intervenir, cette fois-ci, des lois de Student.
Comme dans la section précédente, on peut également envisager divers cas selon que la (ou les les) loi(s) de X
et X 0 soi(en)t normale(s) ou non, de variance(s) connue(s) ou non et que le test soit bilatéral ou unilatéral.
3.2
Test de comparaison entre deux proportions
But : étant données deux proportions p et p0 , on veut tester l’hypothèse p = p0 au vu d’un échantillon de n
valeurs de X et de n0 valeurs de X 0 . En procédant comme dans le paragraphe précédent, on peut déterminer la zone
2
de rejet (pour un test bilatéral ou unilatéral). On tient cette fois-ci compte du fait que σ 2 = σ 0 = p(1 − p) sous
l’hypothèse H0 . Pour avoir une estimation de p̂, on peut prendre
p̂ =
nf + n0 f 0
,
n + n0
où f et f 0 sont les estimations classiques de p et p0 .
4
4.1
Test d’adéquation à une loi
Cas particulier d’une variable aléatoire prenant un nombre fini de valeurs
But : étant donnée une variable aléatoire X prenant un nombre fini de valeurs, notées y1 , . . . , yk , on veut tester
l’hypothèse H0 : p1 = P ( X = y1 ), . . . , pk = P ( X = yk ) au vu d’un échantillon de taille n ≥ 50.
— On désigne par x1 , . . . , xn un échantillon de valeurs issues de X1 , . . . , Xn .
— Pour tout i ≤ k, on pose Ni = nombre de valeurs de l’échantillon égales à yi et on rappelle que (sous l’hypothèse H0 ), on pose également pi = P ( X = yi ).
— Statistique discriminante :
Z=
k
X
(Ni − npi )2
i=1
npi
.
5
Proposition 7. Avec les notations précédentes, pour n suffisamment grand, on a : Z = χ2 (k − 1).
En d’autres termes, la zone de rejet au risque α est égal à Rα (x1 , . . . , xn ) = ]q1−α;k−1 , ∞[, où q1−α;k−1 est le
quantile d’ordre α de la loi du chi-deux à k − 1 degrés de liberté.
Méthode
— Hypothèse nulle H0 : (p1 , . . . , pk ) = (P ( X = y1 ) , . . . , P ( X = yk )) ; hypothèse alternative H1 : (p1 , . . . , pk ) 6=
(P ( X = y1 ) , . . . , P ( X = yk )).
2
Pk
i)
— Calculer z = i=1 (ni −np
au vu de l’échantillon.
npi
— Si z > qα;k−1 , rejeter l’hypothèse ; sinon l’accepter.
Exercice 3. On jette 100 fois un dé à six faces et on obtient le résultat suivant :
Face i
Effectif ni
1
17
2
22
3
18
4
14
5
13
6
16
Peut-on considérer, au risque de 5%, qu’il s’agit d’un dé non pipé ?
4.2
Extension aux variables aléatoires continues ou à valeurs dans un ensemble dénombrable
But : étant donnée une variable aléatoire X continue (par ex : la loi normale) ou à valeurs dans un ensemble
dénombrable (par ex : loi de Poisson) et possédant un nombre fini de paramètres (par ex : la loi normale a deux
paramètres, la loi de Poisson en a une seule), on veut tester l’hypothèse H0 = ”X suit la loi F ” au vu d’un échantillon
de taille n ≥ 50.
— On désigne par x1 , . . . , xn un échantillon de valeurs issues de X1 , . . . , Xn .
— Pour se ramener au cas précédent, l’idée est de partager l’ensemble des valeurs x1 , . . . , xn en k classes, notées
C1 , . . . , C k .
— Pour tout i ≤ k, on pose Ni = nombre de valeurs de l’échantillon dans la classe Ci et, sous l’hypothèse H0 ,
on pose également pi = P ( X ∈ Ci ). On suppose de plus que l’effectif hypothétique est tel que npi ≥ 5.
— Statistique discriminante :
Z=
k
X
(Ni − npi )2
i=1
npi
.
Proposition 8. Avec les notations précédentes, pour n suffisamment grand, on a : Z = χ2 (k − r − 1), où r est le
nombre de paramètres inconnus de X.
Remarque. Par paramètres inconnus, on entend le nombre de paramètres de la loi de X qu’on ne connaît pas et
qu’on doit estimer. Par exemple, si l’on suppose que X suive une loi normale de paramètres inconnus µ et σ 2 et que
l’on veut savoir si X suit bien une loi normale, on prend r = 2. Si l’on suppose que X suive une loi de Poisson de
paramètre inconnu λ et que l’on veut savoir si X suit bien une loi de Poisson, on prend r = 1.
En d’autres termes, la zone de rejet au risque α est égal à Rα (x1 , . . . , xn ) = ]qα;k−r−1 , ∞[ .
Exercice 4. Grâce à un programme ordinateur, on simule 500 valeurs prises par une variable aléatoire X suivant
une loi normale de moyenne 109 et d’écart-type 0.5. Les valeurs obtenues sont données dans la table 2.
Peut-on considérer, au risque de 5% puis de 1%, que le programme est correct ?
Remarque.
— Le test de cette section s’appelle le test du chi-deux en raison de la nature de la loi limite.
6
Classe
[107.8, 108.2]
[108.2, 108.6]
[108.6, 109.0]
[109.0, 109.4]
[109.4, 109.8]
[109.8, 110.2]
Effectif
10
70
155
160
85
20
Table 2 – Données des 500 valeurs prises par la variable aléatoire
— La méthode dans le cas général suit les mêmes étapes que pour les variables aléatoires prenant un nombre
fini de valeurs.
— Si, dans une classe Ci , on obtient npi ≤ 5 (où pi est la valeur hypothétique, théorique, testée), il faut élargir
les classes.
— Le choix des classes est, en pratique, délicat. Le meilleur choix, en général, est de les choisir de façon à ce
que les pi = P ( X ∈ Ci ), sous H0 , aient à peu près la même valeur.
— On peut construire un autre test, plus efficace mais plus délicat, pour des variables aléatoires continues.
— On peut également construire, à partir d’une adaptation du test du chi-deux, un test d’homogénéité fort (ou
test d’indépendance) entre deux variables aléatoires. Il s’agit de savoir si deux variables aléatoires X et X 0
sont indépendantes. L’idée sous-jacente est de considérer des couples de variables aléatoires et de tester si
la loi de (X, X 0 ) est la même que celle d’un couple de variables aléatoires indépendantes dont les lois sont
identiques à celles de X et X 0 .
L’essentiel
— Formuler les hypothèses nulle et alternative.
— Calculer des zones de rejet et préciser la règle de décision.
— Décider s’il faut rejeter ou non l’hypothèse nulle.
7
Téléchargement