Le cours en ppt

L3 PRO
1
Echantillonnage – Estimation d’un paramètre
Extraction de n échantillons d’une population P
Si l’on extrait plusieurs échantillons représentatifs de taille n fixée, les
différences observées entre les résultats obtenus sont dues à des
fluctuations d’échantillonnage. A partir d’un échantillon, on n’a donc pas
de certitudes mais des estimations de paramètres.
L'estimation d'un paramètre peut être faite
- par un seul nombre: estimation ponctuelle
- par 2 nombres entre lesquels le paramètre peut se trouver: estimation
par intervalle
2
Echantillonnage – Estimation d’un paramètre
Estimation ponctuelle d’une moyenne
n
1
x   xi
n i 1
x barre
sx
sx 
n
n
sx 
2
2
(
x

x
)
 i
i 1
n 1
Estimateur sans biais
Ecart type de la moyenne
3
Echantillonnage – Estimation d’un paramètre
Pour améliorer la connaissance de la moyenne, il faut augmenter la taille de
l’échantillon
4
Echantillonnage – Estimation d’un paramètre
Intervalle de confiance de la moyenne
Cas des grands échantillons (variance connue):
Soit une population obéissant à une loi normale de moyenne m et
d’écart type s.
Pr( x  Z / 2 
s
n
 m  x  Z / 2 
s
n
)  1
5
Echantillonnage – Estimation d’un paramètre
Exemple:
45 hommes
x  164 cm
s  10 cm
10
10 

x  164  1.96 
;164  1.96 

45
45


x  161;166.9 à 95% de confiance
x  164  2.9
6
Echantillonnage – Estimation d’un paramètre
7
Echantillonnage – Estimation d’un paramètre
Intervalle de confiance de la moyenne
Cas des petits échantillons:
Quand n<30 ou quand la variance est inconnue, on prend la loi
de Student.
sx
sx
Pr( x  t / 2 
 m  x  t / 2 
)  1
n
n
Pour n = n-1 degrés de liberté
Finalement on peut toujours utiliser la loi de Student puisque t
tend vers la loi normale quand n est grand…
8
La loi de Student: t(n)
n degrés de liberté
Converge vers la loi Normale quand n augment.
9
La loi de Student: t(n)
La probabilité d’obtenir une valeur de t à l’extérieur de l’intervalle
(-t/2 et t/2) -> TABLES.
P(t t /2)
10
Echantillonnage – Estimation d’un paramètre
11
Echantillonnage – Estimation d’un paramètre
Exemple:
6 hommes
x  165 cm
s x  11 cm
11
11 

x  165  2.57 
;165  2.57 

6
6

x  153;177 à 95% de confiance
x  165  12
Finalement on peut toujours utiliser la loi de Student puisque t
tend vers la loi normale quand n est grand…
12
Echantillonnage – Estimation d’un paramètre
Intervalle de confiance de la variance
Soit une population obéissant à une loi normale de moyenne m
(inconnue) et d’écart type s (inconnu).
Pr(
(n  1)  s x2

2
(1 / 2 )
s 2 
(n  1)  s x2
 / 2
2
)  1
Pour n = n-1 degrés de liberté
13
La loi du Khi carré: 2
Si Z1, Z2, Zn sont des variables aléatoires normales centrées
réduites et indépendantes entres elles, la somme des carrées de
ces varaibles aléatoires obéit à la loi du 2 à n degrés de libertés
  Z  Z  ....  Zn
2
2
1
2
2
2
14
La loi du Khi carré: 2
15
La loi du Khi carré: 2
En fait, les calculs sont fastidueux -> TABLES
  P(  2  2 )
16
La loi du Khi carré: 2
17
Echantillonnage – Estimation d’un paramètre
Intervalle de confiance de l’écart type (idem)
Soit une population obéissant à une loi normale de moyenne m et
d’écart type s.
Pr(
(n  1)  s x2

2
(1 / 2 )
s 
(n  1)  s x2
 / 2
2
)  1
Pour n = n-1 degrés de liberté
18
Echantillonnage – Estimation d’un paramètre
Estimation ponctuelle d’un pourcentage
La population est formée d’individus ayant ou non un caractère A. Soit p
la probabilité pour qu’un individu pris au hasard dans la population
présente le caractère A.
p  a/n
p(1  p)
s 
n 1
2
p
Quand on dispose d’un seul échantillon de taille n, la meilleure
estimation ponctuelle de P est donc la fréquence p observée sur
l’échantillon.
19
Echantillonnage – Estimation d’un paramètre
Intervalle de confiance d’un pourcentage
Grands échantillons (n>30), p ni voisin de 0, ni voisin de 1, (np>5, n(1p)>5)
La variable fréquence obéit à une loi normale centrée réduite
Pr( p  Z / 2 
p(1  p)
 P  p  Z / 2 
n
p(1  p)
)  1
n
20
Echantillonnage – Estimation d’un paramètre
Un problème très fréquent!
Un quotidien publie tous les mois la cote du chef du gouvernement à
partir d'un sondage réalisé sur un échantillon représentatif de 1000
personnes. En janvier, la cote publiée était de 38% d'opinions
favorables, en février de 36%. Un journaliste commente alors ces
valeurs par "Le chef du gouvernement perd 2 points !!"
En fait: On construit un intervalle de confiance autour des
proportions. Avec un seuil de 95%, on obtient respectivement [35;41]
et [33;39] pour les valeurs 36% et 38%. Les deux intervalles ayant
une intersection non vide, on ne peut pas conclure qu'il y ait eu baisse
ou augmentation de la cote du chef de gouvernement.
21
L3 PRO
22
Théorie de la statistique de décision
Quel est le problème…?
On sait qu’un homme de néanerthal
mesure en moyenne 165 cm.
Sur un site on trouve 16 hommes avec
une moyenne de 167 et un écart type de
8 cm (e.t. échantillon).
Comparaison de la moyenne avec la
valeur théorique de 165 cm
Possibilités:
Moyenne très élevée: Nous pourrons être amenés à croire que ces
hommes ont des tailles différentes de 165 cm
Moyenne faiblement plus élevée: on ne pourra pas conclure si c’est
significativement supérieur à la norme ou si c’est l’effet du hasard.
23
Théorie de la statistique de décision
Question: à partir de quelle limite pouvons nous raisonnablement
conclure à une différence?
H0: m=165 (il n’y pas de différence)
H1: m≠165
Calcul de
sx
8
sx 

2
n
16
Sur la table la probabilité pour que la moyenne
d’échantillonnage soit différente celle de la
population de plus 2,131 de écart-type est de 5%.
24
Théorie de la statistique de décision
Quel est le problème…?
On sait qu’un homme de Neandertal
mesure en moyenne 165 cm.
Sur un site on trouve 40 hommes avec
une moyenne de 167 et un écart type de
8 cm (e.t. échantillon).
Comparaison de la moyenne avec la
valeur théorique de 165 cm
Possibilités:
Moyenne très élevée: Nous pourrons être amenés à croire que ces
hommes ont des tailles différentes de 165 cm
Moyenne faiblement plus élevée: on ne pourra pas conclure si c’est
significativement supérieur à la norme ou si c’est l’effet du hasard.
25
Théorie de la statistique de décision
Question: à partir de quelle limite pouvons nous raisonnablement
conclure à une différence?
H0: m=165 (il n’y pas de différence)
H1: m≠165
Calcul de
sx 
sx
8

 1.265
n
40
On mesure en fait 167 +/- 2.48 à 95% de confiance,
ce qui n’est pas différent de 165 cm!
26
Théorie de la statistique de décision
Les deux risques d’erreur dans un test.
Erreur de 2nde espèce (compliquée)
1-
Décision
H0 acceptée
H0 rejetée
H0 est vraie
Bonne décision
Erreur 
H1 est vraie
Erreur 
Bonne décision
1-
Erreur de 1ere espèce
A priori on ne sait pas à quel type d’erreur on sera confronté:
Le résultat de l’échantillon a révélé 167 cm probablement par pur hasard.
On conclue que la moyenne pourrait être 165 cm alors qu’en fait elle est
mesurée à 167 cm.
27
Théorie de la statistique de décision
H0 : hypothèse nulle ou principale
Ex: Les haches de type A présentent les mêmes teneurs en Sn que
les haches de type B.
H1 : hypothèse alternative ou contraire …
Soumission à une épreuve de vérité!
Conclusion : différence attribuable aux fluctuations
d’échantillonnage???
28
Théorie de la statistique de décision
Niveau de signification : un peu arbitraire…
significatif : 0.05
hautement significatif : 0.01
très hautement significatif : 0.001.
Test bilatéral / unilatéral :
bilatéral : différence sans se préoccuper du sens.
Unilatéral : > ou <. Zone de rejet d’un seul coté de la distribution de
probabilité de référence.
Echantillons indépendants ou appariés:
Indépendants : aucune influence du 1er ech sur le 2nd.
Appariés : prélèvements par paires. Ex : fumeurs H + F.
29
Comparaison de deux moyennes expérimentales–grands échantillons Comparaison des moyennes de 2 grands échantillons
indépendants (n1 et n2 >30):
Deux échantillons qui suivent des lois normales: m1, s21; m2, s22
H0 : m1  m2
Zc 
x1  x2
s
2
x1
n1

s
2
x2
n2
Si H0 est vraie, Zc suit une loi normale N(0,1)
30
Comparaison de deux moyennes expérimentales–grands échantillons H1 : m1 ≠ m2 bilatéral
31
Comparaison de deux moyennes expérimentales–grands échantillons H1 : m1  m2 unilatéral
32
Comparaison de deux moyennes expérimentales–grands échantillons H1 : m1  m2 unilatéral
33
Comparaison de deux moyennes expérimentales–grands échantillons Pour résumer:
H0
m1 = m2
H1
m1  m2
m1 > m2
m1 < m2
Rejet de H0 si
|Zc|  |z/2|
Zc  z
Zc  z
 = 0.05
|z/2| = 1.96
z = 1.64
z = 1.64
 = 0.01
|z/2| = 2.57
z = 2.33
z = 2.33
Maintenant un exemple...
34
Comparaison de deux moyennes expérimentales–grands échantillons Taille des silex sur deux sites
n2  67
n1  50
x1  158,86mm
x2  134,46mm
s  37,18mm
s x22  25,92mm2
2
x1
s x1  6,09mm
2
s x2  5,09mm
Les moyennes de ces deux échantillons prélevés indépendamment l’un
de l’autre diffèrent-elles d’une façon hautement significative?
35
Comparaison de deux moyennes expérimentales–grands échantillons -
n1 et n2 grands -> test sur la loi normale
H0 : ma = mb
H1 : ma  mb (bilatéral)
Zc 
x1  x2
s x21 s x22

n1 n2
158.86  134.66
Zc 
 22.9
37.18 25.92

50
67
 = 0.01, Z/2 = 2.57
36
Comparaison de deux moyennes expérimentales–grands échantillons -
H0 rejetée au seuil de signification de 1%
37
Comparaison d’une moyenne empirique à une moyenne théorique
Même principe que précédemment (quand n est grand):
H0: m=m0
x  m0
Zc 
sx
n
que l’on teste sur la loi normale N(0,1)
38
Comparaison de deux moyennes expérimentales– petits échantillons Cas des petits échantillons: Test t
Deux populations normales m1 et m2 de même variance (au moins
approximativement) s2. Si n1 et n2 sont petits, s2x1 et s2x2 sont des
estimateurs peu précis de s2.
Dans ce cas, la variable différence centrée réduite n’obéit plus à une loi
normale mais à une loi de Student à n=n1+n2-2 degrés de liberté.
39
Comparaison de deux moyennes expérimentales– petits échantillons La variance de la distribution des différences de moyennes est
estimées par s2D
1 1
s  s    
 n1 n2 
2
D
2
pd
avec
s
2
pd

(n1  1) s x21  (n2  1) s x22
n1  n2  2
40
Comparaison de deux moyennes expérimentales– petits échantillons Ce qui donne…
H0 : ma = mb
x1  x2
tc 
sD
Avec n = n1 + n2 - 2
41
Comparaison de deux moyennes expérimentales– petits échantillons Si les variances s’avèrent inégales alors test t modifié.
tcm 
avec
x1  x2
 s x21 s x22 
 

n

n
2 
 1
2
s
s 
  
 n1 n2 
n
2
2 2
2
 s x1   s x2 
   
n  n 
 1   2 
n1  1
n2  1
2
x1
2
x2
42
Comparaison d’une moyenne empirique à une moyenne théorique
Même principe que précédemment. Suivant si n est petit ou grand, on
calcule les variables auxiliaires suivantes:
H0: m=m0
x  m0
tc 
sx
n
x  m0
Zc 
sx
n
que l’on teste sur la loi de Student ou loi normale N(0,1)
43
Comparaison de moyennes de deux échantillons appariés
Fondée sur les différences de chaque paire d’éléments
d i  xi1  xi2
On imagine que la différence obéit à une loi normale, mais en général
on utilise une loi de Student à n-1 degrés de liberté:
n
sd
sd 
et sd 
n
2
(
d

d
)
 i
i 1
n 1
44
Comparaison de moyennes de deux échantillons appariés
H0 : m1 = m2 ou md = 0
tc 
d
sd
H1: m1  m2 , bilatéral
H1: m1 > m2 , unilatéral
H1: m1 < m2 , unilatéral
t calculé pour n = n-1 degrés de liberté
45
Comparaison de deux fréquences expérimentales
Comparaison des fréquences de 2 grands échantillons
indépendants.
Deux échantillons : f1, n1; f2, n2
On approxime la loi binomiale par la loi normale mais:
n1>30, n2>30, n1f1>5, n2f2>5, n1(1-f1)>5, n2(1-f2)>5
H 0 : p1 = p 2 = p
46
Comparaison de deux fréquences expérimentales
Sous H0 on peut réunir les deux échantillons, et on est conduit à l’estimation
de p
n1 f1  n2 f 2
pˆ 
n1  n2
Zc devient
Zc 
H1: p1≠p2
H1: p1>p2
H1: p1<p2
f1  f 2
1 1
pˆ (1  pˆ )  
 n1 n2 
Test sur la loi normale N(0,1)
47
Comparaison d’une fréquence empirique et d’une fréquence théorique
La différence entre f et p est-elle seulement explicable par les aléas dus
à l’échantillonnage?
On approxime la loi binomiale par la loi normale mais:
n>30, np>5 et nq>5
H 0: f = p
Zc 
H1: p1≠p2
H1: p1>p2
H1: p1<p2
f p
p (1  p )
n
Test sur la loi normale N(0,1)
48
Comparaison de deux variances expérimentales
Deux échantillons qui suivent des lois normales: m1, s21; m2, s22
Plus grande variance
H0: s21=s22
calcul de :
Fc 
s
s
2
xA
2
xB
>1
Plus petite variance
Si H0 est vraie, Fc suit une loi de Fisher-Snedecor avec n1=n1-1 et
n2=n2-1
49
La loi de Fisher - Snedecor : F(n1,n2)
Soit 21 et 22, un couple de variables aléatoires indépendantes
suivant respectivement des lois du 2 à n1 et n2 degrés de libertés.
 /n 1
F
 /n 2
2
1
2
2
Utile pour les tests de variance et de covariance
50
La loi de Fisher - Snedecor : F(n1,n2)
  P( Fn ,n  F n ,n  )
1
2
1
2
51
Comparaison de deux variances expérimentales
H1: s21>s22
Sous H0: Pr(Fc<F)=1-
rejet H0
Accept. H0
F
52
Comparaison de deux variances expérimentales
H1: s21≠s22
Sous H0 : Pr(Fc<F/2)=1-
Accept. H0
rejet H0
/2
F/2
53
Comparaison de deux variances expérimentales
Table de
FisherSnedecor
54
L3 PRO
21/04/2017
Statistiques
55
1. Généralités – Conditions d’application
Pourquoi et quand utiliser des statistiques non-paramétriques?
Les tests non paramétriques ne font aucune hypothèse sur la distribution sousjacente des données. On les qualifie souvent de tests distribution free.
L’étape préalable consistant à estimer les paramètres des distributions
(p.e. moyenne et écart type) avant de procéder au test d’hypothèse
proprement dit n’est plus nécessaire.
Quand?:
1.
L’échelle des données est ordinale plutôt que sous forme d’intervalles ou
de rapports. Dans ce cas les opérations arithmétiques n’ont pas de sens!
2.
Les mesures sont sur des échelles d’intervalles ou de rapports mais les
distributions de fréquences observées sont très éloignées de la
distribution normale.
21/04/2017
Statistiques
56
1. Généralités – Conditions d’application
Données
Paramétrique
Non-paramétrique
Distribution normale
n grand
Précis et fiable
Si H0 est rejeté, le
résultat devrait être le
même qu’avec le test
paramétrique
Si H0 est accepté, le
résultat n’est peut être
pas fiable
Distribution non
normale
n petit
21/04/2017
Résultat absolument
pas fiable: souvent un
rejet de H0 abusif
Statistiques
Meilleur résultat
possible avec de telles
données
57
Test du χ2
Test du χ2 d’adéquation/conformité:
Il s'agit de juger de l'adéquation entre une série de données
statistiques et une loi de probabilité définie a priori ou à une
population donnée.
Test du χ2 d’homogénéité:
Il s'agit alors de se demander si deux listes de nombres de même
effectif peuvent dériver de la même loi de probabilité.
Principe
L’analyse se fait à l’aide d’un tableau de corrélation (variables
quantitatives regroupées en classes) ou (plus souvent) de contingence
(variables qualitatives). Il ne concerne que des données discrètes.
On calcule les fréquences attendues de chacune des cases puis les
écarts entre celles-ci et les fréquences observées.
Préparation des données. Test du χ2
Tableau de contingence: les MnMs transgéniques
Préparation des données. Test du χ2
Les tableaux de
corrélation: le territoire et
la masse des marsupiaux
La loi du Khi carré: 2
61
Conformité. Test du χ2
Pour calculer la statistique χ2, on a besoin des:
- fréquences absolues observées
- fréquences absolues attendues
Remarque importante: les fréquences du tableau sont des fréquences
absolues observées, jamais des fréquences relatives!
Conformité. Test du χ2
Les fréquences attendues (théoriques) sont nécessaires
1. Si on connaît déjà (grâce à une théorie) les fréquences attendues
théoriques, on les utilise directement. Exemple: l'hérédité des pois de
Mendel:
Conformité. Test du χ2
Test du χ2
H0 : Il n’y a pas de relation entre les variables…
χ2 = 0
H1: Il y a une relation entre les variables…
χ2 > 0
Conformité. Test du χ2


o1  e1 

2
2
e1

o2  e2 

2
e2

ok  ek 
 ... 
2
ek
k

j 1
o
j  ej 
2
ej
où, si N est la fréquence totale
o  e
j
j
N
H0: 2=0
H1: 2>0
Si 2 = 0, fréq théoriques identiques aux fréq. obs., si 2 > 0,
elles ne sont pas exactement identiques.
Conformité. Test du χ2
Un exemple
Le tableau suivant montre la distribution des unités 0, 1,2, …, 9 d’une
table de nombres aléatoires comportant 250 nombres. Est-ce que la
distribution observée est significativement différente de la distribution
théorique?
Unités
0
1
2
3
4
5
6
7
8
9
Fréq Obs
17
31
29
18
14
20
35
30
20
36
Fréq Est.
25
25
25
25
25
25
25
25
25
25
Solution:


2
0.95critique

17  25

2
2
25

36  25
 ... 
2
25
 23.3
à n = 10-1 = 9 degrés de liberté = 16,92
23.3>16,92. Cette table de nombre aléatoire est suspecte.
Degré de liberté. Test du χ2
Pourquoi 9 degrés de liberté dans l’exemple
précédent?
n= k -1 si les fréquences théoriques peuvent être
calculées sans avoir à estimer les paramètres de la
population à partir des statistiques d’échantillon.
n = k – 1 – m si les fréquences théoriques peuvent
être calculées en n’estimant que m paramètres de la
population à partir des statistiques d’échantillon.
Idéalement, au moins 5 occurrences par case!
Degré de liberté. Test du χ2
21/04/2017
Statistiques
68
Homogénéité. Test du χ2
21/04/2017
Statistiques
69
Homogénéité. Test du χ2
21/04/2017
Statistiques
70
Homogénéité. Test du χ2
Guérit
Ne guérit pas
Total
Groupe A (serum)
75
25
100
Groupe B (sans sérum)
65
35
100
Total
140
60
200
Fréquences observées
Guérit
Ne guérit pas
Total
Groupe A (serum)
70
30
100
Groupe B (sans sérum)
70
30
100
Total
140
60
200
Fréquences attendues sous H0

2
2
2
2
2

75  70 65  70 25  30 35  30




70
70
30
n  (h  1)( k  1)  1;  02.95  3.84
Impossibilité de rejeter H0
30
 2.38
Homogénéité. Test du χ2
Exemple
Tableau de contingence du nombre de joueurs de hockey de différentes
nationalités utilisant différentes marques de bâtons de hockey.
Étape 1 : Question “biologique”
Le choix de la marque du bâton de hockey que les joueurs utilisent
est-il influencé par l’origine du joueur?
Homogénéité. Test du χ2
Étape 2: Déclaration des hypothèses
H0: il n’y a pas de préférence de marque de bâton de hockey chez les joueurs
de différentes nationalités (donc: la variable "marque de bâton" et la variable
"nationalité" sont indépendantes) :
χ2 = 0
H1: les joueurs de différentes nationalités ont des préférences différentes au
niveau de la marque de bâton de hockey qu’ils utilisent :
χ2 > 0
Étape 3 : Test statistique utilisé
Étape 4: Conditions d’application
• données sous forme de fréquences
• indépendance des observations
• fréquences distribuées normalement
Homogénéité. Test du χ2
Calcul des fréquences théoriques:
fth(i,j) = (ni × nj)/N
exemple, la première cellule :
Homogénéité. Test du χ2
Étape 5 : Distribution de la variable auxiliaire
Si H0 est vraie, la statistique χ2calc suit une distribution de χ2 à υ = (l – 1) × (c –
1) = (5 – 1) × (6 –1) = 20 d.d.l.
Étape 6 : Règle de décision
On rejette H0 si χ2calc ≥ χ2(0,05, 20) = 31,41
Étape 7: Calcul du test
Étape 8: Décision statistique
On ne rejette pas H0 au seuil α = 0,05 car si χ2calc < χ2(0,05, 20)
Étape 9: Interprétation biologique
Les joueurs de différentes nationalités n’utilisent pas des bâtons de hockey de
marques différentes car les compagnies font la promotion de leurs bâtons
avec la même intensité dans les pays étudiés.
1. Généralités – Les tests non paramétriques en pratique
21/04/2017
Statistiques
76