Quand dit-on qu`une différence est statistiquement significative?

Quand dit-on qu’une diérence
est statistiquement significative?
A. Nebab, S. Amrit, S. Aït Seddik, R. Belkaid *Par
À partir d’un exemple très simple, dans lequel on a observé 8 décès, dans un groupe et 2, dans un autre, on explique, en
détail, comment déterminer si une diérence est statistiquement significative. Ceci permet de mettre en évidence et de
discuter le caractère arbitraire de la limite de 5 % utilisée, pour conclure à l’existence d’une diérence significative.
Santé-MAG
38
N°55 - Octobre 2016
ÉVÈNEMENT
Quand dit-on qu’une diérence est
statistiquement significative ? Si vous
n’avez jamais su la réponse à cette
question, vous devez être très agacé
de l’importance que cette formule
magique a acquise, dans la littérature
médicale.
Notre objectif est de montrer, à partir
d’un cas particulier simple, ce que cela
veut vraiment dire. En perdant son mys-
tère, le fameux p, qui accompagne en
général la conclusion de diérence si-
gnificative, devrait acquérir plus d’inté-
rêt et représenter un résultat numérique
aussi facile à discuter qu’une réduction
de l’hypertension de 10 mmHg, ou une
survie à 5 ans, passant de 50 à 57 %.
1. CALCUL DE P, DANS UNE SITUATION
SIMPLE
L’exemple, très simple, est le suivant:
deux groupes égaux de patients ont
été constitués, par tirage au sort. Un
groupe a été traité, par un traitement
A; l’autre, par un traitement B. au total,
10 décès ont été observés. Ces 10 décès
se répartissent dans les deux groupes
de traitement de la façon suivante: 8 se
sont produits, dans le groupe traité par
A et 2, dans le groupe traité par B.
La question est de savoir si l’un des trai-
tements est meilleur que l’autre; c’est-
à-dire, si la mortalité est, vraiment, dif-
férente dans les deux groupes. L’autre
possibilité est que les deux traitements
soient, en réalité, d’ecacité identique,
la diérence observée étant, alors, l’ef-
fet du hasard, seul.
Pour savoir si la diérence est «statis-
tiquement significative», il nous faut
étudier ce qui peut arriver, quand les
traitements sont équivalents.
L’inventaire des possibilités est facile à
faire: si on observe 10 décès, au total,
ceux-ci peuvent se répartir dans les
deux groupes de 11 manières dié-
rentes; depuis 0, dans le groupe A (et
donc, 10, dans le groupe B), jusqu’à 10,
dans le groupe A (et donc, 0, dans le
groupe B).
Ces possibilités sont listées, dans le
tableau I.
Nous avons besoin de connaître la pro-
babilité de chacune de ces possibilités,
quand les traitements sont équivalents.
Ceci est un exercice que vous avez tous
fait au lycée, dans un autre contexte.
Le problème est, en eet, équivalent à
celui du tirage de 10 boules, dans une
boite (une urne; dans le jargon des pro-
babilités), qui contient moitié de boules
blanches et moitié de boules noires. La
boite est si grande que le fait d’en avoir
retiré une boule blanche, par exemple,
ne change pas la probabilité que la
seconde soit blanche, qui reste, donc,
égale à 1/2.
La probabilité d’avoir 10 boules
blanches sur 10 (ou bien les 10 décès,
dans le groupe B) est égale à: 1/2 x 1/2
x1/2 x 1/2 x 1/2 x 1/2 x 1/2 x 1/2 x 1/2
x ½.
Que l’on peut, aussi, écrire: 1/2. Et qui
vaut: 1/1024. Ou encore: 0,000977.
Reportons cette probabilité, dans la co-
lonne probabilité du tableau I.
Le calcul est le même pour 10 boules
noires, nous avons donc rempli deux
lignes de cette colonne. Pour les autres
situations, les calculs sont un tout petit
peu plus compliqués, par le fait qu’il y
a plusieurs façons de tirer: par exemple
une boule noire et neuf blanches. Chaque
façon a la même probabilité 1/1024 et
correspond à un ordre de tirage défini:
par exemple, une première boule noire
et les 9 autres blanches, une seconde
noire et les 8 autres blanches, etc.
Le nombre de tirages possibles, ici 10,
est indiqué dans le tableau I. la proba-
bilité d’observer une noire et 9 blanches
est égale au nombre de tirages possibles
multiplié par 1/1024, soit: 10/1024. Ou
encore: 0,00977.
A ce stade, si cette histoire a réveillé
en vous les plaisirs oubliés de la com-
binatoire, si les notions n! Ou encore
(np) vous disent, encore, quelque
chose, vous devriez pouvoir recons-
tituer l’ensemble de la colonne du
nombre des tirages possibles et donc,
des probabilités.
Nous nous sommes, apparemment,
beaucoup éloignés de notre problème
de départ, dans lequel nous avions ob-
servé 8 décès, dans un groupe traité par
A et 2, dans un groupe, de mê me taille,
traité par B.

Tableau 1: Répartition possible de 10 décès
observés, dans deux groupes de traitement
Nombre
de décès
Nombre de tirages
Possibles
Probabilité
A. Gr. B
010 10,000977
1 9 10 0,00977
2 8 45 0,0439
3 7 120 0,117
4 6 210 0,205
5 5 252 0,246
6 4 210 0,205
7 3 120 0,117
8 2 45 0,0439
9 1 10 0,00977
10 0 1 0,000977
1024 1.000
Santé-MAG 39
ÉVÈNEMENT
N°55 - Octobre 2016
En réalité, nous avons, pratiquement,
résolu le problème. En eet, le p que
nous cherchons est la probabilité de
trouver une diérence au moins aussi
grande que celle observée, simplement
par hasard; c’est-à-dire, si les deux trai-
tements sont équivalents.
Cette probabilité peut se lire, presque
directement, dans le tableau 1. En eet,
les situations correspondant à une dif-
férence au moins aussi grande que 8
décès, dans un groupe et 2, dans l’autre
sont indiquées en caractères gras et p
est la somme des probabilités de ces
situations au moins aussi extrêmes,
soit:
P = Prob. (8 & 2, ou 9 & 1, ou 10 & 0,
ou 2 & 8, ou 1 & 9, ou 0 & 10) = 0,0439
+ 0,00977 + 0,000977 + 0,0439 +
0,00977 + 0,000977 = 0,109
2. LA DIFFÉRENCE EST-ELLE SIGNIFICA-
TIVE ?
La diérence n’est pas significative,
puisque le p observé est supérieur à
0,05 (5 %); en eet, pour des raisons
purement historiques, en convient
d’appeler ‘’diérence statistique signi-
ficative’’ toute diérence qui a moins
de 5 chances, sur 100, de se produire,
simplement par hasard.
Cette convention a, malheureusement,
pris une importance beaucoup trop
grande, dans la mesure où la formule
magique «diérence significative»
conduit, souvent, a oublier de regarder
la valeur de p., en raisonnant de façon
très (trop) simpliste, c’est-à-dire, en
ignorant tout le reste des informations
(pharmacologique, sur l’animal, etc…).
un essai thérapeutique, étudiant un
tout nouveau produit et dont les ré-
sultats sont tout juste significatifs, ne
constitue pas une expérience su-
samment convaincante, pour conclure
à l’ecacité d’un médicament et le
mettre sur le marché. En eet, on met-
trait, ainsi, sur le marché, environ 5 %
des placebos, ou des produits inactifs
étudiés.
L’exemple choisi permet, aussi, d’expli-
quer la diérence entre test unilatéral
et test bilatéral. Cette diérence n’est
pas essentielle, au premier abord et le
sujet est donc, traité en annexe.
Maintenant que la formule «la dié-
rence significative» n’est plus magique,
comment peut-on interpréter une va-
leur de p ? Quelle est la valeur de p qui
doit emporter notre conviction ?
Si p = 5% n’est pas susant, pour
mettre une nouvelle molécule sur le
marché, faut-il un p de 1 pour 1 000
? De 1 pour 10 000 ? Il n’y a pas de
réponse, unique, à cette question, cela
dépend de l’ensemble des données
disponibles, sur le problème.
Si un premier essai d’une molécule
peu toxique montre une augmentation
significative de la survie de patients
atteints de SIDA, avec un p égal à 5%,
ce résultat peut être considéré comme
très prometteur. Si un essai montre
un produit homéopathique et a été
publié, parce qu’il montrait une dié-
rence significative, alors que 19 autres
essais négatifs sont restés dans les
placards des mêmes investigateurs, ou
d’autres investigateurs, le p est, donc,
un élément à prendre en compte parmi
d’autres.
C’est précisément pour cela qu’une
bonne compréhension, de ce qu’il re-
présente, est nécessaire. J’espère vous
avoir donné quelques éléments pour
ce faire.
Note: Le calcul détaillé, dans l’exemple,
représente le calcul exact de p. Les
calculs deviennent, rapidement, très
longs, quand le nombre des observa-
tions augmente. On utilise, alors, des
approximations, pour lesquelles la va-
leur de p se lit, dans les tables.
ANNEXES
Diérence entre test unilatéral et test
bilatéral
Nous allons expliquer la diérence
entre test unilatéral et test bilatéral
(en anglais one-sided and two-sided
tests), et la relation avec p.
Dans notre exemple, nous nous
sommes intéressés à une situation
bilatérale; c’est-à-dire que nous nous
sommes demandés si les traitements
étaient diérents, sans appeler, a prio-
ri, sur le sens de cette diérence. On
peut supposer que le traitement A est
un traitement placebo et B un nouveau
produit et calculer seulement la pro-
babilité observer une diérence, au
moins, aussi grande que celle obser-
vée; les seules possibilités à envisager
étant celles dans lesquelles B est supé-
rieure à A. Ceci constitue un test unila-
téral. On a, alors:
p= Prob (8 & 2 ou 9 & 1 ou 10 & 0) =
0,0439 + 0,00977 + 0,000977 = 0,055
La diérence est maintenant à la limite
de la signification.
Cet exemple illustre bien le caractère
arbitraire de la limite de 5 %, et l’impor-
tance capitale de l’information sur la
nature uni- ou bilatérale du test.
Nous pensons, personnellement, que
les tests présentés devraient être, en
règle générale, toujours bilatéraux;
l’expérience prouve qu’il arrive qu’un
nouveau traitement soit significative-
ment pire qu’un placebo.
On voit, parfois, utilisée la notion 2p,
pour désigner les valeurs de p corres-
pondant à des tests bilatéraux. Ceci est
une façon, simple et rapide, de préci-
ser que le test correspondant est bila-
téral.
CONCLUSION
Une diérence déclarée non signi-
ficative implique qu’on ne peut pas
conclure.
Une diérence déclarée significative
veut dire qu’on arme qu’il existe une
diérence entre les paramètres, ou les
distributions comparées.
En déclarant cette armation, on
prend un certain risque
* A. Nebab, S. Amrit, S. Aït Seddik,
R. Belkaid,
service d’épidémiologie et de médecine
préventive – CHU Béni-Messous – Alger.
Remerciements
Au Pr. A. Soukehal, pour son aide,
ses commentaires critiques et
enthousiastes,
ainsi qu’au Pr R. Aouameur, pour sa
lecture critique.
Bibliographie
(1) Doyon f, Com-Nougué C. Qu’est-ce-qu’un
test ? Les principaus tests statistiques. Rev
Prat 1983; 33: 947-54.
(2)Sanders D. H. Murph A.S, Eng R.J. Les
statistiques, une approche nouvelle. Mc
Graw Hill, 1984.
(3)T.Ancelle 2éme édition, Statistiques
épidémiologique, 2008;93.