1 ENTROPIE
Table des matières
1 Entropie 2
1.1 Définition et premières propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Le cas des lois géométriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 Théorème de Mertens 6
2.1 Miseenplace ....................................... 6
2.2 Uneminoration ...................................... 7
2.3 Démonstrationduthéorème.............................. 8
Notations
Dans toute la présentation, on adoptera les notations suivantes
1. Ndésigne l’ensemble des entiers naturels.
2. pdésigne toujours un nombre premier.
1.Entropie
Soit (Ω,F,P)un espace de probabilité fixé pour toute cette partie.
L’objectif est ici de définir la notion d’entropie sur (Ω,F,P)et d’étudier en détail le
cas des lois géométriques.
1.1 -Définition et premières propriétés
Définissons tout d’abord l’entropie d’une variable aléatoire discrète.
Définition 1.1.1. Soit Xune variable aléatoire discrète sur (Ω,F,P)de support S(X).
On appelle entropie de Xla quantité
H(X) = −X
k∈S(X)
P(X=k)ln(P(X=k))
Nous allons montrer un premier lemme, fondamental pour la suite, donnant l’entropie
d’une loi uniforme.
Lemme 1.1.1. Soit Nune variable aléatoire de loi uniforme sur J1, nKavec nentier
naturel non nul. Alors l’entropie de Nest donnée par
H(N) = ln n
Démonstration. Par définition de l’entropie
H(N) = −
n
X
k=1
P(N=k)ln(P(N=k)) = −
n
X
k=1
−ln n
n=ln n
Une autre propriété importante pour la suite est la sous-additivité de l’entropie, que
l’on démontre dans la proposition suivante.
Alexandre Bailleul 2 Paul Alphonse