EXERCICES

1
EXERCICES
EXERCICE 1
Pour une certaine région, les prévisions d'un météorologiste M se distribuent suivant les
fréquences relatives données par le tableau :
Les colonnes correspondent au temps effectif et les lignes aux prévisions.
pas de pluie pluie
pas de pluie 5/8 1/16
pluie 3/16 1/8
1. Un étudiant astucieux montre que M se trompe une fois sur quatre et qu'il peut faire mieux
en ne prévoyant que des jours sans pluie. Vérifier cette assertion. Il postule donc pour le poste
de M. Le directeur de M refuse l'offre de l'étudiant. Commenter cette décision à l'aide d'un
raisonnement faisant intervenir des notions de théorie de l'information.
2. L'étudiant revient quelque temps plus tard en garantissant les résultats suivants :
Les colonnes correspondent au temps effectif et les lignes aux prévisions de l'étudiant.
pas de pluie pluie
pas de pluie 403/512 93/512
pluie 13/512 3/512
Comment le directeur doit-il réagir à cette nouvelle offre?
3. Le directeur souhaite stocker dans ses archives le temps T (pluie ou absence de pluie) et les
prévisions de M. Quelle est la taille minimale du fichier qu'il doit prévoir (en nombre de bits
par réalisation de T ou de M)?

2 _________________________________________________ exercices du chapitre II
Si on suppose que prévision et temps effectif pour un jour donné sont indépendants du passé,
quel résultat obtient-on par codage de Huffman des couples T,M
()?
EXERCICE 2
Soit X une variable aléatoire à n valeurs possibles x1,x2,...,xn−1,xn de probabilités
1
2,1 22,..., 1 2n−1,1 2n−1.
1. Effectuer un codage de Huffman des n valeurs possibles de X.
2. Comparer la longueur moyenne des mots code n à l'entropie H(X) de la source (on se
contentera d'exprimer n et H(X) sous la forme d'une somme finie de termes). Que constate-t-
on? En quoi ce résultat est-il remarquable? Comment expliquer ce résultat remarquable?
EXERCICE 3
On considère une source binaire sans mémoire U de loi de probabilité: PU=0
{}=0,9 et
PU=1
{}=0,1. Les zéros étant beaucoup plus fréquents que les uns, on se propose de coder
les séquences issues de la source en tenant compte du nombre de zéros entre deux uns
consécutifs. L'opération consiste en deux étapes :
- Première étape
On compte le nombre de zéros entre deux uns consécutifs. On obtient ainsi un entier que l'on
appelle entier intermédiaire.
- Deuxième étape
On code l'entier intermédiaire en un mot binaire constitué de quatre éléments binaires si
l'entier est inférieur ou égal à 7 et on choisit un mot de un élément binaire si l'entier est 8. Si
l'entier intermédiaire dépasse 8, on codera les suites de 8 zéros consécutifs par un bit
correspondant à l'entier intermédiaire autant de fois que nécessaire. On obtient ainsi la table
de correspondance entre les séquences source et les entiers intermédiaires :

exercices du chapitre II___________________________________________________3
séquences source entiers intermédiaires
1 0
01 1
001 2
0001 3
... ...
... ...
00000001 7
00000000 8
Exemple concernant la première étape d'attribution des entiers intermédiaires:
100100000000001100001
0 2 8 2 0 4
1. Les contraintes imposées permettent-elles de choisir un code uniquement déchiffrable (on
ne demande pas d'expliciter un code particulier)?
2. Calculer le nombre moyen n1 de bits source par entier intermédiaire.
3. Calculer le nombre moyen n2 de bits encodés par entier intermédiaire.
4. On considère une séquence de bits source de longueur n avec n très grand. En appliquant la
loi faible des grands nombres, exprimer le rapport du nombre de bits utilisés pour coder cette
séquence au nombre de bits source (n) en fonction de n1 et n2. Calculer numériquement la
valeur de ce rapport. Comparer avec la limite en dessous de laquelle il n'est pas possible de
descendre.
5. Effectuer un codage de Huffman de l'extension d'ordre 4 de la source U. Calculer
(numériquement) le nombre moyen de bits utilisés pour coder un élément binaire issu de la
source U. Comparer avec les résultats du 4.
EXERCICE 4
1. On considère une variable aléatoire X de loi de probabilité donnée par:

4 _________________________________________________ exercices du chapitre II
PX=i
{}=pqi−1∀i∈IN∗p+q=1. Calculer l'espérance mathématique de X et son
entropie. (on dit que X suit une loi géométrique de paramètre p)
2. Soit une source discrète sans mémoire Xn
()n≥0 telle que chaque Xn suit la loi énoncée au 1.
On considère une suite binaire Uj
()j≥0, construite à partir des Xn, qui émet successivement
X0"0",X1"1",X2"0",...,X2i"0",X2i+1"1",....
2.1 On admettra que Uj
()j≥0 est une chaîne de Markov homogène d'ordre 1. Calculer
son entropie.
2.2 Retrouver le résultat du 2.1 (entropie de U) en utilisant les liens unissant Uj à Xn.
2.3 Montrer que la suite Uj' définie par Uj'=Uj+Uj−1modulo 2 est sans mémoire.
3. On considère la chaîne de Markov Vj définie par le graphe:
0 1
p0
p1
q1
q0
Calculer l'entropie de cette source binaire. (on pourra introduire deux sources Xi et Xi' de
lois géométriques de paramètres p0 et p1 et la source Yi=Xi,Xi'
()).
EXERCICE 5
On considère la source binaire Vj définie par la question 3 de l'exercice précédent (on prend
q0=0,9 et q1=0,6).
1. Calculer la loi stationnaire de la source et son entropie. Effectuer un codage de Huffman de
l'extension d'ordre 3 de cette source. Quel est le nombre moyen de bits nécessaires pour coder
un symbole source? Comparer cette valeur avec l'encadrement donné par le théorème du
codage de source.
2. On se propose maintenant de coder la source à l'aide du code préfixe défini par l'arbre:

exercices du chapitre II___________________________________________________5
mots source
mots code
0000 00 01 10 11
0 100 101 110 111
0
1
0 1
0 1
0 1
Calculer le nombre moyen d'éléments binaires utilisés pour coder un bit source.
EXERCICE 6
On considère une source ternaire sans mémoire délivrant les symboles A, B, C avec les
probabilités correspondantes 0.2, 0.3, 0.5. Cette source émet des séquences de longueur 1000.
1. Quel est le nombre de séquences typiques?
2. Quel est le rapport du nombre de séquences typiques au nombre de séquences atypiques?
3. Qelle est la probabilité d'une séquence typique?
4. Combien de bits sont nécessaires pour coder les séquences typiques?
5. Quelle est la séquence la plus probable? S'agit-il d'une suite typique?
EXERCICE 7
Soit U une source discrète sans mémoire de valeurs possibles a1,a2,...,ai,...
{} vérifiant:
∀k>j≥1Pak
{}≤Paj
{} avec Pam
{}=PU=am {}.
On se propose de coder les différentes valeurs de U de la façon suivante:
à la valeur ai est associé le nombre Qi défini par Qi=Pak
{}
k=1
i−1
∑∀k>1et Q1=0.