Exercices de Codage de l`Information

Exercices de Codage de l’Information
1. Soient les 3 symboles a, b, c, dont la probabilité d’occurrence vaut respectivement 0,6 ; 0,3 ;
0,1.
Calculez l’entropie d’une telle source d’information. Exploitez la méthode d’Huffman pour
construire une table de codage entropique à associer à ces symboles.
Mêmes questions si l’on souhaite coder ces symboles par paire (toutes les séquences possibles
doivent être prises en considération : aa, ab, ac, ba, …). Qu’en concluez-vous ?
2. Soit à quantifier et à coder une source Gaussienne. Quelle méthode préconisez-vous, et
pourquoi ? Donnez l’expression du débit alors envisageable, en fonction du Rapport Signal à
Bruit. Comment adapteriez-vous le codeur si une contrainte extérieure imposait de réduire
temporairement le débit ?
3. Soit une source sans mémoire, générant à chaque instant discret une valeur a ou b, avec une
probabilité respective p et 1-p, où p >> 1-p. On applique alors un codage entropique sur des
séquences de symboles élémentaires. Les séquences traitées ont une longueur maximum de 2m
symboles, où m est à déterminer en fonction de p. La règle de codage est la suivante :

Pour une séquence de 2m symboles a consécutifs, on émets le code « 0 » ;

Dans les autres cas (un symbole b est rencontré), on émets le code « 1 », suivi d’un nombre de
m bits qui représente le nombre de symboles a consécutifs rencontré avant ce symbole b.
Exemple : m = 2
Séquence d’entrée
aaaa
b
ab
aab
aaab
Code émis
0
100
101
110
111
Montrer, au moyen d’un raisonnement simple, que ce code est optimal pour un choix de m tel
que : p  1 / 2
2 m
.
4. Soient la sortie d’un quantificateur, prenant à chaque instant discret une valeur choisie parmi
les 3 symboles élémentaires a, b, et c, avec une probabilité respective de p’, p, et p’. Quelles
sont les conditions sur la valeur de p pour que le codage entropique de ces 3 symboles
élémentaires par la méthode de Huffman soit plus avantageux que le codage binaire direct de
séquences de 5 symboles élémentaires ?
5. Programmer et expérimenter sous Matlab le principe du codage prédictif. Comparer les
diverses formules de prédiction, en terme de qualité subjective, de Rapport Signal à Bruit de
Pointe, d’entropie du signal d’erreur de prédiction.
6. Programmer sous Matlab la décomposition en ondelettes de Haar (passe-bas=(x1+x2)/2 ;
passe-haut=(X1-X2)/2 ) et l’expérimenter avec des images de divers types. Calculer l’entropie
dans les diverses sous-images de la décomposition.