TD sur la Compression des données

TD SUR LA COMPRESSION DES DONNEES
ALGORITHMES DE SHANNON-FANO ET DE HUFFMAN
CODAGE ARITHMETIQUE
Soit une source pouvant émettre 11 symboles différents avec les probabilités suivantes :
Symbole
Probabilité
A
0,12
C
0,03
D
0 08
E
0,05
F
0,03
H
0,02
N
0,30
O
0,20
S
0,02
Espace (b)
0,14
-
0,01
1) Quelle est son entropie ?
2) Décoder le message suivant :
11100011 10011011 00110011 01100111 11011110 10100000 10011111 11110110 10001
sachant :
 qu’il a été émis par cette source et compressé au moyen de l’algorithme de
Shannon-Fano, et
 que lors de la construction de la table de codage, les symboles ayant des probabilités
d’occurrence identiques ont été classés par ordre alphabétique (les caractères
spéciaux étant classés avant les lettres).
3) Quel est le gain obtenu par rapport au meilleur codage possible sans compression, les symboles
étant codés chacun avec le même nombre de bits ?
Comparer les entropies de l’information codée dans les deux cas (avec et sans compression).
4) Quelle aurait été l’entropie de l’information codée si on avait utilisé le même mécanisme de
compression mais si les symboles émis avaient été équiprobables ?
5) Encoder ce même message en utilisant l’algorithme de Huffman
6) Encoder le mot de 7 caractères, constitué des symboles 9 à 15 de ce même message, en
utilisant le codage arithmétique et en conservant la même table de probabilité des symboles
utilisés.