
01/05/2025
3
71
Quantité d’information
Soit une sortie de source émis une séquence de symboles comme étant une variable
aléatoire discrète qui prend des symboles à partir d’un ensemble (alphabet) fini
avec: A=
,,…,.
Chaque apparait dans la séquence a une probabilité 0<
<1 telque
∑
=1.
Donc, la quantité d'information d’un symbole est exprimée en bits et donnée par :
= −
La quantité d’information nous permet de mesurer l’importance d’un symbole. Plus un
symbole est rare (fréquent),plus sa quantitéd'information est élevée (faible).
Exemple:
Soit la séquence = , donc chaque symbole appartient à l’alphabet A= ,,
Les probabilités pour que L, A, V apparaissent dans la séquence sont respectivement :
=
2
5
=
2
5
=
1
5
Donc la quantité d’information de L, Aet V sont respectivement :
Codage source
Pr. A. BOU-EL-HARMEL EPS-Fès
72
Apres le calcul de la quantité d’information de chaque symbole , nous pouvons
calculer la quantité d’information moyenne produite par une source. Cette dernière est
calculé par l’entropiequi s′exprime par :
=
()
L’entropie d’une source nous permet de :
ØCompresser les données sans perte le plus possible, c.-à-d. combien de bits
minimum nous devons utiliser. Autrement dit, la limite de débit binaire minimal
du codage d’une source sans perte.
ØComparer et analyser différentes sources, c.-à-d. quelle source la plus complexe
ou plus compressible :
•est grande →difficile à compresser
• est petite →facile à compresser
Exemple précédent :
Soit la séquence
donc :
Codage source
Pr. A. BOU-EL-HARMEL EPS-Fès
Quantité d’information