%------------------------------- Eléments de réponse
------------------------------------
Exercice I: Débits d’Information maximum transmissible de manière fiable
dans un modem quaternaire
Source discrète S de taille N = 8 lettres, au débit littéral réglable D(S) lettre/sec.
Procédé de codage quaternaire (alphabet A
X
= {0, 1, 2, 3} de taille Q=4).
Canal Quaternaire paramétrée par Pe
∈
[0 ; 1] de sortie de matrice de transition du canal:
P(Y| X) = 1− 0 0
0 1− 0
0 0 1−
0 0 1−
Débit littéral dans le canal Dc, en symb (quaternaires)/sec, avec Dc_max = 1 Msymb/sec.
1) Redondance de la source, R(S) = 1 – H(S)/lb(8) = 1 -2/3 = 1/3
2) Exemple de jeu de probabilité P
S
= {1/2 , 1/4, 1/8, 1/16, 1/64, 1/64, 1/64, 1/64} amènerait
à H(S) = ½ + (¼).2 + (1/8).3 + (1/16).4 + (1/64).6.4 = 2 Sh/lettre.
Autres jeux possibles P
S
= {1/2 , 1/4, 1/8, 1/32, 1/32, 1/32, 1/64, 1/64}
Ou P
S
= {1/2 , 1/4, 1/8, 1/16, 1/32, 1/64, 1/128, 1/128}, …
A Cas canal SANS ERREUR: on suppose d’abord que Pe = 0, et Y=X.
3) capacité C = lb(4)= 2 Sh/symb pour un canal quaternaire (N=M=4) sans erreur,
l’Information mutuelle I(X,Y) étant maximisée pour des symboles de X équiprobables
p(xi) =1/4, i= 0,1,2,3.
4) Capacité du canal par unité de temps est ainsi Ct = C.Dc soit Ct_max = 2MSh/sec.
Selon 2° th. Shannon, Débit d’information maximal (pour S ou X, car trans sans perte
temps réel) Ht max= Ct_max = 2 MSh/sec.
5) Dans ce scénario (canal sans bruit), le codeur idéal est un codage de source idéal (ou
compression) permettant de supprimer toute la redondance : Redondance du code = 0.
Longueur moyenne Lmin = H(S)/lb(Q) = 2/2 = 1 symb/lettre.
6) Nombreuses manières d’obtenir le résultat :
Conservation du Débit d’information : Htmax(S)= Htmax(X) = Htmax = 2Msh/sec.
Or Ht(S) = D(S).H(S) d’où D(S)max = Htmax/H(S) = Htmax/2 = 1Mlettre/sec.
Annexe : Autres manières de calculer ou vérifier, selon 2°theoreme de Shannon :
- La relation entre la redondance, le débit d’information et le débit littéral de la source peut
être donnée par : R(S) = 1 – H(S)/lb(Q) = 1 – H(S)D(S)/(D(S)lb(Q)), Soit R(S) = 1 –
Ht(S)/(D(S)lb(Q)) on en D(S)lb(Q) = Ht(S)/(1 – H(S)), Et ainsi D(S) = [ Ht(S)/(1 –
R(S))] / lb(Q). Donc D(S)max = [ Ct/(1 – R(S)] / lb(Q) = [2M/(1-1/3)]/3 = 1 Mlettre/sec
- l’Entropie à l’entrée du canal doit être au maximum égale à C, soit H(X) ≤ C = 2
Sh/symb. On peut en déduire une entropie de source H(S) = H(X)/Lmin egale au
maximum à 2Sh/lettre, et donc un débit d’information Ht = 2.D(S) au maximum égal à
Htmax = 2D(S)max, soit D(S)max = Htmax /2 = 1 Mlettre/sec.
- Ou encore, en X, on a Débit littéral Dc_max = 2Msymb/sec, ce qui entraine en moyenne
un débit littéral avant codage (idéal) de D(S)_max = Dc_max/Lmin = 1Mlettre/sec.