CNAM ELE 112 Théorie de l`information (TI) 5.0)1 ( )0 ( == = = Xp Xp

CNAM ELE 112 Théorie de l’information (TI)
TD N°4
Exercice TAN10
Soit le canal à effacement dont le diagramme de transition est le suivant :
La source X émet des bits équiprobables 5.0)1()0(
=
=
=
=
XpXp
Déterminer H(X | Y) et I(X, Y) en fonction de q.
Exercice TAN11
Déterminer la capacité d’un canal à bruit blanc additif gaussien dont la puissance du signal est de 10 W, la
bande passante est de 1MHz et la densité spectrale du bruit est égale à HzWN /10
2
1
9
0−
=
Exercice TAN12
On considère une source binaire équiprobable et un canal BSC où le taux d'erreur p est égal à 10-3. Pour limiter
l'effet de bruit on utilise un codage à répétition : un "0" est encodé par le mot de code 000 et un "1" est encodé
par le mot de code 111.
1) Calculer les probabilités que se produisent 1, 2 ou 3 erreurs lors de la transmission d’un mot de code.
2) Le décodage s’effectue par vote majoritaire. Un mot reçu est décodé correctement si deux des trois bits qui le
composent sont sans erreur. Calculer la nouvelle probabilité d'erreur.
3) On généralise ce principe : "0" est codé par 2m + 1 "0"
"1" est codé par 2m + 1 "1"
1) Quelle est la distance de Hamming entre les 2 mots de codes lorsque m=2; m quelconque?
2) Comme précédemment, le décodage s’effectue par vote majoritaire (le bit décodé est le bit le plus
présent dans le mot reçu), déduire le nombre maximum d'erreurs que l'on peut corriger.
3) Quelle est la probabilité d'erreur Pe après décodage ? On exprimera ce résultat en fonction de m. On
pourra montrer que lorsque p << 1 la probabilité d'erreur est approximée par Pe ≈ αp j. On précisera les valeurs
de α et de j en fonction de m. Faire l’application numérique pour m=1; m=2;m=3.
4) On désire une probabilité d'erreur après décodage et correction Pe ≤ 5 .10-7.
quelle est la valeur minimale de m qui permet d'obtenir ce résultat?
Exercice TAN13
On considère une source binaire et un canal binaire symétrique où le taux d'erreur p est égal à 0.1.
Nous avons vu que la capacité de ce canal est environ égale à 0.52 Shannon/bit.
1/ Déterminer la probabilité qu’un mot de code composé de 23 bits soit reçu sans erreur en sortie du canal.
2/ Faire le même calcul pour 1, 2 et 3 erreurs.
3/ On utilise un code de Golay (23,12) sachant corriger jusqu’à 3 erreurs de transmission, déterminer la
probabilité d’erreurs mot après décodage.
4/ Interpréter les résultats obtenus vis à vis de la capacité du canal binaire symétrique.
Exercice TAN14
Soit le canal binaire symétrique suivant :
0 0
1 1
ε
q
1-q
q
1-q
X Y
0 0
1 1
p
1-p
p
1-p
X Y

La source X émet des bits équiprobables 5.0)1()0(
=
=
=
=
XpXp
Déterminer H(Y),H(X | Y) et I(X, Y) en fonction de p. Application Numérique pour p=0.11
Exercice TAN15
Soit le canal Z suivant :
La source X émet des bits équiprobables 5.0)1()0(
=
=
=
=
XpXp
Déterminer p(Y=y
i
), p(X=x
i
,Y=y
j
),p(X=x
i
|Y=y
j
) en fonction de p
Déterminer H(X | Y) et I(X, Y) en fonction de p. Application Numérique pour p=0.5
Exercice TAN 16 :
Soit un canal à entrées X et sorties Y discrètes avec un alphabet
{
}
4,3,2,1,0
=
A et dont les probabilités de
transition sont :
( )
±=
===
sinon0
5mod1s5.0 iji
xXyYP
ij
1/ représenter le canal graphiquement
2/ calculer H(X|Y) puis I(X,Y) en supposant les entrées équiprobables
3/ montrer qu’il est possible de transmettre 1bit/symb avec une probabilité d’erreur nulle
4/ peut on faire mieux en groupant les symboles deux à deux ?
Exercice TAN 17 : On transmet dans un canal binaire symétrique un message binaire de longueur N bits dont les
0 et les 1 sont équiprobables.
1) Soit p la probabilité conditionnelle p=P(Y=0 | X=1)= P(Y=1 | X=0). Déterminer la probabilité :
a) de n’avoir aucune erreur dans le message
b) d’avoir une erreur exactement dans le message
c) d’avoir au moins une erreur dans le message
Faire l’application numérique pour p=0,1 et N=12
2) Si le message reçu est erroné, on retransmet à nouveau celui ci jusqu’à ce que le message soit reçu sans erreur.
Quelle est la probabilité que le message soit correct :
a) sans re-émission
b) après 1, 2,3,…, n re-émissions
3) La répétition du même message 3 fois permet d’utiliser une stratégie de décodage à choix majoritaire pour
chacun des N bits du message. On peut montrer que cette stratégie est équivalente à considérer que le message a
été transmis sur un canal binaire symétrique de longueur N mais dont la probabilité conditionnelle p’=(1-3p
2
).
Calculer alors la probabilité de décoder ce message sans erreur.
4) Une autre solution consiste à utiliser un code correcteur d’erreur. Soit le code de Golay (24,12) dont la
distance minimale est égale à 8. Calculer la probabilité d’erreurs sur le mot de code après décodage.
Exercice TAN 18 : Soit un code Reed-Solomon (255,239).
a) Exprimer la distance minimale et la capacité de correction de ce code correcteur d’erreurs.
a) Calculer la relation taux d’erreurs symbole TESs en sortie du décodeur à entrées et sorties dures en fonction
du taux d’erreurs symbole en entrée TESe.
b) Tracer la courbe TESs=f(TESe)
0 0
1 1
1-p
p
X Y