sujet d

1
PHELMA/filière Sicom 2° année Octobre 2012
2 heures, documents de cours et calculatrice autorisés 2 pages
Examen de « Théorie de l’Information »
Exercice I [4.5 points] : Débits (littéraux) après codages binaires de source et
de canal idéaux : bornes minimales atteignables
On suppose une source discrète S d’alphabet de taille N = 50 lettres et d’entropie H(S) = 3
Sh/lettre. La source produit les lettres en temps réel au débit littéral de D(S) = 100 lettre/sec.
1) Quelle est la redondance de la source ?
2) Après un procédé de codage de source binaire supprimant toute la redondance :
a- quel est le débit (littéral binaire) minimum théoriquement atteignable (Justifier)?
b- comparer au débit que l’on aurait obtenu en faisant le codage binaire avec des mot-
codes de longueurs fixes (préciser la longueur des mots).
3) Le résultat du codage de source précédent est suivi par un codage de canal binaire
destiné à rendre la liaison fiable à volonté lors de la transmission dans un Canal Binaire
Symétrique bruité de probabilité d’erreur Pe = 0.11.
a- préciser le taux de codage canal (ou redondance) à introduire au minimum (justifier) ?
b- quel est alors le débit (littéral binaire) minimum théoriquement atteignable après un tel
codage de canal ?
Exercice II [6.5 points]: Déchiffrabilité et codage de source
On considère une source simple S d’alphabet de taille 4 lettres (on notera lorsque nécessaire
dans la suite Ps le jeu de probabilité des 4 lettres).
1) Dans un premier temps, on envisage de coder S par le code binaire constitué des mot-
codes suivants : C = {C1 = 1; C2 = 101; C3 = 10; C4 = 01}.
a- Montrer que ce code n’est pas instantané.
b- Ce code est-il déchiffrable ? Justifier votre réponse.
c- Montrer qu'il n'existe pas de code instantané avec ce même jeu de longueurs.
2) On suppose les probabilités des 4 lettres sont Ps = {1/2 ; 1/4 ; 1/8 ; 1/8 }.
a- Construire un code binaire instantané des 4 lettres de S de longueur moyenne aussi
faible que possible.
b- Donner la longueur moyenne L et l’efficacité de ce code.
c- Commenter le résultat précédent. Dans le cas général (jeu de probabilité Ps
quelconque), que pourrait-on être amené à faire dans le procédé de codage pour
obtenir une efficacité égale (ou proche à volonté) de 100% ?
3) Soit le code C’ = {00 ; 01 ; 11 ; 10} de longueur fixe L’ = 2.
a- Existe-t-il un jeu de probabilité Ps’ tel que ce code soit d’efficacité 100% pour S ?
b- Le jeu de probabilité Ps (question 2) est bien celui de S, mais on code la source avec le
code C’. Exprimer l’augmentation de longueur moyenne du code (L’–L) à partir de la
« distance » de Kullback Leibler D(Ps || Ps’) entre les distributions Ps et Ps’ ?

2
Exercice III [6 points] : Outils Généraux et Capacité de canal
Soit une Variable Aléatoire Discrète (V.A.D.) X à 3 états ∈
∈∈
∈ A
X
= { x1 ; x2 ; x3 } de
distribution de probabilité P
X
= {p
1
; p2 ; p3} injectée dans un canal dont la sortie est la
V.A.D. Y à 2 états ∈
∈∈
∈ A
Y
= { y1 ; y2 } de probabilités P
Y
= { p(y
1
); p(y2 ) }.
1) On connait une partie des probabilités conditionnelles :
Pr(Y = y1 | X = x1) = 1 ; Pr(Y = y1 | X = x2) = 0 ; Pr(Y = y2 | X = x3) = 1/2;
Reconstituer entièrement la matrice de canal P(Y | X) et dessiner le diagramme de
transition du canal X -> Y ;
2) Exprimer en fonction des probabilités d’entrée p1 et p3 :
a- les probabilités de sortie P
Y
b- En déduire l’expression des entropies H(Y | X) et H(Y) en fonction de p1 et p3.
3) On suppose d’abord une distribution uniforme en entrée P
X
= { 1/3 ; 1/3 ; 1/3}.
a- En déduire les probabilités de Y et le tableau des probabilités conjointes P(X ; Y)
b- Déterminer H(X), H(Y), H(Y|X), I(X ; Y), H(X ;Y) et résumer la situation par un
diagramme de Venn.
4) Calculer la capacité du canal X-> Y ainsi que la distribution d’entrée P
X
associée ?
Interpréter les résultats, comparer au scénario de la question 3), et conclure.
Exercice IV [3 points] : Jeu de Pile ou Face et construction d'un questionnaire
On lance une pièce X à 2 états {P, F} équiprobables (probabilités Pr(X=P)= Pr(X=F) = 1/2),
et on renouvelle le lancer si nécessaire jusqu'à obtenir l’état P (Pile).
1) On note S la variable aléatoire indiquant le nombre de lancers (nécessaires pour obtenir
un état P).
a- Donner la loi de probabilité de S, c’est-à-dire les valeurs des probabilités Pr(S = n)
pour n = 1, 2, …, +∞.
b- En déduire l’entropie de S
N.B : on pourra utiliser ∑.  ∀ q ∈ [0 ;1[ .
2) Questionnaire : on s’intéresse au nombre moyen de questions binaires (réponse de type
oui/non) nécessaires pour identifier le nombre de lancers dans l’expérience précédente.
a- D’après la théorie de l’information, quelle est la valeur minimale de ce nombre
(expliquer) ?
b- Proposer un questionnaire efficace. Vérifier en calculant le nombre moyen de
questions que votre questionnaire permet bien d’atteindre la borne minimale.