sujet d

PHELMA/filière Sicom 2° année
2 heures, documents de cours et calculatrice autorisés
Octobre 2012
2 pages
Examen de « Théorie de l’Information »
Exercice I [4.5 points]: Débits (littéraux) après codages binaires de source et
de canal idéaux : bornes minimales atteignables
On suppose une source discrète S d’alphabet de taille N = 50 lettres et d’entropie H(S) = 3
Sh/lettre. La source produit les lettres en temps réel au débit littéral de D(S) = 100 lettre/sec.
1) Quelle est la redondance de la source ?
2) Après un procédé de codage de source binaire supprimant toute la redondance :
a- quel est le débit (littéral binaire) minimum théoriquement atteignable (Justifier)?
b- comparer au débit que l’on aurait obtenu en faisant le codage binaire avec des motcodes de longueurs fixes (préciser la longueur des mots).
3) Le résultat du codage de source précédent est suivi par un codage de canal binaire
destiné à rendre la liaison fiable à volonté lors de la transmission dans un Canal Binaire
Symétrique bruité de probabilité d’erreur Pe = 0.11.
a- préciser le taux de codage canal (ou redondance) à introduire au minimum (justifier) ?
b- quel est alors le débit (littéral binaire) minimum théoriquement atteignable après un tel
codage de canal ?
Exercice II [6.5 points]: Déchiffrabilité et codage de source
On considère une source simple S d’alphabet de taille 4 lettres (on notera lorsque nécessaire
dans la suite Ps le jeu de probabilité des 4 lettres).
1) Dans un premier temps, on envisage de coder S par le code binaire constitué des motcodes suivants : C = {C1 = 1;
C2 = 101;
C3 = 10;
C4 = 01}.
a- Montrer que ce code n’est pas instantané.
b- Ce code est-il déchiffrable ? Justifier votre réponse.
c- Montrer qu'il n'existe pas de code instantané avec ce même jeu de longueurs.
2) On suppose les probabilités des 4 lettres sont Ps = {1/2 ; 1/4 ; 1/8 ; 1/8 }.
a- Construire un code binaire instantané des 4 lettres de S de longueur moyenne aussi
faible que possible.
b- Donner la longueur moyenne L et l’efficacité de ce code.
c- Commenter le résultat précédent. Dans le cas général (jeu de probabilité Ps
quelconque), que pourrait-on être amené à faire dans le procédé de codage pour
obtenir une efficacité égale (ou proche à volonté) de 100% ?
3) Soit le code C’ = {00 ; 01 ; 11 ; 10} de longueur fixe L’ = 2.
a- Existe-t-il un jeu de probabilité Ps’ tel que ce code soit d’efficacité 100% pour S ?
b- Le jeu de probabilité Ps (question 2) est bien celui de S, mais on code la source avec le
code C’. Exprimer l’augmentation de longueur moyenne du code (L’–L) à partir de la
« distance » de Kullback Leibler D(Ps || Ps’) entre les distributions Ps et Ps’ ?
1
Exercice III [6 points]: Outils Généraux et Capacité de canal
Soit une Variable Aléatoire Discrète (V.A.D.) X à 3 états ∈ AX = { x1 ; x2 ; x3 } de
distribution de probabilité PX = {p1 ; p2 ; p3} injectée dans un canal dont la sortie est la
V.A.D. Y à 2 états ∈ AY = { y1 ; y2 } de probabilités PY = { p(y1); p(y2 ) }.
1) On connait une partie des probabilités conditionnelles :
Pr(Y = y1 | X = x1) = 1 ;
Pr(Y = y1 | X = x2) = 0 ;
Pr(Y = y2 | X = x3) = 1/2;
Reconstituer entièrement la matrice de canal P(Y | X) et dessiner le diagramme de
transition du canal X -> Y ;
2) Exprimer en fonction des probabilités d’entrée p1 et p3 :
a- les probabilités de sortie PY
b- En déduire l’expression des entropies H(Y | X) et H(Y) en fonction de p1 et p3.
3) On suppose d’abord une distribution uniforme en entrée PX = { 1/3 ; 1/3 ; 1/3}.
a- En déduire les probabilités de Y et le tableau des probabilités conjointes P(X ; Y)
b- Déterminer H(X), H(Y), H(Y|X), I(X ; Y), H(X ;Y) et résumer la situation par un
diagramme de Venn.
4) Calculer la capacité du canal X-> Y ainsi que la distribution d’entrée PX associée ?
Interpréter les résultats, comparer au scénario de la question 3), et conclure.
Exercice IV [3 points]: Jeu de Pile ou Face et construction d'un questionnaire
On lance une pièce X à 2 états {P, F} équiprobables (probabilités Pr(X=P)= Pr(X=F) = 1/2),
et on renouvelle le lancer si nécessaire jusqu'à obtenir l’état P (Pile).
1) On note S la variable aléatoire indiquant le nombre de lancers (nécessaires pour obtenir
un état P).
a- Donner la loi de probabilité de S, c’est-à-dire les valeurs des probabilités Pr(S = n)
pour n = 1, 2, …, +∞.
b- En déduire l’entropie de S
N.B : on pourra utiliser ∑
.
∀q ∈ [0 ;1[ .
2) Questionnaire : on s’intéresse au nombre moyen de questions binaires (réponse de type
oui/non) nécessaires pour identifier le nombre de lancers dans l’expérience précédente.
a- D’après la théorie de l’information, quelle est la valeur minimale de ce nombre
(expliquer) ?
b- Proposer un questionnaire efficace. Vérifier en calculant le nombre moyen de
questions que votre questionnaire permet bien d’atteindre la borne minimale.
2