Master Sciences Technologies Santé Année 2014–2015 Numéro d

U NIVERSITÉ DE R ENNES I
UFR M ATHÉMATIQUES
Master Sciences Technologies Santé
Année 2014–2015
QUELQUES INDICATIONS
Numéro d’anonymat:
Probabilités pour la théorie de l’information
Examen du 26 juin 2015
Durée de l’épreuve : 2 heures
Les notes du cours et des travaux dirigés ainsi que les calculatrices sont autorisées.
Les résultats d’une question, même non démontrés, peuvent être utilisés aux questions suivantes.
La rédaction se fait sur ce document et peut se poursuivre sur la copie, le cas échéant.
Exercice 1 (Codes instantanés et uniquement déchiffrables) : Soit C : {a, b} → {0, 1}∗ le code défini
par
x
a
b
C (x)
1
101
1. Le code C est-il instantané ?
Non, car 1 est préfixe de 101.
2. Est-il uniquement déchiffrable ?
Oui, car seule l’image C (b) = 101 contient un 0 et par conséquent l’application C est injective.
Exercice 2 (Concavité de l’entropie)
Soient X 1 et X 2 deux variables aléatoires sur (Ω, F , P) prenant de valeurs dans le même espace X avec
des lois décrites par les vecteurs de probabilité p et p0 respectivement. Soit Y une variable aléatoire sur
le même espace (Ω, F , P) prenant de valeurs dans Y = {1, 2} selon le vecteur de probabilité (λ, 1 − λ),
avec λ ∈ [0, 1] ; on note Z = X Y la variable aléatoire à valeurs dans X.
1. Déterminer le vecteur de probabilité q décrivant la loi de Z , i.e. q(x) = P(Z = x) pour tout x ∈ X.
∀x ∈ X, P(Z = x) =
X
y∈{1,2}
Par conséquent, q = λp + (1 − λ)p0 .
P(Z = x|Y = y)P(Y = y) = λp(x) + (1 − λ)p 0 (x).
2. En vous servant du fait que le conditionnement réduit l’incertitude (vu en cours), i.e. H (Z ) ≥
H (Z |Y ), montrez que H (p) est une fonction concave de p.
P(Y = y)H (Z |Y = y)
X
H (Z |Y ) =
y∈{1,2}
= λH (X Y |Y = 1) + (1 − λ)H (X Y |Y = 2)
= λH (p) + (1 − λ)H (p0 )
≤ H (q)
= H (λp + (1 − λ)p0 ).
On conclut que H (λp + (1 − λ)p0 ) ≥ λH (p) + (1 − λ)H (p0 ).
Exercice 3 (Codage du canal et décision optimale) Soit un canal discret sans mémoire ayant un
alphabet d’entrée X, un alphabet de sortie Y, une matrice stochastique de transmission P et une
loi des symboles d’entrée déterminée par le vecteur de probabilité π. Lorsque un symbole y ∈ Y est
transmis, on le décode par un schéma de décision qui peut être soit une fonction déterministe d :
Y → X soit une variable aléatoire D définie sur Y à valeurs dans X.
1. Déterminer les vecteurs de probabilité κ et ρ définissant respectivement la loi conjointe et la
loi des symboles de sortie.
∀(x, y) ∈ X × Y, κ(x, y) = P(X = x, Y = y) = π(x)P (x, y)
∀(y) ∈ Y, ρ(y) = P(Y = y) =
X
π(x)P (x, y).
x∈X
2. Pour une règle de décodage d : Y → X, on note respectivement DC(d ) et DE(d ) les probabilités
P
de décodage correct et erroné. Montrer que DC(d ) = y∈Y ρ(y)P(X = d (y)|Y = y). Que vaudra
alors DE(d ) ?
DC(d ) =
X
π(x)P(d (Y ) = X |X = x)
x∈X
=
π(x)
X
x∈X,y∈Y
=
X
P(d (Y ) = X , X = x, Y = y)
P(X = x)
X
P(X = x, Y = y)
y∈Y x∈X,d (y)=x
=
X
y∈Y
ρ(y)P(X = d (y)|Y = y).
Par conséquent,
DE(d ) =
X
ρ(y)(1 − P(X = d (y)|Y = y)) = 1 − DC(d ).
y∈Y
3. On appelle décodage déterministe optimal la règle de décision définie pour tout y ∈ Y par la
formule d o (y) = x y , où x y maximise la probabilité conditionnelle P(X = x|Y = y), c’est-à-dire :
x y = arg max P(X = x|Y = y).
x
Montrer que la règle de décision ainsi définie est optimale, c’est-à-dire, pour toute autre règle
déterministe d 0 , on DC(d 0 ) ≤ DC(d o ).
DC(d 0 ) =
X
ρ(y)P(X = d 0 (y)|Y = y)
y∈Y
≤
X
ρ(y) max P(X = x|Y = y)
x∈X
y∈Y
=
X
ρ(y)P(X = x y |Y = y)
y∈Y
=
X
ρ(y)P(X = d o (y)|Y = y)
y∈Y
= DC(d o ).
4. Soit D une règle de décision stochastique arbitraire correspondant à la probabilité conditionnelle Q y x = P(D(y) = x|Y = y). Montrer que DC(D) ≤ DC(d o ).
DC(D) =
X
ρ(y)P(X = D(y)|Y = y)
y∈Y
≤
X
ρ(y)
y∈Y
≤
X
X
Q y x P(X = x y |Y = y)
x∈X
ρ(y)
y∈Y
X
x∈X
Q y x max P(X = x|Y = y)
x∈X
= DC(d o ).

1 0
0
0 , calculer ρ.
5. Dorénavant X = {x 1 , x 2 , x 3 }, Y = {y 1 , y 2 , y 3 }, π = (1/2, 1/4, 1/4) et P = 0 1
0 1/2 1/2


1 0
0
0  = (1/2, 3/8, 1/8).
ρ = (1/2, 1/4, 1/4) 0 1
0 1/2 1/2

6. Soit d : Y → X la règle déterministe de décodage donnée par la formule d (y 1 ) = x 1 ; d (y 2 ) =
d (y 3 ) = x 3 . Calculer la valeur numérique de la probabilité de décodage correct.
DC(d ) =
X
y∈Y
ρ(y)P(X = d (y)|Y = y) =
X
P(X = x), Y = y)1{d (y)} (x)
(x,y)∈X×Y
= κ(x 1 , y 1 ) + κ(x 3 , y 2 ) + κ(x 3 , y 3 ),
où κ est la loi conjointe κ(x, y) = π(x)P (x, y). Par conséquent,
DC(d ) = π(x 1 )P (x 1 , y 1 ) + π(x 3 )(P (x 3 , y 2 ) + P (x 3 , y 3 )) =
1
1
1 1
3
×1+ ×( + ) = .
2
4
2 2
4
La solution sera mise en ligne peu de temps après la fin de l’épreuve.