Master Sciences Technologies Santé Année 2014–2015 Numéro d

UNIVERSITÉ DE RENNES I Master Sciences Technologies Santé
UFR MATHÉMATIQUES Année 2014–2015
Numéro d’anonymat: QUELQUES INDICATIONS
Probabilités pour la théorie de l’information
Examen du 26 juin 2015
Durée de l’épreuve : 2 heures
Les notes du cours et des travaux dirigés ainsi que les calculatrices sont autorisées.
Les résultats d’une question, même non démontrés, peuvent être utilisés aux questions suivantes.
La rédaction se fait sur ce document et peut se poursuivre sur la copie, le cas échéant.
Exercice 1 (Codes instantanés et uniquement déchiffrables) : Soit C: {a,b}→{0,1}∗le code défini
par
x C(x)
a1
b101
1. Le code Cest-il instantané ?
Non, car 1 est préfixe de 101.
2. Est-il uniquement déchiffrable ?
Oui, car seule l’image C(b)=101 contient un 0 et par conséquent l’application Cest injective.
Exercice 2 (Concavité de l’entropie)
Soient X1et X2deux variables aléatoires sur (Ω,F,P) prenant de valeurs dans le même espace Xavec
des lois décrites par les vecteurs de probabilité pet p0respectivement. Soit Yune variable aléatoire sur
le même espace (Ω,F,P) prenant de valeurs dans Y={1,2} selon le vecteur de probabilité (λ,1 −λ),
avec λ∈[0,1] ; on note Z=XYla variable aléatoire à valeurs dans X.
1. Déterminer le vecteur de probabilité qdécrivant la loi de Z, i.e. q(x)=P(Z=x) pour tout x∈X.
∀x∈X,P(Z=x)=X
y∈{1,2}
P(Z=x|Y=y)P(Y=y)=λp(x)+(1−λ)p0(x).
Par conséquent, q=λp+(1−λ)p0.

2. En vous servant du fait que le conditionnement réduit l’incertitude (vu en cours), i.e. H(Z)≥
H(Z|Y), montrez que H(p) est une fonction concave de p.
H(Z|Y)=X
y∈{1,2}
P(Y=y)H(Z|Y=y)
=λH(XY|Y=1)+(1−λ)H(XY|Y=2)
=λH(p)+(1−λ)H(p0)
≤H(q)
=H(λp+(1−λ)p0).
On conclut que H(λp+(1−λ)p0)≥λH(p)+(1−λ)H(p0).
Exercice 3 (Codage du canal et décision optimale) Soit un canal discret sans mémoire ayant un
alphabet d’entrée X, un alphabet de sortie Y, une matrice stochastique de transmission Pet une
loi des symboles d’entrée déterminée par le vecteur de probabilité π. Lorsque un symbole y∈Yest
transmis, on le décode par un schéma de décision qui peut être soit une fonction déterministe d:
Y→Xsoit une variable aléatoire Ddéfinie sur Yà valeurs dans X.
1. Déterminer les vecteurs de probabilité κet ρdéfinissant respectivement la loi conjointe et la
loi des symboles de sortie.
∀(x,y)∈X×Y,κ(x,y)=P(X=x,Y=y)=π(x)P(x,y)
∀(y)∈Y,ρ(y)=P(Y=y)=X
x∈X
π(x)P(x,y).
2. Pour une règle de décodage d:Y→X, on note respectivement DC(d) et DE(d) les probabilités
de décodage correct et erroné. Montrer que DC(d)=Py∈Yρ(y)P(X=d(y)|Y=y). Que vaudra
alors DE(d) ?
DC(d)=X
x∈X
π(x)P(d(Y)=X|X=x)
=X
x∈X,y∈Y
π(x)P(d(Y)=X,X=x,Y=y)
P(X=x)
=X
y∈YX
x∈X,d(y)=x
P(X=x,Y=y)
=X
y∈Y
ρ(y)P(X=d(y)|Y=y).

Par conséquent,
DE(d)=X
y∈Y
ρ(y)(1−P(X=d(y)|Y=y)) =1−DC(d).
3. On appelle décodage déterministe optimal la règle de décision définie pour tout y∈Ypar la
formule do(y)=xy, où xymaximise la probabilité conditionnelle P(X=x|Y=y), c’est-à-dire :
xy=argmax
x
P(X=x|Y=y).
Montrer que la règle de décision ainsi définie est optimale, c’est-à-dire, pour toute autre règle
déterministe d0, on DC(d0)≤DC(do).
DC(d0)=X
y∈Y
ρ(y)P(X=d0(y)|Y=y)
≤X
y∈Y
ρ(y)max
x∈X
P(X=x|Y=y)
=X
y∈Y
ρ(y)P(X=xy|Y=y)
=X
y∈Y
ρ(y)P(X=do(y)|Y=y)
=DC(do).
4. Soit Dune règle de décision stochastique arbitraire correspondant à la probabilité condition-
nelle Qyx =P(D(y)=x|Y=y). Montrer que DC(D)≤DC(do).
DC(D)=X
y∈Y
ρ(y)P(X=D(y)|Y=y)
≤X
y∈Y
ρ(y)X
x∈X
Qy x P(X=xy|Y=y)
≤X
y∈Y
ρ(y)X
x∈X
Qyx max
x∈X
P(X=x|Y=y)
=DC(do).
5. Dorénavant X={x1,x2,x3}, Y={y1,y2,y3}, π=(1/2,1/4,1/4) et P=
1 0 0
0 1 0
0 1/2 1/2
, calculer ρ.
ρ=(1/2,1/4,1/4)
1 0 0
0 1 0
0 1/2 1/2
=(1/2,3/8,1/8).

6. Soit d:Y→Xla règle déterministe de décodage donnée par la formule d(y1)=x1;d(y2)=
d(y3)=x3. Calculer la valeur numérique de la probabilité de décodage correct.
DC(d)=X
y∈Y
ρ(y)P(X=d(y)|Y=y)=X
(x,y)∈X×Y
P(X=x),Y=y)1{d(y)}(x)
=κ(x1,y1)+κ(x3,y2)+κ(x3,y3),
où κest la loi conjointe κ(x,y)=π(x)P(x,y). Par conséquent,
DC(d)=π(x1)P(x1,y1)+π(x3)(P(x3,y2)+P(x3,y3)) =1
2×1+1 4×(1 2+1 2)=3 4.
La solution sera mise en ligne peu de temps après la fin de l’épreuve.