2TH - 33
Dans le cas d’une transmission avec bruit, où les symboles émis par une source sans
mémoire sont choisis dans X = {x
1
…x
m
} et ceux issus du canal (discret et constant)
proviennent de Y = {y
1
…y
n
}, on rencontre la relation
H(X,Y) ≤ H(X) + H(Y)
Commenter cette relation.
2TH - 34
Une source sans mémoire émet un message transmis imparfaitement en raison de la
présence de bruit (le canal de transmission est discret et constant). Pour décrire cette
situation, on introduit l’équivocation qui obéit aux inégalités
0 ≤ H(X/Y) ≤ H(X)
où X désigne l'alphabet du message issu de la source et Y celui du message transmis par le
canal.
Expliquer la signification de cet énoncé. Dans quelles conditions a-t-on H(X/Y) = 0 ?
Dans quelles conditions a-t-on H(X/Y) = H(X) ?
2TH - 35
L’expression de Shannon pour l’entropie d’information,
H = -Σ p
i
log p
i
est la seule à présenter simultanément un certain nombre de propriétés. Lesquelles ?
2TH - 36
Une source émet des symboles choisis parmi X = {x
1
…x
N
}, qu’un codeur transforme en
chaînes de caractères choisis parmi U = {u
1
…u
r
}. Donner l’expression de l’efficacité du
codeur et en déduire une borne inférieure pour la longueur moyenne des chaînes.
2TH - 37
Une source émet des symboles choisis parmi X = {x
1
…x
N
}, qu’un codeur transforme en
chaînes de caractères choisis parmi U = {u
1
…u
D
}. Si le codage est uniforme, dans quelles
conditions son efficacité sera-t-elle égale à 1 ?
2TH - 38
Définir : codage uniforme, codage séparable, codage instantané. Énoncer et discuter la
relation de MacMillan et Kraft.
2TH - 39
Quand dit-on qu'un codage instantané est complet ? Quelle est la condition nécessaire et
suffisante pour que ce soit le cas ?
2TH - 40
Quand dit-on qu'un codage est absolument optimal ? Quelle est la condition nécessaire et
suffisante pour que ce soit le cas ?
2TH - 41
Énoncer et discuter le théorème de Shannon pour un codage sans bruit.