Communications Numériques et Théorie de l'Information

Communications Num´eriques et Th´eorie de l’Information
Maurice Charbit
3 novembre 2005

2 Chapitre 0

Table des mati`eres
1 Repr´esentation en enveloppe complexe 5
1.1 Rappels de th´eorie du signal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Echantillonnage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1 Cas des signaux passe-bas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.2 Cas des signaux passe-bande . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.3 Cas des signaux passe-bas de bande infinie . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.4 Reconstruction pratique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3 Repr´esentation en enveloppe complexe ou repr´esentation en phase et quadrature . . . . . . . 12
1.3.1 Enveloppe complexe d’un signal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.2 Filtrage ´equivalent en bande de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.3 D´emodulation synchrone . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.4 Enveloppe complexe d’un processus al´eatoire du second ordre . . . . . . . . . . . . . . 16
1.4 El´ements de d´ecision statistique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4.1 Position du probl`eme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4.2 Exemple de deux observations gaussiennes de dimension K. . . . . . . . . . . . . . . 21
1.4.3 Cas de Mobservations gaussiennes de dimension K. . . . . . . . . . . . . . . . . . . 24
1.5 Statistique suffisante sur un canal soumis `a un bruit AGB . . . . . . . . . . . . . . . . . . . . 25
1.5.1 Repr´esentation r´eelle des signaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.5.2 Repr´esentation en phase et quadrature . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.5.3 R´esum´e sur la d´etection d’un signal dans un bruit AGB . . . . . . . . . . . . . . . . . 29
1.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2 Communications num´eriques 31
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Modulation num´erique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.1 Message num´erique et signal num´erique . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.2 Transmission M-aire en bande de base . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.2.3 Modulation num´erique sur fr´equence porteuse . . . . . . . . . . . . . . . . . . . . . . . 32
2.2.4 Limite fondamentale : formule de Shannon . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2.5 Param`etres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2.6 Spectre des signaux num´eriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3 Performances en pr´esence de bruit pour une transmission en bande de base . . . . . . . . . . 41
2.3.1 Filtre adapt´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.3.2 Transmission sans IES : canal de Nyquist . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.4 Performances en pr´esence de bruit pour les modulations sur fr´equence porteuse . . . . . . . . 52
2.4.1 Cas de la MDP-M. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.6 Annexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.6.1 Preuve de (2.7) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3 Introduction aux codes correcteurs d’erreur 63
3.1 Canal binaire sym´etrique sans m´emoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.2 Diff´erents types de code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.3 D´ecision optimale sur le canal CBS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.3.1 Un exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.3.2 Application au CBS : distance de Hamming . . . . . . . . . . . . . . . . . . . . . . . . 67
3

4 Chapitre 0
3.4 Codes lin´eaires en bloc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.4.1 Propri´et´es g´en´erales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.4.2 D´ecodage par le syndrome . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.4.3 Codes cycliques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.6 Annexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.6.1 Preuve de (3.9) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4 El´ements de th´eorie de l’information 85
4.1 Capacit´e d’un canal de transmission . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.1.1 Notion de canal de transmission . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.1.2 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.1.3 D´efinitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.1.4 Calculs de capacit´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.1.5 Canal CBS/Canal binaire `a d´ecision douce/Canal AGB . . . . . . . . . . . . . . . . . 93
4.2 Outils de la th´eorie de l’information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.2.1 Quantit´e d’information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.2.2 Information Mutuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.2.3 Th´eor`eme du traitement de l’information . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.2.4 Cas de variables al´eatoires “continues” . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

Chapitre 1
Repr´esentation en enveloppe
complexe
1.1 Rappels de th´eorie du signal
Dans le cas des signaux d´eterministes `a temps continu, on distingue les signaux d’´energie finie servant le
plus souvent `a mod´eliser les signaux de dur´ee finie ou `a d´ecroissance rapide et les signaux de puissance finie
plus particuli`erement les m´elanges de sinuso¨ıdes de la forme :
x(t) =
P
X
k=1
Akcos(2πfkt+φk)
Energie et Puissance
L’´energie d’un signal x(t), fonction complexe de la variable r´eelle t, est la quantit´e Ed´efinie par :
E=Z+∞
−∞ |x(t)|2dt (1.1)
La puissance d’un signal x(t), fonction complexe de la variable r´eelle t, est la quantit´e Pd´efinie par :
P= lim
T→+∞
1
TZ+T/2
−T/2|x(t)|2dt (1.2)
Si x(t) est p´eriodique de p´eriode Tde la forme :
x(t) =
P
X
k=1
Akcos(2πkt/T +φk)
la puissance est donn´ee par :
P=1
TZ+T/2
−T/2|x(t)|2dt =
P
X
k=1
A2
k/2
Repr´esentation fr´equentielle des signaux
Lorsqu’on applique le signal complexe e2jπf0t`a l’entr´ee d’un filtre lin´eaire, le signal en sortie a pour
expression Ae2jπf0to`u Aest une constante ne d´ependant que de la valeur f0. C’est une des raisons de
l’importance de la d´ecomposition d’un signal en une somme d’exponentielles complexes. Cette d´ecomposition
porte le nom de repr´esentation de Fourier ou repr´esentation fr´equentielle ou plus simplement spectre.
Pour un signal x(t) p´eriodique de p´eriode Tet de puissance finie, on a les formules de Fourier suivantes1:
x(t) = P+∞
n=−∞ Xne2jπnt/T
Xn=1
TRT/2
−T/2x(t)e−2jπnt/T dt
1La convergence dans le d´eveloppement de x(t) est moyenne quadratique. Il peut ne pas y avoir convergence uniforme. Ce
ph´enom`ene n’a aucune cons´equence pour nous dans la suite.
5