Probabilités pour la théorie de l`information

UFR Mathématiques
Probabilités
pour la théorie de l’information
Notes de cours
Dimitri Petritis
Rennes
Septembre 2015
Master de cryptographie

©2012–2015 D. Petritis

Table des matières
1 Pourquoi les probabilités ? Qu’est ce la théorie des probabilités? 1
1.1 Le rôle des probabilités en théorie de l’information . . . . . . . . . . 1
1.2 Probabilités et intuition aléatoire . . . . . . . . . . . . . . . . . . . . . 2
1.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
I Théorie des probabilités 7
2 Théorie élémentaire des probabilités 9
2.1 Espace de probabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 Espace des épreuves, espace des événements . . . . . . . . . 9
2.1.2 Probabilisation . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Variables aléatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3 Probabilité conditionnelle et indépendance 21
3.1 Conditionnement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Indépendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4 Espérance, variance ; théorèmes des grands nombres 29
4.1 Espérance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.1.1 Cas discret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.1.2 Cas continu (à densité) . . . . . . . . . . . . . . . . . . . . . . . 30
4.2 Variance et covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.3 Fonction génératrice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.4 Théorèmes des grands nombres . . . . . . . . . . . . . . . . . . . . . 32
4.5 Théorème central limite . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5 Chaînes de Markov sur des espaces d’états dénombrables 39
5.1 Probabilités de transition, matrices stochastiques . . . . . . . . . . . 39
5.2 États récurrents, états transients; classification des états . . . . . . . 40
5.3 Probabilité limite, probabilités stationnaires . . . . . . . . . . . . . . 43
5.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
iii

TABLE DES MATIÈRES
II Théorie de l’information 47
6 Quantification de l’information 49
6.1 Motivation et postulats de l’information . . . . . . . . . . . . . . . . 49
6.1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
6.1.2 Postulats d’une quantité d’incertitude ; entropie . . . . . . . 50
6.2 Trois interprétations de l’entropie . . . . . . . . . . . . . . . . . . . . 54
6.2.1 Hest une espérance (qui nous fait vieillir !) . . . . . . . . . . . 54
6.2.2 Hest le nombre moyen de questions nécessaires pour dé-
terminer la valeur que prend une variable aléatoire . . . . . . 56
6.2.3 Hest le rapport des logarithmes du volume des configura-
tions typiques sur celui de toutes les configurations . . . . . 59
6.3 Propriétés de la fonction entropie, entropie relative . . . . . . . . . . 61
6.4 Entropie conjointe, entropie conditionnelle, information mutuelle 61
6.4.1 Entropie conjointe . . . . . . . . . . . . . . . . . . . . . . . . . 61
6.4.2 Entropie conditionnelle . . . . . . . . . . . . . . . . . . . . . . 62
6.4.3 Information mutuelle . . . . . . . . . . . . . . . . . . . . . . . 63
6.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
7 Codage de la source 67
7.1 Codes uniquement décodables . . . . . . . . . . . . . . . . . . . . . . 67
7.2 Théorème de Shannon sur le codage sans bruit . . . . . . . . . . . . 69
7.2.1 Inégalité de Kraft . . . . . . . . . . . . . . . . . . . . . . . . . . 69
7.2.2 Codes optimaux . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
7.2.3 Algorithme de Huffman pour la construction de codes opti-
maux ................................. 73
7.2.4 Examen critique du code de Huffman . . . . . . . . . . . . . . 76
7.3 Autres types de codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
7.3.1 Le code arithmétique de Shannon-Fano-Elias . . . . . . . . . 76
7.3.2 Codage universel et algorithme de Lempel-Ziv . . . . . . . . . 76
7.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
8 Canaux bruités sans mémoire 81
8.1 Modélisation markovienne . . . . . . . . . . . . . . . . . . . . . . . . 81
8.2 Classification des canaux . . . . . . . . . . . . . . . . . . . . . . . . . 82
8.2.1 Canaux sans perte . . . . . . . . . . . . . . . . . . . . . . . . . 82
8.2.2 Canaux déterministes . . . . . . . . . . . . . . . . . . . . . . . 83
8.2.3 Canaux sans bruit . . . . . . . . . . . . . . . . . . . . . . . . . . 84
8.2.4 Canaux inutiles . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
8.2.5 Canaux symétriques . . . . . . . . . . . . . . . . . . . . . . . . 84
8.3 Capacité du canal, propriétés de la capacité . . . . . . . . . . . . . . 85
8.4 Le théorème fondamental de la transmission . . . . . . . . . . . . . 86
8.4.1 Codage du canal . . . . . . . . . . . . . . . . . . . . . . . . . . 86
8.4.2 Probabilité d’erreur de transmission . . . . . . . . . . . . . . . 88
8.4.3 Le théorème . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
8.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
/Users/dp/a/ens/ptin/ptin.tex iv dmàj le 9 septembre 2015 à 15:30

TABLE DES MATIÈRES
9 Chiffrement probabiliste 93
9.1 Code de Vernam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
9.2 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
10 Codes correcteurs d’erreur 95
10.1 La borne de Hamming . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
10.2 Codage par test de parité . . . . . . . . . . . . . . . . . . . . . . . . . 95
10.3 Bornes bilatères de l’abilité de correction pour codes par test de parité 95
10.4 Bornes pour codes binaires généraux . . . . . . . . . . . . . . . . . . 95
10.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Références 97
Index 99
/Users/dp/a/ens/ptin/ptin.tex vdmàj le 9 septembre 2015 à 15:30