Télécharger - ISIG-GOMA

ISIG Goma 2010-2011, Probabilités et Théorie de l’Information (brouillon). Lucien Zihindula Biguru, 1
INSTITUT SUPERIEUR D’INFORMATIQUE ET DE GESTION
(ISIG GOMA)
PROBABILITES ET THEORIE DE L’INFORMATION
Notes de cours à l’attention des étudiants de première Licence
Par Lucien Zihindula Biguru, MSc
Année académique : 2011-2012

ISIG Goma 2010-2011, Probabilités et Théorie de l’Information (brouillon). Lucien Zihindula Biguru, 2
NOTES INTRODUCTIVES
C’est en 1948, alors qu’il travaillait aux Laboratoires Bell, que l’ingénieur en
Génie Electrique, Claude Shannon donna une formalisation mathématique de la
nature statistique de l’Information manquante dans les signaux des lignes
téléphoniques.
Il développa pour cette fin l’importante notion d’entropie de l’Information qui
est fondamentale dans ce domaine. C’est ainsi que naquit la Théorie de
l’Information qui est un domaine d’essence théorique et dont l’objet principal
consiste en l’étude des lois quantitatives liées à l’obtention, le traitement et la
conservation de l’Information.
La théorie de l’Information est devenue par la suite un outil mathématique
indispensable pour les processus de commande les plus divers.
La nécessité de transmission d’informations relatives à un système physique
vient du fait que ce dernier présente généralement, du point de vue du
destinataire, une certaine imprécision ou au mieux une certaine incertitude étant
donné que pour tout système physique dont l’état est exactement connu par le
destinataire, toute transmission d’information sera inutile.
Suite au caractère aléatoire inhérent à tout système physique, la théorie de
l’Information utilise tout naturellement les outils du calcul des probabilités qui
est la branche des mathématiques s’occupant de la quantification des
phénomènes aléatoires.
L’objectif de ce cours est de donner à l’étudiant de Licence en Informatique les
notions et les outils de base pouvant lui permettre de faire une description
quantitative des processus de transmission de l’Information et dégager certaines
caractéristiques mathématiques lié aux tels processus.
Eu égard aux aspects probabilistes de cette théorie, c’est tout naturellement que
ce cours est subdivisé en deux grandes parties :
- La théorie des probabilités, où seront rappelées les outils de base relatifs
au calcul des probabilités
1
ainsi qu’à certaines distributions d’usage
courant généralement abordées en cours de Statistique Inductive en
deuxième année de graduat.
1
Ces distributions probabilistes nous seront également très utiles dans l’étude de la troisième partie du cours de
Recherche Opérationnelle ; partie consacrée à l’étude des phénomènes d’attente pour lesquels les distributions de
Poisson et exponentielle jouent un important rôle.

ISIG Goma 2010-2011, Probabilités et Théorie de l’Information (brouillon). Lucien Zihindula Biguru, 3
- Notions de base de la Théorie de l’Information, où seront abordées les
notions centrales de cette Théorie que sont l’entropie et de codage de
l’Information.
Comme outil de calcul pour ce cours nous avons choisi de saisir ce cadre comme
prétexte
2
pour attirer l’attention de nos étudiants sur le logiciel libre , de plus
en plus utilisé essentiellement en Analyse statistique mais qui est en même
temps un puissant outil mathématique offrant en ce qui concerne ce cours et
même une partie de celui de Recherche Opérationnelle, de remarquables
facilités pour le calcul des quantiles de presque toutes les distributions
probabilistes connues à ce jours en nous permettant ainsi de nous débarrasser de
traditionnelles et encombrantes tables statistiques.
Notons enfin en ce qui concerne ce logiciel que cette façon de procéder cadre
bien avec la filière Informatique et Gestion qu’ont choisie les étudiants
auxquels s’adresse ce modeste cours qui n’a nullement l’intention d’en faire de
mathématiciens !
Nous commencerons donc par une rapide présentation du logiciel en en
présentant l’esprit ainsi que les premières illustrations et nous y reviendrons tout
au long du cours selon les besoins.
2
Le nombre relativement élevé de nos étudiants des cours de Statistique en Graduat ne nous a pas permis de les
initier à .

ISIG Goma 2010-2011, Probabilités et Théorie de l’Information (brouillon). Lucien Zihindula Biguru, 4
CONTENU DU COURS:
0. Premier contact avec le logiciel
I. Eléments de calcul des probabilités
I.1. Rappels sur les techniques de dénombrement
I.2. Probabilités et évènements
I.3. Variables aléatoires
I.4. Distributions statistiques d’usage courant
II. Eléments de théorie de l’Information
II.1. Problèmes de base de la théorie de l’information
II.2. Entropie comme mesure du degré d’incertitude d’un état
physique
II.3. Entropie d’un système composé
II.4. Entropie et Information
II.5. Introduction aux problèmes de codage des communications
II.6. Codage de Shannon Fano
III. Exercices des travaux Pratiques

ISIG Goma 2010-2011, Probabilités et Théorie de l’Information (brouillon). Lucien Zihindula Biguru, 5
REFERENCES
1. H. Ventsel, Théorie des probabilités, Editions Mir, Moscou 1982
2. F. Dress, Probabilités et Statistiques, Dunod, Paris 1999
3. D. Rousseau, Notes de cours de Théorie de l’Information, Université
d’Angers 2003, Inédit.
4. O Rioul, Polycopié de Théorie de l’Information et du codage, ENSTA,
Janvier 2006
5. L. Zihindula B, Notes de cours de Probabilités et Théorie de
l’Information, Licence ISIG-Goma, 2009-2010, Inédit
6. OVG-UNOPS, Module de renforcement des capacités des chercheurs de
l’Observatoire Volcanologique de Goma en Méthodes Statistiques,
Décembre 2010