Cours 1 Probabilité : C’est l’étude mathématique de l’incertain. La notion de probabilité a été introduite au 17ème siècle à cause des jeux de hasard, puis a été développée en 1948 par Shannon. Les communications sont entachées d’incertitudes. En lisant l’information on lève l’incertitude. Proba= à priori Info= à postéori Les probabilités sont essentielles dans la théorie de l’information. Le problème de probabilités le plus célèbre est celui du « chevalier de Méré » ; il a été résolu par Pascal. En 1933 Andrei Kolmogorov a introduit la théorie des probabilités (Axiome). C’est le cœur de la probabilité (expérience aléatoire). L’expérience aléatoire est non répétable. Evènement : c’est le résultat possible d’une expérience. Probabilité d’un évènement : mesure de la vraisemblance de l’évènement. C’est un nombre appartenant à l’intervalle [0,1 ]. 0=> l’évènement est impossible. 1=> possible mais incertain. Les points de vue - Classique : P=(nombre de cas favorable)/(nombre de cas possibles) Ce point de vue n’est pas satisfaisant. - Point de vue orthodoxe : Limite de la fréquence. Il souffre des memes insuffisances que le point vue classique parce que les expérience sont non répétables. - Subjectivité : à partir de l’état de connaissance d’un observateur sur un évènement donné. Ex : Afrique du sud Vs France en rugby , l’AFS part favori. Axiomess de Kolgomorov Def espace probabilisé (Ω,E,P) Ω ensemble fondamental. ensemble des parties de Ω. P fonction de probabilité P : E [0,1]. E sigma- algèbre. S1 : Ω ∈ E S2 : Ω est stable par complément Si A ∈ E alors a bar A E. S3 : E est stable par réunion dénombrable . Si A ∈ E alors A bar ∈ E . Si (Ai) i ∈ I est une famille dénombrable d’éléments de E alors U Ai ∈E P satisfait P1 P(Ω) = 1 P2 si (Ai) i ∈ est une famille dénombrable d’éléments de E. deux à deux disjoints Alors P(U Ai)= Ai Cas ou Ω est finie. E= P(Ω) p est défini par ses valeurs sur le singleton. Ω=(Wi, ….. Wn ) ; p(Ωi)=1 Notions à revoir :Distribution des probabilités ; formule d’inclusionexclusion ; formule pointcaré ; Variables aléatoires ; formule de Bayes ; Loi conditionnelle d’une Variable aléatoire ; Loi conjointe de 2 variables aléatoires ; espérance ; distributions conjointes ; variable de Bernouilli ; disjonction des cas. Cours 2 Information et Entropie Rappel : La probabilité est une quantité comprise entre 0 et 1 qui quantifie un évènement (étude mathématique de l’incertain) avant qu’il se produise. Information 1er Principe : quantifie la connaissance apportée par un évènement produit. Pour un évènement peu probable on a beaucoup d’informations. Pour un évènement très probable on a peu d’informations. L’information est aussi la fonction décroissante de la probabilité. 2ème Principe : Additivité L’information i(A) d’un évènement est une fonction qui transforme les produits en somme (fonction logarithme). i(A)=-log(P(A)). Par convention on utilise - -log2 (P(A)). Si A est un évènement certain P(A)=1 => i(A)=0. Si P(A)=0 => i(A)=+ L’unité d’information est le bit (binary digit). NB : bit !=symbole binaire. Le choix de la base 2 est arbitraire. Exemple : Ω ={pile,face} ( ¼ , ¾) i({pile}) = -log2 ( ½ ) = log2 (2) i({pile}) = 1 Rappel : log2(x)= ln(x)/ln(2) Entropie L’entropie représente l’information révélée par une expérience. Elle a été développée par SHANNON qui y a travaillé pendant une vingtaine d’années (1948). Elle est adaptée à la communication et à la transmission de données. Comme définition l’entropie de SHANNON est la distribution de probabilités P=(pi …..pn) est la moyenne de la fonction information apportée par la réalisation de chacune des opérations individuelles. n Elle se note H(p)=- i=1 Pi log2 (Pi) L’entropie correspond aussi à la quantification du nombre de questions avec réponse oui/non pour obtenir une information donnée. Exemple : Deviner un nombre entre 1 et 100. Chaque nombre étant équi-probable. pour chaque nombre(loi de probabilité). L’entropie de cette expérience H(x) =log2(1/100)= log2(100)=6.64 P=1/100 (de 1 à 100) de (1/100)log2(1/100)=- Pour coder un nombre entier compris entre 1 et 100 il faut au moins 7 symboles binaires. Si la loi est uniforme (1/i …..1/n) H(p)=log2(n) Fonction d’entropie binaire Variable de bernouilli de paramètre p H(p)= -p log2(p) – (1-p)log2(1-p) H(1/2)=1 H(1/4)=0.811 H(0)=0 H(1)=0 Dérivée H’(p)=uv+vu H’(p)= -log2(p)-p Log’2(x)=1/xln(2) H’(p)= -log2(p) + log2(1-p) Si p est plus petit que ½ on a 0<p<1/2 P<1-p Log2(p)<log(1-p) H’(p)>0 Si ½ <p<1 p>1-p h’(p) <0 . L’incertitude est maximale lorsque l’expérience est incertaine et vice versa.