RECONNAISSANCE DE FORMES IAR-6002 Approches non-paramétriques Les histogrammes Les estimateurs de densités Technique de classification NN Technique de classification k-NN Erreurs de classification NN Les histogrammes Les histogrammes nous permettent d’estimer les pdf lorsque nous ne connaissons pas leurs formes paramétriques Un histogramme est formé d’intervalles adjacents représentant un découpage de la plage des valeurs des caractéristiques x Le nombre d’observations tombant dans chaque intervalle est ensuite affiché en fonction de x Les histogrammes (exemples d’histogrammes) 50 observations Les histogrammes Les probabilités sont alors estimées par Pj nj Nw j nj: nombre d’observations dans l’intervalle j wj: largeur de l’intervalle j Les histogrammes (Exemple) Avec 2 classes et 1 caractéristique Les histogrammes (Exemple) Sachant que N=60 et wj=1, nous devons diviser les nombres d’occurences par 60, P(A) = P(B) = 0.5 Pour classifier une observation x=7.5, nous devons calculer des estimations de p(x|A) et p(x|B) 2 P7.5 A 608 7 14 P7.5 B 608 7 Les histogrammes (Exemple) Par le théorème de Bayes P (7.5 A) P( A) P A 7.5 P (7.5 A) P( A) P (7.5 B) P( B) P A 7.5 P (7.5 A)0.5 P (7.5 A)0.5 P (7.5 B)(0.5) 0.125 PB 7.5 1 P( A 7.5) 0.875 P(B|7.5) > P(A|7.5) alors x est classé dans B Les estimateurs de densités Les observations représentent une approximation grossière de la fonction de densité réelle Les observations sont en fait un ensemble de delta de dirac, un pour chaque observation La surface de chaque pic correspond au nombre d’observations divisé par le nombre total d’observations Les estimateurs de densités Si nous remplaçons chaque pic par un noyau (kernel), leur sommation produira alors une estimation plus douce de la densité De plus, si nous estimons des valeurs ponctuelles de densité, nous pouvons alors centrée une fonction (window function) à une position donnée x et ainsi calculée par convolution l’estimation de la densité à cette position Les estimateurs de densités Si nous remplaçons chaque pic par un noyau (kernel), leur sommation produira alors une estimation plus douce de la densité De plus, si nous estimons des valeurs ponctuelles de densité, nous pouvons alors centrée une fonction (window function) à une position donnée x et ainsi calculée par convolution l’estimation de la densité à cette position Les estimateurs de densités (Exemple noyau triangulaire) Les estimateurs de densités L’expression de convolution Pˆ ( x) Pˆs ( x) * K ( x) Pˆs ( y )K ( x y )dy 1 ˆ Ps ( y ) N N ( y x ) i 1 i Les estimateurs de densités (formes de divers noyaux) Formes des noyaux (K(x)) Les estimateurs de densités (exemples d’estimation de densité) Noyau triangulaire Noyau gaussien Technique de classification NN La technique du voisin le plus proche nous permet d’éviter le problème de calcul des probabilités En fait, nous classons une observation x inconnue dans la classe la plus proche (NN), ou à l’observation la plus proche dans les données d’entraînement Technique de classification NN Nous devons alors déterminer l’observation de référence la plus proche. La distance Euclidienne est donnée par a (a1 ,...., an ) b (b1 ,...., bn ) d e ( a, b) n (b a ) i 1 i i 2 Technique de classification NN Autres distances n d cb (a, b) bi ai Différence absolue i 1 n d m (a, b) max bi ai Distance maximale i 1 n d r (a, b) bi ai i 1 r 1/ r Minkowski Technique de classification NN Exemple de classification NN Technique de classification k-NN Une généralisation de la technique NN consiste à associer la classe Ci à une observation x dont font partie une majorité des k voisins les plus proches de x Si nous utilisons 3 voisins, l’observation de l’exemple précédent sera classé dans B puisque 2/3 voisin appartiennent à B Technique de classification k-NN (Comparaison de l’erreur) Erreurs de classification NN La probabilité d’erreur d’un classificateur NN est toujours plus grande ou égale à celle d’un classificateur de Bayes Le classificateur de Bayes choisit toujours la classe la plus vraisemblable, ce qui représente le choix optimale Avec un classificateur NN, il peut arriver qu’un voisin d’une classe donnée qui n’est pas la classe la plus vraisemblable soit le plus proche d’une observation à classifier Erreurs de classification NN La probabilité de bonne classification des éléments de la classe Ci, est obtenue par P(C Ci ) NN n p(Ci x) p ( x Ci )dx R P(C Ci ) NN P(Ci ) R p ( x Ci ) n p( x) p (Ci ) p( x Ci ) i p( x) 2 dx Erreurs de classification NN La probabilité d’erreur de classification des éléments de la classe Ci, est obtenue par P( E Ci ) NN P(Ci ) R p( x Ci ) p( x Ci ) n p( x) P(Ci ) P(C j ) 1 P(Ci ) j i p( x) p(Ci ) p( x Ci ) i dx Erreurs de classification NN La probabilité d’erreur de classification totale, est obtenue par c P( E ) NN p(Ci ) P( E Ci ) NN i 1 c P( E ) NN 1 P(Ci ) i 1 2 R p( x Ci ) n p ( x) 2 dx Erreurs de classification NN (Exemple) Si nous avons 2 classes A et B avec P(A) = P(B) = 0.5, et p(x|A) est distribué uniformément entre 0 et 2 alors que p(x|B) est distribué uniformément entre 1 et 5 Quelle est l’erreur de classification NN ? Comment cette erreur se compare-t-elle à l’erreur Bayesienne Erreurs de classification NN (Exemple) p(x|A), p(x|B) avec p(x) en pointillée Erreurs de classification NN (Exemple) Calcul des probabilités d’erreur P( E A) NN 1 P(C A) P( E A) NN 2 1 1 1 / 2 1 dx 0 2 (1 / 2)(1 / 2) 0 2 2 5 1 / 2 dx 0dx 1 (1 / 2)(1 / 2) (1 / 2)(1 / 4) 2 1 2 1 1 1 2 3 6 Erreurs de classification NN (Exemple) Calcul des probabilités d’erreur 2 1 1 1 / 4 1 0dx dx 1 (1 / 2)(1 / 2) (1 / 2)(1 / 4) 2 0 2 5 1 / 4 dx 2 0 (1 / 2)(1 / 4) 1 6 2 P( E B) NN Erreurs de classification NN (Exemple) Calcul de la probabilité d’erreur totale P( E ) NN P( A) P( E A) NN P( B) P( E B) NN 1 1 1 1 2 6 2 6 1 6 Erreurs de classification NN (Exemple) Calcul de la probabilité d’erreur totale Bayesienne P( A) P( E A) Bayes P( B) P( E B) Bayes 1 1 1 0 2 2 4 1 8 P( E ) Bayes P( E ) Bayes P( E ) NN Erreurs de classification NN (Exemple) Calcul de la probabilité d’erreur totale Bayesienne P( A) P( E A) Bayes P( B) P( E B) Bayes 1 1 1 0 2 2 4 1 8 P( E ) Bayes P( E ) Bayes P( E ) NN Erreurs de classification NN (Borne) La borne d’erreur de P(E)NN P( E ) NN c 2 2 P( E ) Bayes P( E ) Bayes c 1