Apprentissage artificiel et raisonnement artificiel

Apprentissage artificiel et
raisonnement artificiel
Introduction
●
Apprentissage artificiel, plusieurs objectifs :
–
Apprendre sur des données numériques, sur leur
organisation, leurs régularité. En économétrie, on
utilisera la régression
–
Pour les réseaux de neurones, l'apprentissage
artificiel dépasse le cadre des données numériques
Arbres de décision
Les arbres de décisions servent à apprendre à
partir de masse de données. Différents
algorithmes fondent un même principe.
●
On a un ensemble de données :
●
●
Résultat est une variable cible : on veut
apprendre sur cette variable
Arbres de décision (2)
●
●
On veut "apprendre" sur les données : on va
donner un mode de représentation des
données.
Un algorithme représentatif de l'ensemble des
algorithmes de création d'arbre : algorithme ID3
Arbres de décision (3)
●
●
On cherche le paramètre le plus discriminant.
Quelle notion de discrimination ? Celle-ci se fait
sur la base de l'entropie :
n
−∑ pi ∗log  p i 
i =1
●
●
Pour n=1, p1=1 ou n=1, p1=0 et l'entropie
(désordre) est nulle
Pour n=2, p1=0.5 et p2=0.5, l'entropie est
maximale
Arbres de décision (4)
●
●
Calcul de l'entropie associée à chaque
paramètre : cheveux, taille, poids etc..., mesure
d'information MI(cheveux), MI(taille) etc...
Le gain d'information associé à l'attribut
cheveux :
–
MI(cheveux)=proba(rousse)*Entropie(rousse,Résultat)
+proba(brune)*Entropie(brune,Résultat)
+proba(blonde)*Entropie(blonde,Résultat)
–
MI(cheveux)=1/8*0
+3/8*0
+4/8*(-1/2*log(1/2)+1/2*log(1/2))
–
MI(cheveux)=0.5
Arbres de décision (5)
●
On applique la formule sur les différents
paramètres :
●
Pour taille : 0.69
●
Pour lotion : 0.61
●
Pour Poids : 0.94
●
La minimisation de l'entropie se fait avec cheveux.
Ie c'est la variable cheveux qui permet de classer le
mieux les occurrences selon le résultat
Arbres de décision (6)
●
Classement des occurrences selon cheveux :
Cheveux=Blonde
Sarah
Dana
Annie
Katie
Blonde
Blonde
Blonde
Blonde
Moyen
Grand
Petit
Petit
RAS
Cp de Soleil
Nombre
Occurrences :
Cheveux=Brune
Légère
Moyenne
Moyenne
Légère
Non
oui
Non
oui
Cp de soleil
RAS
cp de soleil
RAS
Alex
Pete
John
Brune
Brune
Brune
Petit
Grand
Moyen
RAS
Cp de Soleil
Nombre
Occurrences :
50,00%
50,00%
4
Cheveux=Rousse
Emily
Moyenne
Lourd
Lourd
Rousse
Moyen
RAS
Cp de Soleil
Nombre
Occurrences :
Lourde
Non
0,00%
100,00%
1
cp de Soleil
oui
Non
Non
RAS
RAS
RAS
100,00%
0,00%
3
Arbres de décision (7)
●
●
Pour chaque nœud tel qu'il reste encore des
occurrences de plus d'un type, on relance
l'algorithme de discrimination.
Au final, l'arbre est le suivant :
Arbres de décision (8)
●
On peut déduire des règles depuis l'arbre :
–
Cheveux=brun => RAS
–
Cheveux=rousse => coup de soleil
–
Cheveux=blond et lotion => RAS
–
Cheveux=blond et pas de lotion => coup de soleil
Arbres de décision (9)
●
Un autre arbre possible en forçant le démarrage
depuis un autre attribut :
Réseau de neurones
●
Un réseau de neurones schématise le
fonctionnement neuronal :
Réseau de neurones (2)
●
Chaque neurone fonctionne de cette manière :
Réseau de neurones (3)
●
Retropropagation du gradient :
●
On passe un vecteur d'inputs en entrée x
●
On obtient un vecteur y d'output
●
On aurait voulu obtenir un vecteur t en output
●
On fait remonter la correction des pondérations
depuis
Système Expert
●
Sémantique de la logique propositionnelle
●
Un système expert :
–
Une base de faits
–
Une base de règles
Système Expert(2)
●
Notion de chainage avant
●
Notion de chainage arriere
Conclusion
●
●
●
●
Les réseaux de neurones sont utilisés : cf
systèmes de contrôle.
Démarche d'algorithmes génériques
Beaucoup d'autres méthodes d'apprentissage
sont possibles : treillis de Gallois, etc...
Utilisation pour des systèmes de controle
automatique avec intégration de beaucoup de
données : cf centrale nucléaire.