Apprentissage artificiel et raisonnement artificiel Introduction ● Apprentissage artificiel, plusieurs objectifs : – Apprendre sur des données numériques, sur leur organisation, leurs régularité. En économétrie, on utilisera la régression – Pour les réseaux de neurones, l'apprentissage artificiel dépasse le cadre des données numériques Arbres de décision Les arbres de décisions servent à apprendre à partir de masse de données. Différents algorithmes fondent un même principe. ● On a un ensemble de données : ● ● Résultat est une variable cible : on veut apprendre sur cette variable Arbres de décision (2) ● ● On veut "apprendre" sur les données : on va donner un mode de représentation des données. Un algorithme représentatif de l'ensemble des algorithmes de création d'arbre : algorithme ID3 Arbres de décision (3) ● ● On cherche le paramètre le plus discriminant. Quelle notion de discrimination ? Celle-ci se fait sur la base de l'entropie : n −∑ pi ∗log p i i =1 ● ● Pour n=1, p1=1 ou n=1, p1=0 et l'entropie (désordre) est nulle Pour n=2, p1=0.5 et p2=0.5, l'entropie est maximale Arbres de décision (4) ● ● Calcul de l'entropie associée à chaque paramètre : cheveux, taille, poids etc..., mesure d'information MI(cheveux), MI(taille) etc... Le gain d'information associé à l'attribut cheveux : – MI(cheveux)=proba(rousse)*Entropie(rousse,Résultat) +proba(brune)*Entropie(brune,Résultat) +proba(blonde)*Entropie(blonde,Résultat) – MI(cheveux)=1/8*0 +3/8*0 +4/8*(-1/2*log(1/2)+1/2*log(1/2)) – MI(cheveux)=0.5 Arbres de décision (5) ● On applique la formule sur les différents paramètres : ● Pour taille : 0.69 ● Pour lotion : 0.61 ● Pour Poids : 0.94 ● La minimisation de l'entropie se fait avec cheveux. Ie c'est la variable cheveux qui permet de classer le mieux les occurrences selon le résultat Arbres de décision (6) ● Classement des occurrences selon cheveux : Cheveux=Blonde Sarah Dana Annie Katie Blonde Blonde Blonde Blonde Moyen Grand Petit Petit RAS Cp de Soleil Nombre Occurrences : Cheveux=Brune Légère Moyenne Moyenne Légère Non oui Non oui Cp de soleil RAS cp de soleil RAS Alex Pete John Brune Brune Brune Petit Grand Moyen RAS Cp de Soleil Nombre Occurrences : 50,00% 50,00% 4 Cheveux=Rousse Emily Moyenne Lourd Lourd Rousse Moyen RAS Cp de Soleil Nombre Occurrences : Lourde Non 0,00% 100,00% 1 cp de Soleil oui Non Non RAS RAS RAS 100,00% 0,00% 3 Arbres de décision (7) ● ● Pour chaque nœud tel qu'il reste encore des occurrences de plus d'un type, on relance l'algorithme de discrimination. Au final, l'arbre est le suivant : Arbres de décision (8) ● On peut déduire des règles depuis l'arbre : – Cheveux=brun => RAS – Cheveux=rousse => coup de soleil – Cheveux=blond et lotion => RAS – Cheveux=blond et pas de lotion => coup de soleil Arbres de décision (9) ● Un autre arbre possible en forçant le démarrage depuis un autre attribut : Réseau de neurones ● Un réseau de neurones schématise le fonctionnement neuronal : Réseau de neurones (2) ● Chaque neurone fonctionne de cette manière : Réseau de neurones (3) ● Retropropagation du gradient : ● On passe un vecteur d'inputs en entrée x ● On obtient un vecteur y d'output ● On aurait voulu obtenir un vecteur t en output ● On fait remonter la correction des pondérations depuis Système Expert ● Sémantique de la logique propositionnelle ● Un système expert : – Une base de faits – Une base de règles Système Expert(2) ● Notion de chainage avant ● Notion de chainage arriere Conclusion ● ● ● ● Les réseaux de neurones sont utilisés : cf systèmes de contrôle. Démarche d'algorithmes génériques Beaucoup d'autres méthodes d'apprentissage sont possibles : treillis de Gallois, etc... Utilisation pour des systèmes de controle automatique avec intégration de beaucoup de données : cf centrale nucléaire.