Augustin Lux: Panorama de l`apprentissage automatique
publicité
Apprentissage Automatique en Vision et Robotique Séminaire en DEA Imagerie-Vision-Robotique. Cathérine Garbay - Augustin Lux - Georges Quenot INPG-UJF IAVO 1-2-06 – p.1/?? Qu’est-ce que l’apprentissage? Un thème . . . fort complexe de grande actualité . . . par exemple en vision et en robotique. en pleine ébullition pas de science établie. IAVO 1-2-06 – p.2/?? Qu’est-ce qu’un séminaire? Plus “recherche” qu’un cours magistral. Nous voulons Approfondir à partir de publications: articles, rapports, thèses programmes existants travail concret de thésards et de chercheurs. Créer un animation scientifique autour d’exposés. présentations demonstrations (si possible) questions IAVO 1-2-06 – p.3/?? Organisation du séminaire Séances autour d’un thème - exposés avec 2 acteurs (ou plus): présentation questions. IAVO 1-2-06 – p.4/?? Organisation du séminaire Séances autour d’un thème - exposés avec 2 acteurs (ou plus): présentation questions. 4 séances de 3 heures. 1. 1-2 (aujourd’hui): présentations par le staff. Choix des thèmes 2. mercredi 8-2 9h-12h Exposés I : SVM - Renforcement 3. mercredi 15-2 9h-12h Exposés II : Applications 4. mercredi 22-2 9h-12h Exposés III : applis Prima/toolkits IAVO 1-2-06 – p.4/?? Organisation du séminaire Séances autour d’un thème - exposés avec 2 acteurs (ou plus): présentation questions. Les thèmes 1. méthodes génétiques 2. methodes symboliques 3. SVM Support Vector Machines 4. apprentissage par renforcement 5. statistique, bayésien, neuronal, connexioniste . . . 6. boites à outils IAVO 1-2-06 – p.4/?? Qu’est-ce que l’apprentissage automatique? IAVO 1-2-06 – p.5/?? Qu’est-ce que l’apprentissage automatique? L’apprentissage n’est pas un “problème”, au sens où il y aurait une “solution”. L’apprentissage est une “problématique” - une façon d’aborder un problème, avec une multitude d’approches et de solutions. beaucoup de travaux très grande variété de méthodes pas de méthode établie beaucoup de surprises . . . IAVO 1-2-06 – p.6/?? Un peu d’histoire IAVO 1-2-06 – p.7/?? Bref Historique Les travaux sur l’apprentissage automatique commencent dès le tout début de l’informatique. Alan Turing (1950). Lire l’article “Computing Machinery and Intelligence”toujours pertinent! Mais: c’est la partie naïve dans un papier visionnaire: l’apprentissage est “inscrire sur une feuille blanche”. Arthur Samuel dès 1947(!): jeu de dames Mais: ces premiers travaux restent isolés. C’est un travail de pionniers, pas un métier. IAVO 1-2-06 – p.8/?? Les classiques: 1 A. Samuel: jeu de dames jeu de dames 10 annéee de travaux de recherche techniques modernes: il y a du neuronal programmation en assembleur! travail personnel d’un ingénieur IBM IAVO 1-2-06 – p.9/?? Les classiques: 2 Feigenbaum EPAM (1963) Feigenbaum EPAM (1965) “The simulation of verbal behavior” Dans: Computers and Thought (1963) Voir: “Models of Incremental Concept Formation” Gennari, Langley, Fisher Art.Int. 40(1989) Données: exemples sous forme de listes attribut - valeur Résultat: description hiérarchique de classes Programmes fournis (!) IAVO 1-2-06 – p.10/?? Les classiques: 3 ID3 (1980) ID3 - Arbres de décision (1980) Données: exemples sous forme de listes attribut - valeur Résultat: arbre de décision, équivalent d’un programme efficace Grand classique en algorithmique IAVO 1-2-06 – p.11/?? Les classiques: 4 - conduite d’un véhicule Pomerleau: conduite sur route Données: capteurs véhicule + conduite humaine Résultat: commande automatique Réseau neuronal IAVO 1-2-06 – p.12/?? Les classiques “maison” 1: MANDRIN Apprentissage de règles d ínterprétation d’images Problème: construction d’un “système expert”. Données: exemples sous forme de listes attribut - valeur Résultat: règles pour un système expert de classification Structure sous-jacente: graphe “de dépendances” Aspects algébrique - algorithmique IAVO 1-2-06 – p.13/?? Les classiques “maison” 2: Génétique Alvaro Guarda: Reconnaissance de visages Problème: reconnaissance dans des images brutes. Données: exemples d’images: yeux, nez, bouche. 2 niveaux de résultats: filtres et règles. apprentissage numérique ET symbolique. IAVO 1-2-06 – p.14/?? Qu’est-ce que l’apprentissage automatique? IAVO 1-2-06 – p.15/?? Apprentissage: une notion multi-concept IAVO 1-2-06 – p.16/?? Apprentissage: une notion multi-concept Il existe de nombreuses définitions de l’apprentissage. Il y a des données, et un résultat (!), modèle ou simple structure de données. Généralisation: couvrir les exemples positifs, exclure les exemples négatifs Approximation: par ex. apprentissage de modèles en vision Confirmation d’hypothèse: trouver un modèle expliquant les données Compression d’informations: trouver des régularités au sein des données, permettant de les résumer. IAVO 1-2-06 – p.17/?? Apprentissage: une notion multi-concept Il existe de nombreuses définitions de l’apprentissage. Donnons juste quelques distinctions données capteurs: concept learning concept formation connaissance + expérience Mélange capteur /connaissances connaissance + expérience ==> amélioration performance IAVO 1-2-06 – p.18/?? Apprentissage: une notion multi-concept Il existe de nombreuses définitions de l’apprentissage. Donnons juste quelques distinctions données capteurs: connaissance + expérience EBL: Explanation Based Learning EBG: Explanation Based Generalisation Mélange capteur /connaissances connaissance + expérience ==> amélioration performance IAVO 1-2-06 – p.18/?? Apprentissage: une notion multi-concept Il existe de nombreuses définitions de l’apprentissage. Donnons juste quelques distinctions données capteurs: connaissance + expérience Mélange capteur /connaissances connaissance + expérience ==> amélioration performance apprentissage génétique méthodes neuronales IAVO 1-2-06 – p.18/?? Caractéristiques importantes - I Le cadre formel sousjacent types de données problèmes formels: types de données problèmes formels: numérique - continue - discret induction logique - anti-unification logique d’ordre supérieur induction de langages -de fonctions décidabilité complexité . . . du coté décidabilité, les résultats sont décevants! IAVO 1-2-06 – p.19/?? Caractéristiques importantes - II Un algorithme d’apprentissage peut être: supervisé - non-supervisé incrémental déductif / spécialisation - inductif / généralisation symbolique - numérique complexité - calculabilité IAVO 1-2-06 – p.20/?? Caractéristiques importantes III Le cadre conceptuel de l’ apprentissage dans un système: Quel est le rôle de l’apprentissage? Jusqu’où l’apprentissage peut-il modifier le système? Pendant combien de temps? calcul d’un paramètre d’une structure de données du “potentiel” du système ... les programmes IAVO 1-2-06 – p.21/?? Une ambition: tester des programes Construire - et tester - une bibliothèque en apprentissage à nous tous de jouer Un point de départ: la boite à outils WEKA étudiée par Oliver Brdiczka IAVO 1-2-06 – p.22/??
