2 Réseaux de neurons artificiels 1 Introduction 2 Neurone formel 3 Architecture des réseaux de neurones 4 Notion d’apprentissage 5 Quelques modèles de réseaux de neurones 6 Exemples d’application www.yourwebsite.com Introduction 2 1 Pourquoi les réseaux de neurones? L’objectif est de simuler l’intelligence humaine • • • • • • • Modéliser mathématiquement le cerveau une architecture massivement parallèle Capacité de mémoire Capacité d'apprentissage Capacité de généralisation Capacité d'adaptation Capacité de traiter les informations incomplètes une faible consommation énergétique 3 Utilisation des réseaux de neurones • Classification • Approximation de fonctions • Prédiction - prévision • Optimisation 4 2 Historique • 1943 : • Modèle de McCulloch et Pitts : les premiers neurones formels • 1960 : • Rosenblatt : modèle avec processus d’apprentissage, perceptron • Minsky et Papert : limites du perceptron mono-couche • 1980 : • Modèle de Hopefield • Werbos : rétropropagation dans le cadre des perceptrons multicouches (popularisé en 1986 par Rumelhart) 5 Neurone biologique & neurone formel 6 3 Définitions Un neurone formel est une fonction algébrique non linéaire et bornée, dont la valeur dépend de paramètres appelés coefficients synaptiques ou poids. Poids : est une valeur numérique associé à une connexion entre deux unités qui reflète la force de la relation entre ces deux unités. Apprentissage d’un réseau : les caractéristiques (poids) du réseau sont modifiées jusqu’à ce que le comportement désiré soit obtenu. 7 Interprétation mathématique 8 4 Fonctions de transfert (ou fonctions d’activation) (a) : seuil (fonction de Heavyside) (b) : linéaire par morceaux (c) : sigmoïde g(x) = (1 + e – βx) - 1 (d) : gaussienne 9 Neurone formel: le modèle Mc Culloch et Pitts 10 5 Architecture des réseaux de neurones 11 Définitions Un réseau de neurones artificielle est un circuit composé d’un nombre très important d’unités de calcul simples basées sur des neurones formels. Ici nous avons 2 neurones, mais ça peut être 1,2, 10,… cela dépend du contexte dans lequel on utilise le réseau. Il peut y avoir un nombre infini de couches (à partir de 2 couches, on peut parler de réseau profond).chaque couche peut également contenir une infinité de neurones. Ces choix(nombre de couches, et nombre de neurones par couches) sont la plupart du temps, arbitraires. Le nombre de neurones dans la couche de sortie dépend également du contexte, du cadre dans lequel on utilise le réseau. 6 Classification des réseaux de neurones Réseaux bouclés Les neurones ne peuvent pas être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière Exemple -> réseau entièrement connecté : 14 7 Réseaux « non bouclés » ou réseaux à couches Les neurones peuvent être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière Exemple -> réseau à deux couches intermédiaires : 15 Notion d’apprentissage 16 8 • Mise à jour des poids de connexion, en général à partir d’un ensemble de données d’entraînement • Modification itérative des poids • 3 types d’apprentissage: • Supervisé : on veut qu’à une entrée corresponde une sortie préalablement définie • Non supervisé : on veut construire un réseau dont on ne connaît pas a priori la sortie correspondant à des entrées données • Hybride • Règles d’apprentissage : gouvernent la mise à jour des poids du réseau • Algorithme d’apprentissage : procédure dans laquelle les règles d’apprentissage sont utilisées en vue de l’ajustement des poids 17 18 9 Correction d’erreur Si d est la sortie désirée et y la sortie obtenue, la modification des poids se fait en fonction de (d-y) Algorithme de retro-propagation Algorithme d’apprentissage du perceptron: Initialisation des poids et du seuil à de petites valeurs aléatoires Présenter un vecteur d’entrées x(μ) et calculer sa sortie Mettre à jour les poids en utilisant : wj(t+1) = wj(t) + η (d- y) xj avec d la sortie désirée, w vecteur des poids, η est une constante positive qui spécifie le pas de modification des poids 19 Correction d’erreur 10 Quelques modèles de réseaux de neurones 21 Le Perceptron multicouches (Multi-Layer Perceptron : MLP) • Modèle du perceptron simple: • pas de seuil • fonction d’activation = fonction signe • Séparation de deux classes d’entiers A et B -> apprentissage supervisé • Inconvénient : A et B doivent être linéairement séparables 22 11 Le Perceptron multicouches (Multi-Layer Perceptron : MLP) Exemple : https://www.youtube.com/watch?v=Iv_Fy6Urik4 23 Le modèle de Hopefield • Mémorisation de formes et de motifs • Mémoire distribuée • Mémoire associative 24 12 • N neurones binaires (1 ou -1) : 2N états possibles pour le réseau • Réseau entièrement connecté, connexion de poids Cij = Cji • État du neurone i à l’instant t: +1 = ( ( )) • L’état du neurone i dépend de l’état du réseau en général ---> mémoire distribuée • But : trouver les Cji qui vont permettre de mémoriser un état particulier du réseau • Soient S1, S2… Sp, p configuration du réseau à mémoriser : on veut, a partir d’une configuration proche de Sm, converger vers Sm ---> mémoire associative • Principe de Hebb : =∑ 25 Les cartes de Kohonen • On veut un réseau ayant deux caractéristiques particulières : • Apprentissage non supervisé • Les réponses associées à des entrées voisines sont voisines : auto organisation • Notion de voisinage entre les classes d’observation • Algorithme : • Initialisation : à chaque classe on associe un vecteur code dans l’espace d’observation • Etape : on tire un point au hasard dans l’espace des observations (données). On déplace ensuite la classe la plus proche, ainsi que tous ses voisins les plus proches, vers ce point. 26 13 27 Exemples d’applications 28 14 OCR 29 Applications industrielles: • Reconnaissance de codes postaux (AT&T, la Poste) • Contrôle de paramètres de processus de production industrielle de pâte à papier (Siemens) • Prévision de consommation d’eau (Générale des eaux) • Logiciels d’aide à la décision • Prévisions météorologiques 30 15 Domaines d’application Conclusion 32 16 • Essor important ces 30 dernières années • Approximateurs universels • Aujourd’hui utilisés dans la vie quotidienne (systèmes de tarifications basés sur la classification des types de consommation) 33 17