Introduction
publicité
Introduction Réseau de neurones artificiel • Abstraction du système nerveux central humain – Traitement parallèle de l’information • Par opposition à un automate sériel comme un ordinateur – Capacité d’apprentissage et d’adaptation • Principe de traitement très simples et identiques pour tous les éléments • Mais comportement de groupe complexe! • Applications – Résolution de problèmes difficiles – Modélisation biologique Réseau de neurones biologique • Quand un pigeon devient expert en art! (Watanabe et al. 1995) – Experience : • Pigeon dans une boîte de Skinner • Exposition aux tableaux de deux artistes (Chagall / Van Gogh) • Récompense pour bec à la vue d’un tableau de l’un des artistes (e.g. Van Gogh) • Les pigeons utilisés ont pu distinguer Van Gogh de Chagall avec 95% de précision pour les tableaux d’entraînement • Précision de 85% pour les tableaux non vus auparavant! • Mémoire oui, mais avec… – Identification de traits essentiels et/ou généralisation – Absence apparente d’un processus réfléchi • Force majeure des réseaux de neurones! (artificiels et biologiques) Niveaux de traitement dans le système nerveux central humain 1m SNC 10cm Sous-Systèmes 1cm Régions 1mm Réseaux locaux 100mm Neurones 1mm Synapses 0.1mm Molécules Circuits locaux dans le cortex visuel LGN inputs Cell types Neurone biologique Sortie impulsive : 1 – Le neurone répond 0 – Le neurone ne répond pas (Sans nécessairement être inactif) Synapse biologique Agent principal du comportement neuronal Connexion typique le long d’un arbre dendritique Force de connexion variable + ou Plasticité à court terme Utilisation de mécanismes électrochimiques Origine corrélationnelle? Types de synapses Électrique (rare) • 3.5 nm pré-post distance • Continuité cytoplasmique (e.g. muscle cardiaque, capteurs sensoriels) • Courant ionique • Propagation instantanée • Transmission bidirectionnelle Chimique • 20-40 nm pré-post distance • Discontinuité cytoplasmique • Vésicules présynoptiques et récepteurs postsynaptiques • Transmetteur chimique • Délai synaptique .3 ms • Transmission unidirectionnelle Synapse dendritique Neurotransmetteurs Transmitter Transmitter Channel-typ Channel-typ Ion-current Ion-current Action Action Acetylecholin nicotin. Receptor Na+ and K+ excitateur Glutamate AMPA / Kainate Na+ and K+ excitateur GABA GABAA-Receptor Cl- inhibiteur Cl- inhibiteur Glycine Acetylecholin muscarin. Rec. - metabotropic, Ca2+ Release Glutamate NMDA Na+, K+, Ca2+ Dépend de la tension bloqué au potentiel de repos Neurotransmetteurs • Plusieurs types – – – – Amino Acides : Glutamate, GABA Amines biogéniques : Dopamine, Histamine Neuropeptides … LHRH, Proctolin Endorphines, acetylcholine, etc. • NMDA, GABAA sonr frèquents au niveau des récepteurs • Certains sont excitateurs et d`autres inhibiteurs De l’entité biologique au modèle Neurone -> Nœud Synapse -> Arc pondéré Modélisation simplifiée x0 = +1 Biais w0 m v wj xj j 0 x1 Entrée w1 x2 w2 xm Poids synaptiques wm w0 b État interne v Sommateur linéaire Hypothèses : • Synapses synchrones • Pas de pertes • Sortie non impulsive Fonction d’activation () Sortie y Fonctions d’activation communes • Simplifications des séquences d’impulsions • La fréquence des impulsions remplace l’information individuelle • L’information de phase est perdue • Plusieurs fonctions existent • L’efficacité dépend de l’application 16 Fréquence des impulsions biologiques • La valeur moyenne dépend de plusieurs facteurs – Pertes (leakage), saturation, sources de bruit • Généralement modelé avec une fonction sigmoïde Topologies de base Réseau Unitésmulticouche de Sortie Réseau récurrent Unités de sortie Unités cachées Unités cachées Unités cachées Unités d’entrée Unités d’entrée/sortie Unités d’entrée Unités d’entrée xj=Ajiyi i i Aij j yj=f(xj) • En général, les réseaux récurrents utilisent des règles d’apprentissage d’inspiration biologique et les réseaux multicouches des règles tirées de l’ingénierie Taxonomie +BSB, BAM, etc. Savoir du RNA • Réside dans la présence et force de connexions inter-neuronales (synapses) • Mais : – Différents types de neurones – Différents types de topologies de réseaux Comment trouver les bons poids? Plasticité synaptique Spike-timing Dependent Synaptic Plasticity (STDP) • La précédence des impulsions pré et post synaptiques influe sur la plasticité synaptique. • Plus conforme à la règle de Hebb (ajout de la causalité temporelle) From Bi and Poo J. Neurosci. 18, 10464 (1998) • Popularité croissante dans les modèles artificiels Pourquoi aller aussi loin ? • Un modèle simple de mémoire associative : 1. On considère/forme un ensemble orthogonal de N vecteurs xi à mémoriser 2. On définit l’ensemble des N vecteur-réponses désirés yi N t 3. On calcule la matrice A yi xi i 1 4. La fonction de rappel d’un stimulus quelconque x est alors y A x • Ça fonctionne, non? Mais que se passe-t-il lorsque les entrées sont corrélées, bruitées ou non linéairement séparables ?
