OBJECTIFS
publicité
RESEAUX NEURONAUX . OBJECTIFS . LES RESEAUX DE NEURONES HISTORIQUE LE MODELE BIOLOGIQUE LES MODELES INFORMATIQUES APPLICATIONS LES TECHNIQUES D'INTELLIGENCE ARTIFICIELLE LES GENERATEURS DE PROGRAMME LES SYSTEMES EXPERTS LES SYSTEMES BASES SUR LA CONTRAINTES LA LOGIQUE FLOUE HISTORIQUE 1930-1950 LA GENESE BOUCLES DE RETROACTION AUTOMATES – CYBERNETIQUE WIENER NEURONE FORMEL – MAC CULLOCH ET PICH AUTOMATE CELLULAIRE – VON NEUMANN – PARADIGME DE MACHINE AUTOREPRODUISANTE – MACHINE DE TURING HISTORIQUE 1950 - 1970 L'EUPHORIE AUTOMATES NEURONAUX RECONNAISSANCE DE FORMES NEURONES FORMELS – ADALINE WIDROW – PERCEPTRON ROSENBLUTT CALCULS ANALOGIQUES APPRENTISSAGE SANS RETROACTION HISTORIQUE 1970 - 1980 LA TRAVERSEE DU DESERT HISTORIQUE 1980 - ... LE RENOUVEAU 82/85 HOPFIELD, RETROACTION, OPTIMISATION 85-88 – – – – – – RETROPROPAGATION, MACHINE DE BOLTZMANN, APPRENTISSAGE COMPETITIF, CARTES TOPOLOGIQUES SIMULATEURS, PLAN ETATIQUES (USA JAPON CEE) 88-91 – APPROFONDISSEMENT, APPLICATIONS, ATTENTES RESEAUX NEURONAUX LES ATOUTS PROGRAMMATION – PAR APPRENTISSAGE – SANS ALGORITHME PARALLELISME – CALCULS INDEPENDANT SUR CHAQUE NEURONE – UTILISANT DES CIRCUITS SPECIALISES GENERALISATION – TRAITEMENT DES EXEMPLES NOUVEAUX A PARTIR D'UNE GENERALISATION DES CARACTERISTIQUES DES EXEMPLES PRECEDANTS RESEAUX NEURONAUX INCONVENIENTS PAS DE GARANTIE DE RESULTAT INSTABILITES QUALITE DE L'APPRENTISSAGE LE NEURONE BIOLOGIQUE DIAGRAMME CORPS CELLULAIRE SYNAPSE AXONE NOYAU DENDRITES NEURO-TRANSMETTEURS - excitateurs - inhibiteurs LE NEURONE BIOLOGIQUE LES TAILLES DENDRITES – 0.N MICRONS CORPS CELLULAIRE – N MICRONS – ASSURANT LA VIE DU NEURONE L'AXONE – 1 millimètre-> 1 mètre LA SYNAPSE – 0.01 microns LE MODELE BIOLOGIQUE ELECTRIQUE – AMPLITUDE CONSTANTE – VALEUR INFORMATION = FREQUENCE CHIMIQUE LE MODELE BIOLOGIQUE SCHEMATISATION SYNAPSE DENDRITES E1 W1 E2 W2 EN WN CORPS + S AXONE LA VISION CHEZ L'HOMME RETINE = CELLULES PHOTO-SENSIBLES : – LES CELLULES BATONNETS, SENSIBLES A LA LUMIERE – LES CELLULES CONES, SENSIBLES AUX FORMES ET AUX COULEURS NERF OPTIQUE CORTEX VISUEL – ORGANISE EN COLONNES LA GRENOUILLE CELLULES D'ANALYSE DERRIERE L'OEIL CHAMP DE VISION – – – – UN OBJET MOUVANT PENETRE UN OBJET MOUVANT PENETRE ET S'ARRETE BAISSE GLOBALE ET SUBITE DE LA LUMINOSITE UN PETIT OBJET SOMBRE ET ARRONDI S'Y DEPLACE DE MANIERE ERRATIQUE. FUITE ATTAQUE LES MAMMIFERES CORTEX VISUEL CELLULES COMPLEXES CELLULES SIMPLES CELLULES GANGLIONAIRES CHAMP VISUEL EXPERIENCES SUR LES CHATS ETATS CONNEXIONS LA COMMUNICATION RENFORCE LA CONNEXION ETATS DES NEURO-TRANSMETTEURS – LABILE, POUVANT DIFFUSER, – STABLE, NE DIFFUSANT PAS, – DEGENERE, NE POUVANT PLUS DIFFUSE DEFINITIVEMENT. LABILE STABLE DEGENERE RESEAUX DE NEURONES COMPLEXITE ABEILLE interconnexions/s SURVEILLANCE INFRA-ROUGE R 109 A P I 6 D 10 I T E 103 RECONNAISSANCE DE LA PAROLE MOUCHE 89 SANSUE SURVEILLANCE RADAR DETECTION DE CIBLE ROBOTIQUE SONAR 89 103 STOCKAGE 106 (DARPA 89) 109 interconnexions LE NEURONE FORMEL ENTREES - binaires - entières E1 - réelles E2 EN WiEi I 1, N SORTIE - binaires - entières - réelles F S LE NEURONE FORMEL AUTOMATES BOOLEEN – MODELE DE MAC CULLOCH ET PITTS (194X) – ENTREES, SORTIES, ET FONCTIONS BOOLEENNE A SEUIL – SORTIE BINAIRE – FONCTION DE SORTIE » HEAVISIDE » SIGNE 1 Heaviside 1 Signe 0 -1 LE NEURONE FORMEL AUTOMATES LINEAIRES – ENTREES SORTIES REELLES A SATURATION – ENTREES SORTIES REELLES OU ENTIERES – FONCTION LINEAIRE A SATURATION Multi-linéaire LE NEURONE FORMEL LES AUTOMATES CONTINUS – ENTREES SORTIES REELLES – FONCTION SOMMATRICE LINEAIRE – FONCTION DE CALCUL SIGMOIDE PROBABILISTES – LES SORTIES SONT BINAIRES, – CALCULEES PAR UNE FONCTION STOCHASTIQUE APPRENTISSAGE SOUMETTRE LE RESEAU A UN JEUX D'ESSAIS – REGLES MATHEMATIQUES – REGLE DE HEBB W actif actif W actif W inactif W inactif REGLE DE HEBB inactif actif inactif LE PERCEPTRON MODELE DE ROSENBLATT RETINE ASSOCIATION DECISION E1 F F S1 E2 F S2 E3 F F S3 F F SN EN F PERCEPTRON MODELE D'ETUDE RETINE ASSOCIATION 0/1 E1 0/1 Bool E2 0/1 Bool 0/1 Bool 0/1 E3 0/1 E4 0/1 Bool 0/1 DECISION 0/1 0/1 S1 S2 0/1 0/1 S3 SN PERCEPTRON APPRENTISSAGE Wi = Wi + k(sortie désirée - sortie obtenue)*ei W 0 1 W SORTIE 0 0 W 1 1 W 1 0 DESIRE LE PERCEPTRON CARACTERISTIQUES SI SOLUTION – CONVERGEANCE – EXISTANCE TAILLE MINIMUM POUR UN PROBLEME LIMITATIONS -> ABANDON – LES PERCEPTRONS A CHAMP LIMITE NE PEUT RECONNAITRE DES FORMES CONNEXES – IMPOSSIBLE DE TRAITER LES FONCTIONS NON LINEAIREMENT SEPARABLES ex : XOR – TROUVE LA PREMIERE SOLUTION – NE TROUVE PAS LA MEILLEURE REGLE DE WIDROW ET HOFF NE PAS UTILISER DE SEUIL EN APPRENTISSAGE TROUVE LA MEILLEURE SOLUTION PERCEPTRON WIDROW-HOFF RESEAU MULTI-COUCHES COUCHE D'ENTREE COUCHES CACHEES INTERNES COUCHE DE SORTIE E1 F F F S1 E2 F F F S2 E3 F F F S3 EN F F F SN LE MODELE EN COUCHES CLASSIFICATIONS NON SEPARABLES LINEAIREMENT RETRO-PROPAGATION DU GRADIANT – EXTENSION DE LA REGLE DE WIDROW-HOFF FONCTION SIGMOIDE e 1 f ( x) a e 1 a kx kx -a RETRO-PROPAGATION DU GRADIENT MINIMISER E W i 1,m Yi Sj X RESEAU 2 Y désiré S RETRO-PROPAGATION DU GRADIENT Wij ( n) Wij ( n 1) e( n) Di Oj OU Di 2 Si Yi f li Di Dk Wki f li k i j Wil Wki li Oi k PAS ESSAI N RESEAU ENTIEREMENT CONNECTE LE MODELE DE HOPFIELD STRUCTURE MONO-COUCHE TOTALEMENT CONNECTE – NEURONES A DEUX ETAT (-1/1) – FONCTION DE CALCUL SIGNE MEMORISE UN CERTAIN NOMBRE D'ETATS – MEMOIRE ASSOCIATIVE – PAR CALCUL PREALABLE MISE A JOUR – ASYNCHRONE ALEATOIRE (HOPFIELD) – ASYNCHRONE – SYNCHRONE LE MODELE DE HOPFIELD APPRENTISSAGE FORCER LE RESEAU AUX VALEURS DES DIFFERENTS ETATS A MEMORISER. COMPARAISON NEURONES – MEME ETAT => AUGMENTER LE POID – SINON => DIMINUER LE POID LE MODELE DE HOPFIELD UTILISATION INITIALISE LE RESEAU AVEC L'ETAT D'ENTREE, EN PRINCIPE IL CONVERGERA VERS L'ETAT STABLE LE PLUS PROCHE LE RESEAU SE COMPORTE DONC COMME UNE MEMOIRE ASSOCIATIVE ADRESSEE PAR SON CONTENU. MODELE DE HOPFIELD DESAVANTAGES ETATS STABLES SUPPLEMENTAIRES – LES RECHERCHER ALEATOIREMENT – APPLIQUER LA REGLE INVERSE POUR LES DESTABILISER ORTHOGONALISATION NECESSAIRE OUBLI CATASTROPHIQUE – AJOUT D'UN SEUL ETAT – DES METHODES D'OUBLI PROGRESSIF PEUVENT CORRIGER CE PROBLEME. MACHINE DE BOLTZMANN 1985 AMELIORATION DU MODELE HOPFIELD CORRECTIF DECROISSANT POUR EVITER LES MINIMUMS LOCAUX point de départ minimum local minimum global MACHINE DE BOLTZMANN NEURONES SUPPLEMENTAIRES POUR DISTINGUER LES ETATS PROCHES – N NEURONES VISIBLES – M NEURONES CACHES. FONCTIONNEMENT – LIBRE : TOUS LES NEURONES EVOLUES – FORCE : SEULS LES NEURONES CACHES EVOLUENT. LE MODELE DE KOHONEN AUTO ADAPTATIF – TYPER ET LOCALISER LES NEURONES – CREATION/DESTRUCTION DE NEURONES PROJECTION – COMPRESSION DE DONNEES – MEILLEURE ADAPTATION AU BRUIT APPLICATION – MINIMISER LES CHEMINS – FILTRES – RECONNAISSANCES DE FORMES APPLICATIONS RESEAU RETRO HOPFIELD BOLZMANN KOHONEN APPLICATIONS PROPAGATION CLASSIFI -CATION TRAITEMENT IMAGES AIDE A LA DECISION OPTIMISATION * * * * * * * * * * * * CONDITIONS D'APPLICATION NE PAS CONNAITRE – DE SOLUTION ALGORITHMIQUE – DE SOLUTION ASSEZ RAPIDE DONNEES BRUITEES PROBLEMES DONT LES CONDITIONS VARIENT DISPOSER D'UN JEUX D'EXEMPLES RECONNAISSANCE DE FORMES OCR : CARACTERES – NESTOR : RECONNAISSANCE DE CODES POSTAUX 97,7% OCR/90 CODES POSTAUX US (BELL) – – – – – 6 couches 4635 neurones 98442 interconnexions (2578 paramètres) 7300 exemples 90 % correctement classés , 9% rejetés 1% incorrectement classés EasyReader Classic (93) – basé sur OCR NeuronEye – 12 langue prix <1500 RECONNAISSANCE DE CARACTERES FORMSCAN DE ITESOFT – ANALYSE DE FORMULAIRE – OCR RESEAUX NEURONAUX – CORRECTION SYNTAXIQUE PAR DESCRIPTION DES CHAMPS – CORRECTION MANUELLE – 55 KF SUR P.C. RECONNAISSANCE DE FORME Appledjjn : Apple+France telecom – modem-fax avec OCR intégré – OCR Mimetics CIRCUIT ASIC – – – – – – MIMETICS / INNOVATIC FONDEUR : SGS THOMSON 1500 CARACTERES/SECONDE 40000 connexions 3000 frs 30 fois plus rapide qu'un processeur ALPHA TRAITEMENT DU SIGNAL MAINTIENT D'UN BALANCIER VISION/PAROLE NETTalk : SYNTHESE VOCALE DE TEXTE – 300 NEURONES – REUSSITE 95% – GENERALISATION 80% PREVISION / MODELISATION PREVISION D'UTILISATION D'OPTIONS D'ACHATS – 23 neurones. 90 % GENERALISATION 80% OPTIMISATION RECHERCHE DU MEILLEUR ITINERAIRE CONCLUSION AVANTAGES – PARALLELISATION – PAS DE PROGRAMMATION – GENERALISATION MAIS – ABSENCE DE CIRCUITS EN GRANDE DIFFUSION – DIFFICULTE DE L'APPRENTISSAGE – PAS FIABLE A 100% DONC – PEU D'APPLICATIONS HORS PROTOTYPES – PERFORMANCES COMPARABLES A D'AUTRES SOLUTIONS
