Weka et les réseaux de neurones

Apprentissage automatique
IV. Introduction aux r´eseaux de neurones
Universit´e de Provence
Master Pro I2A/GSI
Ann´ee 2007-2008
Weka et les r´eseaux de neurones
L’objectif de ce TP est de vous familiariser avec l’algorithme des r´eseaux de neurones
multi-couches propos´e par le logiciel Weka. L’apprentissage des poids du r´eseau est effectu´e
par la technique de r´etropropagation du gradient. Il existe d’autres techniques que celle-
ci pour l’apprentissage de r´eseaux de neurones multi-couches mais cette technique est un
standard et il est indispensable que vous sachiez l’utiliser.
En suppl´ement du cours, vous trouverez de nombreux documents sur cette m´ethode
sur le web. N’h´esitez pas `a chercher la signification des param`etres de la m´ethode car
la documentation de Weka est assez limit´ee et certains de ces param`etres jouent un rˆole
primordial dans la qualit´e de l’apprentissage. Ne vous contentez pas de lancer l’algorithme
avec la configuration par d´efaut car elle n’est pas fix´ee pour ˆetre optimale sur le jeu de
donn´ees sur lequel vous lancez l’algorithme comme c’est le cas dans Enterprise Miner.
Param`etres principaux
Pour ce premier travail, utilisez le jeu de donn´ees Ionosphere disponible `a l’adresse
habituelle. N’appliquez aucun filtre et passez directement `a l’onglet classify. Choisissez la
m´ethode MultilayerPerceptron disponible dans la cat´egorie functions des classifieurs.
Lancez une premi`ere fois l’algorithme avec un partitionnement 2/3 - 1/3 des donn´ees
pour l’apprentissage - test. Observez les r´esultats obtenus, trouvez le taux d’erreur sur les
donn´ees test ainsi que la matrice de confusion.
Ouvrez la fenˆetre de param´etrage de l’algorithme. L’objectif de cet exercice est de
vous familiariser avec les principaux param`etres de la m´ethode. Pour l’instant, n’utilisez
pas l’interface graphique et ne modifiez pas les param`etres correspondants. Grˆace `a votre
cours, `a la documentation de Weka et au web, trouvez ce que sont les param`etres Hidden
Layers, Training Time, Learning Rate, Momentum, Decay. Ces param`etres sont les plus
importants de la m´ethode et comprendre ce qu’ils repr´esentent est indispensable `a une
bonne utilisation de l’algorithme.
Vous devez faire une synth`ese du rˆole de chacun de ces param`etres, issue des sources que
vous aurez trouv´e durant la s´eance de TP. De plus, toujours sur le mˆeme jeu de donn´ees,
testez diff´erentes valeurs pour ces param`etres et indiquez l’impact de ces nouvelles valeurs
de param`etres sur les performances de l’algorithme. Enfin, indiquez les param`etres qui vous
ont permis d’obtenir les meilleurs r´esultats sur les donn´ees test.
Vos synth`eses devront m’ˆetre envoy´ees par mail `a la fin de la s´eance `a l’adresse habi-
tuelle : [email protected].
1

Eviter le pi`ege du sur-apprentissage
Toujours sur le mˆeme jeu de donn´ees, lancez l’algorithme avec les param`etres par d´efaut
(rechargez-le) et testez le mod`ele obtenu sur les donn´ees d’apprentissage. Que constatez-
vous par rapport aux performances obtenues lorsque vous testez le mod`ele sur des donn´ees
test ind´ependantes ?
Pour ´eviter le ph´enom`ene de sur-apprentissage, on peut utiliser un troisi`eme ensemble
de donn´ees (validation) qui ne sert pas `a apprendre mais `a arrˆeter l’algorithme avant de
faire du sur-apprentissage. Les param`etres validation set size et validation threshold per-
mettent de configurer soi-mˆeme l’arrˆet de l’algorithme. Ainsi, mˆeme si le taux d’erreur
diminue sur les donn´ees d’apprentissage, on peut choisir d’arrˆeter le processus d’apprentis-
sage des poids du r´eseau lorsqu’il semble qu’il n’y ai plus d’am´eliorations sur les donn´ees
de validation.
Trouvez un moyen de mettre en ´evidence ce ph´enom`ene et r´edigez une petite synth`ese
de ce travail que vous enverrez en mˆeme temps que vos r´eponses aux questions pr´ec´edentes.
GUI et construction manuelle du r´eseau de neurones
Activez maintenant l’interface graphique propos´ee sans changer le param`etre autoBuild.
Lancez l’algorithme et observez l’interface ainsi que le processus d’apprentissage que vous
lancerez vous-mˆeme.
Vous allez maintenant fabriquer vous-mˆeme votre r´eseau de neurones `a l’aide de l’inter-
face graphique. Pour une question de simplification, chargez le jeu Iris que vous trouverez
dans le r´epertoire data de Weka. Vous testerez les mod`eles sur les donn´ees d’apprentissage.
Pour faire ce r´eseau, d´esactivez l’option autoBuild et lancez l’algorithme.
Vous construirez un r´eseau `a une seule couche cach´ee en commencant par un seul
neurone sur la couche. Puis, vous augmenterez ce nombre de neurones de 1 `a chaque ´etape
jusqu’`a obtenir un taux d’erreur qui ne descende plus sur les donn´ees d’apprentissage.
Combien de neurones ont ´et´e n´ecessaires ? Trouvez un r´eseau qui permet de r´eduire encore
l’erreur d’apprentissage, indiquez sa constitution.
2