corrigéType

Université de M’Sila
Département d’Informatique
Module de Réseaux de Neurones et Apprentissage Automatique (Master 1 IA)
Examen Final
Le 29/05/2021, Durée: 1 heure 30 minutes
__________________________________________________________________________
Exercice n° 1 (5 points) :
1. Quels sont les deux éléments du cerveau humain qui font la base des modèles
mathématiques utilisés dans l’apprentissage automatique (1 point).
2. Une fonction d’activation doit avoir des propriétés, citer ces propriétés (2 points).
3. Vue la taille des images, leur classification exige un apprentissage basé sur des réseaux de
neurones particuliers, expliquer (2 points).
Exercice n ° 2 (5 points) :
Nous avons un perceptron monocouche avec trois entrées et deux sorties.
1. Dessiner ce réseau de neurones (1 point)
0.5 0.4
2. Si 𝑋 = [1 2 1], 𝑊 = [0.3 0.2], le biais 𝐵 = [0.3 0.6] calculer la sortie Y si la
0.5 0.4
fonction d’activation est la fonction signe (1 point pour la formule et 1 point pour le
résultat)
3. Corriger les poids W si la sortie désirée est 𝑌 = [1 2] avec un taux d'apprentissage
𝑘 = 0.5 (1 point pour la formule et 1 point pour le résultat).
Exercice n ° 3 (10 points) :
Nous avons un perceptron multicouche avec deux entrées et une seule sortie. Il est construit
de deux couches FC(2,2) et FC(2,1). Nous avons 𝑋 = [1 1], les poids de la première couche
0.3 0.4
0.6
𝑊=[
], les poids de la deuxième couche 𝑊 = [ ], les seuils de la première couche
0.5 0.6
0.8
𝐵 = [0.5 0.3], les seuils de la deuxième couche 𝐵 = [0.6] :
1. Dessiner ce réseau de neurones (1.5 point)
2. Donner la formule de calcul de la sortie (0.5)
3. Calculer la sortie de la première couche en utilisant la fonction d’activation sigmoïde
𝑓 (𝑥) =
et 𝑓 (𝑥) = 𝑓 (𝑥)(1 − 𝑓 (𝑥)) (0.5)
4. Calculer la sortie de la deuxième couche en utilisant la fonction d’activation sigmoïde (0.5
point)
5. Est-il possible d’utiliser des fonctions d’activation différentes pour les deux couches (0.5
point)
6. Calculer l’erreur E du réseau en utilisant la fonction 𝐸 = ∑
(𝑦 ∗ − 𝑦 ) (0.5 point)
7. Donner les formules de calcul des erreurs et de mises à jour en fonction de dérivée de
MSE : = (𝑌 − 𝑌 ∗ ) de biais, poids et entrées (3 points)
8. Si la sortie désirée est 𝑌 = [0], et le taux d’apprentissage est 𝑘 = 0.3, calculer les erreurs
et les mise à jour de biais, poids et entrées pour les deux couches (3 points)
Bonne chance
Responsable de modules : Pr. Mustapha Bourahla
Corrigé type
__________________________________________________________________________
Exercice n° 1 (5 points) :
1. Quels sont les deux éléments du cerveau humain qui font la base des modèles
mathématiques utilisés dans l’apprentissage automatique (1 point).
Réponse : les neurones et les synapses (1 point)
2. Une fonction d’activation doit avoir des propriétés, citer ces propriétés (2 points).
Réponse : non polynomiale, indéfiniment continûment dérivable, valeurs dans l'intervalle
[0;1], régulière, facile à programmer (2 points)
3. Vue la taille des images, leur classification exige un apprentissage basé sur des réseaux de
neurones particuliers, expliquer (2 points).
Réponse : Les réseaux de neurones convolutifs inspirés par le cortex visuel des animaux
qui utilise la convolution et la corrélation dans les algorithmes d’apprentissage (2 points)
Exercice n ° 2 (5 points) :
Nous avons un perceptron monocouche avec trois entrées et deux sorties.
1. Dessiner ce réseau de neurones (1 point)
Réponse :
0.5 0.4
2. Si 𝑋 = [1 2 1], 𝑊 = [0.3 0.2], le biais 𝐵 = [0.3 0.6] calculer la sortie Y si la
0.5 0.4
fonction d’activation est la fonction signe (1 point pour la formule et 1 point pour le
résultat)
Réponse :
Formule : 𝑌 = 𝑠𝑖𝑔𝑛𝑒(𝑋 ∗ 𝑊 − 𝐵)
0.5 0.4
Résultat : 𝑌 = 𝑠𝑖𝑔𝑛𝑒 [1 2 1] ∗ 0.3 0.2 − [0.3 0.6] = [1 1]
0.5 0.4
3. Corriger les poids W si la sortie désirée est 𝑌 = [1 2] avec un taux d'apprentissage
𝑘 = 0.5 (1 point pour la formule et 1 point pour le résultat).
Réponse :
Formule : 𝑊 = 𝑊 + 𝑘 ∗ 𝑋 ∗ (𝐷 − 𝑌)
1
0.5 0.4
0.5 −0.1
(
)
Résultat : 𝑊 = 0.3 0.2 + 0.5 ∗ 2 ∗ 0 −1 = 0.3 −0.8
1
0.5 0.4
0.5 −0.1
Exercice n ° 3 (10 points) :
Nous avons un perceptron multicouche avec deux entrées et une seule sortie. Il est construit
de deux couches FC(2,2) et FC(2,1). Nous avons 𝑋 = [1 1], les poids de la première couche
0.3 0.4
0.6
𝑊=[
], les poids de la deuxième couche 𝑊 = [ ], les seuils de la première couche
0.5 0.6
0.8
𝐵 = [0.5 0.3], les seuils de la deuxième couche 𝐵 = [0.6] :
1. Dessiner ce réseau de neurones (1.5 point)
Réponse :
2. Donner la formule de calcul de la sortie (0.5)
Réponse : 𝑌 = 𝑋 × 𝑊 + 𝐵
3. Calculer la sortie de la première couche en utilisant la fonction d’activation sigmoïde
𝑓 (𝑥) =
et 𝑓 (𝑥) = 𝑓 (𝑥)(1 − 𝑓 (𝑥)) (0.5)
Réponse :
0.3 0.4
𝑌 = [1 1] ×
+ [0.5 0.3] = [0.78 0.78]
0.5 0.6
4. Calculer la sortie de la deuxième couche en utilisant la fonction d’activation sigmoïde (0.5
point)
Réponse :
0.6
𝑌 = [0.78 0.78] ×
+ [0.6] = [0.84]
0.8
5. Est-il possible d’utiliser des fonctions d’activation différentes pour les deux couches (0.5
point)
Réponse : Oui
6. Calculer l’erreur E du réseau en utilisant la fonction 𝐸 = ∑
(𝑦 ∗ − 𝑦 ) (0.5 point)
Réponse : 𝐸 = (0 − 0.84) = 0.71
7. Donner les formules de calcul des erreurs et de mises à jour en fonction de dérivée de
MSE : = (𝑌 − 𝑌 ∗ ) de biais, poids et entrées (3 points)
Réponse : (0.5 pour chaque formule)
L’erreur de biais : =
L’erreur de poids :
L’erreur des entrées :
=𝑋 ×
=
×𝑊
Mise à jour de biais : 𝐵 = 𝐵 − 𝑘 ×
Mise à jour de poids : 𝑊 = 𝑊 − 𝑘 ×
Mise à jour des entrées : 𝑋 =
8. Si la sortie désirée est 𝑌 = [0], et le taux d’apprentissage est 𝑘 = 0.3, calculer les erreurs
et les mise à jour de biais, poids et entrées pour les deux couches (3 points)
Réponse :
Couche 2 (0.25 pour chaque résultat) :
𝜕𝐸 𝜕𝐸
=
= 2(0.84 − 0) = 1.68
𝜕𝐵 𝜕𝑌
𝜕𝐸
𝜕𝐸
0.78
1.31
=𝑋 ×
=
× 1.68 =
0.78
1.31
𝜕𝑊
𝜕𝑌
𝜕𝐸 𝜕𝐸
=
× 𝑊 = 1.68 × [0.6 0.8] = [1 1.34]
𝜕𝑋 𝜕𝑌
𝜕𝐸
𝐵 =𝐵−𝑘×
= 0.6 − 0.3 × 1.68 = 0.09
𝜕𝐵
𝜕𝐸
0.6
1.31
0.20
𝑊 =𝑊−𝑘×
=
− 0.3 ×
=
0.8
1.31
0.40
𝜕𝑊
𝜕𝐸
𝑋=
= [1 1.34]
𝜕𝑋
Couche 1 (0.25 pour chaque résultat) :
𝜕𝐸 𝜕𝐸
=
= [1 1.34]
𝜕𝐵 𝜕𝑌
𝜕𝐸
𝜕𝐸
1 1.34
1
=𝑋 ×
=
× [1 1.34] =
1 1.34
1
𝜕𝑊
𝜕𝑌
𝜕𝐸 𝜕𝐸
1
1
=
× 𝑊 = [1 1.34] ×
= [2.79 2.79]
1.34 1.34
𝜕𝑋 𝜕𝑌
𝜕𝐸
𝐵 =𝐵−𝑘×
= [0.5 0.3] − 0.3 × [1 1.34] = [0.2 −0.1]
𝜕𝐵
𝜕𝐸
0.3 0.4
1 1.34
0 0
𝑊 =𝑊−𝑘×
=
− 0.3 ×
=
0.5 0.6
1 1.34
0 0.2
𝜕𝑊
𝜕𝐸
𝑋=
= [2.79 2.79]
𝜕𝑋