Sur l`étude du processus d`écriture à la main. Approches classiques

1
Sur l’étude du processus d'écriture à la main.
Approches classiques et non conventionnelles
Mohamed BENREJEB*, Afef EL ABED-ABDELKRIM* et Manabu SANO**
**LA.R.A. Automatique, Ecole Nationale d’Ingénieurs de Tunis, BP37, le Belvédère,1002 Tunis, Tunisie
** Hiroshima City University, Department of Computer Science,
3-4-1, Ozukahigashi, asaminami-ku,Hiroshima731-3194, Japon
[email protected], afef[email protected], [email protected]ma.ac.jp
Différentes approches conventionnelles de caractérisation
du processus d’écriture à la main et de son système de
commande ont été développées dans la littérature. La
validation et la comparaison de 26 modèles du processus
d'écriture à la main existants ont été effectuées par Plamondon
et al (Alimi, 1995, Plamondon et al, 1993). Cette première
approche repose sur l'étude du profil de vitesse curviligne
généré. Pour ces modèles plusieurs critères de comparaison,
dont la minimisation du nombre de paramètres, ceux relatifs à
la continuité du profil de la vitesse et ceux relatifs à la forme
en cloche asymétrique de la vitesse, ont permis la sélection
d'un modèle, dit delta-lognormal, (Plamondon, 1995). Il
représente un modèle cinématique satisfaisant, pour sa
capacité à avoir des paramètres compatibles avec
l'organisation hiérarchique du système de génération du
mouvement d’écriture. Ce modèle repose sur le fait que la
façon la plus simple d'apprendre à contrôler un mouvement
c'est en contrôlant sa vitesse. Un mouvement est généré par
une synergie musculaire relative à un ensemble de muscles
agissant en groupe et de façon coordonnée, relatif à deux
systèmes parallèles représentant les ensembles des réseaux
neuronaux et musculaires participant à la génération des
activités neuromusculaires agonistes et antagonistes résultant
d'un mouvement particulier. Chacun de ces deux systèmes a
été considéré globalement comme un système linéaire
invariant dans le temps produisant une sortie en vitesse à
partir d'une impulsion de commande.
Résumé - Dans cet article des approches conventionnelles de
modélisation et de caractérisation du processus d’écriture à la
main sont présentées. De nouvelles approches non
conventionnelles de modélisation du processus et de son système
de commande sont proposées. Ces approches relevant du calcul
évolutif, sont basées sur l’exploitation des réseaux de neurones
artificiels et le concept de la logique floue et constituent une
stratégie pour l’élaboration d’un modèle généralisé du processus
d’écriture à la main.
Mots clés-Processus d’écriture à la main, réseaux de neurones
artificiels, logique floue, commande par modèle interne,
modélisation.
Abstract – in this paper conventional modelling and
characterisation approaches of the handwriting process are
presented. New non conventional approaches of modelling the
process and its control system are proposed. Based on soft
computing, these approaches use artificial neural networks and
fuzzy logic concepts and constitute a strategy to elaborate a
generalised handwriting process model.
Keywords— Handwriting process, artificial neural networks,
fuzzy logic, internal model control, modelling.
I. INTRODUCTION
Le processus d'écriture à la main joue un rôle
prépondérant dans la vie humaine et dans la
communication. Son étude est un moyen d’analyse des
propriétés du système biologique qui supervise son
fonctionnement et des principaux facteurs qui y interviennent.
Une deuxième approche, physique, basée sur l’élaboration
d’un modèle mathématique a été proposée par Van Der Gon
(Van Der Gon et al, 1962), ensuite une version électronique a
été proposée par Mc Donald. Le système d'écriture à la main a
été considéré, dans ce cas, comme une masse se déplaçant
dans un milieu visqueux dont le mouvement est régi par une
équation différentielle linéaire du second ordre.
L'étude de la main lors de l'écriture et de la modélisation du
système d’écriture nécessite la caractérisation des stimuli
musculaires ainsi que celle du mouvement d’écriture,
constituant des problèmes importants, compte tenu de la
difficulté delocalisation des points de mesure des stimuli, de la
complexité de traitement des signaux biomédicaux nécessaires
à l’identification des paramètres du système d’écriture (main-
stylo), et de la diversité des types de modèles pouvant être
élaborés.
Yasuhara (Yasuhara, 1975), qui a intégré l'effet de la force
de frottement entre la pointe du stylo et la surface d'écriture, a
élaboré en 1975 un modèle régi par un système de deux
équations différentielles non linéaires du second ordre,
couplées.
Ce système a été ensuite utilisé pour l'identification et la
décomposition d'un système d'écriture rapide (Yasuhara,

2
1983) et l'extraction des pulsations de commande (Iguider et
al, 1995), puis pour la reconnaissance de l'écriture arabe
cursive (Iguider et al, 1996).
En 1987, Edelman et Flash ont proposé un modèle
mathématique basé sur l'étude des trajectoires de la main,
(Edelman et al, 1987).
Étudié antérieurement par des approches conventionnelles,
ce processus est décrit dans notre étude par des modèles
utilisant des approches non conventionnelles tolérantes pour
l’imprécision et l’ambiguïté, relevant du calcul évolutif.
Dans ce sens, est présentée d’abord, une approche
expérimentale des signaux électromyographiques des muscles
de la main menée dans (Bouslama et al, 2000) et ayant permis
l’élaboration d’une base d’exemples d’entrées/sorties pour le
processus d’écriture à la main et son système de commande.
Dans le cadre de la caractérisation du processus étudié,
nous avons développé un réseau de neurones artificiels pour la
modélisation et l'étude du comportement du processus
d'écriture et un modèle neuronal inverse pour la reconstitution
des signaux d'excitation de la main, les stimuli musculaires
appliqués à la main, dans le cas des lettres arabes manuscrites.
Ces résultats ont été étendus pour le cas des Parties de Mots
Arabes (PMA).
Une nouvelle stratégie de commande intégrant l'expertise
humaine dans la synthèse de régulateurs flous d'un processus
d'écriture à la main est mise en œuvre. Cette approche utilise
la logique floue pour intégrer le mécanisme de la pensée
humaine intervenant lors de la formation de lettres
manuscrites et de PMA. Cette approche d'intégration de
régulateurs flous pour la commande du processus a été affinée
et un régulateur flou de type Sugeno a été mis en œuvre et a
présenté des résultats satisfaisants. Puis un modèle neuro-flou
du système d'écriture à la main a été développé, cependant, il
nécessite encore un ajustement de paramètres pour donner des
résultats meilleurs. Afin d'améliorer les réponses et de
généraliser le modèle, des approches de commande par
modèle interne (CMI) ont été adoptées.
II. APPROCHES EXPERIMENTALES DE CARACTERISATION DU
PROCESSUS D'ECRITURE A LA MAIN
Une première approche expérimentale de caractérisation de
l'écriture et des stimuli musculaires intervenant lors du
mouvement de l'écriture a été menée dans (Bouslama et al,
2000). En utilisant une table digitale (WACOM, KT-0405-
RN) et un crayon optique spécial pour enregistrer les
coordonnées des points de la trajectoire d'écriture à une
fréquence fixe, une deuxième approche expérimentale a été
menée, dans (Sano et al, 2003), pour l’acquisition d’une
séquence de points définissant les coordonnées de la lettre
écrite échantillonnée. La fenêtre (x,y) exploitée est de
dimension 128mm× 96mm. Les positions de la pointe du stylo
et de la force de pression exercée sur la table sont mémorisées
dans un PC.
Par ailleurs, un système d'acquisition des stimuli des
muscles pour l'enregistrement de leurs signaux
électromyographiques (EMG) durant le temps d'écriture, est
employé. Le système utilisé est composé d’électrodes
déposées sur l’avant-bras du scripteur (MEDICOTEST, Blue
Sensor N-00-S), d’un enregistreur de données (TEAC, AR-
C2EMG1) et d’amplificateurs (TEAC, AR-C2EMG1), figure
1.
Malgré le fait que l'anatomie de la main est très complexe et
les muscles sont nombreux et très proches, l'étude présentée
dans (Yasuhar, 1975) a permis de localiser et d'identifier les
quatre principaux muscles contrôlant la main lors de l'écriture
dont nous envisageons d’étudier le comportement à partir
d'enregistrements EMG.
Figure1. Système de mesures des mouvements x et y de la pointe du stylo
exerçant une pression P et des signaux EMG de l’avant-bras (Sano et al, 2003)
Les activités musculaires dans un plan pour un mouvement
horizontal sont ainsi régies par:
(1) le muscle Extensor Carpi Ulnaris (ECU),
(2) et le muscle Abductor Pollicis Longus (APL).
Parmi les muscles responsables des mouvements verticaux
dans le même plan, les deux muscles suivants ont été retenus:
(3) le muscle Flexor Digitorum superficialis (FDS),
(4) le muscle Extensor Digitorum Communs (EDC).
Ces muscles, mis à part leur rôle important dans les
mouvements d'écriture, étant situés directement sous la peau,
permettent l'utilisation d’électrodes de surface pour enregistrer
les signaux EMG correspondants.
Deux muscles de l’avant-bras ont été considéré, à savoir
l’«abductor pollicis longus » et l’« extensor carpi ulnaris ».
Ces deux muscles sont, d’une part, les muscles les plus actifs,
et d’autre part, quand l’un se contracte l’autre s’étend. Les
électrodes, utilisées par paire, ont une masse commune.
Pour appliquer l'approche expérimentale proposée, a été
défini un jeu de lettres arabes représentatif qui constitue une
base d'exemples de référence à suivre et à analyser, à savoir la
lettre SIN ( a ), la lettre HA ( ? ) et la lettre AYN ( ? ), en plus
d’un ensemble de huit formes géométriques de base, tableau 1,
à savoir :
- forme 1 : un trait de la gauche vers la droite puis retour au
point de départ,
- forme 2 : un trait de la droite vers la gauche puis retour au
point de départ,
- forme 3 : un trait du haut vers le bas puis retour au point
de départ,
- forme 4 : un trait du bas vers le haut puis retour au point
de départ,
- forme 5 : cercle fermé dans un mouvement vers la droite,

3
- forme 6 : cercle fermé dans un mouvement vers la gauche,
- forme 7 : triangle fermé dans un mouvement vers la
droite,
- forme 8 : triangle fermé dans un mouvement vers la
gauche.
Une base de données a été ainsi obtenue, pour ce jeu de
lettres et de formes, écrites à la main par 8 scripteurs
différents (5 hommes et 3 femmes), âgés entre 22 et 23 ans.
Dans les figures 2 et 3, sont consignés des exemples de
mesures pour la forme désignée par « cercle 1 » et pour une
lettre arabe ainsi que les signaux electromyographiques
(EMG) enregistrés pour les deux muscles choisis.
Tableau 1. Formes géométriques élémentaires choisies pour
l’expérimentation
s'intéressant au comportement de la main et du stylo suite
aux efforts musculaires qui sont appliqués, figure 4.
Le premier modèle a été élaboré par Van Der Gon en 1962.
Il représente le processus d'écriture à la main par un système
linéaire du second ordre. L'association main-stylo a été
considérée comme une masse M avec un frottement visqueux
caractérisé par kd. Les équations dynamiques du déplacement
du stylo en x et en y sont données par :
Figure2.
Cercle 1: forme, déplacements x(t) et y(t) et signaux EMG correspondants
Figure 3. Lettre HA (?) : forme, déplacements x(t) et y(t) et signaux EMG
correspondants
III. MODELISATION DU PROCESSUS D’ECRITURE A LA MAIN
L'analyse de ce processus montre que l'écriture manuscrite
est achevée par des mouvements coordonnés des muscles et
du poignet, réalisés grâce à l'extension et la flexion de certains
muscles intervenant durant le processus d'écriture, un
processus appris par l'homme depuis son enfance. Après la
présentation d’approches conventionnelles de modélisation du
processus d’écriture à la main, est présentée dans cette partie
une approche non conventionnelle de modélisation par
réseaux de neurones artificiels.
Figure 4. Position de la main et du stylo lors de l'écriture
Yasuhara a proposé un modèle plus fin et plus généralisé en
ajoutant au modèle linéaire du second ordre, une raideur
relative à la viscosité de la main, permettant ainsi la
description des déplacements de la main de masse M selon
l'équation (Yasuhara, 1975) :
A. Approche conventionnelle de modélisation : modèle
physique de l’association main-stylo
Afin de représenter le processus d'écriture à la main,
plusieurs modèles ont été proposés en se basant sur les
mouvements de la main dans l'espace d'écriture ou bien en
Le coefficient de frottement kd, qui était constant dans le
modèle de Van Der Gon, devient
avec:

4
Ainsi, l'équation (2) peut être mise sous la forme :
Dans ce modèle, les paramètres ld et µd imposent la
dynamique de l'écriture et permettent de caractériser chaque
scripteur. Des calculs d'estimation de ces paramètres ont été
effectués pour un scripteur donné et ont permis de négliger le
terme n'd , (Yasuhara, 1975).
B. Approches non conventionnelles de modélisation :
Elaboration d’un modèle neuronal
Figure 6. Réponses du système différentiel et du modèle neuronal
Le processus de l’écriture à la main fait intervenir plusieurs
facteurs et apparaît comme un système dont les relations entre
ses entrées et ses sorties sont difficiles à mettre en équations
d’une façon très précise. La caractérisation des stimuli
musculaires constitue aussi l'un des problèmes important
nécessaire à l'étude des mouvements de la main lors de
l'écriture.
IV. MODELISATION DU SYSTEME DE COMMANDE DU
PROCESSUS D'ECRITURE A LA MAIN
Vu la complexité du système biologique intervenant dans le
processus de l’écriture, plusieurs recherches ont été menées
afin d’enrichir notre connaissance sur le fonctionnement et
l’organisation de ce système biologique. Cette partie
s’intéresse à la caractérisation du système de commande du
processus d’écriture à la main par des approches
conventionnelle et non conventionnelle.
Etudiés antérieurement par la mise en œuvre d'approches
classiques, ces problèmes sont traités par de nouvelles
approches adaptées à ce type de systèmes complexes. Dans ce
sens, un modèle neuronal est proposé pour la modélisation et
l'étude du comportement du processus d'écriture.
Pour les développements envisagés, nous assimilons les
entrées du système aux formes des forces musculaires
développées dans le modèle physique décrit par le système
différentiel (4), avec les valeurs ld=4,7 et µdP=0.075 et en
négligeant le paramètre n'd.
A. Approche théorique de commande du système d'écriture
à la main par un PID classique
Afin de modéliser le système de commande du processus
d’écriture à la main, des approches de commande en boucle
fermée ont été réalisées, (Benrejeb et al, 2000), en utilisant des
régulateurs classiques de type PID, figure 7. Ce régulateur
Le modèle neuronal proposé est un réseau multicouche avec
une couche cachée de 100 neurones de fonction d’activation
tangente hyperbolique, et une couche de sortie de neurones
linéaires, figure 5. théorique a été appliqué pour le système mo délisé par le
système différentiel, avec succès dans le cas de la PMA
, figure 8. L'inconvénient de ces méthodes réside dans
l'interprétation physique de l'intégration d'une commande de
type PID dans un processus biologique. En effet, une telle
commande, basée sur des considérations mathématiques
s'éloigne de la réalité physique.
L’application des forces musculaires à l’entrée du modèle
neuronal direct (MND), et l’application de cette même
commande sur le système différentiel, aboutissent à des
résultats comparables, dans le cas d'une application aux lettres
arabes, (Abdelkrim et al, 2000).
L'écriture arabe est cursive et présente divers diacritiques.
Un mot arabe est une séquence d'entités connexes totalement
disjointes nommées pseudo-mots ou encore PMA (Partie de
Mot Arabe), qui est à son tour formée de un ou plusieurs
caractères, (Abdelkrim et al, 2001).
Les résultats obtenus pour les réseaux de neurones, élaborés
dans le cas des lettres, ont été étendus dans le cas des PMA.
Les réponses du modèle neuronal direct à l’écriture de la PMA
sont satisfaisant comparées aux réponses du système
différentiel à cette même PMA, figure 6. Figure 7. Commande conventionnelle de type PID du processus d'écriture à la
main

5
Figure 8. La PMA synthétisée par un régulateur PID Figure 10. Les stimuli générés par le modèle neuronal inverse (PMA )
B. Approches non conventionnelles de caractérisation du
système de commande du processus d’écriture à la main
Les concepts des réseaux de neurones artificiels et de la
logique floue, ayant atteint actuellement un degré de maturité
leur permettant d’être appliqués à des situations du monde
réel, sont utilisés dans nos travaux pour la modélisation du
système de commande du processus d’écriture à la main. Figure 11. Les stimuli de référence (PMA )
1) Modèle neuronal inverse
A partir d’une lettre écrite, nous cherchons dans cette partie
à générer les forces musculaires appliquées pour l’écrire. Il
s’agit donc de caractériser un réseau de neurones qui simule le
modèle inverse du processus d’écriture à la main, i.e. à partir
des signaux de la lettre écrite, et de reconstituer ainsi les
stimuli musculaires, difficiles à acquérir.
Le même type de réseau de neurones artificiels direct,
présenté dans le paragraphe 3.2, est exploité dans cette partie
pour l’élaboration d’un modèle neuronal inverse (MNI) dont
le principe de mise en œuvre est décrit dans la figure 9.
y
Figure 12. Réponses du MND aux stimuli de références (F.Réf) et ceux
estimés par MNI (F.Est)
La caractérisation du modèle neuronal inverse a conduit aux
stimuli présentés dans la figure 10 correspondant à la PMA
.
La comparaison des réponses du modèle neuronal aux
stimuli de référence à celles relatives aux stimuli estimés
montre la validité aussi bien du modèle neuronal direct que du
modèle neuronal inverse.
Il est à remarquer que ces résultats présentent des
correspondances satisfaisantes avec les stimuli de référence
donnés dans la figure 11.
2) Intégration de l'expertise humaine dans la commande
du processus d'écriture à la main
Dans cette partie, une nouvelle stratégie de commande
intégrant la connaissance humaine dans la synthèse d’un
processus d’écriture à la main est mise en œuvre. Cette
approche utilise la logique floue, (Bühler, 1994), pour
représenter le mécanisme de la pensée humaine intervenant
lors de la formation de lettres manuscrites.
L'approche de commande par un PID théorique s'éloigne de
l'interprétation physique du processus biologique étudié. Il
s'avère donc nécessaire d’introduire les effets d’autres facteurs
dont le rôle ne peut être négligé dans le fonctionnement du
système d’écriture à la main, tels que la notion d’expertise
humaine pour contrôler le système. Dans ce sens, nous avons
apporté des modifications en introduisant un régulateur flou
pour commander le système.
Figure 9. Structure du Modèle Neuronal Inverse (MNI)
Pour tester la validité de ces résultats, les stimuli, estimés
par le modèle neuronal inverse élaboré, sont soumis au
modèle neuronal direct. Les réponses obtenues relatives à la
PMA , sont données dans la figure 12.
a) Intégration d'une commande floue de type Mamdani
Des régulateurs par logique floue de type Mamdani ont été
utilisés pour commander les déplacements de la pointe du
stylo selon les axes x et y. Chacun de ces régulateurs
comporte deux entrées, recevant respectivement l’erreur entre