Système multimodal de communication alternative

Système multimodal de communication alternative
Nom du porteur : Philippe Blache, Stéphane Rauzy, Nathalie Richardet
Laboratoire de rattachement : LPL
Thématique de recherche : Informatique linguistique
Noms des partenaires et Laboratoires de
rattachements des partenaires : LPL, LPC, LIF, Semantia
1. Introduction
La communication alternative désigne un ensemble d’outils d’aide à la communication pour
des personnes handicapées atteintes dans leur motricité et leur capacité de production de
parole. Il s'agit par exemple de patients atteints de pathologies neuro-dégénératives totalement
paralysantes ou encore de personnes victimes d’accidents vasculaires cérébraux. Ces patients
ne gardent le contrôle que de quelques muscles (comme la paupière) et ne peuvent plus parler.
Dans nombre de cas, les capacités cognitives restent intactes. L’objectif de ce type de système
est de permettre à l’utilisateur d’améliorer voire rétablir la possibilité de communication avec
son entourage en offrant la possibilité de composer des messages, de piloter un système de
synthèse de parole ou de encore désigner des objets ou des actions. Il s’agit donc de prendre
en compte les besoins effectifs de ces utilisateurs dans une situation réelle de communication,
et donc intégrer des modalités multiples d'interaction pour le support de la communication et
le contrôle de l'environnement. L’utilisation de modalités multiples est fondamentale dans la
communication naturelle qui peut utiliser de façon séparée ou conjointe des souces diverses :
voix, gestes, écrits, symboles, etc. De plus ces différentes modalités doivent également tenir
compte de l’intention de la communication et de son environnement. S’il n’est pas
envisageable de rétablir une communication naturelle y compris dans ses modalités multiples,
il est en revanche nécessaire de proposer à l’utilisateur une variété aussi grande que possible
de types de communication, mais également de type d’interaction. Dans certains cas, il suffit
de désigner du regard un objet ou une personne pour se faire comprendre. Dans d’autres cas,
un symbole ou un ensemble de symboles pourront être utilisés, les informations les plus
complexes pourront quant à elles être transmises via un texte écrit ou synthétisé. La
multimodalité offre un certain nombre d’avantages :
• Elle permet de maintenir plusieurs canaux de communication en multipliant les
supports (texte, voix, symboles, etc.)
• Elle permet de compenser la dépendance à une communication monomodale pouvant
être gravement affectée par exemple par une évolution de l’état de l’utilisateur
• Elle améliore l’efficacité et la rapidité de la communication
• Elle permet une adaptation à la situation et l’environnement
La multimodalité concerne par ailleurs le contrôle de l’environnement lui-même. Il est en
effet indispensable de tirer parti des différentes capacités motrices et cognitives de
l’utilisateur de façon à lui permettre d’interagir au mieux notamment avec l’environnement
informatique. Ceci se fait par l’intermédiaire de capteurs qu’il convient d’associer de façon à
enrichir l’input du système.

2. L’interaction multimodale pour la communication alternative
Nous définissons un média comme étant un dispositif servant de support à l’information, et
une modalité comme une technique d’interaction (cf. [Nigay96]). L'interaction multimodale
se fonde sur l'utilisation simultanée de plusieurs modes de communication de l'usager et/ou du
système. Par exemple, une réponse verbale accompagné de l’affichage d’un pictogramme est
un message multimodal ayant nécessité en amont un travail d’interprétation intermodale
généralement nommée fission ou génération multimodale en sortie (resp. de fusion ou de
résolution intermodale en entrée). Il s’agit donc de prendre en compte les contraintes
spécifiques à la multimodalité : mise en relation des médias d’entrée et les autres composants
logiciels, fusion des médias en entrée, fission de l’information en sortie, etc. Dans notre cas,
la multimodalité se restreint en entrée à une interaction de type alternée (il y a fusion mais les
modalités doivent être utilisées en séquence) voire exclusive (absence de fusion et usage en
séquence des modalités) plutôt qu’une interaction multimodale synergique (implique fusion et
usage simultanés de plusieurs modalités).
Dans un système multimodal, une phase de décision concernant la présentation du message
rendu à l’utilisateur est nécessaire : dans le cas de notre plateforme une présentation sous
forme orale, visuelle ou combinée. Il s’agit alors de définir les combinaisons selon que le
contexte et/ou le profil de l’utilisateur nécessite une information complémentaire ou
redondante. Par exemple, la complémentarité est satisfaite lorsque pour un acte d'interaction,
chaque mode utilisé est strictement nécessaire à la constitution du message d’entrée. Il y a
équivalence pour un acte lorsque l'utilisateur choisit indifféremment tel ou tel mode. Le
système doit ainsi répondre à un certain nombre de contraintes :
 Adaptabilité du système à l’utilisateur : En fonction du profil de l’utilisateur ou du
contexte d’utilisation, adaptabilité à plusieurs niveaux de granularité:
- choix des modes et de leurs combinaisons durant une tâche,
- paramétrage des périphériques utilisés en fonction du profil de l’utilisateur :
vitesse de sélection du clic automatique, vitesse de défilement visualisé à
l’écran, type de la voix de synthèse, taille des caractères, nombre de
propositions affichées
 Cohérence entre les modes : La cohérence est un des éléments clef dans la conception
d’une interface multimodale, pour lesquelles le pouvoir de confusion est accru.
Comme le montrent [McNeill92] et [Oviatt97], le souci d’une interface multimodale
est la cohérence et la consistance à travers les modes. Les messages exprimés doivent
être cohérents d’un mode à l’autre. Par exemple, la génération redondante impose le
choix d’une phraséologie identique (la même réalisation lexicale entre texte écrit et
texte vocalisé).
3. Elaboration de la communication
L'aide à la communication exploite les possibilités de contrôle décrites précédemment et
s'appuie sur des techniques de prédiction permettant de minimiser le nombre d'interactions.
Par ailleurs, les situations de communication peuvent varier en fonction de leur objectif et de
leur contexte. Certaines situations sont en effet très stéréotypées et il n'est pas toujours
nécessaire de composer des phrases complètes (repas, toilettes, visites médicales, etc.). Si la
communication verbale écrite est indiquée voire préférable dans les situations où le temps de

réaction n'est pas critique, il est cependant important qu'elle soit complétée voire remplacée
par une communication iconique dans les autres cas ou pour les situations stéréotypées.
3.1. Communication verbale
Le système propose un clavier virtuel pouvant être contrôlé par des capteurs divers. Le
principe consiste à sélectionner des lettres. A chaque étape de cette opération, une liste de
mots est proposée sur la base de critères de fréquence ainsi que d'informations morpho-
syntaxiques. Les informations de fréquences sont contenues dans notre dictionnaire qui
comporte plus 400.000 formes. Elles ont été acquises par analyse d’un corpus de 230 millions
de mots. Le filtrage syntaxique repose quant à lui sur des informations provenant de corpus
annotés syntaxiquement. Des séquences de trigrammes de catégories en sont extraites,
permettant de fournir des contraintes morpho-syntaxiques. Le traitement de l'accord s'appuie
également sur ces informations. Le résultat de la proposition est une pondération de
l'ensemble des critères évoqués.
Sur la base des techniques évoquées, l'aide à la composition de textes écrits se présente de
façon différente selon le type de modalité d'interaction. En cas d'impossibilité d'utilisation du
clavier, l'interaction reposera soit sur la souris (ou un joystick) soit sur des capteurs. Un
système de défilement permet d'accéder aux cases désirées correspondant soit à des lettres soit
à des fonctions. Il est possible d'associer des modalités aux différentes modalités d'entrée. Une
modalité principale pourra ainsi contrôler le défilement tandis qu'une modalité secondaire
implantera par exemple la fonction d'annulation. En termes d’efficacité, deux caractères en
moyenne, suffisent pour prédire le mot correct. De plus, les mots les plus fréquents, en
particulier les catégories mineures, sont dans la plupart des cas proposés sans que la saisie de
lettre ne soit nécessaire. Enfin, dans la mesure où le modèle utilisateur permet de s'adapter
aux habitudes de l'utilisateur, l'état de stabilité du système, rapidement atteint, permet un
comportement extrêmement performant de la prédiction en réduisant encore le nombre de
caractères à saisir.
3.2. Communication non verbale
Dans les cas de trouble du langage ou certains cas de communication stéréotypée, la
communication non verbale sera mise en œuvre. Le principe général de composition de
message est le même que dans le cas de la communication verbale. Différents espaces de
travail sont proposés à l'utilisateur, ainsi qu'une fenêtre de prédiction et de contrôle ou
d'édition du message constitué. Nous avons donc une homogénéité du système en fonction des
modalités de sortie de la communication.
Il est important de préciser que la base d'icônes utilisée dans cette modalité a été entièrement
conçue dans le cadre de ce projet. En effet, les bases disponibles ne sont pas du tout
satisfaisantes pour plusieurs raisons : mauvaise conception, mauvaise qualité graphique,
iconographie infantilisante, incohérence dans le vocabulaire graphique, etc. Nous avons donc
été amenés à spécifier totalement une nouvelle base d'icônes pour la communication en
collaboration avec des graphistes, des psychologues et des rééducateurs. Le résultat obtenu
fait de cette base une des plus efficaces aujourd'hui pour l'aide à la communication non
verbale.

4. Conclusion
Le développement de cette plateforme a reposé sur une collaboration entre informaticiens,
linguistes et psychologues, mais a également bénéficié de l’expérience de rééducateurs et
d’institutions d'accueil de personnes handicapées. Il a donc été possible de valider l'ensemble
des développements au fur et à mesure de leur réalisation lors de campagnes d'évaluations
conduites par des psychologues, des ergonomes et des orthophonistes. Le système, appelé
PCA, est aujourd'hui distribué par la société Aegys qui en propose une version de
démonstration sur son site (voir http://www.aegys.com/).
Références
[Asaiho94] Asaiho (1994) « Atelier Systèmes d'Analyse des Interactions Homme-Ordinateur ». Sixièmes
Journées sur l'Ingénierie des Interfaces Homme-Machine, Décembre 1994, Lille, pp. 243-90.
[Blache03] Blache P. & S. Rauzy (2003), "Linguistic resources and cognitive aspects in alternative
communication", in proceedings of SICS-8.
[Blache04] Blache P. & S. Rauzy (2004), "Une plateforme de communication alternative", in actes des
Entretiens de l'Institut Garches
[Nigay96] Nigay, L. & Coutaz, J. (1996). « Espaces conceptuels pour l’interaction multimédia et
multimodale ». Technique et science informatiques (TSI), vol. 15, 9. pp 1195-1225
[Oviatt97] Oviatt, S., DeAngeli, A. & Kuhn, K. (1997). “Integration and synchronization of input modes
during multimodal human-computer interaction”. Proceedings of the SIGCHI conference on Human factors
in computing systems, ACM Press, pp. 415–422.