Projet d`IHM : interfaces de communication par l`image pour des

Projet d’IHM : interfaces de communication par l’image pour des touristes ne
connaissant pas la langue du pays qu’ils visitent
Une publicité télévisée récente (2004) d’un fabricant de téléphones portables (Siemens ou Sagem)
montre un touriste étranger dans un pays d’Extrême-Orient qui, pour communiquer, plutôt que
d’utiliser les mots de la langue du pays (qu’il ne connaît pas), montre une photo de l’objet qu’il
désire, photo qu’il a prise à l’aide de son téléphone portable. De sorte que le touriste arrive à se
faire comprendre immédiatement.
La motivation de ce projet d’IHM est d’explorer plus avant ce mode de communication par
l’image qui permet à des touristes ne connaissant pas la langue du pays de se faire comprendre
dans diverses situations (dans la rue, dans une boutique, dans le cabinet d’un médecin, etc.).
L’objectif du projet est de maquetter des interfaces de communication par l’image, ou associant la
communication par l’image à la communication par les mots. Ces interfaces seront celles de
dispositifs mobiles (téléphones portables, PDA) ou celles de dispositifs fixes dont l’utilisateur
pourra disposer là où il se trouve.
On se limitera à la situation (scénario) de consultation chez un médecin. On se bornera donc à
concevoir des interfaces permettant la communication entre des touristes étrangers ne parlant pas
(ou mal) la langue du pays et des médecins locaux ne parlant pas (ou mal) la langue maternelle du
touriste. Il s’agira d’imaginer des interfaces permettant une communication effective entre
touristes et médecins. Ces interfaces devraient permettre par exemple au touriste de décrire son
état de santé, au médecin de poser des questions sur l’état de santé du touriste, au médecin de
décrire un traitement (procédure), au touriste de demander des précisions sur un médicament,
etc. Un point de départ de la conception pourra être le Lexique médical (cf. figure 1) du site
travhealth.fr (http://www.travhealth.fr/).
Figure 1. Le lexique médical du site travhealth.fr
Grâce à un schéma du corps humain (masculin ou féminin), ce lexique fournit la possibilité à
l’utilisateur ou l’utilisatrice de trouver, par une simple désignation de l’endroit où il ou elle a mal,
les mots et les expressions de la langue étrangère pouvant décrire son mal ou son problème de
santé. En d’autres termes, en cliquant sur une zone du corps humain (ex. : la tête), l’utilisateur ou

l’utilisatrice fait s’afficher dans deux fenêtres connexes des mots décrivant cette zone (ex. :
head/tête, neck/cou) ainsi que des phrases décrivant les symptômes possibles associés à cette zone
(I have a sore neck/j'ai mal dans le cou).
L’idée est de concevoir une interface de communication qui permette :
- de faire un usage plus systématique des images (photos, graphiques, etc.) pour
communiquer, que ces images soient prises sur le vif ou récupérées dans des banques
d’images existantes (personnelles ou communes);
- d’indexer les images stockées (à l’aide d’une ontologie du domaine médical)
- de récupérer les images pertinentes au moment voulu, grâce à une interface de requête
exploitant l’ontologie;
- de reconnaître des images prises sur le vif (une image reconnue serait associée à une image
existante dans la base, et les annotations de l’image existante pourraient être utilisées pour
formuler une requête relative à l’image actuelle); etc.
Planning indicatif :
- Spécification de scénarios de communication touriste-médecin par l’image (cf. analyse de
besoins; modélisation de l’utilisateur).
- Évaluation de l’interface du Lexique médical de travelhealth.fr comme outil de communication
par l’image ((en fonction des scénarios).
- Évaluation rapide d’autres interfaces existantes ou de techniques existantes de
communication par l’image (exemple de ces dernières : en apprentissage des langues
étrangères, la technique consistant à présenter l’image du mot étranger à apprendre, en
même temps qu’on prononce ce mot, plutôt que de présenter par écrit ce mot ou la
traduction de ce mot).
- Spécification (en fonction des scénarios et des évaluations) des nouvelles interfaces et de
leurs fonctionnalités, du genre :
- prendre|montrer des photos d’objets|parties du corps (à différents moments de la
journée, de la semaine, pour montrer une évolution);
- constituer et exploiter une banque d’images analogues à celles que l’on voudrait
montrer;
- reconnaître des objets, les typer, afin par exemple de pouvoir donner un nom à ce
qu’on veut décrire;
- associer des actions (soigner, manipuler….) aux objets|parties du corps; etc.
- Maquettage des interfaces (à ce stade, utilisation possible de SVG, XML, XSLT).
- Évaluation itérative des interfaces (en fonction des scénarios).