UNE PLATEFORME MULTI-MODALE POUR LA

QUATRIEME WORKSHOP AMINA 2008
UNE PLATEFORME MULTI-MODALE POUR LA TÉLÉVIGILANCE MEDICALE
Wided Souidene, Dan Istrate, Hamid Medjahed
ESIGETEL – LRIT, 1, Rue du Port de Valvins, 77210 Avon, France
{wided.souidene, dan.istrate, hamid.medjahed}@esigetel.fr
Jérôme Boudy, Jean-Louis Baldinger, Imad Belfeki, François Delavault
EPH/Telecom Sud Paris, 9, Rue Charles Fourier, 91011 Evry, France
{jerome.boudy, jean-louis.baldinger, imad.belfeki, françois.delavault}@it-sudparis.eu
François Steenkeste
INSERM U558 Toulouse France
[email protected]
RESUME
Cet article décrit les travaux de recherche d’une équipe pluridisciplinaire regroupée autour du thème de la télévigilance
médicale. Il recense les résultats d’une collaboration de nombreuses années qui a abouti au développement et à la mise en
place d’une plateforme multimodale pour la télévigilance médicale. Cette plateforme est composée de trois systèmes
hétérogènes mais complémentaires conçus pour assurer le maintient à domicile de personnes âgées en toute sécurité. Dans cet
article, nous présentons une description détaillée des multiples capteurs que nous utilisons pour surveiller à distance l’état de
santé d’une personne âgée et/ou d’un patient à domicile. Il s’agit précisément d’un ensemble de microphones placés
convenablement dans la maison, d’un dispositif portable qui mesure des signaux physiologiques et détecte la chute et d’un
ensemble de capteurs infrarouges. Cette plateforme gérée et commandée à distance est utilisée par le personnel médical et/ou
les proches de la personne afin d’être informés de l’état du patient ou de la personne âgée. Cette plateforme, telle qu’elle a été
conçue, présente deux avantages majeurs : tout d’abord sa bonne acceptation par les utilisateurs finaux, car elle est moins
intrusive que les autres systèmes de télésurveillance ou télévigilance présents sur le marché et ensuite sa fiabilité et sa
robustesse car elle informe de l’état de santé du patient en se basant sur la fusion de trois modalités distinctes.
MOTS CLES
Télévigilance médicale, télémédecine, signaux physiologiques, fusion de données, aide à la décision, interopérabilité.
1. Introduction
La proportion de personnes âgées ne cesse d’augmenter dans l’ensemble des sociétés à travers le monde. Bien qu’âgées,
ces personnes désirent garder leur indépendance, leur autonomie et leur mode de vie. Il est donc de notre devoir, en tant que
scientifiques, de leur proposer les moyens nécessaires pour leur permettre de continuer à vivre chez elles en toute sécurité.
Ainsi, plusieurs équipes de recherche ont mis au point un certain nombre de systèmes de télévigilance médicale. Ceux-ci
peuvent aller du tensiomètre portable à l’électrocardiographe portable qui transmet les ECGs à des unités médicales distantes.
Ces équipements sont de plus en plus nombreux sur le marché de la télésanté. La plupart permet la ‘surveillance’ et le suivi
de l’état de santé de la personne âgée à distance. Néanmoins, rares sont les systèmes fiables capables d’informer d’un état
critique de la personne âgée. En particulier, rares sont ceux qui prédisent ou détectent la chute de la personne.
Afin d’apporter des éléments de réponse à cette problématique, nous avons réuni un groupe de chercheurs venant d’horizons
différents afin de développer une plateforme à plusieurs modalités qui permet de répondre aux besoins ci-dessus identifiés
puis formé un consortium nommé Quovadis1.
Cette plateforme administre un système constitué de :
1- Un ensemble de microphones répartis dans les pièces à vivre du domicile de la personne âgée.
2- Un dispositif portable qui permet de mesurer la fréquence cardiaque, de détecter la posture et les mouvements ainsi
qu’éventuellement la chute de la personne équipée.
1
Quovadis : Aide à Distance à la Vie Quotidienne pour des personnes âgées atteintes de troubles cognitifs. Projet de
recherche financé par l’Agence Nationale de la Recherche (ANR) française.
978-9973-9963-6-7©amina2008
QUATRIEME WORKSHOP AMINA 2008
3- Un ensemble de détecteurs infrarouges qui détectent la présence de la personne dans une pièce donnée et également
la position debout de cette personne.
Les données fournies par ces trois systèmes hétérogènes sont recueillies, traitées et fusionnées par le biais d’une plateforme
multimodale (EMUTEM).
Ensuite, nous décrirons dans la section 2 le fonctionnement de chacun des systèmes cités ci-dessus et nous détaillerons la
configuration de la plateforme EMUTEM (Environnement Multimodal pour la Télévigilance Médicale). Dans la section 3,
nous analyserons le processus d’acquisition des données. Enfin, nous présenterons nos conclusions et perspectives.
2. La plateforme EMUTEM
Il a été constaté que la chute est l’une des causes de décès importantes chez les personnes âgées. En France, les
personnes âgées de 65 ans et plus sont victimes chaque année de 550 000 accidents de la vie courante (AcVC) avec recours
aux services d’urgences médicales ce qui représente plus des trois quarts des 20 000 décès annuels par AcVC. Environ 50%
de ces AcVC résultent de chutes.
Face à ce fléau dangereux pour la sécurité, la santé et la vie des personnes âgées, nous avons développé un système de
télévigilance afin de prévenir et détecter les chutes. Nous avons réuni les efforts de trois équipes pluridisciplinaires afin de
mettre en place une plateforme multimodale. Cette plateforme gère trois systèmes hétérogènes : un système sonore, un
équipement portable et des détecteurs infrarouges. Dans la suite, chacun de ces systèmes sera décrit et sa contribution à la
télévigilance sera explicitée.
2.1. Le terminal portable RFPAT
Le terminal portable est constitué :
• d’un terminal mobile : il s’agit d’un boîtier que le patient ou la personne âgée porte en permanence à la ceinture
lorsqu’elle est chez elle. Il mesure les données vitales de la personne et les transmet à une station réceptrice
• d’un terminal fixe : il s’agit d’une station de réception.
Ce terminal a un triple rôle :
• il mesure les données physiologiques du patient, notamment le pouls ambulatoire permanent
• il détecte avec une grande sensibilité les mouvements du patient et indique son d’activité
• il détecte la chute du patient.
Toutes les données recueillies par les différents capteurs RFPAT sont traitées dans le dispositif portable sans fil. Pour assurer
une autonomie optimale de ce dernier, nous avons mis en œuvre une conception électronique à faible consommation. Ainsi,
l’architecture du système est basée sur 2 microcontrôleurs qui assurent l'acquisition et le traitement du signal et son émission
vers le terminal fixe. Précisément, le terminal mobile (boîtier portable) comporte un certain nombre de traitements :
•
Il enregistre les différents signaux physiologiques et actimétriques de la personne équipée
•
Il effectue un prétraitement de ces signaux en vue de réduire l'impact du bruit d'environnement et du bruit résultant
de l’usage ambulatoire. En effet, la lumière et les mouvements du patient perturbent la mesure de la fréquence
cardiaque.
Ce dernier point est très important pour la conception et la fiabilisation des systèmes de télésurveillance à domicile. En fait, la
mesure fiable des signaux physiologiques d'une personne en mode ambulatoire est une tâche difficile à réaliser. Pour le
système RFPAT, nous avons fait le choix de résoudre le problème du bruit dans la phase d'acquisition. De plus, certains
filtres numériques et algorithmes de réduction du bruit ont été mis en œuvre dans le terminal portable. Ces filtres et
algorithmes ont été appliqués à tous les signaux acquis: les données relatives au mouvement, celles concernant la posture et
les données physiologiques, ici la fréquence cardiaque.
Les données de mouvement retracent l’activité de la personne surveillée. Elles nous donnent des informations comme: « la
personne est allongée», «elle est immobile», «elle est assise / debout », etc. Ces données nous renseignent également sur
l’état d’agitation de la personne. En effet, nous calculons le pourcentage de temps durant lequel la personne est en
mouvement et ce toutes les 30 secondes (de 0 à 100% pendant 30 secondes).
Les données sur la posture nous disent si la personne est debout / assise. Ceci est intéressant dans la mesure où cela nous
renseigne sur l’activité de la personne. Grâce à un dispositif actimétrique intégré dans le terminal portable, nous pouvons
978-9973-9963-6-7©amina2008
QUATRIEME WORKSHOP AMINA 2008
détecter les situations où la personne s’approcherait du sol très rapidement. Cette information est interprétée comme une
"chute" quand l'accélération dépasse un certain seuil dans une situation spécifique donnée.
Le signal de pouls est fourni par un capteur photo-pléthysmographique connecté à l'appareil portable. Il est pré-conditionné
et débruité au niveau du terminal mobile, ce qui nous donne des informations sur la fréquence cardiaque toutes les 30
secondes. Pour le mode ambulatoire, le défi consiste en la réduction du bruit. Dans (1) nous avons pu réduire l’erreur des
variations de mesure du pouls à 5% (mesure sur 1 minute rafraîchie toutes les 30 secondes), ce qui reste en conformité avec
les recommandations des professionnels de santé.
Une fois toutes ces données recueillies, pré-conditionnées et traitées par les algorithmes embarqués, elles sont transmises
depuis le terminal mobile vers la station fixe. La configuration actuelle du module RFPAT est présentée à la Figure 1. Le
terminal mobile, détecte également la chute éventuelle de la personne et transmet l’alarme correspondante vers le PC de
contrôle après validation algorithmique embarquée.
Figure 1: Configuration du module RFPAT
2.2 Le capteur sonore intelligent (ANASON)
Aujourd’hui les dispositifs de vigilance et de soins à distance font face à un réel problème d'acceptation et d’adoption par
les utilisateurs finaux et les soignants. En effet, ce genre de systèmes est souvent jugé comme intrusif et non respectueux de
la vie intime des personnes équipées. Les capteurs sonores, quant à eux, sont plus facilement acceptés par patients et/ou
personnes âgées, leur famille et les soignants. Ils sont considérés comme moins intrusifs que les caméras, les vêtements
intelligents, etc.
Ainsi, afin de préserver la vie privée et l’intimité du patient et/ou personne âgée tout en assurant sa sécurité, nous nous
proposons d'équiper sa maison avec un certain nombre de microphones. Dans ce contexte, l'environnement sonore n'est pas
enregistré en continu. Ces microphones permettent le contrôle à distance de l'environnement acoustique de la personne
équipée. Le principal avantage de ce système consiste dans l'exécution en temps réel (2). Ainsi, nous analysons en
permanence l'environnement sonore afin de détecter des situations de détresse et/ou des appels à l’aide.
Ce capteur décrit dans (3) est composé de quatre modules comme le montre la Figure 2 :
•
Module M1: détection et extraction d’évènements sonores. Le premier module M1 est en permanence à l'écoute de
l'environnement sonore dans le but de détecter et d'extraire des sons ou des phrases utiles. Le signal extrait par le
module M1 est traité par le module M2.
•
Module M2: module de classification son/parole. Le deuxième module M2 est un module de classification à bas
niveau (parole/son). Il traite le son reçu par le module M1 afin de séparer les signaux de parole des signaux de son.
A titre d’exemple un discours prononcé par le patient sera classé comme ‘parole’ mais un claquement de porte ou
des sons de pas seront classés comme ‘son’.
978-9973-9963-6-7©amina2008
QUATRIEME WORKSHOP AMINA 2008
Figure 2: Architecture du capteur intelligent ANASON
•
Module M3: étape de classification haut niveau (4). Ce module traite chaque classe déterminée par le module M2.
Il consiste en deux sous-modules. Dans le cas où un label de son a été attribué au signal par le module M2, le sousmodule de reconnaissance des sons (M3.1) classe le signal entre huit classes sonores prédéfinies (5) (bris de verre,
claquement de porte, bruit de vaisselle, etc.). Dans le cas de l’attribution d’une étiquette de parole, le signal extrait
est analysé par un moteur de reconnaissance vocale (module M3.2) en vue de détecter les expressions de détresse
(« A l’aide ! », « Un docteur ! », « A moi ! », « Aidez-moi ! », etc.).
2.3 Les détecteurs de mouvement infrarouge (GARDIEN)
Dans la même optique de sauvegarde de la vie privée du patient, nous avons développé un système de télévigilance par
infrarouge géré par notre plateforme multimodale. Ainsi, un ensemble de capteurs infrarouges ont été déployé dans
l’appartement test (6). Ces capteurs ont deux fonctionnalités:
•
localiser la personne à domicile: les capteurs sont activés par la présence de la personne dans une certaine chambre.
Seules les salles de séjour et la chambre à coucher sont équipées.
•
Détecter la position verticale de la personne: Un capteur infrarouge est installé dans les pièces à vivre de
l’appartement (salle de séjour et / ou cuisine) afin de détecter si la personne est debout ou pas. En fait, il s’agit d’un
capteur à champ horizontal qui détecte les mouvements dans un plan horizontal à une hauteur d’un mètre et demi du
sol.
Cette seconde fonctionnalité est très utile afin de confirmer ou d'infirmer une détection de chute par les modules RFPAT ou
ANASON. L’ensemble de ces capteurs et des logiciels et du matériel utilisé pour la détection infrarouge forme un système
baptisé GARDIEN (7). La figure 3 représente le système GARDIEN.
978-9973-9963-6-7©amina2008
QUATRIEME WORKSHOP AMINA 2008
Figure 3: Système GARDIEN
2.4 Interface générale de la plateforme multimodale EMUTEM
Afin de configurer et de gérer les trois modalités décrites ci-dessus, nous avons développé une plateforme qui a des
fonctionnalités différentes et qui pourraient être facilement utilisée par un soignant à distance ou en local (8). Aujourd’hui,
cette plateforme est utilisée seulement pour contrôler et synchroniser les différents processus d'acquisition de données.
L’interface principale de la plateforme EMUTEM est présentée dans la Figure 4.
Grâce à cette interface, l’opérateur (soignant ou opérateur technique chargé de la configuration des différents modules) peut
superviser la phase d'acquisition de données. Il doit d'abord choisir la modalité à enregistrer et ensuite configurer ses
différents paramètres si nécessaire. Pour les modalités RFPAT et GARDIEN, nous avons seulement besoin de spécifier
l'adresse IP et le numéro du port TC / IP à utiliser. Pour le capteur ANASON, nous avons besoin de choisir la carte son à
utiliser pour l'enregistrement (si plusieurs sont disponibles). Nous devons également préciser la fréquence d'échantillonnage
et l'emplacement du fichier de sauvegarde. Pour une utilisation finale, cette configuration est faite une seule et unique fois
lors de la toute première installation des capteurs et de la plateforme au domicile du patient ou de la personne âgée (9).
Figure 4 : Panneau avant de la plateforme multimodale EMUTEM
3. Conclusions et perspectives
Au cours de cette première étape de nos travaux de recherche collaborative, nous avons développé une plateforme
multimodale de télévigilance médicale. Cette plateforme assure la surveillance de l’état de santé du patient/personne âgée et
détecte les situations de détresse. Nous avons réuni trois différentes modalités afin d'assurer une sécurité optimale du
patient/personne âgée dans un cadre confortable et de façon non intrusive. Nous proposons un appareil portable capable
d'acquérir et de traiter les signaux physiologiques, un capteur intelligent analysant les sons de tous les jours en vue de
978-9973-9963-6-7©amina2008
QUATRIEME WORKSHOP AMINA 2008
détecter les situations de détresse et un réseau de capteurs infrarouges qui localise la personne dans son domicile et détecte sa
position verticale.
Chaque module individuellement a été évalué en laboratoire et/ou avec des tests cliniques. Le module RFPAT après avoir été
évalué et amélioré en laboratoire est en cours d’une évaluation clinique à l’Hôpital Broca de Paris. Le module Gardien a été
aussi testé en conditions cliniques à l’INSERM Toulouse. Le module ANASON a été testé en conditions de laboratoire et
sera prochainement évalué dans des conditions réelles.
Aujourd'hui, nous travaillons sur le développement de techniques de fusion adéquates pour mettre en commun les sorties de
ces trois systèmes. Notre but ultime est de rendre ce système de télévigilance plus robuste en vue des fausses alarmes et des
situations dangereuses non détectées. Cette plateforme pourrait aider le personnel médical à prendre en temps réel la bonne
décision quant à l’état de santé de la personne équipée et ce même à distance.
Remerciements
Nous remercions l’Agence Nationale de la Recherche (ANR) qui finance le projet QuoVADis (TecSan 2007).
Références
[1] Tele-surveillance system for patient at home: The medeville system. Baldinger, J.L., et al. 2004. ICCHP.
[2] Information extraction from sound for medical telemonitoring. Istrate, D, et al. 2006a. IEEE Trans. on Information
Technology in Biomedecine. pp. 264-274.
[3] Generic implementation of a distress sound extraction system for elder care. Istrate, Dan, Vacher, M et Serignat, F. New
York : s.n., 2006b. IEEE EMBS. pp. 3309-3312.
[4] Stagera, M., Lukowiczb, P. et Trostera, G. Power and accuracy tradeoffs in sound-based context recognition systems.
Pervasive and mobile computing. 2007, pp. 300-327.
[5] Analysis of speech recognition techniques for use on a non-speech sound recognition system. Cowling, M. et Sitte, R.
Sydney : s.n., 2002. Digital Signal Processing for Communication Systems.
[6] Telesurveillance of elderly patients by use of passive infra-red sensors in a smart home. Banerjee, S, et al. 2003. TelemedTelecare.
[7] Remote monitoring system for elders in a geriatric hospital. Steenkeste, F, et al. Arlington : s.n., 1999. International
Conference on aging.
[8] Analysis and Specification of Telemedical Systems Using Modelling and Simulation: the MOSAIKM Approach. Bott, O.
J., et al. 2005. Connecting Medical Informatics and Bio-Informatics, ENMI. pp. 503-508.
[9] OURSES: A Telemedicine Project for Rural Areas in France. Telemonitoring of Elderly People. Prieto-Guerrero A.,
Mailhes C., Castanié F. Vancouver, Canada : s.n., 2008. EMBC. pp. 5855-5858.
[10] Speaker identification and verification using gaussian mixture speeker models. Reynolds, D.A. 1995, Speech
Communications, pp. 91-108.
[11] Estimating the dimension of a model. Schwarz, G. 1978, Annals of statistics, pp. 461-464.
[12] Well, D, et al. SAM ESPRIT PROJECT2589-multilingual speech input/output assessment, methodology and
standardization. University College London : Final report. Technical Report SAM-UCLG004, 1992.
[13] 3.5G Based Mobile Remote Monitoring System. Bajracharya, A., et al. Vancouver, Canada : s.n., 2008. EMBC. pp. 783786.
[14] Assessing elderly persons’ fall risk using spectral analysis on accelerometric data – a clinical evaluation study.
Marschollek, M., et al. Vancouver, Canada : s.n., 2008. EMBC . pp. 3682-3685.
[15] Toward Real Time Detection of the Basic Living Activity in Home Using a Wearable Sensor and Smart Home Sensors.
Bang S., Kim, Song S., Park S. Vancouver, Canada : s.n., 2008. EMBC. pp. 5200-5203.
978-9973-9963-6-7©amina2008