DES STIC ET DES HOMMES OBJECTIFS DU PROJET

[e-mail]
DES STIC ET DES HOMMES
COORDINATEURS : Jean-François DARTIGUES – Rémi MEGRET – Jenny BENOIS-PINEAU – Julien PINQUIER
PARTENAIRES : ISPED, INSERM U897 – IMS UMR 5218 – LaBRI UMR 5800 – IRIT UMR 5505
OBJECTIFS DU PROJET
Le but est de développer un système et une
méthodologie permettant aux médecins d'analyser les
scènes de la vie quotidienne d'un patient atteint de
démences (comme la maladie d'Alzheimer). L'originalité
réside dans l'utilisation de la capture vidéo par une
caméra embarquée sur le patient. Ainsi une évaluation
objective des capacités des patients devient possible.
Elle est utile au diagnostic de démence, à l’évaluation
des incapacités, à la mise en place de techniques de
rééducation et à l’évaluation de thérapies.
MÉTHODOLOGIE ET RESULTATS
Une acquisition audio/vidéo du patient est réalisée en
situation écologique (au domicile). Celle-ci est
supervisée par un auxiliaire médical.
OUTILS METHODOLOGIQUES
Estimation de la localisation parmi les pièces du
domicile. Méthodes : reconnaissance de lieu par
modèles 2D/3D ET classification d’images semi-
supervisée.
Reconnaissance d’objets par un nouveau descripteur
visuel, le patient faisant souvent face ou manipulant un
objet lors des activités. Méthode : graphes locaux.
Modélisation du contexte sonore via des événements
spécifiques (sonneries) ou l’utilisation d’objets (bruits
d’eau ou de l’aspirateur). Méthodes : segmentation
PMB ET reconnaissance de sons spécifiques.
Segmentation temporelle pour effectuer un découpage
en « point de vue ». Méthode : estimation du modèle de
mouvement propre.
RECONNAISSANCE DES ACTIVITES
Les descripteurs bas-niveaux (mouvement global
instantané, mouvement résiduel, CLD) extraits du flux
vidéo sont combinés avec des descripteurs « plus »
sémantiques (localisation, événements sonores…) pour
définir le contenu vidéo. Un Modèle de Markov Caché
Hiérarchique permet de reconnaître 24 activités dans
cet espace de description. Une fusion intermédiaire
permet d’atteindre une accuracy de 44,2% sur 14h
d’enregistrements (34 personnes).
CONCLUSION ET PRESPECTIVES
Ce projet, fondamentalement pluridisciplinaire, a
rapproché des spécialistes des technologies de
l’information à ceux de l’étude clinique des démences.
Les nouvelles méthodes développées sur l’acquisition
audio-vidéo portée (analyses audio, vidéo, et cross-
modale) sont nombreuses et ont montré leur
complémentarité. Le caractère difficile des données
traitées a été mis en évidence, et les performances
obtenues se sont révélées probantes, avançant ainsi
l’état de l’art du domaine. Les perspectives sur ce
thème concernent notamment l’extension des
méthodes à de nouveaux contextes similaires (maladie
de Parkinson, AAL Dem@care).
La partie clinique a permis de valider que l’outil est
capable de restituer des éléments objectifs, clairs et
utilisables concernant les activités de la vie quotidienne
des patients. De plus, l’interface de navigation, couplée
à l’analyse automatique, permet de ne visionner que les
seuls moments clés (utiles au professionnel). L’intérêt
d’une telle approche dans le contexte des pathologies
démentielles pour d’une part le suivi des patients et
d’autre part l’aide au diagnostic est encore un problème
ouvert. Bien que les premiers résultats nous poussent à
croire en l’utilité de l’approche du projet IMMED, des
études statistiques plus poussées (voire le
développement de recherches complémentaires) sont
nécessaires pour défendre cette avancée clinique.
IMMED : suivi médical par indexation des
activités du quotidien dans la vidéo portée
pour le diagnostic des démences
ANR BLANC 2009
Centre de données
Enregistreur
portable
Auxiliaire
médical
Interface de consultation
des vidéos indexées
Serveurs d’archivage
et de calcul
Données vidéos
Index pour l’aide
à l’exploitation
des vidéos
Données audio/vidéo
sur stockage amovible
Cabinet médical
Caméra portée à l’épaule
fixée sur un gilet
angle vertical
de 100°
Domicile du
patient