Projet du cours MMI Lecteur multimeodial Présentation finale

Projet du cours
MMI
Lecteur
multimeodial
Présentation finale
Christophe Gisler & Denis Bossy
Master en informatique
Université de Fribourg, Suisse
Sommaire
Notre projet en bref
Réalisation
Architecture du logiciel
Problèmes rencontrés
Démonstration
Améliorations potentielles futures
Conclusion
Questions
Notre projet en bref
Création d’un lecteur multimédia intuitif
et multimodal, ie. répondant à la voix et
à la commande Wii (Wiimote)
Notre programme gère les vidéos et les
fichiers audio
Réalisation
Fin avril - 5 juin : développement
individuel
•Denis :
•Christophe :
GUI + Sphinx
Wiimote + Quicktime for Java +
Sphinx
5 juin - 15 juin : mise en commun,
finalisation, déboggage, rapport et
présentation
Architecture du logiciel (1)
Composants utilisés :
WiiRemoteJ + avetanaBluetooth
Quicktime for Java
Sphinx4
Architecture du logiciel (2)
Interactions entre les composants :
Main GUI
Wiimote + Sphinx :
move, open, quit
Video/Audio
Manager
Wiimote + Sphinx :
play (normal or precise
mode), forward or
backward +/- fast,
pause, next, previous,
export, screenshot, close
Problèmes rencontrés
Mouvements avec la Wiimote :
Pas précis uniquement avec accéléromètres (sans l’IR)
Détection, “modélisation” très difficile
Tous les utilisateurs ne font pas les mêmes mouvements
(même les développeurs s’adaptaient au fur et à mesure du
développement)
Reconnaissance avec Sphinx :
Peu robuste au bruit => beaucoup de fausses détections
Ne marche bien qu’avec une grammaire simple
Difficile à intégrer au programme pour pouvoir bien l’utiliser
Démonstration
Améliorations potentielles
futures
Ajouter les fonctionnalités suivantes :
Annotation des vidéos et captures
d’écran
Enregistrement de “checkpoints” pendant
la lecture
Classement des fichiers
Conclusion
Difficulté de combiner les modalités de
manière à créer des fonctionnalités
nouvelles et utiles
Projet très intéressant ! Découverte de :
Quicktime For Java
Wiimote
Sphinx
Questions
Merci de votre attention !
Avez-vous des questions ?