Lecteur Multimeodial Rapport du projet Cours sur les

Lecteur Multimeodial
Rapport du projet
Cours sur les interfaces multimodales
Christophe Gisler
Denis Bossy
D´epartement d’Informatique
Universit´e de Fribourg
Suisse
20 juin 2007

Table des mati`eres
1 Introduction 1
2 Fonctionnalit´es de l’application 1
2.1 Lancement de l’application . . . . . . . . . . . . . . . . . . . . 1
2.2 GUIprincipale .......................... 1
2.3 Menu“Speech” .......................... 2
2.4 Fenˆetres des lecteurs vid´eo et audio . . . . . . . . . . . . . . . 3
2.5 Capturesd’´ecran ......................... 7
2.6 Exportation de fichiers vid´eo et audio . . . . . . . . . . . . . . 7
3 R´ealisation du projet 9
3.1 Planning.............................. 9
3.2 Environnement de travail . . . . . . . . . . . . . . . . . . . . . 9
4 Architecture 9
5 Libraires utilis´ees 10
5.1 avetanaBluetooth JSR-82 v1.3.16a . . . . . . . . . . . . . . . . 10
5.2 WiiRemoteJv0.8 ......................... 10
5.3 Sphinx-4v1.0beta......................... 11
5.4 Apple Quicktime for Java v6.1 . . . . . . . . . . . . . . . . . . 11
5.5 JavaSwing ............................ 11
6 Probl`emes rencontr´es 11
6.1 AveclaWiimote ......................... 12
6.2 AvecSphinx............................ 13
6.3 Avec Quicktime for Java . . . . . . . . . . . . . . . . . . . . . 13
7 Am´eliorations potentielles 13
8 Conclusion 13
i

1 INTRODUCTION 1
1 Introduction
Dans le cadre du cours de Master en informatique sur les interfaces mul-
timodales (MMI ou Multi-Modal Interfaces), il ´etait demand´e aux ´etudiants
de concevoir par groupe de deux ou trois personnes une application multimo-
dale, c’est-`a-dire utilisant plusieurs modalit´es d’interaction avec la machine.
Le but ´etait mieux saisir la port´ee des probl`emes auxquels il faut faire face
dans la r´ealisation de ce genre d’applications nouvelles mais de plus en plus
fr´equemment utilis´ees grˆace `a la floraison de technologies chaque jour plus
performantes.
Notre groupe (Christophe Gisler et Denis Bossy) a choisi de cr´eer un
lecteur multim´edia intuitif et multimodal dans le sens que l’utilisateur peut
interagir avec lui en utilisant les deux modalit´es suivantes : la voix et la
Wiimote (i.e. la manette d’une console de jeux Nintendo Wii fonctionnant
par Bluetooth). Notre programme est capable de g`erer les fichiers vid´eo et
audio.
2 Fonctionnalit´es de l’application
Cette section fait aussi office de manuel de l’utilisateur.
2.1 Lancement de l’application
Afin de lancer l’application, il est indispensable que l’utilisateur soit en
possession d’une Wiimote et d’un module Bluetooth install´e et activ´e. De
plus (et c’est la reconnaissance vocale avec Sphinx qui le requiert), il est
n´ecessaire de donner -Xmx256m en argument de la VM Java.
2.2 GUI principale
Apr`es ouverture, la premi`ere fenˆetre qui apparaˆıt est celle de la GUI
(interface utilisateur) principale. Elle se pr´esente comme dans la figure 1.
Un texte dans la fenˆetre informe l’utilisateur qu’il doit attendre quelques
secondes pour que la reconnaissance de parole s’active. Il peut ensuite
s´electionner un fichier vid´eo ou audio au moyen de sa Wiimote en la bougeant
de haut en bas et de gauche `a droite ou en la faisant pivoter axialement (voir
les figures ci-dessous). Les fichiers charg´es proviennent du dossier par d´efaut
nomm´e “Videos”. S’il y a plus de six fichiers charg´es, la fenˆetre devient trop
grande, son d´efilement se fait alors automatiquement (autoscroll) en suivant
le cadre de s´election. Pour activer la reconnaissance vocale, il faut appuyer

2 FONCTIONNALIT ´ ES DE L’APPLICATION 2
Fig. 1 – GUI principale
sur le bouton “A” (comme “Audio”) de la Wiimote. A ce moment-l`a, l’uti-
lisateur peut ouvrir le fichier vid´eo ou audio s´electionn´e en pronon¸cant le
mot “Open”, ou tout simplement quitter l’application en pronon¸cant le mot
“Quit” (ou “Close”). D’une mani`ere g´en´erale dans l’application, chaque fois
que l’utilisateur veut utiliser une commande vocale, il doit pr´ealablement
appuyer sur “A” pour activer la reconnaissance vocale.
2.3 Menu “Speech”
Durant l’utilisation du Lecteur Multimeodial, il est `a noter qu’`a tout mo-
ment les commandes vocales reconnues sont affich´ees dans la barre des me-
nus, plus pr´ecis´ement dans un menu qu’on appellera par la suite le menu
“Speech”. Lors des premi`eres utilisations du programme, l’utilisateur a la
possibilit´e de cliquer sur ce menu (avec la souris !) pour afficher la liste de
tous les mots qu’il peut employer comme commandes vocales, au cas o`u il ne
les aurait pas encore m´emoris´es. De plus, tout ´ev´enement important qui se
produit durant la lecture d’un fichier audio ou vid´eo est aussi affich´e dans ce
menu (cf. figures dans les paragraphes suivants).

2 FONCTIONNALIT ´ ES DE L’APPLICATION 3
Fig. 2 – Mouvements possibles dans le GUI principal
Fig. 3 – Menu “Speech”
2.4 Fenˆetres des lecteurs vid´eo et audio
Les fonctionnalit´es de lecture de fichiers vid´eo ou audio sont les suivantes :
Play, Play backward, Pause, Volume up, Volume down : Ce sont
les fonctionnalit´es standards de tout lecteur multim´edia, sauf pour la lecture
en arri`ere (i.e. `a l’envers) qui est peu commnune mais amusante ! La fonction
de lecture s’enclenche automatiquement `a l’ouverture d’un film ou d’une
musique. L’´etat de “pause” s’obtient en faisant un bref mouvement vertical
de haut en bas avec la Wiimote (et ceci est possible `a tout moment durant
la lecture, l’avancement ou le reculement).
Backward, Forward Ces deux fonctions d’avancement ou de reculement
dans un film ou un morceau de musique ont ceci de particulier dans le Lec-
teur Multimeodial qu’il est possible d’en modifier dynamiquement la vitesse
avec la Wiimote en faisant des mouvements circulaires respectivement dans
les sens inverse et normal des aiguilles d’une montre, comme l’illustre la fi-
gure 8. Ces deux utilisations combin´ees par exemple aux fonctions vocales
d’exportation (pr´esent´ees par la suite) constituent probablement une des at-
tractions phares de l’application. Elles ne sont pas envisageables avec une