PDF (Author`s version)

Open Archive TOULOUSE Archive Ouverte (OATAO)
OATAO is an open access repository that collects the work of Toulouse researchers and
makes it freely available over the web w
here possible.
This is an author-deposited version published in : http://oatao.univ-
toulouse.fr/
Eprints ID
:
1
6
971
The contribution was presented at JIM 2016 :
http://jim2016.gmea.net/
To cite this version : Guyot, Patrice and Pellegrini, Thomas Vers la transcription
automatique de gestes du soundpainting pour l'analyse de performances
interactives. (2016) In: Journées d'Informatique Musicale (JIM 2016), 31 March
2016
-
2 April 2016 (Albi, France).
Any corresponde
nce concerning this service should be sent to the repository
administrator:
staff
-
oatao@listes
-
diff.inp
-
toulouse.fr

VERS LA TRANSCRIPTION AUTOMATIQUE DE GESTES DU
SOUNDPAINTING POUR L’ANALYSE DE PERFORMANCES
INTERACTIVES
Patrice Guyot
Universit´ e de Toulouse, France ; IRIT
[email protected]
Thomas Pellegrini
Universit´ e de Toulouse, France ; IRIT
[email protected]
R´ ESUM ´ E
L’analyse objective et la documentation de perfor-
mances interactives est souvent d´
elicate car extrˆ emement
complexe. Le Soundpainting, langage gestuel d´ edi´ e` a
l’improvisation guid´ ee de musiciens, d’acteurs, ou de dan-
seurs, peut constituer un terrain privil´ egi´ e pour cette ana-
lyse. Des gestes pr´ ed´ efinis sont produits pour indiquer aux
improvisateurs le type de mat´ eriel souhait´ e. La transcrip-
tion des gestes en vue de la documentation de perfor-
mances semble tout ` a fait r´ ealisable mais tr` es fastidieuse.
Dans cet article, nous pr´ esentons un outil de reconnais-
sance automatique de gestes d´ edi´ e` a l’annotation d’une
performance de soundpainting. Un premier prototype a
´
et´ e d´ evelopp´ e pour reconnaˆ ıtre les gestes film´ e par une
cam´ era de type Kinect. La transcription automatique de
gestes pourrait ainsi mener ` a diverses applications, notam-
ment l’analyse de la pratique du soundpainting en g´ en´ eral,
mais ´ egalement la compr´ ehension et la mod´ elisation de
performances musicales interactives.
1. INTRODUCTION
La musique, sous de nombreuses formes, comporte des
parties plus ou moins improvis´ ees (musiques tradition-
nelles, basse chiffr´ ee dans la musique baroque, jazz, etc).
La documentation de ces improvisations est un enjeu ma-
jeur en musicologie, et trouve de nombreuses applications
en ´ education musicale.
La documentation de la musique improvis´ ee se heurte
bien souvent ` a des difficult´ es de compr´ ehension et de
conceptualisation du contexte de jeu et des interactions
entre acteurs de la performance musicale. Par exemple,
en ethnomusicologie, ≪l’´ etude du contexte culturel et so-
cial de la musique est indissociable de l’analyse musicale
proprement dite ≫[3]. Au sein mˆ eme du cadre restreint
du concert, de nombreuses informations peuvent circuler
entre les acteurs de la performance et le public lors de
l’improvisation, qu’il semble parfois difficile d’´ ecrire ou
de documenter [2].
En dehors du jeu instrumental, certaines informations
sont transmises par des gestes. Certains de ces gestes sont
li´ es ` a l’interpr´ etation de la pi` ece, comme dans le cas des
gestes du chef d’orchestre classique. Des signes pr´ ecis
peuvent par ailleurs ˆ etre utilis´ es pour indiquer l’ex´ ecution
d’une partie instrumentale pr´ ed´ etermin´ ee. Par exemple,
Frank Zappa pouvait donner des indications pr´ ecises ` a
ces musiciens lors d’une performance, associant ainsi une
part importante d’impr´ evu et d’interaction ` a des morceaux
´
ecrits [10].
Ces deux types de gestes rel` event de natures
sp´ ecifiques. Si certains gestes de chef d’orchestre clas-
sique s’appuient sur un code largement partag´ e (par
exemple au niveau du tempo et des nuances), d’autres
gestes sont une forme d’expression plus spontan´ ee et per-
sonnelle, qu’il est difficile de transcrire ou de documen-
ter. Les gestes indiquant des parties pr´ ed´ etermin´ ees, au
contraire, peuvent ˆ etre r´ epertori´ es et annot´ es. N´ eanmoins,
leur usage et leur compr´ ehension se limite la plupart du
temps au travail interne d’un ensemble musical particulier
et sont difficilement compris par d’autres musiciens.
Depuis sa cr´ eation il y a une trentaine d’ann´ ees, le
soundpainting prend de l’ampleur dans le paysage de la
musique improvis´ ee. D´ epassant le contexte interne ` a un
orchestre sp´ ecifique, ce dispositif a l’ambition de propo-
ser un code universel pour composer une improvisation.
Les possibilit´ es de ce code s’´ etendent aujourd’hui hors des
fronti` eres du monde musical et touchent d’autres champs
de cr´ eation, par exemple le th´ eˆ atre et la danse.
Le soundpainting est un langage de composition ges-
tuel. Il interroge ainsi la s´ eparation du rˆ ole de compo-
siteur et de chef d’orchestre (effective depuis la p´ eriode
romantique, malgr´ e de nombreuses exceptions [6]). Ces
diff´ erences font ´ echo aux diff´ erences entre un syst` eme
´
etabli (notation musicale) et un travail d’interpr´ etation
plus spontan´ e et plus difficilement documentable. Il sem-
blerait que les gestes du soundpainting appartiendraient
plutˆ ot ` a la cat´ egorie de la composition ` a partir d’un
syst` eme ´ etabli, avec des gestes souvent effectu´ es de la
mani` ere la plus neutre possible.
La standardisation des gestes de soundpainting en fait
un terrain favoris´ e pour la documentation de performances
improvis´ ees. Toutefois, l’annotation des gestes repr´ esente
un travail fastidieux qui dans les faits semble rarement
effectu´ e. L’utilisation de l’ordinateur, par ailleurs, offre
aujourd’hui de nouvelles possibilit´ es pour l’´ ecriture ou
l’annotation des performances interactives. Il peut par
exemple ˆ etre utilis´ e dans le cas de l’´ ecriture de musique
mixte, qui associe musiciens instrumentistes et proces-
sus ´ electroniques lors d’une performance [7]. Il est aussi

employ´ e dans le cadre d’improvisations pour donner des
signes ` a des musiciens en temps r´ eel [4].
Dans ce contexte, la reconnaissance automatique de
gestes trouve ´ egalement des applications musicales [8].
Jusqu’` a tr` es r´ ecemment trop difficile pour ˆ etre largement
utilis´ ee, la reconnaissance de gestes d´ efinis pourrait tr` es
prochainement se d´ emocratiser, comme l’est aujourd’hui
la transcription automatique de la parole sur un t´ el´ ephone
portable. Dans cet article, nous proposons une nouvelle
application de la reconnaissance de gestes dans le cadre
de l’annotation automatique de performances interac-
tives. Dans une publication pr´ ec´ edente [14], nous avons
pr´ esent´ e en d´ etails un premier prototype. Dans le pr´ esent
article, nous nous int´ eressons plus particuli` erement ` a sa
possible utilisation pour l’analyse de performances.
La partie 2 d´ ecrit notre terrain d’´ etude, le soundpain-
ting. La transcription des performances de soundpainting
est discut´ ee en partie 3 et la reconnaissance automatique
de gestes est pr´ esent´ ee en partie 4. Nous pr´ esentons alors
notre prototype dans la partie 5 et ses applications dans la
partie 6.
2. SOUNDPAINTING
Le soundpainting est un langage gestuel d´ evelopp´ e
dans les ann´ ees 70 par le compositeur Walter Thompson.
Il est destin´ e` a l’´ elaboration spontan´ ee de performances
interactives dans lesquelles peuvent participer musiciens,
danseurs, acteurs et plasticiens [16]. Le chef d’orchestre,
appel´ e≪soundpainteur ≫, indique aux ex´ ecutants (ou
≪performeurs ≫) le type de mat´
eriel souhait´ e. Dans le
cadre de la musique par exemple, le soundpainteur pourra
indiquer ` a un ensemble de contrebasses de jouer des notes
longues et graves. Ainsi le soundpainting se distingue de
la direction d’orchestre de part les possibilit´ es qu’il offre
dans la composition d’une improvisation.
De nos jours, le soundpainting s’impose dans de nom-
breux types de performances, des performances totale-
ment improvis´ ees ` a celles utilisant de plus ou moins
nombreuses parties ´ ecrites. De nombreux festivals d´ edi´ es
ont ainsi vu le jour. La France occupe une place pri-
vil´ egi´ ee dans le domaine et a vu la cr´ eation d’une
vingtaine d’ensembles professionnels au cours de ces
derni` eres d´ ecennies 1. Par ailleurs, le soundpainting offre
´
egalement des possibilit´
es simples d’inclure des temps
d’improvisation dans des performances ´ ecrites. Au final,
ce langage semble donc affirmer une place cons´ equente
dans les domaines du jazz, de la musique contemporaine,
et de l’enseignement musical [5].
Dans la pratique, le soundpainteur r´ ealise un ensemble
de commandes gestuelles en s’appuyant sur la syntaxe
≪qui, quoi, comment, quand ≫. Les gestes dits fonction-
nels (qui, quand) permettent d’une part d’identifier un
ensemble d’acteurs, d’autre part d’indiquer l’instant o` u
les consignes doivent ˆ etre ex´ ecut´ ees. Les gestes de la
cat´ egorie ≪sculpture ≫(quoi, comment) permettent quant
1 . https://fr.wikipedia.org/wiki/Soundpainting
consult´ e le 15 mars 2016
`
a eux de d´ efinir le mat´ eriel qui sera utilis´ e par les im-
provisateurs, la pr´ ecision du comment ´ etant facultative.
La s´ equence suivante, compos´ ee des trois gestes : Whole
Group - Long note - Volume Fader : Piano - Play in-
dique donc ` a l’ensemble des ex´ ecutants de jouer des notes
longues, ` a une nuance piano, en commenc¸ant au moment
pr´ ecis ou le geste Play est ex´ ecut´ e.
Le processus d’improvisation est structur´ e` a travers
l’acceptation commune d’une grande vari´ et´ e de mat´ eriel
et d’interpr´ etation pouvant r´ esulter d’une mˆ eme s´ equence
de gestes. Les gestes du soundpainting ne sont pas ef-
fectu´ es de mani` ere isol´ ee, car le soundpainteur puise son
inspiration des performeurs. La r´ ealisation d’une perfor-
mance associe donc le travail de cr´ eation ` a celui d’in-
terpr´ etation des gestes et du contexte [11].
L’enseignement professionnel du soundpainting passe
par la certification des soundpainteurs. Les candidats
doivent maˆ ıtriser l’aspect th´ eorique, physique, et compo-
sitionnel d’un ensemble de gestes de base.
3. TRANSCRIPTION D’UNE PERFORMANCE
L’analyse de performance d’une musique non ´ ecrite est
une question r´ ecurrente abord´ ee par de nombreux musi-
cologues. Elle n´ ecessite de pouvoir documenter chacune
des r´ ealisations de mani` ere objective et p´ erenne. L’ana-
lyse de performance peut ˆ etre facilit´ ee via la comparai-
son de diff´ erentes r´ ealisations. La captation audio et vid´ eo
semble aujourd’hui ` a la base de la documentation de per-
formances. Toutefois, la vid´ eo, (comme pourrait l’ˆ etre
dans une moindre mesure l’audio), est soumise au cadre
de la prise de vue, et par ce fait ´ elimine forc´ ement une
partie des informations ´ echang´ ees lors des improvisations.
Par exemple, dans le cadre du soundpainting, il semble
difficile de filmer d’un seul plan le soundpainteur et les
performeurs.
Figure 1. Extrait d’une notation d’une composi-
tion de soundpainting par Walter Thompson. Issu de
http ://tinyurl.com/jeclpd5
De mani` ere g´ en´ erale, la captation audiovisuelle reste
soumise ` a un d´ eroul´ e temporel lors de son ex´ ecution, ce
qui peut limiter son analyse. Ainsi, selon Gilbert Rou-
get, ≪toute r´ eflexion tant soit peu rigoureuse sur ce
genre de musique exige d’abord qu’on la transforme de
chose immat´ erielle, invisible, se d´ efaisant sans cesse ` a me-
sure qu’elle se fait, en objet permanent et rep´ erable [...].
L’op´ eration revient donc ` a donner de la dimension tem-
porelle de la musique un ´ equivalent spatial. ≫[15]. Par
ailleurs, la transcription graphique de la musique offre

Figure 2. Exemples de notation de signes de soundpain-
ting sous la forme d’esquisses [9].
d’autres int´ erˆ ets, comme la possibilit´ e de souligner un
´
el´ ement musical pour attirer l’attention du lecteur [4].
A travers l’usage d’un code strict de gestes de
r´ ef´ erence, les performances de soundpainting pr´ esentent
des facilit´ es de documentation. Dans le cadre de la com-
position, le cr´ eateur du soundpainting, Walter Thompson,
d´ ecrit ainsi le processus d’´ ecriture des gestes du sound-
painting pour la pr´ eparation d’une performance 2. La fi-
gure 1 illustre un extrait de cette composition. On y trouve
trois s´ equences de gestes successives, repr´ esent´ ees par
des rectangles. Dans ces trois s´ equences, le compositeur
s’adresse ` a l’ensemble des musiciens (Whole Group, WG).
Les dessins au centre des carr´ es repr´ esentent les gestes
r´ ef´ erant respectivement ` anotes longues, pointillisme et
scanner, ce dernier geste invitant le musicien d´ esign´ e
lors d’un balayage du bras ` a jouer (parfois pour une
dur´ ee tr` es courte). Les deux premi` eres s´ equences sont
ex´ ecut´ ees lorsque le geste Play (PL) est r´ ealis´ e. Dans
la derni` ere s´ equence, le processus de scanner s’applique
imm´ ediatement et prend effet d` es lors qu’un performer est
d´ esign´ e.
Le travail de notation de performance de soundpainting
est ´ egalement ´ evoqu´ e dans [9]. L’auteur r´ ealise des es-
quisses de chaque geste et justifie cette pratique par le fait
qu’elle l’aide ` a travailler le soundpainting de mani` ere au-
tonome et quotidienne, en sortant du cadre plus ponctuel
des performances et r´ ep´ etitions collectives. La figure 2
illustre quelques exemples de gestes repr´ esent´ es par ces
esquisses.
A ce jour, au del` a de ces exemples, il semblerait que
la notation des gestes de soundpainting ne soit pas une
pratique tr` es d´ evelopp´ ee. La pratique s’enseigne au cours
de stages au cours desquels la transmission orale est pri-
vil´ egi´ ee. Ainsi, malgr´ e l’engouement que cr´ ee le sound-
painting, on recense ` a notre connaissance peu d’analyses
syst´ emiques de pratiques et de performances. En effet,
la transcription manuelle des gestes est fastidieuse et
doit s’appuyer sur la vid´ eo pour ˆ etre effectu´ ee. Dans ce
contexte, tout comme la transcription automatique ou le
piano-roll [4] peuvent se r´ ev´ erer de formidables outils de
documentation musicale, la reconnaissance automatique
2 . http://tinyurl.com/jeclpd5 consult´ e le 15 mars 2016
appliqu´ ee au soundpainting pourrait permettre de docu-
menter facilement un grand nombre de performances, et
ainsi faciliter l’analyse de cette pratique.
4. RECONNAISSANCE DE GESTES
La reconnaissance de gestes d´ esigne le fait d’identifier
de mani` ere automatique les gestes d’un utilisateur film´ e
par une cam´ era ou ´ equip´ e de capteurs de mouvement. Ce
domaine ouvre de nouvelles perspectives dans les interac-
tions homme-machine et en cr´ eation artistique, comme en
th´ eˆ atre, en danse contemporaine, dans le cin´ ema et dans la
musique vivante. Autrefois r´ eserv´ e` a des productions pro-
fessionnelles en raison des coˆ uts ´ elev´ es des technologies
de capture de gestes, un r´ eel essor du domaine a ´ et´ e favo-
ris´ e par l’arriv´ ee de dispositifs peu on´ ereux et performants
comme les cam´ eras de type Kinect, introduite en 2010 3.
Les vid´
eos obtenues ont 4 canaux : les 3 canaux de
couleur standard (RVB) ainsi qu’un canal de profon-
deur (obtenu par une cam´ era infrarouge) qui facilite l’in-
terpr´ etation des gestes en 3D.
La plupart des approches de reconnaissance de gestes
d´ ecrites dans la litt´ erature font appel ` a des techniques
d’apprentissage automatique similaires ` a celles utilis´ ees
en reconnaissance de la parole. L’article [12] en recense
un certain nombre, des algorithmes de type filtres ` a parti-
cules aux populaires chaˆ ınes de Markov cach´ ees (HMM).
Depuis quelques ann´ ees, le paradigme appel´ edeep lear-
ning, a permis de grandes avanc´ ees, en particulier dans
le domaine de la vision par ordinateur. Ce paradigme fait
appel ` a des r´ eseaux de neurones dits ”profonds” qui ap-
prennent leur propre repr´ esentation des donn´ ees pour pro-
fiter le plus possible de leurs capacit´ es de discrimina-
tion [1].
Des comp´ etitions de reconnaissance de gestes sont or-
ganis´ ees r´ eguli` erement, comme CHALEARN Looking at
People. En 2014, par exemple, l’une des tˆ aches de cette
comp´ etition consistait ` a identifier une vingtaine de gestes
typiques de locuteurs italiens film´ es ` a l’aide d’une Kinect.
Le meilleur syst` eme, fond´ e sur une architecture de type
r´ eseaux profonds, avait obtenu une pr´ ecision de 85% [13].
Toutefois, ces approches peuvent ˆ etre difficiles ` a mettre
en œuvre en raison des tr` es grandes quantit´ es de donn´ ees
n´ ecessaires pour entraˆ ıner ce type de mod` eles.
Ainsi, comme il n’existe pas de grand corpus de gestes
de Soundpainting disponible, nous avons opt´ e pour la
r´ ealisation d’un premier prototype bas´ e sur des chaˆ ınes de
Markov cach´ ees.
5. PROTOTYPE
Pour pouvoir mettre en place un prototype de recon-
naissance de gestes de soundpainting, nous avons film´ e` a
l’aide d’une Kinect des gestes isol´ es et des s´ equences de
gestes r´ ealis´ es par Christophe Mangou, chef d’orchestre
3 . https://fr.wikipedia.org/wiki/Kinect consult´ e le
15 mars 2016

classique et soundpainteur professionnel, qui dirige no-
tamment l’ensemble de soundpainting Amalgammes 4.
Le corpus pilote comporte une vingtaine de gestes
r´ ep´ et´ es cinq fois chacun, en faisant varier la vitesse
d’ex´ ecution du geste, l’amplitude des bras, etc. Un jeu de
s´ equences de gestes typiques de performances r´ eelles ont
´
egalement ´ et´ e collect´ ees. La figure 3 montre une s´ equence
basique de quatre gestes. Il est important de collecter des
s´ equences de plusieurs gestes car la r´ ealisation d’un geste
isol´ e est diff´ erente de celle du mˆ eme geste effectu´ e dans
un enchaˆ ınement (similaire avec les ph´ enom` enes de co-
articulation en traitement de la parole).
Le principe du prototype est le suivant. A mesure que
les images RVB et de profondeur sont captur´ ees par la
cam´ era, nous r´ ecup´ erons les coordonn´ ees spatiales des
articulations du soundpainteur, qui constituent les pa-
ram` etres d’entr´ ee du syst` eme. Seules les coordonn´ ees de
six joints sont utilis´ ees : coudes, poignets, et mains. La
reconnaissance de gestes est ensuite effectu´ ee sur des
fenˆ etres temporelles glissantes de taille variable.
Une ´ etape de normalisation des gestes est r´ ealis´ ee avant
la reconnaissance proprement dite. Les coordonn´ ees des
joints sont r´ e-´ echantillonn´ ees par interpolation ` a 32 va-
leurs ` a chaque nouvelle fenˆ etre temporelle pour avoir
toujours la mˆ eme taille de donn´ ees en entr´ ee du classi-
fieur. Sont ensuite effectu´ ees une rotation par rapport aux
joints des ´ epaules du soundpainteur ainsi qu’une trans-
lation pour centrer l’acquisition par rapport ` a un point
de r´ ef´ erence. Ces normalisations correspondent ` a une
g´ en´ eralisation ` a 3 dimensions de l’algorithme ”1 dol-
lar” [17]. Enfin, une mise ` a l’´ echelle d’un cube de cˆ ot´ e
1 est faite. Toutes ces ´ etapes de normalisation visent ` a
rendre le syst` eme robuste aux diff´ erences d’ex´ ecution
de gestes d’un soundpainteur donn´ e, et permettent de
reconnaˆ ıtre les gestes de n’importe quel soundpainteur,
`
a partir d’un corpus d’exemples collect´ es aupr` es d’un
unique soundpainteur.
Chaque geste est mod´ elis´ e par une chaˆ ıne de Markov
cach´ ee, qui est une approche adapt´ ee pour la mod´ elisation
de s´ equences. Cette approche est similaire ` a celle d’un
module d´ evelopp´ e` a l’IRCAM [8], ` a la diff´ erence que
notre outil utilise un nombre d’´ etat par geste limit´ e` a 2
ou 3 ´ etats, au lieu de mod´ eliser chaque point par un ´ etat
(i.e. 32 ´ etats par fenˆ etre de 32 points). Les observations
sont mod´ elis´ ees ` a l’aide de distributions Gaussiennes mul-
tivari´ ees. La reconnaissance s’appuie sur l’algorithme de
Viterbi.
Les performances de notre prototype n’a pa ´ et´ e va-
lid´ e quantitativement. Toutefois nous avons pu effectuer
une validation informelle sur quelques gestes r´ ealis´ es par
diff´ erentes personnes en direct. Les quelques gestes test´ es
sont effectivement reconnus lorsqu’ils sont correctement
ex´ ecut´ es. En revanche, le syst` eme reconnaˆ ıt plusieurs
fois de suite un mˆ eme geste au cours de son ex´ ecution.
Il est donc n´ ecessaire de filtrer les ´ etiquettes de gestes
g´ en´ er´ ees par le syst` eme. Pour une description technique
4 . http://www.ensemble-amalgammes.fr consult´ e le 15
mars 2016
plus d´ etaill´ ee du prototype, nous invitons le lecteur ` a se
r´ ef´ erer ` a [14].
Enfin, une vid´ eo d´ emo du prototype peut ˆ etre vue
sur la page Web suivante : https://vimeo.com/
112062148. Dans cette d´ emonstration, un message du
syst` eme de reconnaissance de gestes est envoy´ e au logi-
ciel Max-MSP ` a l’aide du protocole UDP pour d´ eclencher
une note de piano ou la lecture d’un fichier audio.
D’autres limites du syst` eme actuel concernent le pa-
nel de gestes potentiellement reconnaissables. Nous avons
ainsi privil´ egi´ e l’´ etude des gestes utilisant les bras plutˆ ot
que les doigts, dont les mouvements ne sont pas d´ etect´ es
par notre dispositif. De plus, notre syst` eme ne peut ` a
l’heure actuelle reconnaˆ ıtre des param` etres intrins` eques
`
a certains gestes. Par exemple, le geste Volume Fader
(VF), grˆ ace auquel le soundpainteur demande une modifi-
cation du volume sonore en utilisant la position de sa main
par rapport ` a celle de son bras, est identifi´ e globalement
par une ´ etiquette ”VF” mais la variation de nuance de-
mand´ ee n’est pas d´ etect´ ee (cela n´ ecessiterait l’information
de la position relative de la main vis-` a-vis de l’avant-bras).
Par ailleurs, notre corpus ne comporte pas de gestes se
r´ ef´ erant ` a la position des membres de l’orchestre, comme
par exemple le geste scanner.
6. APPLICATIONS
6.1. Annotation automatique
Utilis´ e lors d’une performance de soundpainting, notre
syst` eme vise ` a obtenir une indexation automatique des
gestes produits par le soundpainteur. Cette approche offre
de nombreuses applications, que ce soit au niveau de la
reconnaissance d’un geste simple, ou de celui de la trans-
cription de performances enti` eres.
Lors d’une improvisation, le soundpainteur doit
r´ ealiser des signes ´ etablis de la mani` ere la plus pr´ ecise
possible. Utiliser un outil d’analyse automatique de gestes
fond´ e sur la mod´ elisation du squelette humain peut donc
permettre de comparer le mˆ eme signe effectu´ e par plu-
sieurs soundpainteurs. Notre outil pourrait donc ˆ etre uti-
lis´ e dans un but p´ edagogique dans le cadre de l’appren-
tissage des gestes du soundpainting, ou pour ´ evaluer, en
temps r´ eel, la r´ ealisation de geste chez des praticiens
exp´ eriment´ es.
En parall` ele de son utilisation en temps r´ eel pour
d´ etecter les gestes du soundpainteur, notre prototype peut
ˆ
etre utilis´ e pour enregistrer le d´ eroul´ e d’un ensemble
de gestes. Ce syst` eme pourrait produire ` a chaque utili-
sation un fichier xml 5, organis´
ehi´
erarchiquement par
s´ equences de gestes, et conservant l’information tempo-
relle de chaque ´ ev` enement. Ce fichier pourra par le suite
ˆ
etre repr´ esent´ e graphiquement sous la forme de s´ equence
de gestes successives (voir figure 1).
Au niveau de la performance, l’annotation de tous
les signes utilis´ es pourrait compl´ eter les captations au-
dio et vid´ eos utilis´ ees lors de l’analyse d’une s´ equence de
5 . Extensible Markup Language