tp2_reconnaissance_vocale_embranchement_isn

ISN Année 2015-2016
TP2 Nao
Reconnaissance vocale – Embranchement
1. Tout d'abord, nous allons programmer Nao pour qu'il reconnaisse son nom et qu'il nous réponde.
Le robot Nao a quatre micros sur sa tête (deux sur le dessus et deux derrières). Nao est programmé
pour écouter les sons à des moments
spécifiques (à la différence de nos oreilles qui
entendent tout le temps). De plus, nous avons
besoin de fournir à Nao une librairie de "mots"
qu'il s'attend à entendre (par exemple: oui, non,
comment t'appelles tu ?) et de programmer la
réaction de Nao quand il reconnait un "mot " (il
s’agit d’une chaîne de caractères, c’est-à-dire
une variable de type string). Nous allons donc aussi avoir besoin de gérer une condition.
a) Faire glisser la boite "Speech Reco." (dans "Audio/Voice") dans l'espace de travail et relier là à la
flèche de départ.
b) Examiner les paramètres de cette nouvelle boite (en cliquant sur la clé à molette).
Le paramètre "Word list" définit la librairie de chaînes de caractères reconnue par Nao. Ecrire nao,
le robot reconnaitra ce mot (soit son nom).
La barre "Confidence threshold" permet de contrôler comment le son doit être similaire pour que
Nao le reconnaisse. Si elle est à 30%, cela signifie que le robot doit seulement être sûr à 30% de
reconnaitre le mot. N’hésitez pas à modifier cette valeur et à en tester les effets sur le robot réel.
c) Créer deux boites "Say" et les connecter aux deux connecteurs en bas à droite de la boite "Speech
Recognition". La boite connectée au connecteur le plus en haut de la boite "Speech Recognition"
sera exécutée quand un mot de la librairie "Word list" sera entendu sinon ce sera la deuxième boite
"Say" qui sera exécutée. Vous pouvez retrouver les caractéristiques de chaque sortie en y
positionnant votre souris (ne pas cliquer mais attendre un peu)
d) La boite "Speech Recognition" permet donc de construire un embranchement. Double cliquer sur
cette boite pour voir le code python. Quel mots clés permet de gérer les conditions ?
Cette boite est exécutée si un « mot »
de la « Word list » est entendu
Cette boite est exécutée si un « mot »
de la « Word list » n’est pas reconnu

e) Modifier les textes des boites "Say" pour configurer ce que le robot dit (par exemple: "Bonjour,
c'est bien moi, Nao" et "Je n'ai pas bien compris").
f) Pour finir, connecter la boite "Speech Recognition" en reliant les deux
connecteurs en bas à droite au connecteur en bas à gauche. Ainsi le
robot cessera d'écouter des nouveaux mots après avoir entendu le
premier.
2. Nous allons maintenant tester ce programme sur le vrai robot s’il est disponible. Connecter le câble
du robot. Appuyer sur le bouton Play du logiciel Choregraphe. Vous allez entendre un son qui
indique que Nao vous écoute. Ces yeux vont aussi devenir bleus. S’il comprend les mots entendus,
ces yeux deviennent verts sinon ils deviennent rouges.
3. Dans cet exercice, nous allons programmer le robot pour qu'il entende différents mots et réponde
différemment après les avoir entendus.
a) Reprendre le programme précédent. Ajouter d’autres chaines de caractères à la "Word list" .
Effacer la boite « Say » reliée à la sortie du milieu (celle s’exécutant quand un « mot » est
reconnu).
b) Glisser déposer une boite « Switch Case » (chercher dans « Flow control ») et la connecter au
connecteur en haut à droite de la boite
"Speech Recognition". Changer les entrées
de la boite "Switch Case" par les chaînes de
caractères rentrés dans la librairie "Word
list". Attention, chaque chaîne de caractères
doit être exactement le même que celui de la librairie "Word list" et doit être écrit avec des
guillemets autour.
c) Ajouter des boites "Say" et modifier leurs messages. Une
boite "Say" connectée à la boite "Speech Recognition"
indiquera ce que le robot dit quand il n'a pas compris. Les
boites "Say" connectées à la boite "Switch Case"
donneront les réponses du robot quand il entendra les
différents chaînes de caractères de la librairie "Word list".
d) Pour finir, connecter la boite "Speech Recognition" afin que le robot cesse d'écouter des
nouveaux mots après avoir entendu le premier. Essayer votre programme sur le robot.

4. Créer un programme permettant de contrôler le robot: quand vous dites à Nao de marcher, de
tourner à gauche, de s'asseoir..., Nao doit exécuter l'action que vous dites.
5. Avec Python.
a) Ouvrer un nouveau projet. Faire glisser la boite "Speech Recognition" dans l'espace de travail
et relier là à la flèche de départ. Modifier la librairie "Word list".
b) Créer une nouvelle boite Python (clic droit dans l’espace central) et choisir un nom et une
image appropriés.
c) Dans la section Inputs/Outputs/Parameters, cliquer sur le bouton central à la droite de "Inputs:
onStart" sur la première ligne. Modifier le type en string, cela signifie que la variable d'entrée
de la boite (onStart Input) sera une chaine de caractères (de type string). Nous pouvons ainsi
relier la sortie du milieu de boite "Speech Recognition" avec notre nouvelle boite : le
connecteur ainsi que le fil sont bleus car les données transférées sont de type string.
d) Double cliquer sur la nouvelle boite pour éditer le code Python et ajouter les deux lignes
suivantes à la fonction (méthode) onInput_onStart.
ttsProxy = ALProxy("ALTextToSpeech")
ttsProxy.say("Bonjour, je suis " + p)
La première ligne va créer un objet qui nous donne accès aux capacités "TextToSpeech" du robot. Cet
objet est assigné à une variable nommée ttsProxy.
La deuxième ligne appelle la fonction (méthode) say qui va permettre au robot de dire la chaine de
caractères passée en argument de la fonction say.
e) Quel est le type de la variable p ? A quoi correspond cette variable ?
Expliquer : "Bonjour, je suis " + p.
Que fait notre nouvelle boite ?
f) Ajouter une boite "Say" qui dit "Je ne comprends pas" et connecter là à la boite "Speech
Recognition" sur la sortie en bas à droite. et connecter la boite "Speech Recognition" comme
précédemment afin que le robot cesse d'écouter des nouveaux mots après avoir entendu le
premier.
g) Tester votre programme sur le robot.
h) Pour finir, écrire un script Python pour jouer au robot au jeu de « Devine un nombre ».