apprentissage du lexique

1
Mesures de performance
Classification des verbes
•Merlo et Stevenson (2001)
•Joanis et Stevenson (2003)

2
Mesures de performance : exactitude
Supposons qu’on ait un problème d’apprentissage automatique où il
s’agit d’identifier, parmi un certain nombre d’objets, lesquels ont la
propriété X. Pour chaque objet, on obtient à l’aide d’un modèle
statistique la réponse « oui » ou la réponse « non ».
Comment peut-on évaluer la performance de notre modèle?
Il y a plusieurs méthodes. La plus simple est ce que nous
appellerons l’exactitude ou, parfois, la précision—mais attention, le
mot « précision » est ici ambigu, comme on va le voir plus tard.
Exactitude = Nombre de réponses correctes
Nombre total de réponses

3
Mesures de performance : exactitude
Parfois, l’exactitude n’est pas appropriée. Supposons qu’on évalue
un engin de recherche comme Google et qu’il y ait 1’000’000 de
documents dont 100 m’intéressent. Si je fais le recherche et
Google me propose 50 documents dont 10 sont parmi ces 100,
alors:
Nombre de réponses correctes =
10 (oui qui sont exacts) + 999’860 (non qui sont exacts)
Donc
exactitude = 999’870 / 1’000’000 = .999’87 !!!
Pourtant, ce résultat est en fait mauvais, puisque j’ai 40 documents
que je ne veux pas et il en manque 90 que je voudrais.

4
Mesures de performance : précision et rappel
Réponse de l’algorithme
oui non
Vraie
réponse oui vp = Vrai positif fn = Faux négatif
Non fp = Faux positif vn = Vrai négatif
Deux autres mesures sont plus utiles ici : la précision et le rappel.
Étant donné les valeurs dans le
tableau suivants :
On définit ces mesures ainsi :
Précision = # oui corrects = vp / vp + fp
# de oui trouvés
Rappel = # oui corrects = vp / fp + fn
# de oui réels

5
Mesures de performance : précision et rappel
Alors pour notre recherche sur Google, nous avons :
Réponse de l’algorithme
oui non
Vraie
réponse oui 10 90
Non 40 999’860
Précision = 10 / 10 + 40 = .2
Rappel = 10 / 10 + 90 = .1
Ces mesures sont plus utiles dans ce cas-ci que
Exactitude = vp + vn / total