Critères d`évaluation - Parole de chercheurs

Evaluation d’un support
numérique
.
d’apprentissage grammatical
Moujahed AL SABRI
NEDEP 25-26 juin 2009
Praxiling – UMR 5267 - Université de Montpellier 3 - CNRS
Sciences du langage
Plan du travail
 Problématique : questions et hypothèses
 Etat de l’art
 Méthodes d’évaluation d’un site web
 Méthode heuristique

Modèle d’évaluation automatique

Modèle sur critères d’évaluation
 Méthode empirique (test-utilisateur)
 Objectifs
 Corpus d’analyse (site de grammaire)
 Modèle proposé pour l’évaluation d’un site de
grammaire
 Résultats
 Conclusion
Problématique : questions et hypothèses
Problématique : pourquoi et comment évaluer un site de grammaire ?
Questions
 Quelle est la bonne
méthode d’évaluation ?
 Qui est censé évaluer un
site de grammaire ?
Hypothèses
 Personnalisation d’une grille d’analyse
 Une méthode mixte d’évaluation
(critères + test-utilisateur)
 Le rôle déterminant de
l’enseignant dans l’évaluation
grammaticale sur Internet
Etat de l’art : Méthodes d’évaluation d’un site web
1. Méthode heuristique
1.1. Modèle d’évaluation automatique

Exemple: http://www.temesis.com
1.2. Modèle sur critères d’évaluation
 Critères d’évaluation (Tomé 2000)
1. Description/contenu 2. Navigation et chargement 3. Public visé 4. Niveau
de langue 5. Actualisation 6. Langue oral 7. Activités 8. Autoévaluation 9.
Organisation des composants 10. Outils complémentaires
Etat de l’art : Méthodes d’évaluation d’un site web
 Critères d’évaluation (Perrot 2001)
(1. Présentation 2. Analyse de l’interface 3. Analyse pédagogique)
 Critères d’évaluation (Université de León 2003)
(1. Auteur 2. Contenu 3. Intérêt pédagogique)
Bastien, Leulier, L Scapin et Rocquencourt estiment que « tous les
aspects de la qualité ergonomique des sites web ne sont donc pas
évalués par ces outils. Ces derniers demeurent néanmoins des aides non
négligeables. Comme pour les autres méthodes ou techniques
d’évaluation, l’évaluation automatique ne saurait se passer de tests
d’utilisation. » (nd. 195)
2. Méthode empirique (test-utilisateur)
Ten usability heuristics of Nielsen : 1. Visibility of system status. 2. Match
between system and the real world. 3. User control and freedom. 4.
Consistency and standards. 5. Error prevention. 6. Recognition rather
than recall. 7. Flexibility and efficiency of use. 8. Aesthetic and
minimalist design.9. Help users recognize, diagnose, and recover from
errors. 10. Help and documentation
(Logiciels d’enregistrement: CamStudio ou Camtasia)
Objectifs
 Evaluer le site de grammaire avant d’être intégré
dans l’enseignement ou dans l’apprentissage.
 Parvenir à une méthode d’évaluation cernant tous les
aspects de l’objet à évaluer.
 Aider le public intéressé à s’orienter vers les sites de
qualité.
Corpus d’analyse (site de grammaire)
 Grammaire Interactive du français (Reverso)
 URL: http://grammaire.reverso.net/
Modèle proposé pour l’évaluation d’un site de grammaire
1. Fiche analytique du site
- Informations sur l’identité
- Caractéristiques générales du site (description, objectifs et
public visé… Perrot 2001)
- Type d’approche et présentation grammaticale
- Scénario pédagogique (Charnet 2002)
2. Ergonomie du site
- Interface
- Navigation et parcours pédagogique
- Guidage fonctionnel
- Guidage pédagogique
-Type d’exercices et gestion des erreurs
3. Test d’utilisabilité
- Navigation et apports pédagogiques
- Résultats d’acceptabilité
4. Outils complémentaires (Tomé 2000)
5. Synthèses et utilisations envisageables
Résultats
1. Pas d’informations sur (spécialités des auteurs,
objectifs et public visé);
grammaire traditionnelle, grammaire explicitée;
Scénario pédagogique pauvre
1. Navigation libre et facile
- Manque d’activités (nombre limité d’exercices)
3. Test d’utilisateur (trop de publicité animée, Réticence
d’accepatabilité)
4. Outils complémentaires (moteur interne + outils
d’aides ex. traduction, dictionnaire, glossaire)
5. Site de savoirs ( intéressant seulement pour un
public désirant approfondir ses connaissances
grammaticales et avoir des réponses à des
questions précises)
Conclusion
 La généralisation d’une grille d’analyse ne peut pas s’appliquer dans
tous les domaines, que sa personnalisation est nécessaire non pas
seulement pour contextualiser les critères d’évaluation mais aussi pour
atteindre facilement et d’une façon plus ciblée les objectifs de cette
étude évaluative.
 Complémentarité entre les deux méthodes heuristique et empirique
 L’identité du site et les objectifs égalent crédibilité et confiance
Merci de votre attention