Le test sommatif - Cyber

COLLOQUE
CYBER-LANGUES 2007
TICE et compétences :
Rendre l’élève actif et autonome
www.medialingua.net
Association loi 1901
QuickTime™ et un
décompresseur TIFF (LZW)
sont requis pour visionner cette image.
1
TESTS EN LIGNE
pour l’évaluation des compétences
en langues
1.Test Sommatif : sert à diagnostiquer
2.Test Formatif : sert à se former
2 tests complémentaires qui évaluent
votre niveau général en ESPAGNOL
selon les 6 niveaux du CECRL
2
TESTS EN LIGNE
pour l’évaluation des compétences
en langues
- Contenus élaborés par l’association
MEDIALINGUA.NET
-Test Sommatif :
moteur développé par la société Exagone
- Test Formatif :
application NetQuiz
3
Les acteurs de cette démarche
•
Exagone a développé le moteur du test « sommatif » qui
permet de délivrer en fin de test un rapport personnalisé
très détaillé et illustré aussi par des graphiques. C’est une
société qui conçoit et réalise des outils collaboratifs pour la
gestion et la diffusion de l'information.
Site web: http://www.exagone.com/
•
L'association Medialingua regroupe des enseignants de
langues qui souhaitent développer ou utiliser des
contenus d'apprentissage en ligne pour toutes les langues,
tels que des tests d'évaluation, des tests de placement, des
tests de formation, des parcours pédagogiques auprès d'un
large public. Site web: http://www.medialingua.net
4
Public concerné par les 2 tests
Francophone
• Âges: Lycéens, Etudiants, Adultes
• Toutes les consignes générales et de tâche à réaliser
sont en français sauf les tâches pour l’Expression
écrite
• Le moteur Exagone permet de traduire les consignes
dans d’autres langues pour l’usage des tests
d’espagnol dans d’autres pays
5
L’apport des tests en ligne
AVANTAGES POUR
L’ENSEIGNANT
–
–
–
–
Connaître le niveau de sa
classe et sa progression,
cas par cas
Avoir un repère sur
l’évolution du début et de fin
de formation
Créer un langage commun
au niveau de la terminologie
grammaticale
Alléger sa tâche et son
rapport à la notation
AVANTAGES POUR
L’ETUDIANT
–
Avoir une vision d’ensemble
de la langue visée
–
Lui faciliter la prise de
conscience sur ses lacunes et
lui permettre de les surmonter
L’encourager à prendre en
charge sa progression
–
–
Le valoriser en le rendant
actif et autonome
6
But recherché
• Améliorer la relation enseignant-étudiant par un
travail personnalisé, en dehors des cours
• Créer un échange valorisant pour les deux parties
• Alléger la tâche de l’enseignant dans sa course à
l’efficacité
• Etablir clairement le travail à mener ensemble
• Obtenir des résultats plus clairs et nets
7
Test sommatif
(diagnostic)
Permet à l’apprenant de connaître ses erreurs à la fin
du test grâce au Rapport (sous pdf) qui lui est
délivré tout de suite par mail après achèvement du
test.
Ce rapport lui fournit son niveau général et par
compétence ainsi que toutes les explications pour
chaque réponse donnée, fausses et correctes.
Les réponses sont chronométrées ce qui permet
d’évaluer réellement sa réactivité, ses certitudes et
ses doutes.
L’évaluation chronométrée lui permet de connaître son
niveau présent et de l’insérer, s’il le souhaite, sur son
PEL (Passeport Européen des Langues) pour une
meilleure crédibilité.
8
Originalité du test sommatif
> La variabilité des points
Les réponses sont classées en
•
•
•
•
•
Réponse exacte
Réponse possible
Réponse inappropriée
Réponse incorrecte
Réponse hors contexte
Avec des points qui varient de -1 à 6 pour renforcer la
fiabilité et diminuer le hasard
> L'ordre des réponses proposées pour chaque
question est aléatoire
9
Le rapport d’évaluation
du Test sommatif
10
Ré s u m é
• Durée maximum autorisée du test : 1h 47mn
40s
• Note obtenue par le candidat sur l'ensemble du
test : 153/428
• Niveau général du candidat : B1 - Indépendant
• Nombre de bonnes réponses : 29/97 questions
11
Niveaux par compétences
12
Pourcentage de bonnes réponses
par niveau
13
Commentaire par compétence
• Résumé du niveau atteint par l’étudiant selon les
niveaux communs de référence (CECRL)
• Classement par « bonnes réponses », « mauvaises
réponses » et « réponses non données »
• Conclusion avec l’explication des règles de
grammaire mobilisées et réparties sous deux formes:
« connaît » et « ne maîtrise pas » selon le domaine
de compétence
14
Répartition des réponses
15
Avec le Rapport « sommatif »
•
•
•
•
•
•
24/08/07
Je peux rechercher un rapport
Je peux savoir ce qui a été saisi
pour l’expression écrite
Je peux rectifier des réponses que
je n’avais pas prévues et les
rajouter
Je peux écrire à la personne testée
pour lui faire part des
modifications à son avantage
Je peux savoir combien de fois le
test a été réalisé
Je peux savoir si le test a été
interrompu
17
18
Expérimentation du test sommatif
• Participation à la Journée Européenne des Langues
(JEL) 2006 avec libre accès au test avec une
connexion de 1000 personnes et 100 rapports de
tests avec des enseignants intéressés
• Participation au Congrès de l’APLIUT (Association
des Professeurs de Langues en IUT) en Mai 2007
• Mise en pratique auprès de l’Université Paris XIII, à
la Plaine Saint-Denis: les étudiants de 1ère et 2ème
année de TC (techniques de commercialisation)
19
Bilan de l’expérience
à l’IUT de St-Denis:
naissance du test « formatif »
• Motivation par l’aspect ludique du test même si au
départ ils l’ont trouvé difficile et stressant
• Prise de conscience immédiate sur l’ampleur de la
langue cible
• Envie de progresser vite pour améliorer leur niveau
et celui de la classe
• Equilibrage de l’hétérogénéité de départ
• Autonomie et valorisation de l’étudiant
• Nette amélioration de la relation «enseignantétudiant » dans un volonté commune pour réussir
mais comment? Par le biais du test “formatif”.
20
Test formatif sur NetQuiz
• Permet à l’apprenant de surmonter les erreurs
détectées dans le test précédent « sommatif » en ayant
une explication à chaque fois qu’il valide une réponse.
• Donne la possibilité de consulter la rubrique « indice »
avec des règles proposées pour la question.
• Les questions ne sont pas chronométrées.
• Les questions sont classées par ordre de difficulté (non
aléatoire) et par points de 1 à 6
• Peut aborder les compétences et les exercices dans
l’ordre qu’il le souhaite.
• Peut obtenir un bilan sur ses réponses avec le nombre
d’essais et reprendre l’exercice.
21
Base de données commune
aux 2 Tests
COMPETENCES
PUBLIC
Jeunes-Adultes
Compréhension écrite
4 Exercices
43 Questions
Exercice 1 et 4
Compréh.lecture
Q.C.M.
Vrai-Faux
Exercice2
Connaiss.grammaticales Q.C.M
Exercice 3
Lettre commercial-Puzzle
Compréhension orale
2 Exercices
24 Questions
Exercice 1
Vie quotidienne
Q.C.M.
Exercice 2
Entretien radiophonique
Vrai-Faux
Expression écrite
2 Exercices
30 Questions
Exercice1
Connaiss.linguis
Texte à trous
Exercice 2
Dictée
Champ libre
22
Pour rendre les apprenants
« actifs et autonomes »
tout au long d’une année
• Phase I : Test sommatif. En début de formation, je leur
propose le test qui va établir un diagnostic de son niveau actuel,
à faire chez eux ou en salle informatique
• Phase II : Test formatif. A partir de leur résultat, je leur
propose de retravailler le contenu du premier test en « formatif »
pendant quelques mois
• Phase III : Test sommatif. Pour faire le bilan de leur
évolution, je leur propose de passer une deuxième fois le test
« sommatif » et vérifier leur évolution
• Phase IV: Si les résultats atteignent le niveau B2, je leur
propose de mettre automatiquement leur résultat sur leur PEL
(passeport européen des langues)_
23
Différences pour l’utilisateur
• Test Sommatif
• Test Formatif
• Durée maximale pour
les trois compétences :
2 heures
• Durée variable qui
respecte le rythme de
chacun
• 428 points
• 360 points: choix à 1
seule bonne réponse
• Même nombre de
questions: 97
• Même nombre de
questions: 97
24
Les aspects que nous aborderons
I.
I.
II.
III.
IV.
Les pré-requis des 2 tests
Les compétences mobilisées
Le fonctionnement des 2 tests : corrections et rapports
Les conclusions sur leurs différences
Perspectives
25
I. Pré-requis des deux tests
• Posséder une adresse email
• Avoir un accès Internet
• Utiliser le navigateur Firefox et Flash Player
• Se procurer un casque pour la partie auditive
• Adhérer à l’association Medialingua
pour obtenir une clé numérique
26
II. Compétences mobilisées,
dans les 2 tests
• Compétences linguistiques
• Compétences sociolinguistiques
• Compétences pragmatiques
27
Activités langagières testées
> Compétence grammaticale :
Syntaxe et Conjugaison
> Compétence orthographique :
L’orthographe
> Compétence phonologique :
La phonétique
> Compétence sémantique :
Sémantique lexicale courante et technique
28
III. Ce que l’on évalue dans la
compréhension écrite
• Avec la compréhension de lecture, j’évalue sa capacité
à comprendre 2 textes écrits qui touchent des
thématiques très différentes:
• 1) Le texte sur l’Espagne évalue la compréhension liée
aux domaines: socio-économique; socio-linguistique;
géo-politique; socio-culturelle.
• 2) Le texte sur un auteur latino-américain évalue le
domaine socio-culturelle et le vocabulaire lié aux
modismes; au lieu de naissance; au statut civil, etc.
29
30
31
Réponse en interne
32
33
34
35
Le commentaire pour cette
réponse sera le même
• Test Sommatif
• Elle ne maîtrise pas:
• Evaluation socio-culturelle.
L'image de l'Espagne: ne
peut pas comprendre le sens
général du paragraphe. N'a
pas compris que ceci
correspondait à l'image des
touristes et pas au monde
des affaires.
• Test Formatif
• Evaluation socio-culturelle.
Vous ne comprenez pas le
sens général du paragraphe.
Vous n'avez pas compris
que ceci correspondait à
l'image des touristes et pas
au monde des affaires.
36
37
38
39
40
Le commentaire pour cette
réponse sera le même
• Test Sommatif
• Elle connaît:
• Evaluation socio-culturelle
latino-américaine. Extrait
biographique de Pablo
Neruda: a compris que
Neruda était né "en el sur de
Chile, en Parral".
• Test formatif
• Bravo ! Evaluation socioculturelle latino-américaine.
Extrait biographique de
Pablo Neruda: vous avez
compris que Neruda était né
"en el sur de Chile, en
Parral".
41
Ce que l’on évalue encore
dans la compréhension écrite
• Avec la compréhension de la syntaxe, j’évalue sa connaissance
des règles de grammaire.
• Avec la compréhension de la conjugaison, j’évalue sa
connaissance des temps verbaux.
• Avec la mise en ordre d’une lettre commerciale, j’évalue son
vocabulaire technique.
42
43
44
45
46
47
Le commentaire pour cette
réponse ne sera pas le même
• Test Sommatif
• Elle ne maîtrise pas:
• Passé Composé et Passé
Simple de l'Indicatif : est
confronté au problème de
temps et au choix entre "estar
+ en" et "ir + a".
• Test formatif
• Passé Composé et Passé
Simple de l'Indicatif : vous êtes
confronté/e au problème de
temps et au choix entre "estar +
en" et "ir + a". Avec "alguna vez"
il faut utiliser le Passé composé
(=pretérito perfecto) et avec "El
año pasado" il faut utiliser le
Passé simple (=pretérito
indefinido).
• Possibilité de consulter la règle:
Les deux passés composés de
l'espagnol
48
49
50
51
52
53
54
55
Compréhension écrite:
connaissances évalués
56
57
58
59
60
61
62
63
Ce que l’on évalue dans la
compréhension orale
• Avec des situations audio de la vie quotidienne, j’évalue la
reconnaissance des actes de parole, tels que l’identification d’un
besoin, d’une demande, d’une requête.
• Avec 3 extraits tirés d’un entretien radiophonique à un artiste
latino-américain, j’évalue le vocabulaire lié à l’identification et les
nuances liées aux actes de parole et aux règles de grammaire.
64
Vie quotidienne
65
66
67
68
Le commentaire pour cette
réponse sera le même
• Test Sommatif
• Elle ne maîtrise pas:
• Vie quotidienne: n'a pas
compris le verbe
"quitar"=enlever, déplacer.
Le verbe "salir" veut dire qu'il
veut sortir de là où il est
garé.
• Test Formatif
• Vie quotidienne: vous n'avez
pas compris que la personne
qui parle est garée et
coincée par une autre
voiture qui l'empêche de
sortir.
• A rajouter: Vous n'avez pas
compris le verbe
"salir=sortir" et "tener
prisa=être pressé/e".
69
Extrait radiophonique
70
71
72
73
Le commentaire pour cette
réponse sera le même
• Test Sommatif
• Test Formatif
• Elle ne maîtrise pas :
• Entretien radiophonique:
> n'a pas compris que Drexler
préconisait l'attente à
l'anxiété.
• Entretien radiophonique :
> vous n'avez pas compris que
Drexler préconisait l'attente à
l'anxiété.
74
75
76
77
78
79
80
81
Ce que l’on évalue dans
l’ expression écrite
• Avec l’évaluation par l’écriture, j’évalue tout d’abord la
compréhension des consignes qui sont pour la première fois en
espagnol. (=compréhension écrite)
• Avec l’évaluation par l’écriture, j’évalue la connaissance et la
production concrète de la conjugaison et de la syntaxe.
(=production écrite)
• Avec la dictée, j’évalue la reconnaissance auditive, la reproduction
des sons et la connaissance du vocabulaire. (=compréhension
orale + production écrite)
82
Grammaire
83
84
85
86
87
Le commentaire pour cette
réponse sera différent
• Test Sommatif
• Elle ne maîtrise pas:
• Indicatif, les temps du passé:
ne sait pas utiliser les verbes
à l’imparfait ou Plus-queparfait ou Passé Simple
(pretérito perfecto) de
l'indicatif.
• Test Formatif
• Indicatif, les temps du passé: vous
avez bien essayé d'utiliser le plusque-parfait de l'indicatif mais vous
ne savez pas que le participe passé
de "poner" est irrégulier. Vous avez
en plus oublié l'accent obligatoire
sur "había", c'est-à-dire sur tous les
imparfaits en "er" et "ir". Vous avez
commis une faute d'orthographe.
• Possibilité de consulter: El
pluscuamperfecto del Indicativo
(=Plus-que-parfait)_
• Les participes passés "irréguliers".
88
89
90
91
92
93
94
95
96
Dictée
97
98
99
100
Le commentaire pour cette
réponse sera différent
• Test Sommatif
• Test Formatif
•
•
•
•
Elle ne maîtrise pas:
Dictée: Dictée: elle a mal écrit
"cuando", "casa" et "salgas".
•
Mauvaise réponse
Dictée: Les fautes peuvent être liées à
plusieurs facteurs. Vous ne savez pas
écrire le conditionnel du verbe
"importarle" avec l'accent obligatoire pour
tous les verbes du conditionnel, peu
importe le groupe. Vous ne connaissez
pas le présent du subjonctif du verbe
"salir". Vous ne connaissez pas le verbe
"echar" et "Correo=La Poste". Vous ne
connaissez pas l'expression "oye" qui
sert à interpeller quelqu'un que l'on
tutoie.
Le texte de la dictée est en entier et j’ai
la possibilité de corriger autant de fois
que je le souhaite.
101
102
103
IV. Conclusions sur les
différences
Test sommatif:
• sert à s’évaluer, à faire un
diagnostic sur son savoir
• sert à connaître son niveau
global et par compétence
sans aucune aide
• on ne peut pas revenir sur la
validation de ses réponses.
• Existe une pondération dans
les points attribués aux
réponses
Test formatif:
• sert à se former, à réfléchir
et à vérifier ses
connaissances
• sert à consulter des règles
de grammaire avant d’y
répondre
• L’apprenant peut refaire
l’exercice autant de fois qu’il
le souhaite
• Il n’existe pas de
pondération dans les points
attribués
104
La complémentarité
dans la différence
• Sommatif :
avec les explications en fin de test
• Le test sommatif fournit un diagnostic global et par compétence.
C’est un test de placement qui utilise les niveaux du CECRL (de A1
à C2).
• Formatif :
avec les explications au fur et à mesure
• Le test Formatif comme son nom l’indique sert à se former et à
surmonter les lacunes repérés d’abord dans le test « sommatif ».
105
V. PERSPECTIVES
• Créer des parcours personnalisés en fonction des lacunes repérées
et des facteurs cognitifs qui caractérisent l’apprenant
• Créer des podcast pour expliquer les règles par l’audio
• Attribuer à chaque réponse fausse du test des liens vers des
exercices adaptés
• Encourager les enseignants de langues à l’usage des pratiques à
distance avec ses étudiants en les incitant à créer des contenus
d’évaluation
• Construire des modules adaptés aux besoins des institutions
• Valider le test sommatif par une certification
106
L’accès aux tests:
l’adhésion à MEDIALINGUA
• Medialingua ne bénéficie d’aucune subvention
• L’ingéniérie a été développé par la société EXAGONE
• Les adhésions permettront aux enseignants d'utiliser
tous les tests « Medialingua » à titre personnel et de
proposer des contenus pour créer d’autres tests sur
mesure s'ils le souhaitent
• L’adhésion institutionnelle permettrait de faire profiter
les enseignants de ces outils-tests pendant ou en
dehors de leurs cours
107
108
• Merci pour votre attention
• Magdalena Fasano
109