Evaluer corriger

Evaluer, corriger, pondérer, noter, classer…..
février 2004
Tous les enseignants ont une connaissance empirique des examens qu’ils font passer aux
étudiants et des règles de notation qui conduisent à la réussite ou à l’échec, au passage ou au
redoublement.
Il peut cependant être utile d’en rappeler les termes principaux.
La docimologie désigne la « science » des examens et en particulier, l’étude du comportement
des examinateurs et des examinés. Il s’agit d’un néologisme proposé par un chercheur
français , Henri Piéron , professeur au Collège de France, qui a accompli entre 1935 et 1965
une bonne partie des travaux sur lesquels se fondent les connaissances docimologiques (1).
Initialement, la docimologie avait un objet limité à l’étude critique du déficit de validité et de
fidélité qui caractérisait la plupart des méthodes d’examen.
On parle aussi de docimastique, terme imposé par le Belge De Landsheere (2), qui recouvre la
technique de construction et de correction des examens et de doxologie, qui est l’étude du rôle
que l’évaluation joue dans la formation.
Après avoir fait passer une épreuve aux étudiants, l’enseignant doit encore l’exploiter, c’est à
dire, parvenir au jugement et le cas échéant à la décision qui s’appliquera à chaque étudiant
ayant passé l’épreuve. Pour parvenir à ce jugement, l’enseignant doit s’astreindre à trois
étapes successives principales :
- La première étape est la correction. Cela consiste à identifier dans la réponse de
l’étudiant chaque élément (de réponse ) qui était attendu, puis à porter sur chacun
d’eux un jugement binaire « correct ou incorrect ». Les enseignants savent bien –
dès lors que l’épreuve revêt une certaine importance – qu’il est préférable d’établir
une grille pour accomplir cette première étape de correction.
- La deuxième étape est la pondération. Cela consiste à affecter à chaque élément de
réponse une valeur numérique variable en fonction de sa pertinence (utile,
important, essentiel, absolument indispensable, etc…). C’est à ce stade que se pose
éventuellement la question de la pondération négative, pour des éléments de
réponse inappropriés, dangereux , coûteux, etc…
- La troisième étape est la notation. Cela revient à attribuer à chaque étudiant une
appréciation globale sur sa performance ou son comportement. Le plus souvent,
cette appréciation résulte d’une totalisation simple, arithmétique, des points
correspondant aux éléments de jugement corrects et incorrects présents dans la
réponse de l’étudiant. Mais à ce stade, peuvent également intervenir différentes
opérations permettant d’établir des séries de notes en évitant les ex-aequo. Ces
opérations qui utilisent – en toute transparence – des coefficients de dispersion ou
des formules de calcul de note, sont particulièrement utiles dans le cadre de
concours où le nombre de place est limité.
Reste que l’examen (ou plus largement l’évaluation ) est avant tout une mesure. Selon J-P
Guilford cité par De Landsheere, mesurer signifie assigner un nombre à un événement, ou à
un objet, selon une règle logiquement acceptable.
Pour autant, ces mesures peuvent être soumises à des biais, qui ont été patiemment mis en
évidence par les travaux de docimologie. En voici quelques exemples.
Sources de biais mis en évidence par la docimologie critique

. La distribution forcée (Posthumus)
. L’effet de tendance centrale ou effet centripète ( selon lequel les correcteurs centrent leurs
appréciations autour d’une zone médiane, entre 8 et 12 sur 20, et répugnent à utiliser l’échelle
de notation sur toute son amplitude )
. Les biais résultant de l'interaction entre le correcteur et l'étudiant ou la copie évalué
. Effet de halo
. Effets de contraste entre copies ou entre étudiants ( selon lequel une copie moyenne venant
après une excellente copie est sous évaluée et inversement )
. L'instabilité d'un même correcteur
. Les différences entre correcteurs
La distribution forcée (Posthumus)
Définition: « Un enseignant tend à ajuster le niveau de son enseignement et ses appréciations
des performances des élèves de façon à conserver, d’année en année, approximativement la
même distribution (gaussienne) de notes.»
Laugier et Weinberg (1927) souscrivent à cette idée: « En gros, les notes [de 166 candidats à
un concours universitaire dont les copies ont été jugées par deux correcteurs indépendants,
expérimentés et méticuleux] sont distribuées par chaque examinateur à peu près suivant une
courbe normale "en cloche": les notes moyennes sont les plus fréquentes, les notes très
bonnes ou très mauvaises sont les plus rares. C'est un signe qui atteste de la valeur de la
notation, car on sait que si l'on mesure, dans un groupe homogène d'individus, un trait
quelconque, - que ce soit la taille ou le poids, ou une fonction mentale au moyen d'un test, -
on constate que les résultats se distribuent selon une courbe en cloche. Tout porte à croire
qu'il en est de même pour les connaissances dans le groupe d'individus qui se présentent à un
concours, et la confirmation en a été donnée par les applications de tests pédagogiques.»
Effet de halo
Weiss (1969), de son côté, a fait l’expérience suivante (rapportée par De Landsheere) :
Deux rédactions, redactylographiées ont été soumise à 2 groupes de 46 instituteurs de 4°
primaire. Au premier groupe , on indique :
« Le travail 1 est l’œuvre d’un élève moyen qui aime lire des BD ; son père et sa mère sont
employés. Le travail 2 a été fait par un enfant doué ; son père est rédacteur d’un quotidien
connu ».
Pour le deuxième groupe , les commentaires ont été inversés. Trois aspects (orthographe,
style, fond) devaient être jugés indépendamment, en plus d’une « note globale », chaque fois
sur une échelle à 5 niveaux (1 = TB ; 5 = insuffisant).
De Landsheere précise « Pour les quatre aspects considérés, les notes attribuées au travail
pour lequel on a créé un préjugé favorable ont été significativement supérieures aux autres.
Pour l'orthographe, qui semblait le plus devoir échapper à l'effet œdipien de la prédiction, on

observe qu'au travail de l'élève présenté comme doué, 16% des correcteurs accordent la note
très bien et aucun la note insuffisant; si le même élève est présenté comme moyen, les
correcteurs n'accordent aucun très bien, mais 11% notent insuffisant ».
Les différences entre correcteurs
On peut mettre en évidence, en faisant corriger la même copie par plusieurs correcteurs
qualifiés, des différences parfois fort importantes entre les notes attribuées à celle-ci. Ce type
d'études a été mené très tôt.
Dans une expérience, rapportée par Piéron lui-même, une même composition française a été
jugée par 76 professeurs de français. Voici la distribution de leurs notes (NP = Nombre de
correcteurs attribuant une note donnée) :
Note
( 0 à
20 )
0-1
2-3
4-5
6-7
8-9
10-11
12-13
NP
1
6
20
34
10
3
2
Evidemment, les variations auraient été bien moindres pour des copies d’épreuves de
matières scientifiques.
jm chabot – janvier 2004
1. Pieron H. Examens et docimologie. Paris. PUF, 1963.
2. De Landsheere G. Evaluation continue et examens – Précis de docimologie
Bruxelles Labor . Paris Nathan, 1971