format PDF - Faculté des sciences de l`éducation

TAB SPECIF (page 1)
LE TABLEAU DE SPÉCIFICATIONS
EN ÉVALUATION CERTIFICATIVE
par G. Scallon, professeur
Département d'orientation, d'administration et d'évaluation en éducation,
FSÉ, Université Laval.
(1996)
_______________________________________________________________
Un examen, une épreuve de rendement ou un test devant servir à des fins
d'évaluation certificative ou sommative doit être préparé selon un plan bien défini.
Parcourir un manuel scolaire, à la recherche d'éléments pouvant servir d'inspiration à la
rédaction de questions d'examen, est un procédé depuis longtemps dépassé. Par souci
de respect des «règles du jeu», les éléments de contenu et, au mieux, les objectifs
d'apprentissage qui ont été l'objet d'une attention toute particulière en cours de route,
doivent être considérés avec une attention tout aussi particulière dans la préparation
d'un examen ou d'un ensemble d'examens à être utilisés à des fins d'évaluation
certificative. Sans révéler le contenu de l'examen à l'avance il est possible d'en parler
«intelligemment» ne serait-ce que pour indiquer aux élèves les points importants au
regard desquels ils doivent se tenir prêts. De plus, il nous faut un outil pour faire le
pont entre la matière vue et les objectifs visés d'une part et les questions ou problèmes
de l'examen, d'autre part, compte tenu de leur représentativité en nombre et de leur
importance relative. Cet outil à usage multiple, c'est le tableau de spécifications.
Le ministère de l’Éducation du Québec entreprend une démarche identique pour
préparer ses examens uniques , ses examens uniformes ou ses épreuves d’appoint au
regard de ses programmes d’études: c’est la définition du domaine. Il s’agit ici du
domaine relatif à un programme d’études et non pas de celui dont on se sert pour
délimiter le contenu d’une seule épreuve à fonction formative.
Étant donné qu'il est pratiquement impossible de poser toutes les questions ou
problèmes susceptibles de mesurer les objectifs pédagogiques d'une longue période
d'enseignement et d'apprentissage, il nous faut la plupart du temps parler d'échantillonnage. Le tableau de spécifications s'avère être un outil indispensable à cette fin.
_______________________________________________________________
1.- Le découpage de la matière
Avant que ne soit reconnue l'importance de définir les objectifs pédagogiques, le
contenu d'une matière présentait, à toute fin pratique, la seule base pour établir un plan
d'échantillonnage des questions dans la préparation d'une épreuve de rendement ou
d'un examen. Il s'agissait alors de découper cette matière ou discipline en plusieurs
thèmes tels qu'ils apparaissent dans la table des matières d'un manuel.
TAB SPECIF (page 2)
Le découpage de la matière, aux fins de créer la première dimension d'un tableau
de spécifications, est une tâche relativement facile. La plupart des programmes
d'études sont suffisamment structurés sur le plan du contenu pour que l'organisation de
la matière serve presque telle quelle à l'élaboration d'un tableau de spécifications. Les
deux exemples qui suivent ont été inspirés d'anciens programmes du ministère de
l'Éducation du Québec. Les thèmes énumérés dans chacun des exemples sont des titres
de modules (ou de chapitres d'un manuel fictif) et pourraient apparaître tels quels dans
un tableau de spécifications.
Exemples de découpage d'une matière
Exemple 1
Exemple 2
ÉCOLOGIE (sec. I)
ÉDUCATION ÉCONOMIQUE (sec. V)
L'écologie: introduction
Organisation économique de la société
Interrelations
Organisation de la production
Fonction des producteurs
Ressources humaines
Fonction des consommateurs
Consommation
Circulation de la matière et de l'énergie
Institutions financières et monnaie
Influences du milieu sur les être vivants
État et finances publiques
2.- Les niveaux d'objectifs
La seconde dimension à traiter pour un tableau de spécifications est celle des niveaux d'objectifs ou des catégories de comportements. Le vocabulaire le plus utilisé
dans les tableaux de spécifications donnés en exemples dans les ouvrages de docimologie est celui qui a été emprunté aux grandes taxonomies des objectifs pédagogiques
dont celles de Bloom et collaborateurs, pour le domaine cognitif. Certains programmes
ou disciplines caractéristiques offrent un vocabulaire plus spécifique que les responsables d'examens peuvent emprunter. Ainsi en est-il des verbes comme identifier/nommer, expliquer, construire, etc. Le vocabulaire des sciences cognitives peut
être évoqué: les trois types de connaissances : déclaratives, procédurales et
conditionnelles. On pourrait ajouter les stratégies, les attitudes ou encore des
compétences dans des domaines d'expertise. Il est impossible de rendre compte ici
de toutes les variantes qui peuvent être introduites dans un tableau de spécifications.
Qu'il suffise de dire que la dimension «niveaux d'objectifs» (ou «catégories de
comportements») doit être traitée méticuleusement pour que le tableau de spécifications
serve à planifier l'élaboration d'un examen.
Pour en savoir plus au sujet des niveaux d’objectifs qui peuvent être
utilisés, lire le fascicule intitulé:
Planifier l’évaluation certificative: à la recherche d’une
nomenclature d’obectifs.
TAB SPECIF (page 3)
3.- La notion de cellule
C'est en croisant les deux dimensions, la dimension «contenu» à la dimension
«niveaux d'objectifs» qu'on arrive à se présenter toutes les combinaisons possibles
ou cellules qui peuvent se présenter pour créer les questions ou les problèmes d'un
examen à planifier. Pour se saisir de cette relation, prenons un exemple fort simple
avec le sujet du verbe et son complément (deux éléments de contenu) avec lesquels on
peut lier deux comportements: identifier (l'un ou l'autre) dans une phrase simple ou en
produire un dans une phrase à compléter. Le croisement de deux comportements à
deux éléments de contenu produira un tableau de spécifications à quatre (4) cellules
comme dans l'exemple qui suit.
contenu
sujet du verbe
complément
comportements
identification
production
La cellule « identification x sujet du verbe » pourrait correspondre à l'objectif
opérationnel suivant :
(Être capable) d'indiquer (d'identifier) le sujet du verbe dans une phrase simple.
Voici des tâches (questions ou phrases) pouvant servir à mesurer cet objectif:
L'élève a pour consigne d'encercler le mot (ou groupe de mots) sujet du verbe (groupe nominal sujet).
1.- Marie nourrit son chat.
2.- Le train arrive aujourd'hui.
3.- Claude vient avec son ami.
La cellule « production x complément » pourrait correspondre à l'objectif
opérationnel suivant :
(Être capable) d'imaginer et d'écrire le complément du verbe
dans une phrase simple à compléter.
Voici des tâches (questions ou phrases) pouvant servir à mesurer cet objectif:
L'élève a pour consigne d'écrire un complément du verbe dans l'espace réservé à cette fin.
1.- Jean a perdu son _______.
2.- Il mange du __________.
3.- Jeanne arrive ce _______.
NOTE: la correction doit prévoir plusieurs mots acceptables dans chaque cas.
Le nombre de cellules d'un tableau de spécifications dépend, bien sûr, du nombre
d'éléments de contenu (ou de thèmes) et du nombre de niveaux d'objectifs. Un tableau
composé de 15 thèmes associés à 7 niveaux d'objectifs produira ( 7 x 15 ) 105
cellules.
TAB SPECIF (page 4)
4.- Les pourcentages d'importance relative
Il existe trois procédés pour déterminer l'importance relative de chaque
combinaison « objectif x contenu » ou cellule.
[a] l'attribution directe de pourcentages aux cellules du tableau de spécifications
[b] le produit des pourcentages marginaux
[c] l'inventaire des notions x comportements (que nous ne traiterons pas ici).
a) l'attribution directe
Bloom, Madaus et Hastings (1981, p. 80) y font brièvement allusion. Il s'agit
probablement du procédé le plus simple qui soit pour élaborer un tableau de spécifications. Par ce procédé, chaque combinaison «notion x comportement» (ou cellule) se
voit directement attribuer un pourcentage d'importance relative. Après plusieurs ajustements, la somme de tous les pourcentages inscrits dans les cellules doit être égale à
100.
b) le produit des pourcentages marginaux
On trouve des exemples d'utilisation de ce procédé dans des ouvrages anciens. Il
s'agit d'abord d'attribuer des pourcentages d'importance relative à chaque catégorie de
contenu issue du découpage de la matière en thèmes. La somme de ces pourcentages
doit être 100. Ensuite, des pourcentages sont attribués aux niveaux d'objectifs ou aux
comportements-types. Ici encore, la somme des pourcentages doit être 100. Les deux
démarches sont indépendantes l'une de l'autre mais doivent révéler les grandes orientations d'un cours ou d'un programme d'études pour ce qui est d'indiquer l'importance
relative des catégories de contenu et l'importance relative des niveaux d'objectifs visés.
Ainsi, dans un cours de statistique descriptive on pourrait prendre l'exemple suivant
fourni par un professeur:
La collecte des informations ........................5 %
La description statistique ...........................20 %
Les mesures de tendance centrale .................30 %
Les mesures de dispersion .........................30 %
La corrélation .........................................15 %
__________________________________________________________
connaissance
compréhension
application
10 %
30 %
60 %
TAB SPECIF (page 5)
Les pourcentages de chaque répartition qui vient d'être donnée en exemple deviennent
des pourcentages marginaux dans un tableau de spécifications car on peut les écrire
ainsi au moment d'élaborer le tableau de la page suivante.
COURS DE STATISTIQUE DESCRIPTIVE
CONNAISSANCE
COMPRÉHENSION
APPLICATION
Collecte des inform.
Description statistique
Mes. de tendance centr.
Mesures de dispersion
Corrélation
5
20
30
30
15
10 %
30 %
%
%
%
%
%
60 %
Il reste enfin à multiplier les pourcentages marginaux à tour de rôle pour obtenir
le pourcentage d'importance relative de chaque cellule. Par exemple, il faut inscrire le
produit de 10 % par 5 % dans la cellule «collecte des informations x connaissance».
Voir le tableau suivant où le produit 0,5 % a été inscrit dans la bonne cellule.
COURS DE STATISTIQUE DESCRIPTIVE
Collecte des inform.
Description statistique
Mes. de tendance centr.
Mesures de dispersion
Corrélation
CONNAISSANCE
0,5 %
10 %
COMPRÉHENSION
APPLICATION
5%
20 %
30 %
30 %
15 %
30 %
60 %
EXERCICE 1: complétez le tableau de spécifications pour le cours de Statistique
descriptive en inscrivant les produits qui conviennent dans chaque cellule.
Vérifiez votre réponse avec le corrigé présenté à la fin de ce fascicule.
5.- L'utilisation du tableau de spécifications
Essentiellement, le tableau de spécifications est un outil pour obtenir un
échantillonnage représentatif de l'ensemble des objectifs x contenus se rapportant
à une période d'enseignement et d'apprentissage. En milieu scolaire, cette période peut
correspondre à une étape ou à toute une année scolaire. La façon d'utiliser le tableau de
spécifications à cette fin dépend du mode de codage1 des réponses obtenues aux
diverses questions ou aux divers problèmes de l'examen.
1.-
Accorder un certain nombre de points par bonne réponse ou pour une réponse «partiellement»
bonne est un procédé de codage. Le langage populaire nous a appris à parler de correction des
copies d'un examen, terme inexact emprunté au vocabulaire anglais. La correction suppose que
les fautes seront supprimées et remplacées par des réponses correctes. Ce n'est habituellement pas
le cas pour un professeur qui code les copies d'un examen en vue de leur attribuer un score (la
somme des points obtenus pour une copie).
TAB SPECIF (page 6)
Il existe essentiellement deux procédés de codage: l'un, dichotomique, l'autre,
continu. Le codage dichotomique se ramène essentiellement à accorder un point pour
une bonne réponse (ou pour une réponse parfaite) et zéro point pour une mauvaise réponse (ou une réponse incomplète). C'est le codage le plus répandu pour les examens
composés de questions de type «vrai-faux», de questions à réponse brève ou de questions à choix de réponse. Le codage continu consiste à attribuer plusieurs points à la
réponse demandée. Ainsi, la solution explicite pour résoudre un problème peut
«valoir» trois points et la bonne réponse, deux points, ce qui fait un total de 5 points.
Un barème approprié peut prévoir des «crédits partiels» de sorte qu'une réponse donnée peut recevoir entre 0 et 5 points. C'est le codage continu. Il ne faut pas confondre
ce procédé qui admet toutes les valeurs entières entre 0 et 5 et un procédé de simple
multiplication appliqué à un codage dichotomique. Par exemple, pour accorder plus de
poids à une question à choix de réponse, qui devrait être codée « 1 » ou « 0 », on peut
attribuer la valeur de 5 points à une bonne réponse et 0 point à une mauvaise réponse.
Le codage demeure dichotomique mais le poids utilisé est fort différent du codage
«1/0».
Pour un examen «à codage dichotomique» composé de 100 questions, les pourcentages d'importance relative correspondent directement au nombre de questions ou
problèmes par cellule. Si la période réservée à l'examen impose un nombre de questions inférieur à 100, la traduction des pourcentages du tableau se fera en proportion du
nombre total de questions. Ainsi, 6 % d'importance relative se traduira par une quantité
de 3 (questions) si le nombre total de questions est 50. De pareille façon, 10 %
d'importance se traduira par la quantité de 5 (questions ou problèmes). Parfois, il faudra arrondir à l'entier près : 4 % de 70 est 2,8; ce qui se traduira par 3 questions à un
examen de 70 questions. Le tableau qui suit le corrigé de l'exercice 1, à la fin du fascicule, illustre le principe de l'arrondissement dans le cas d'un examen de 100 questions
à codage dichotomique.
Pour un examen comportant des questions ou problèmes à correction continue, il
faut tenir compte du maximum de points alloués à chaque tâche dans la traduction des
pourcentages d'importance relative en nombres de questions. Par exemple, 5 % se traduira par un seul problème codé de 0 à 5 points sur 100; 12 % se traduira par une
seule question codée de 0 à 7,2 pour un examen de 60 points au total (soit 0,12 x 60 =
7,2); 12 % pourrait aussi se traduire par deux questions codées chacune de 0 à 3,6.
Ce qu'il faut retenir est que le maximum de points à allouer au codage
des tâches d'une même cellule doit refléter le pourcentage d'importance
relative associée à cette cellule, compte tenu du nombre total de points
de l'examen.
Pour vérifier votre maîtrise de ces divers aspects d'ordre technique, complétez les
deux exercices suivants et consultez (après) le corrigé à la fin du fascicule.
EXERCICE 2 : Dans chacune des cellules du tableau théorique de spécifications
(page suivante) écrivez le nombre de questions qu'il faudrait rédiger pour obtenir
un examen de 70 questions au total; il vous faudra parfois arrondir et sacrifier
certains éléments pour arriver à un total de 70 questions ou problèmes.
TAB SPECIF (page 7)
COURS HYPOTHÉTIQUE (exercice 2)
Les nombres entre crochets sont des pourcentages -- ex. : [02] = 2 %
Niv. 1
Niv. 2
Niv. 3
Niv. 4
Contenu 1
[04]
[08]
[10]
[12]
34 %
Contenu 2
[03]
[06]
[15]
[08]
32 %
Contenu 3
[03]
[06]
[15]
[10]
34 %
7 %
20 %
40 %
30 %
EXERCICE 3 : Voici un tableau de spécifications original. Les niveaux d'objectifs ont été hiérarchisés (par exemple, les connaissances se subdivisent en deux
sous niveaux). Il existe des cellules vides (importance relative = 0 % tout simplement). Mais, il y a des éléments qui doivent être codés sur une base autre que
dichotomique.
Votre tâche consiste à répondre aux quelques questions qui
apparaissent à la suite du tableau.
Connaissances
termes
La
La
Le
Le
longueur
superficie
volume
poids
Compréhension
faits
relations
1%
1%
1%
2%
1%
1%
1%
2%
5%
3%
2%
5%
La température
2%
2%
5%
Le temps
3%
3%
10 %
TOTAL:
10 %
10 %
30 %
Habiletés complexes
utiliser des
représenter
outils de
graphiquemesure
ment
Observation
directe
Observation
directe
30 %
30 %
Pour un examen de 90 questions «objectives», codées «1/0», quel devrait être le
01 nombre approximatif de questions pour la cellule «connaissance des termes x la
longueur» ?
(écrivez votre réponse ici à droite)
02 L'observation de l'utilisation d'outils de mesure au regard de la température et du
03
04
05
temps peut se faire d'après un barème de 30 points. Combien de tâches complexes
faudrait-il créer pour satisfaire le pourcentage d'importance relative accordée à cette
habileté dans un examen de 100 points au total.
Pour un examen de 30 questions «objectives», codées «1/0», quel devrait être le
nombre approximatif de questions pour la cellule «connaissance des faits x le
volume» ?
À un examen de 50 points, quel devrait être le maximum des points à attribuer à
une seule situation d'observation de l'habileté à représenter graphiquement la
température et le temps ?
À un examen de 80 points, quel devrait être le maximum des points à attribuer à
chacune de deux situations d'observation de l'habileté à représenter graphiquement la
température et le temps ?
20 %
20 %
TAB SPECIF (page 8)
6.- En résumé.....
Le tableau de spécifications est un outil devant servir à planifier l'évaluation
sommative ou certificative, c'est-à-dire à prévoir un ensemble de procédures élaborées
pour attester du rendement scolaire d'un groupe d'élèves. Ce genre de tableau
peut également servir à planifier l'élaboration d'un seul examen et c'est
l'usage le plus répandu qui est illustré dans les manuels de docimologie.
L'examen peut être composé uniquement de questions à correction objective ou peut
contenir des questions à réponse élaborée. Le codage des réponses est dichotomique
(1/0), mais, avec des réponses élaborées, le codage est continu.
Le tableau de spécifications est également un outil qui a été conçu pour faire le
pont entre les objectifs et le contenu d'une séquence importante d'enseignement et
d'apprentissage d'une part et les instruments d'évaluation du rendement ou de la compétence des étudiants. Enfin, d'un point de vue plus technique, et dans le cas d'un
seul examen, le tableau de spécifications peut être vu comme un plan d'échantillonnage
des questions ou problèmes compte tenu du mode de codage des réponses produites par
les élèves.
Le traitement des informations fournies dans ce genre de tableau se fait à l'aide de
pourcentages d'importance relative qui apparaissent au croisement de chaque niveau ou
catégorie de comportement, d'une part, et de chaque élément de contenu ou thème,
d'autre part. La traduction de ces pourcentages, dans un examen à préparer, se fait
habituellement en nombre de questions codées «1/0». Dans le cas de tâches complexes
qui demandent un codage continu (p. ex., de 0 à 5 ou de 0 à 10), la traduction des
pourcentages d'importance relative se fait en nombre de points, par rapport à l'ensemble des points accordés pour tout l'examen.
OUVRAGES CONSULTÉS
Bloom, B. S., Hastings, J. T. & Madaus, G. F. (1971). Handbook on formativ e and summative
evaluation of student learning. New York: McGraw-Hill Book Co.
Bloom, B. S., Madaus, G. F. & Hastings, J. T. (1981). Evaluation to improve learning. New York:
McGraw-Hill Book Co.
De Landsheere, G. (1992). Évaluation continue et examens: précis de docimologie (6e éd.). Bruxelles:
Labor.
Gouvernement du Québec (Ministère de l'éducation) (1988). Éléments de docimologie, fascicule 4:
L'évaluation sommative. Québec: Direction générale du développement pédagogique.
Gouvernement du Québec (Ministère de l'éducation) (1981). Guide docimologique, fascicule 5
Conseils pratiques pour la construction d'un instrument de mesure. Québec: Direction générale du
développement pédagogique.
TAB SPECIF (page 9)
Gronlund, N. E. (1981). Measurement and evaluation in teaching (4e éd.). New York: MacMillan
Publishing Co., Inc.
Morissette, D. (1993). Les examens de rendement scolaire (3e éd.). Sainte-Foy: Les Presses de
l'Université Laval.
CORRIGÉ DES EXERCICES
CORRIGÉ DE L'EXERCICE 1
COURS DE STATISTIQUE DESCRIPTIVE
Cueillette des inform.
Description statistique
Mes. de tendance centr.
Mesures de dispersion
Corrélation
CONNAISSANCE
0,5 %
2,0 %
3,0 %
3,0 %
1,5 %
10 %
COMPRÉHENSION
1,5 %
6,0 %
9,0 %
9,0 %
4,5 %
30 %
APPLICATION
3,0 %
12,0 %
18,0 %
18,0 %
9,0 %
60 %
5 %
20 %
30 %
30 %
15 %
100 %
Les pourcentages en italiques ont été exprimés à un dixième près. Si on ignore les règles du degré
de précision, 2 % signifie la même chose que 2,0 % dans cet exemple. On doit vérifier également
que la somme des pourcentages inscrits dans les cellules est bien 100 %. Pour des raisons de
commodité, on peut arrondir à l'entier près les pourcentages ci-dessus. Dans un examen de 100
questions, codées 1 point chacune, on ne peut avoir 0,5 question. Il sera plus commode alors de
traduire les pourcentages du tableau en nombres naturels (nombres indiquant une quantité de
questions ou de problèmes). Après certains ajustements, pour un examen de 100 questions, on
aurait le tableau suivant:
COURS DE STATISTIQUE DESCRIPTIVE
nombre de questions ou problèmes à coder 1 point chacune
pour un examen de 100 questions ou problèmes
Cueillette des inform.
Description statistique
Mes. de tendance centr.
Mesures de dispersion
Corrélation
CONNAISSANCE
1
2
3
3
2
11
COMPRÉHENSION
1
6
9
9
4
29
APPLICATION
3
12
18
18
9
60
5
20
30
30
15
100
Dans certains cas, il ne sera pas possible de créer, pour chaque cellule, autant de questions que
les nombres qui seront indiqués. Par exemple, sera-t-il possible de rédiger 18 problèmes d'application de mesures de dispersion ? On peut faire entrer ici une autre façon d'assurer l'importance
relative de cette cellule. Avec trois (3) problèmes d'application, on pourrait leur accorder 6 points
chacun, pour autant que l'on puisse échelonner le nombre de points, de 0 à 6, pour chaque problème. Ainsi, l'importance relative associée à cette cellule du tableau, sera respectée non pas en
nombre de problèmes mais en degré de pondération des points accordés.
TAB SPECIF (page 10)
CORRIGÉ DE L'EXERCICE 2
Niv. 1
Contenu 1
[04]
Niv. 2
[08]
3
Contenu 2
[03]
[06]
[03]
7
[15]
[06]
10
[15]
4
20 %
34 %
8
[08]
4
2
7 %
Niv. 4
[12]
6
2
Contenu 3
Niv. 3
[10]
32 %
6
[10]
11*
40 %
34 %
7
30 %
La stratégie utilisée ici a été d'ajuster les pourcentages de chaque colonne. 15 % se traduit par 10
dans un cas et par 11 dans l'autre pour obtenir 28 questions dans la troisième colonne. Il faut vérifier
que la somme des questions prévues dans les cellules est bien 70, le nombre total de questions dans
l'éxamen à élaborer.
CORRIGÉ DE L'EXERCICE 3
01 1 % de 90 (ou 90 x 0,01) = 0,9;
En arrondissant on obtient 1.
02 La cellule indique 30 % d'importance relative. Il nous faut donc 30 points sur 100.
1 quest.
1 seule
tâche
La cellule visée indique 1 %; 1% de 30 (ou 30 x 0,01) = 0,3; 0 quest. ou 1 quest.
03 NOTE: ici l'arrondissement est forcé; peut-être, faudra-t-il ajuster avec d'autres
éléments si on élabore une question à cette cellule ?
04 La cellule indique 20 % des points (ou d'importance relative); 20% de 50 = 10
05 La cellule visée indique 20 %; 20 % de 80 = 16 points; avec 2 sit., chacune = 8
0 ou 1
10 pts
8 pts