La conception des échelles descriptives

L’évaluation des compétences en stage,
conception et expérimentation d’échelles à énoncés
descriptifs en éducation à l’enfance
Julie Lyne Leroux
Cégep de St-Hyacinthe
Étudiante au doctorat
Université de Sherbrooke
Colloque de l'ACFAS Mai 2004
Colloque de l'ACFAS Mai 2004
Le profil de sortie de
l’éducatrice professionnelle
En concertation avec les parents, l’équipe de travail et les communautés;
En contribuant à l’organisation pédagogique et administrative du service de garde
Colloque de l'ACFAS Mai 2004
Techniques d’éducation à l’enfance
(322.AO)
liste des compétences
4 axes
•
• Travail en équipe et
créativité
L’intervention:observer
l’enfant pour intervenir
Les routines: santé,
sécurité, alimentation
Le programme éducatif: la
planification, l’animation et
l’évaluation
Colloque de l'ACFAS Mai 2004
Les stages
• Stage d’implication (1-5-1)
90 heures
1e année (2e trimestre)
Stage d’animation (1-11-1)
180 heures
2e année (4e trimestre)
Stage d’intervention (1-15-1)
240 heures
3e année (5e trimestre)
Colloque de l'ACFAS Mai 2004
Paradigme d’évaluation
Passage d’un paradigme traditionnel centré
sur l’enseignement
vers un paradigme centré sur l’apprentissage.
Huba et Freed (2000)
Colloque de l'ACFAS Mai 2004
Quels sont
les changements
sur
les pratiques évaluatives ?
Colloque de l'ACFAS Mai 2004
Comparaison des pratiques
d’évaluation. Scallon (2004)
Perspective traditionnelle
•
•
•
•
L’élève répond à des questions à
réponse brève ou à choix multiples
Les questions ou les problèmes ont
un caractère artificiel , abstrait ou
scolaire
Les conditions s’observation sont
absolument identiques et uniformes
pour tous les individus.Il y a peu de
communication entre l’enseignant et
l’élève.
En matière de rendement, on
considère une seule dimension à la
fois, et plus particulièrement la
dimension cognitive.
Perspective nouvelle
•
•
•
•
Les tâches ou les problèmes exigent
que l’élève construise une réponse
élaborée
Les problèmes sont réalistes c’est-àdire liés è ceux de la vie courante
L’élève évalué peut formuler des
commentaires et l’enseignant peut
poser des sous-questions.
L’observation est contextualisée,
c’est-à dire qu’elle repose sur des
situations permettant d’observer
l’individu sous plusieurs aspects.
Colloque de l'ACFAS Mai 2004
Comparaison des pratiques
d’évaluation. Scallon (2004)
Perspective traditionnelle
•
•
•
•
•
L’interprétation se fonde
habituellement sur la comparaison
entre les élèves. Ce qui doit être
réussi par l’élève n’est pas décrit de
façon précise.
La mesure est privilégiée dans la
perspective traditionnelle (tests,
examens objectifs)
L’observation porte sur le produit
L’évaluation et l’apprentissage ont
lieu à des moments distincts.
L’élève n’évalue pas ses productions
Perspective nouvelle
•
•
•
•
•
L’individu est de plus en plus
souvent évalué au regard de
standards de performance, c’est-àdire d’ exigences qui ne sont pas
liés au rang qu’il occupe dans un
groupe.
La mesure demeure mais doit
débouché sur un jugement explicite.
On s’intéresse à ce que l’élève sait
faire et comment il le fait.
L’évaluation est intégrée à
l’apprentissage
L’évaluation de tous les jours se
démarque de l’évaluation
certificative. L’élève peut,à divers
degrés, participer à l’évaluation de
ses apprentissages.
Colloque de l'ACFAS Mai 2004
Comment adapter
nos pratiques évaluatives
dans une approche
par compétences ?
Colloque de l'ACFAS Mai 2004
Mise en place d’une pratique évaluative
• qui s’appuie sur le jugement expert
• qui propose des tâches complexes et des
problèmes réalistes de la vie courante
• qui conçoit des échelles descriptives pour
observer en contexte réel.
• qui fait participer l’élève à l’évaluation des
apprentissages.(autoévaluation, autocorrection)
• qui propose un algorithme décisionnel précisant le
niveau de performance et les seuils de réussite
pour chaque critère.
Colloque de l'ACFAS Mai 2004
Processus de conception
Première étape:
Les objets d’évaluation et le choix
des tâches complexes
Troisième étape:
L’algorithme de décision
Deuxième étape:
La conception des échelles
descriptives
Quatrième étape:
L’expérimentation et la validation
Colloque de l'ACFAS Mai 2004
Première étape:
Les objets d’évaluation et le choix des
tâches complexes
1. Le profil de sortie
2. L’identification des compétences
3. Le regroupement des compétences
4. L’identification de ou des tâches complexes
5. La sélection des objets d’évaluation et conception
d’un schéma intégrateur
Colloque de l'ACFAS Mai 2004
Schéma intégrateur
Colloque de l'ACFAS Mai 2004
Deuxième étape :
La conception des échelles descriptives
Tableau 5.1 La grille à échelle descriptive à quatre niveaux (Leroux, 1999)
Le critère
Seuils de performance
Incompétence
Compétence
Une échelle des descriptions qualitatives des éléments de la compétence (les objets d’évaluation) à l’aide des critères de
performance. Les seuils de performance sont précisés d’un niveau supérieur vers un niveau inférieur (ex. : compétence
supérieure vers la compétence insuffisante).
Notes explicatives[1]
Compétence insuffisante
Compétence minimale
Compétence moyenne
Compétence supérieure
[1] Les notes explicatives sont des précisions quant aux termes utilisés, aux références (modèles, structure, processus, grille de vérification) inférées
afin d’alléger le texte et de situer les utilisateurs de l’échelle.
Colloque de l'ACFAS Mai 2004
Deuxième étape :
La conception des échelles descriptives
Questions à se poser :
1- Quels critères sont à considérer ou quels éléments essentiels
doivent être présents dans les travaux, les productions ou les tâches
exécutées par des étudiants, garants d’une production de grande
qualité ?
2- Combien de niveaux de compétence ou de réussite choisissons-nous
de présenter aux étudiants ?
3- Est-ce qu’il y a un contexte ou un délai de réalisation spécifique à
l’exécution de la tâche ?
4- Pour chaque critère ou élément qualitatif, quelle description claire
énonce-t-on des performances propres à chaque niveau de
compétence ?
Colloque de l'ACFAS Mai 2004
Deuxième étape :
La conception des échelles descriptives
Questions à se poser- suite
5- Quels concepts ou termes-clés devrons-nous préciser?
6- Dans le contexte d’une évaluation sommative ou certificative, quel
type ou modèle de notation allons-nous utiliser pour produire un
résultat ?
7- Lorsque j’utilise une échelle à énoncés descriptifs, quels aspects
fonctionnent bien et lesquels doivent être améliorés ?
Colloque de l'ACFAS Mai 2004
Échelle à énoncés descriptifs
4 niveaux
Colloque de l'ACFAS Mai 2004
Notes explicatives
Colloque de l'ACFAS Mai 2004
Échelle à énoncés descriptifs
2 niveaux- dichotomique
Colloque de l'ACFAS Mai 2004
Notes explicatives
Colloque de l'ACFAS Mai 2004
Grille d’autoobservation des activités de routine et des soins
d’hygiène
Routine 2: changement de couche
Colloque de l'ACFAS Mai 2004
Grille d’autoobservation des activités de routine et
des soins d’hygiène
Routine 2: changement de couche
Colloque de l'ACFAS Mai 2004
Grille d’autoanalyse de mes interventions sur-le-champ
Colloque de l'ACFAS Mai 2004
Troisième étape :
l’algorithme de décision
• Qu’est-ce qu’un algorithme de décision ?
L’algorithme de décision est un processus. Selon Legendre
(1993), il s ’agit d’une « procédure structurée en un nombre fini
d’opérations » ayant pour but de définir le niveau d’atteinte des
compétences exigé de l’étudiant.
• Pourquoi un algorithme de décision ?
Parce que la mesure de la maîtrise d’une compétence s’accorde
mal avec les pratiques actuelles de comptabilisation des notes
qui ont cours au collégial.
L’ensemble des opérations constituant ce processus, plutôt que
l’addition de résultats, nous permet de construire l’algorithme
décisionnel qui précise les seuils de réussite à atteindre pour
chacun des critères que comporte l’instrument d’évaluation.
Colloque de l'ACFAS Mai 2004
Trois étapes
dans la construction
d’un algorithme de décision
Colloque de l'ACFAS Mai 2004
Procédures d’établissement de standards pour l’évaluation des
performances: le jugement du profil dominant
Leroux, J.L.(2001) adapté de Jaeger, Hambleton et Plake (1997)
Colloque de l'ACFAS Mai 2004
Profil de réussite minimal-Moyen- 70%
Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)
Colloque de l'ACFAS Mai 2004
Feuille de notation
Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)
Colloque de l'ACFAS Mai 2004
Profil du niveau de réussite minimal-moyen notation 70%
Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)
Colloque de l'ACFAS Mai 2004
Sommaire des résultats sommatifs au stage d’implication
Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)
Colloque de l'ACFAS Mai 2004
Quatrième partie :
l’expérimentation et la validation
Validité interne :
Validité de construit
Validité de contenu
Fidélité:
Consistance interne
Colloque de l'ACFAS Mai 2004
La validité interne
Validité
de contenu**
Validité
de construit*
* réfère aux qualités de
la structure de l’instrument
**réfère au respect des
critères à mesurer
Colloque de l'ACFAS Mai 2004
La validité interne
•
Validité
de construit*
•
•
•
•
•
•
Connaissance théorique de l’évaluation en
situation authentique
Méthodologie s’appuyant sur des écrits
Processus structuré et schématisé
Rétroaction fréquente et critique sur le
processus de conception de l’instrument
Consignes précises et écrites
Vérification de la compréhension à
chacune des étapes
Encadrement par tutorat
Colloque de l'ACFAS Mai 2004
La validité interne
•
•
Validité
de contenu
•
•
•
•
•
Conception des compétences par des
groupes d’experts
Analyse rigoureuse des objets
d’évaluation
Identification de la tâche
Conception et présentation d’un
schéma intégrateur en lien avec la
tâche
Partage d’expertise entre les experts
(coenseignement)
Critères en lien avec les compétences
ciblées
Rétroaction fréquente et critique de
tous les enseignants impliqués quant
au choix des critères retenus
Colloque de l'ACFAS Mai 2004
La fidélité
Consistance
Interne
• Réfère à la tendance de différents
items à évoquer la même réponse,
d’un répondant à l’autre, lors de la
même administration de l’instrument
(Martella, Nelson, MarchandMartella,1999).
• C’est la constance de
l’interprétation(de deux personnes)
face aux items de la mesure
(Louis,1999).
Colloque de l'ACFAS Mai 2004
Consistance
Interne
Consistance
Interne
•
Rencontres de clarification des
énoncés entre les enseignantes
avant, pendant et après l’utilisation
des nouveaux instruments.
•
Présentation aux étudiants, en début
de session, de la signification des
énoncés descriptifs.
•
Rétroaction fréquente et critique de
tous les enseignants impliqués dans
l’utilisation des nouveaux
instruments d’évaluation des
compétences.
Colloque de l'ACFAS Mai 2004
Constats préliminaires
Trois niveaux d’analyse qualitative :
1- Conception des outils
2- Expérimentation des outils
3- Pertinence des caractéristiques des énoncés
descriptifs
Colloque de l'ACFAS Mai 2004
Constats préliminaires concernant la
Conception des outils :
Difficultés :
Forces :
-
Nécessité du travail en
équipe avec ses pairs
-
-
Nécessité du retour au
devis ministériel
-
-
Travail en petites équipes
d’experts
-
La direction d’une telle
démarche par des pairs d’un
même département peut
être difficile dans certains
cas.
L’importance du changement
de paradigme nécessite une
formation préparatoire plus
longue en évaluation.
Le caractère novateur d ’une
telle pratique évaluative
provoque incertitude et
scepticisme quant à
l’utilisation des grilles.
Colloque de l'ACFAS Mai 2004
Constats préliminaires : Expérimentation des outils
Forces :
- Total alignement de
l’enseignant sur ses objectifs.
- Le milieu de travail se reconnaît
davantage dans les critères
évalués.
- Prise de conscience par les
étudiants et les enseignants de
la nature complexe d’une
compétence.
- Une fois rédigés, les savoirs
être sont plus faciles à
observer.
Difficultés :
- Grande insécurité des étudiants
face à ce nouveau mode
d’évaluation.
- Désintéressement des étudiants
face aux contenus de cours plus
généraux.
- Irréalisme de certaines grilles.
- Étudiants soumis sans préavis ni
préparation à un paradigme
d’évaluation non connu.
Colloque de l'ACFAS Mai 2004
Constats préliminaires :
Pertinence des caractéristiques des énoncés
Forces :
- Très en lien avec la situation
authentique, les critères
annoncés, les caractéristiques
des tâches complexes et les
niveaux de performance.
- Permettent de mieux mesurer
une compétence dans sa
globalité
- Plus en lien avec ce qui a été
enseigné dans le nouveau
programme.
Difficultés :
- Certains énoncés sont
incomplets.
- Attentes imprécises.
- Vocabulaire mal défini.
- Seuil de réussite ou standards
parfois trop élevés.
- Algorithme décisionnel à
retravailler
Colloque de l'ACFAS Mai 2004
Conclusion
- Cette expérience favorise la concertation et oblige les
intervenants d’une équipe départementale à échanger au
niveau des contenus mais aussi au niveau des pratiques
d’évaluation.
-
Mettre l’accent sur la validation du processus
de conception plutôt que sur l’instrument.
-
Ce nouveau paradigme d’évaluation nécessite des
changements de pratiques importants. Il est urgent de
documenter ces pratiques dans le milieu collégial.
Colloque de l'ACFAS Mai 2004
«En terminant, nous croyons que cette pratique évaluative est
un pas de plus afin de soutenir le développement des
compétences de l’éducatrice professionnelle «en
formation» qui sera engagée quotidiennement dans le
développement et le maintien d’un service de garde de
qualité.»
Leroux,J.L. (2004)
Colloque de l'ACFAS Mai 2004