Evaluation sommative en simulation

Evaluation sommative
en simulation
Travail de mémoire
Diplôme Universitaire
de Formateur à l’Enseignement de la Médecine sur Simulateur
Faculté de médecine de Paris Descartes, Paris
Avril 2016
Jacques Berthod, infirmier anesthésiste
Responsable de formation, Service d’Anesthésiologie et de Réanimation,
CHVR, Hôpital du Valais, Suisse

page 1/22
Evaluation sommative en simulation
Jacques Berthod, infirmier anesthésiste
Responsable de formation, Service d’Anesthésiologie et de Réanimation,
CHVR, Hôpital du Valais, Suisse
Table des matières
1. Préambule _____________________________________________________________ 2
2. Evaluation en simulation selon le modèle de Kirkpatrick, modifié par Phillips ______ 2
3. Les différentes formes d’évaluation en andragogie ____________________________ 3
3.1. L’évaluation formative ___________________________________________________ 4
3.2. L’évaluation sommative __________________________________________________ 4
3.3. L’auto-évaluation ________________________________________________________ 4
3.4. L’évaluation diagnostique _________________________________________________ 4
3.5. Les différentes formes d’évaluation dans le modèle de Kirkpatrick _______________ 4
4. Evaluation formative et évaluation sommative dans la formation suisse des infirmiers
anesthésistes _______________________________________________________________ 4
4.1. Evaluation semestrielle sommative __________________________________________ 5
5. Evaluation formative et sommative en simulation en dehors de la santé ___________ 6
5.1. L’aéronautique __________________________________________________________ 6
5.2. La marine marchande ____________________________________________________ 7
5.3. L’industrie nucléaire _____________________________________________________ 7
6. Evaluation formative et sommative en simulation dans les professions de la santé ___ 7
6.1. Evaluation formative _____________________________________________________ 7
6.2. Evaluation sommative ____________________________________________________ 7
6.2.1. Expériences dans l’évaluation sommative en simulation chez les médecins anesthésistes ______ 8
6.2.2. Expériences dans l’évaluation sommative en simulation chez les infirmiers et les infirmiers
anesthésistes. ________________________________________________________________________ 9
6.2.2. Limites de l’évaluation sommative en simulation ____________________________________ 10
6.3. Aspects psychométriques de l’évaluation sommative en simulation : ____________________ 10
les établissements de scores ____________________________________________________________ 10
7. Intégration de l’évaluation sommative en simulation pour les infirmiers en formation
d’anesthésie ______________________________________________________________ 13
7.1. Analyse des données et constitution des situations cliniques ____________________ 13
7.2. Objectifs d’apprentissage ________________________________________________ 13
7.3. Types de situations et choix des scénarios ___________________________________ 14
7.4. Référencement pour la création de scénarios ________________________________ 14
7.5. Rédaction des scénarios et établissement des grilles d’évaluation ________________ 16
7.6. Déroulement du projet __________________________________________________ 17
8. Evaluation en simulation dans les professions de la santé en formation continue ___ 17
9. Conclusion ___________________________________________________________ 19
10. Annexes _____________________________________________________________ 22

Page 2/22
Evaluation sommative en simulation
« L’évaluation influence fortement la motivation d’un étudiant à apprendre, en lui fournissant
des informations qui participent à son sentiment de compétence par rapport aux tâches
d’apprentissage proposées. » Jean Jouquan (12)
1. Préambule
Responsable de formation pratique dans mon institution pour les professionnels infirmiers en
formation d’anesthésiologie (PFA), je dois cependant suivre les instructions d’un centre de
formation reconnu sur le plan suisse et auquel mon hôpital est lié par convention, le CHUV1.
Parmi mes tâches de formateur, je suis chargé d’évaluer régulièrement les PFA de manière
formative, et également tous les six mois de façon sommative. Deux éléments doivent être
évalués séparément : la réalisation d’une anesthésie générale et la qualité du travail du
semestre écoulé. Les deux éléments doivent être validés pour poursuivre la formation. L’outil
d’évaluation du travail des 6 derniers mois est basé sur une liste de 87 items, qui correspond
chacun à une compétence précise. Un logiciel calcule ensuite le rapport entre les compétences
dont le niveau est considéré comme « normatif » et celles où le niveau est insuffisant. Ce
rapport en % du maximum de points possibles permet, en appliquant un tableau de
correspondance, de connaître la note. Parmi ces 87 items, je dois notamment évaluer leurs
compétences lorsque le patient se trouve en danger vital selon 5 critères pré-définis, et dont le
niveau taxonomique évolue en cours de formation.
Souvent, j’ai été confronté à la difficulté de savoir comment évaluer un PFA sur les
compétences en situation d’urgence, parce que je n’avais pas réellement de situation vécue
par le PFA me permettant d’avoir un jugement objectif, surtout en première année de
formation.
L’hypothèse de mon travail est que la simulation, sous certaines conditions, pourrait me
permettre d’évaluer les PFA en situation d’urgence lors de séances de simulation. Des
scénarios pré-établis seraient les cas d’examen. La complexité de ces situations et le niveau de
compétences attendues grandirait avec l’expérience du PFA.
2. Evaluation en simulation selon le modèle de Kirkpatrick, modifié par Phillips
Le travail du formateur ne consiste pas seulement à transmettre un savoir, mais également à
vérifier que ce savoir a été assimilé par le participant. L’évaluation, sous différentes formes,
doit pouvoir répondre à cette interrogation. Parmi les nombreuses théories sur l’évaluation,
celle de Donald Kirkpatrick, chercheur américain, fait référence dans la formation en
entreprise. Ce concept, publié en 1959, est composé de 4 niveaux. Il permet au formateur
d’évaluer la qualité de sa formation. Certains, dont Phillips en 1997, ont proposé des
variantes, en voulant également évaluer le retour sur investissement (1), ajoutant ainsi le
critère de l’efficience de la formation. On aboutit ainsi à une échelle à 5 niveaux progressifs
qui comprend :
1) La réaction (le degré de satisfaction des apprenants)
2) Les apprentissages (acquisition des connaissances, habiletés et/ou attitudes)
3) Les comportements (transfert sur le lieu de travail des apprentissages)
1 CHUV : Centre Hospitalier Universitaire Vaudois, centre de formation auquel est rattaché l’Hôpital du Valais

Page 3/22
4) Les résultats (impact de la formation sur l’entreprise avec augmentation de la
performance)
5) Le retour sur investissement (rapport entre le coût de la formation et les bénéfices ou
économies engendrées par celle-ci)
L’échelle de Kirkpatrick est souvent utilisée pour évaluer la formation en simulation,
habituellement sur les 3 premiers niveaux, rarement sur le 4ème niveau. Il est en effet difficile
de prouver que l’amélioration de la qualité des soins aux patients est due uniquement à la
formation en simulation. Le 5ème niveau ajouté par Philips qui concerne l’efficience est encore
plus difficile à évaluer en médecine. La formation en simulation a souvent un coût élevé à
cause de l’investissement en matériel, locaux, temps et personnel nécessaire. Si l’objectif de
toute formation en santé est d’améliorer la qualité des soins aux patients, la formation en
simulation vise souvent la réduction des événements graves indésirables en mettant les
participants dans des situations critiques, comme l’arrêt cardiaque, ou l’intubation difficile.
Comme tous les hôpitaux cherchent à diminuer ces événements, ils mettent en place différents
moyens (p.ex. : création de check liste, algorithmes, colloques de revue morbidité-mortalité)
pour y parvenir. La formation en simulation n’est qu’un des moyens et il est très difficile de
quantifier l’impact de la simulation dans la diminution des événements graves indésirables, et
donc des coûts de la santé pour un hôpital précis.
3. Les différentes formes d’évaluation en andragogie
Si l’art et la science d’enseigner aux enfants désignent la pédagogie, le même concept
appliqué aux adultes s’appelle l’andragogie. Dans la forme traditionnelle de l’enseignement
aux enfants, l’enseignant décide du contenu de la formation, et son expérience sert de
fondement à son apprentissage. La motivation des apprenants est stimulée par des signes
extérieurs comme des notes ou des approbations. En andragogie, les adultes sont prêts à
apprendre si les connaissances leur permettent d’affronter des situations réelles.
L’apprentissage ne peut être dissocié du besoin de développement. Les adultes apprennent
mieux si les connaissances, les compétences et les attitudes sont présentées dans le contexte
de leur mise en application sur des situations réelles. Les adultes sont motivés intérieurement
par le désir d’accroître leur satisfaction professionnelle et leur estime de soi (2).
L’évaluation est l’action de comparer des éléments (processus, action, réflexion) issus d’un
observable (ou référé) avec un référent (compétences et connaissances attendues) à l’aide de
critères qualitatifs ou quantitatifs pour produire une information éclairante sur l’observable,
afin de prendre une décision (3).
Comme l’a expliqué le Pr. Jean-Michel Chabot dans le cours de pédagogie destiné aux
formateurs en simulation, l’évaluation est l’élément le plus important du cercle vertueux de
l’éducation qui comprend l’analyse des besoins, la formulation des objectifs, la définition des
moyens d’apprentissage et enfin l’évaluation des compétences. Il conditionne l’apprentissage
de l’étudiant et détermine ainsi un niveau minimal de connaissances ou de compétences à
acquérir pour obtenir une certification, ou un diplôme.
En pédagogie comme en andragogie, on trouve 4 différentes formes d’évaluation :
- l’évaluation formative
- l’évaluation sommative
- l’auto-évaluation
- l’évaluation diagnostique/ou pronostique

Page 4/22
3.1. L’évaluation formative
Elle fait partie intégrante du processus d’apprentissage et sert à recueillir les informations
permettant de connaître le degré de maîtrise atteint, et situer les difficultés éventuelles des
apprenants afin de leur proposer ou de leur faire découvrir les moyens de les surmonter. Elle
se veut un outil d’aide aussi bien pour l’enseignant que pour l’apprenant. L’erreur de l’élève
est perçue comme moyen de résolution des problèmes (4). Dans un programme de formation,
elle devrait composer la majeure partie des différentes formes d’évaluation.
3.2. L’évaluation sommative
Elle a pour but de sanctionner (positivement ou négativement) un acte d’apprentissage afin de
valider un niveau de compétences correspondant à une norme. Une série d’indicateurs permet
d’objectiver et de quantifier cette évaluation (5). Elle est nécessaire dans la formation initiale,
car elle permet soit le passage à une étape ultérieure de formation, soit sur une reconnaissance
officielle d’un niveau normé de compétences (certificat, diplôme).
3.3. L’auto-évaluation
L’auto-évaluation est la seule des différentes formes d’évaluation qui est pratiquée par le
participant, et non pas par le formateur. Son but est de permettre au participant de découvrir
par lui-même ses forces et ses faiblesses, et également les moyens de s’améliorer. Cet
apprentissage n’est pas toujours facile, parce qu’il implique de porter un regard critique sur
soi-même, à l’aide de critères et de marqueurs prédéfinis (6).
3.4. L’évaluation diagnostique
Elle a pour but de faire le point à un moment donné sur un certain niveau de compétences
et/ou de connaissances. Tout processus idéal de formation devrait commencer par une
évaluation diagnostique afin que le formateur adapte son cours en fonction des connaissances
acquises. Pour le pédagogue Dominique Courtillot (7), l’évaluation diagnostique doit être
courte, décontextualisée autant que possible, non notée et peut se faire individuellement ou en
groupes.
3.5. Les différentes formes d’évaluation dans le modèle de Kirkpatrick
Ces quatre formes d’évaluation se retrouvent dans les trois premiers niveaux du modèle de
Kirkpatrick. En demandant au participant d’auto-évaluer son degré de satisfaction à la fin
d’une formation, on recherche à quantifier le 1er niveau. Un pré-test avant une formation
permet de faire une évaluation pronostique et servira à évaluer les apprentissages avec le post-
test (2ème niveau). Le post-test, réalisé en fin de formation, est une évaluation formative ou
sommative du 2ème niveau. Enfin, un examen des compétences réalisé au lit du patient, au
terme d’une formation initiale, est une évaluation sommative du 3ème niveau du modèle de
Kirckpatrick.
4. Evaluation formative et évaluation sommative dans la formation suisse des
infirmiers anesthésistes
Selon le référentiel des études post-diplôme (8) du CHUV, « l’évaluation formative est
centrée sur le processus d’apprentissage du PFA. Elle permet de suivre l’évolution des
compétences, le niveau d’atteinte des objectifs fixés et de déterminer les axes de progression.
Elle ne fait pas l’objet d’une notation, mais d’annotations dans le référentiel de compétences.
L’évaluation formative repose sur les capacités d’auto-évaluation et de réflexivité. Elle est
pratiquée tout au long des études, entre autres lors d’enseignements cliniques, de supervision,
d’analyse de pratiques, d’encadrements ponctuels ou d’études de cas.