Factors that might undermine the validity of patient and multi

Balado sur la documentation clé en éducation médicale
(KeyLIME)
Responsable : Jason R. Frank
Date de diffusion :
Factors that might undermine the validity of patient and multi-­‐source feedback. Référence :
Archer J, McAvoy P. Factors that might undermine the validity of patient and multi-source feedback.
Medical Education; 45 (9): 886-893
Établissement auteur :
Peninsula College of Medicine & Dentistry, University of Plymouth, Drake Circus, Plymouth, R.-U.
URL PubMed
Marqueurs
Domaine clinique
Professionnel
Général
Domaine éducatif
Évaluation
Contexte
La rétroaction multisources (tous azimuts), méthode d’évaluation empruntée au
monde des affaires, est de plus en plus populaire en médecine. Plusieurs aspects
importants lui ont cependant valu des critiques, y compris :
• La capacité de distinguer le rendement médiocre du rendement satisfaisant;
• L’effet de permettre aux personnes évaluées de choisir leurs évaluateurs
(bonne idée, selon Ramsey et coll.);
• L’incidence des caractéristiques de l’évaluateur sur les résultats;
• L’utilité de la rétroaction multisources par rapport à l’évaluation directe par
les patients.
Objectif
Au R.-U., Archer et McAvoy ont étudié un groupe de médecins devant faire l’objet
d’une évaluation plus poussée en raison d’une perte présumée de compétences, afin
de répondre aux questions suivantes...
1. La rétroaction multisources ou l’évaluation par les patients peut-elle être
utilisée pour comparer des médecins au rendement médiocre à un groupe de
référence?
2. La sélection des évaluateurs a-t-elle un effet sur les résultats de l’évaluation?
3. Quelles caractéristiques des évaluateurs contribuent aux écarts dans ces
résultats?
Type de document
Rapport de recherche : observation
Principales caractéristiques de la méthodologie
Les auteurs participent à un programme national d’évaluation des médecins au R.U.; ils ont formé un groupe de 68 médecins devant être évalués en raison d’un
rendement médiocre et les ont comparés à un groupe de référence national de
123 médecins. À l’aide d’instruments normalisés de rétroaction multisources (SPRAT)
et d’évaluation par les patients (SHEFFPAT), ils ont comparé les résultats des
évaluateurs choisis par les médecins et ceux d’un évaluateur désigné par un organe
institutionnel. Ils ont ensuite comparé les résultats de la rétroaction multisources et
de l’évaluation par les patients. Ils ont aussi analysé l’effet des caractéristiques de
l’évaluateur (p. ex., âge, sexe, ancienneté) sur les résultats.
Principaux résultats
L’instrument de rétroaction multisources a permis d’établir une distinction entre le
« groupe à surveiller » et le groupe de référence général. La moyenne des résultats
était inférieure (4,22 par rapport à 5,27/6); l’écart type de 1 ou 2 % étant aussi
inférieur à la moyenne nationale (90 %, 68 %). Dans 28 % des cas, la moyenne des
résultats était de niveau inférieur à « satisfaisant ». Dans 76 % des cas, au moins un
commentaire avait été ajouté au sujet de l’incidence de la santé ou de l’intégrité sur
la pratique, comparativement à 6 % dans le groupe national.
Les évaluateurs choisis par les médecins étaient beaucoup moins sévères et
défavorables.
Les caractéristiques de l’évaluateur n’ont contribué à l’écart que dans une proportion
de 3,5 %.
Les évaluations par les patients n’établissaient aucune distinction en matière de
rendement et étaient favorables.
Principales conclusions
Les auteurs concluent que l’outil de rétroaction multisources SPRAT permet de cibler
les médecins pouvant avoir un rendement médiocre. Il importe de souligner que
dans leurs évaluations, les évaluateurs choisis par les médecins et les patients
étaient moins sévères.
Cette étude est intéressante et remet en question certaines observations formulées
au sujet de la rétroaction multisources.
Elle peut aussi servir de tremplin pour discuter des menaces en matière de validité et
de fiabilité, de multiples questions étant soulevées par les méthodes et les concepts.
Nous devrions peut-être tous avoir recours plus souvent à des évaluateurs désignés
par des institutions et à des instruments de rétroaction multisources pour évaluer la
compétence des médecins.
Commentaires supplémentaires à l’intention des
cliniciens enseignants