Résumé Keylime Responsable : Janet Bull (gagnante du concours KeyLIME) Date de diffusion : Reconceptualizing variable rater assessments as both an educational and clinical care problem Référence : Kogan JR1, Conforti LN2, Iobst WF3, Holmboe ES4. Reconceptualizing Variable Rater Assessments as Both an Educational and Clinical Care Problem, Academic Medicine 2014, 89 (5): 721-7 Établissements auteurs : 1 Dept of Medicine, University of Pennsylvania Perelman School of Medicine, Philadelphie (Pennsylvanie), É.-U. 2 American Board of Internal Medicine, Philadelphie (Pennsylvanie), É.-U. 3 Commonwealth Medical College, Scranton (Pennsylvanie), É.-U. 4 Accreditation Council for Graduate Medical Education, Chicago (Illinois), É.-U. Marqueurs Domaine clinique Expert médical Communicateur Domaine éducatif Programme d'études Enseignement et apprentissage Évaluation (Résidence) Contexte Le public, depuis plus de 15 ans, appelle la profession médicale et l’éducation médicale à améliorer l’obligation de rendre des comptes en ce qui a trait à la qualité et la sécurité des soins de santé, et des soins axés sur les patients. Cependant, le domaine de la formation médicale semble hésitant quant à l’adoption d’une méthode fiable d'évaluation des stagiaires. La question de l’amélioration de la fiabilité interévaluateurs en ce qui concerne l’évaluation des stagiaires en médecine est très controversée dans la littérature sur l'éducation médicale. Objectifs Kogan et coll. repensent le problème de la fiabilité inter-évaluateurs comme étant non seulement un problème éducatif émaillé de difficultés psychométriques, mais également un problème essentiel pour les soins cliniques. Selon les auteurs, le cadre de référence approprié pour les stagiaires devrait porter sur les décisions relatives à tous les niveaux de supervision appropriés pour la prestation de soins sécuritaires et de haute qualité aux patients. Type de document Commentaire/Perspective Principales caractéristiques de la méthodologie Pas de méthode. Principaux résultats Une équation conceptuelle mettant en exergue que les actes du stagiaire dépendent des compétences associées à une supervision appropriée, et cela doit se traduire par des soins efficaces, sécuritaires et axés sur le patient : Performance du stagiaire x supervision adéquate = soins sécuritaires, efficaces et axés sur le patient Principales conclusions Selon Kogan et coll., un intervenant essentiel est absent dans nos évaluations des stagiaires en médecine : le patient! Les auteurs indiquent que l’observation précise sousentend la détermination de la présence ou de l’absence de compétences cliniques appropriées et les résultats importants pour les patients. En fait, ils vont même jusqu’à argumenter que si un outil d’évaluation « ne prend pas en compte des résultats de soins sécuritaires, efficaces et axés sur le patient, l’utilité de cette évaluation est nulle et non avenue ». Cet article est important étant donné que d’autres auteurs conseillent aux éducateurs médicaux de ne pas trop se concentrer sur une recherche axée sur les résultats pour les patients ou qui serait uniquement centrée sur « un apprentissage efficace ». Faits saillants à retenir : • L’observation directe de rencontres avec des patients en milieu de travail est essentielle. • La variabilité entre les évaluateurs provient en partie de « cadres de référence » différents : ce à quoi le stagiaire est comparé (comparaison par rapport à des critères ou à une norme). • Le cadre de référence approprié devrait être le patient et les soins qu’il reçoit. • Les superviseurs cliniques doivent déterminer si un résident peut assumer la responsabilité de tâches ou d’activités essentielles de la profession. • Les résidents ne parviennent pas tous au même niveau de compétence dans toutes les activités précisément au même moment, et ils ne sont pas tous prêts à être supervisés de manière indirecte après une période de temps précise, comme six mois par exemple. • Les membres du corps professoral doivent connaître les compétences requises qu’ils évaluent et y avoir été formés, d’autant plus que ces derniers s’utilisent fréquemment comme cadre de référence lorsqu’ils évaluent les résidents (c.-à-d. qu’ils comparent les résidents à eux-mêmes). Commentaires supplémentaires à l'intention des éducateurs cliniciens Rapprochement entre tous ces éléments : le concept de soins aux patients comme cadre de référence essentiel pourrait faciliter le développement de critères descriptifs pour les jalons liés à des actes professionnels non supervisés (APNS). À titre d’activités, les APNS pourraient représenter un cadre qui faciliterait, du point de vue conceptuel, l’inclusion de compétences explicitement liées aux soins aux patients. Ainsi, examinons l’activité « Collaborer comme membre d’une équipe interprofessionnelle » (AAMC, 2013). Cette APNS (no 9) inclut, entre autres, une compétence de pratique fondée sur un système : « Coordonner les soins du patient dans les systèmes de soins de santé ». Le comportement digne de confiance d’un stagiaire commençant sa résidence et capable d’exercer sans supervision pourrait être présenté de la manière suivante : Implique en général le patient et la famille dans l’établissement d’objectifs et les plans de soins. Un plan de soins écrit est fourni en général; il est complet et précis et ne comprend que peu d’omissions. Communique les informations essentielles aux autres membres de l’équipe et aux consultants. Prévoit et répond aux questions des patients et de leur famille. Fournit les informations requises et précises pour un transfert des soins efficace. Comprend les ressources de coordination des soins, et les utilise en fonction des besoins du patient ou de sa famille. Défend l’accès aux ressources communautaires pour les patients (tiré des jalons soumis à l’ACGME pour la pédiatrie, la chirurgie, la psychiatrie et la médecine d'urgence). Référence : Association of American Medical Colleges (AAMC) (2013). Core entrustable professional activities for entering residency. Consulté le 30 décembre 2013 à https://www.mededportal.org/icollaborative/resource/887 Remerciements Nous remercions tous les chercheurs en éducation médicale qui continuent à réfléchir sur les questions pertinentes complexes et à adopter de nouvelles perspectives concernant ces questions. Références d’intérêt : Association of American Medical Colleges (AAMC) (2013). Principaux actes professionnels non supervisés pour commencer un programme de résidence. Consulté le 30 décembre 2013 à https://www.mededportal.org/icollaborative/resource/887 Choo, K. J., Arora, V. M., Barach, P., Johnson, J. K., & Farnan, J. M. (2014). How do supervising physicians decide to entrust residents with unsupervised tasks? A qualitative analysis. Journal of Hospital Medicine, 9(3), 169-175. doi: 10.1002/jhm.2150 Cook, D. A., & West, C. P. (2013). Perspective: Reconsidering the focus on "Outcomes research" In medical education: A cautionary note. Academic Medicine, 88(2), 162-167. doi: 10.1097/ACM.0b013e31827c3d78 Donato, A. A. (2014). Direct observation of residents: A model for an assessment system. American Journal of Medicine, 127(5), 455-460. doi: 10.1016/j.amjmed.2014.01.016 Kogan, J. R., Conforti, L. N., Iobst, W. F., & Holmboe, E. S. (2014). Reconceptualizing variable rater assessments as both an educational and clinical care problem. Academic Medicine, 89(5), 721-727. doi: 10.1097/acm.0000000000000221 van der Vleuten, C. P. M. (2014). When i say.... Context specificity. Medical Education, 48(3), 234-235. doi: 10.1111/medu.12263 Yeates, P., O'Neill, P., Mann, K., & Eva, K. (2013). Seeing the same thing differently mechanisms that contribute to assessor differences in directly-observed