GT Evaluation des compétences

 Coordination Nationale des Collèges d’Enseignants en Médecine (CNCEM) GT Evaluation des compétences Coordonnateur et rédacteur : Pierre Pottier. Nantes. Médecine Interne Membres du groupe : Agnes Liard‐Zmuda. Rouen. Chirurgie Infantile Benoit Marin. Limoges. Epidémiologie, Prévention, Economie de la Santé Dam Hieu Phong. Brest. Neurochirurgie Dominique Wendum. Paris. Anatomie et Cytologie Pathologiques Isabelle Boutron. Paris. Santé Publique. Jacques Darcourt. Nice. Biophysique et Médecine Nucléaire Jean‐Nicolas Dacher. Rouen. Radiologie Karim Boudjema. Rennes. Chirurgie Viscérale et Digestive Laurence Compagnon. Paris Est Créteil. Médecine Générale Matthieu Resche. Paris. Biostatistiques et Informatique Médicale Olivier Bouchaud. Paris. Maladies Infectieuses et Tropicales Stephane Schneider. Nice. Nutrition Thao pham. Marseille. Rhumatologie Cyril Schweitzer. Nancy. Pédiatrie. 1 I MISSIONS DU GROUPE Le groupe "évaluation des compétences" s'est donné six axes de travail : 1. Se mettre d'accord sur des principes pédagogiques communs à tous les collèges pour l'évaluation des compétences des internes. 2. Rédiger des recommandations (ou un cahier des charges) pour la création d'un dispositif d'évaluation des compétences des internes. 3. Donner des exemples de dispositifs existants (français ou étrangers) d'évaluation des compétences des internes qui illustrent les principes prédéfinis. 4. Proposer des outils d'évaluation innovants qui pourraient être utilisés au sein d'un dispositif d'évaluation des compétences en 3ème cycle. 5. Lancer des expérimentations pilotes en termes d'évaluation des compétences dans certaines disciplines dont les résultats pourraient être disponibles en cours d'année 2016. 6. Effectuer un état des lieux des pratiques existantes en matière d'évaluation des compétences 2 II FONCTIONNEMENT DU GROUPE Le groupe « évaluations des compétences » a été créé par le Président de la CNCEM à la mi‐
Octobre 2015 dans la perspective d’une première restitution des travaux le 22 janvier 2016. Le délai imparti n’a pas permis d’organiser de rencontres en présentiel. L’essentiel des discussions ont eu lieu en ligne sur le site de la CNCEM (cncem.fr) sur un forum ouvert dès Octobre et au cours de la constitution d’un document de travail collaboratif également disponible sur le site. Deux réunions téléphoniques ont pu être organisées les 15 et 17 décembre réunissant tous les membres du groupe. Les comptes rendus de ces réunions ont alimenté le document de travail collaboratif. Le coordonnateur en a effectué la synthèse pour élaborer le présent document et la présentation sous format Powerpoint, jointe en annexe. Ces deux documents ont été relus et validés par tous les membres du groupe. 3 III PRINCIPES COMMUNS A TOUTES LES DISCIPLINES POUR L'EVALUATION DES COMPETENCES 1. Réflexions générales Il est impossible d’envisager une évaluation homogène dans toutes les disciplines. Il faut garder à l’esprit le principe de faisabilité en intégrant le nombre croissant d’internes. Il faut proposer un projet novateur et ambitieux mais réaliste et applicable. Il faut bien distinguer les outils d’évaluations des compétences et les dispositifs d’évaluation qui combinent plusieurs outils, plusieurs lieux et plusieurs moments d’évaluation et sur l’ensemble desquels repose habituellement la validation du DES. Une certaine passivité est constatée chez les internes dans l'apprentissage (ils sont surtout demandeurs de cours théoriques) et dans l’évaluation de leurs compétences professionnelles. Leurs diagnostics, leurs prescriptions et leurs courriers sont séniorisés. La tendance est même à la séniorisation par des médecins titulaires, reléguant parfois le chef de clinique à ce qu’était un interne de 2ème partie d'internat il y a encore une dizaine d'années. Il sera important de comparer et d’harmoniser les compétences définies en France par rapport aux standards européens afin de pouvoir permettre la mobilité des internes. Les niveaux de compétences qui auront pu être validés grâce à des formations complémentaires (DIU, cursus scientifiques) devront pouvoir être intégrés dans le parcours de développement des compétences. L’activité scientifique (participation au(x) congrès importants de la spécialité en tant qu'auditeur ou en tant qu'orateur, publications de travaux de recherche) doit être reconnue comme une compétence particulière des internes quelle que soit leur discipline et être évaluée en tant que telle. A titre d’exemple, dans le référentiel de compétence de Médecine générale, cet aspect est inclus dans la compétence « Professionnalisme » dont la définition est : « Capacité à assurer l’engagement envers la société et à répondre à ses attentes, de développer une activité professionnelle en privilégiant le bien être des personnes par une pratique éthique et déontologique, d’améliorer ses compétences par une pratique réflexive dans le cadre de la médecine basée sur des faits probants, d’assumer la responsabilité des décisions prises avec le patient ». L’un des descripteurs du niveau compétent de cette compétence est « • S’implique dans le rayonnement de la discipline ». 2. Préambule à l’évaluation des compétences Quelques prérequis indispensables se sont imposés au groupe avant de s’engager dans une approche par compétence :
2.1 PARTAGER UNE DEFINITION COMMUNE DES COMPETENCES PROFESSIONNELLES 4 Notre groupe n’avait pas pour mission de réfléchir à la définition des compétences professionnelles néanmoins il nous a paru essentiel que soit partagée de façon univoque une définition de la compétence à tous les niveaux (local, inter‐régional, national, inter‐DES). Notre groupe part du principe que les compétences ont été élaborées selon une définition ad‐hoc pour chaque discipline et que leur parcours de développement au cours du cursus a été envisagé sans quoi l’évaluation des compétences risque de s’avérer impossible. La définition de Jacques Tardif (Tardif et al, Chenelière Education 2006) nous parait être la plus communément admise. La compétence est ainsi définie comme un « savoir‐agir complexe prenant appui sur la mobilisation et la combinaison efficace d'une variété de ressources internes et externes à l'intérieur d'une famille de situation ». Elle permet face à une situation complexe de construire une réponse adaptée, sans la puiser dans un répertoire de réponse préprogrammée (Compagnon et al, exercer 2013). Les ressources incluent des connaissances théoriques, mais aussi l’acquisition d’un comportement général (avec le patient, les collègues, la famille, les autres professionnels de santé), la capacité de réflexion, le raisonnement clinique, l’acquisition de gestes techniques… 2.2 SE SORTIR D’UNE VALIDATION EXCLUSIVEMENT « PAR DEFAUT »
Force est de constater que la plupart des validations de D.E.S s’effectue par défaut, les critères de validation ne permettant pas d’avoir une idée fiable des compétences des internes. Les critères suivants, très fréquemment utilisés, (cf. état des lieux des pratiques d’évaluation) ne doivent pas se suffire à eux‐mêmes : ‐ l’interne n’a pas posé de problème pendant son stage, ‐ l’interne a été présent aux séminaires, ‐ l’interne n’a pas de lacunes dans ses connaissances théoriques, ‐ l’interne a validé un mémoire sur un sujet théorique à défaut de démontrer ses capacités réflexives. 2.3 ENVISAGER LA NON‐VALIDATION DU D.E.S On constate que la quasi‐totalité des internes inscrits en DES finissent par l’obtenir dans le délai imparti soit 3 à 5 ans en fonction des spécialités. Les réorientations, autres que celles demandées par les internes eux‐mêmes sont exceptionnelles et souvent liées à des problèmes d’ordre psychiatrique. Si on s’engage dans une évaluation des compétences, alors que faire des internes évalués comme incompétents ? Le groupe est convaincu que la validation des D.E.S doit reposer sur l’évaluation des compétences professionnelles. Or, la définition de la compétence est telle qu’elle implique des rythmes et des niveaux de progression qui vont par nature varier d’un interne à un autre. Accepter l’idée qu’un DES puisse être validé sur la base de l’évaluation des compétences, c’est accepter de fait l’idée qu’un D.E.S puisse ne pas être validé au terme de la durée habituellement requise. 5 2.4 DOCUMENTER UNE TRAJECTOIRE DE DEVELOPPEMENT DE LA COMPETENCE EN DETERMINANT DES NIVEAUX D’ACQUISITION ET DES INDICATEURS DE NIVEAUX Une compétence ne cessant de s’améliorer, tout au long de la vie, l’évaluation des compétences professionnelles impose de définir le minimum requis (et ses indicateurs) pour accéder au niveau supérieur et envisager qu’un interne n’accède pas au niveau supérieur c’est‐à‐dire envisager le redoublement d’un semestre voire d’une année. La définition de ces niveaux de compétences et des moments de leur évaluation relève évidemment de chaque discipline en évitant de fractionner de façon excessive les compétences (Compagnon et al, Exercer 2013). En effet, l’évaluation du niveau de maîtrise des compétences professionnelles ne peut se faire que sur des critères professionnels qui peuvent différer selon les missions et rôles de chaque discipline. Elle pourra être adaptée selon le parcours des internes en fonction de leur projet professionnel si la discipline le juge nécessaire. Il est prérequis aussi qu’un niveau de maîtrise minimal des compétences ait été défini pour chaque discipline pour les jeunes professionnels débutant leur exercice en autonomie. Ce niveau doit être celui visé par la formation mise en place et acquis en fin de DES. 2.5 METTRE EN PLACE DES MESURES DE REMEDIATION POUR LES INTERNES EN DIFFICULTES
Si l’évaluation des compétences conduit à dépister des étudiants en difficultés, il est de la responsabilité des évaluateurs de proposer à ces étudiants des programmes ou formations complémentaires visant l’acquisition des niveaux de compétences manquants. Le groupe a évoqué notamment la mise en place d’un tutorat local sur le lieu de stage. 3. Principes communs à toutes les disciplines 3.1 EVALUATION EN SITUATION PROFESSIONNELLE AUTHENTIQUE Selon la définition de la compétence, les ressources mobilisées ne peuvent être étudiées que pendant l’action, en faire un inventaire en dehors de l’action expose au risque de n’évaluer que les connaissances. Les stages doivent donc être au cœur des dispositifs d’évaluation même si certains outils peuvent permettent de recréer un certain degré d’authenticité professionnelle (cf. travaux du groupe simulation). Ce principe est intimement lié à la notion de « tuteur », notamment l’organisation d’un tutorat au cours de chaque stage (par exemple un CCA ou un PH pour les stages en non‐CHU) nous paraitrait un bon moyen de favoriser l’évaluation des compétences. Chaque stage doit être l’occasion de nouveaux apprentissages permettant l’acquisition d’un niveau supérieur de maitrise des compétences. Cela doit être mis en évidence par des évaluations formatives au cours du stage et en fin de stage, en fonction du niveau attendu à chaque stade de formation. 6 L'évaluation en situation professionnelle est fondamentale mais peut conduire parfois à ne s’intéresser qu’à la performance (l’interne a réussi ou pas). Une approche par compétences nécessite d’évaluer, en sus de la performance, les processus qui ont été mobilisés pour la réalisation de la tâche, qu’elle ait été réussie ou non (réflexivité a postériori). 3.2 DOCUMENTER LES APPRENTISSAGES EFFECTUES A PARTIR D’UNE COLLECTE ITERATIVE DE DONNEES UTILISANT DES METHODES VARIEES Il nous est apparu indispensable de diversifier les outils, les moments et les lieux d’évaluation notamment : ‐
combiner les outils mesurant la performance avec les outils mesurant les processus mis en œuvre. La performance (le résultat) doit être ici considérée comme le produit (l’indicateur visible) de la compétence (capacité à agir, invisible, l’ensemble des ressources mobilisées en situation) les outils choisis ne doivent pas restreindre l’évaluation à un simple contrôle des connaissances mais sans oublier de vérifier la pertinence de ces connaissances qui sont des "ressources internes " et à ce titre doivent pouvoir être utilisées, mobilisées, combinées au moment de l'action. L'évaluation dans une approche par compétence ne doit pas négliger les savoirs théoriques mais c'est la manière de les interroger qui change : les redire sans être en mesure de les transposer ne suffit pas. C'est pourquoi l'exploration type QCM est inefficace dans ce cadre, en revanche les explorer au moment de l'évaluation du raisonnement clinique devant une situation donnée peut être intéressant par exemple. Planifier différents moments d’évaluation, en particulier à des temps précoces, pour le dépistage de problèmes psychiatriques et la réorientation éventuelle en cas d’incompétence. Par exemple, il est proposé trois moments d’évaluation correspondant aux termes des phases 1, 2, 3. Varier les lieux d’évaluation : sur les terrains de stage ou à distance (e‐learning) ‐
‐
‐
Ce principe illustre l'intérêt du portfolio qui est une collection organisée de preuves ou de traces d'apprentissages au fil du DES. Ces dernières doivent documenter le parcours de l'interne en termes d'apprentissages de savoirs, savoirs faires, savoirs être. Des traces d’autoévaluation et d'hétéro‐évaluations (rapport des maitres de stage ou des tuteurs par exemple) peuvent y être déposées, de même que des vidéo ou audio documentant la maitrise de certaines habiletés psychomotrices ou communicationnelles par exemple. La qualité des apprentissages peut permettre d'inférer un niveau de maitrise de la compétence mais les outils valides manquent encore pour déterminer le niveau "exact" d'un interne à un temps de sa formation, d'où l'idée de diversifier les approches comme autant de facettes étudiées de la compétence. Deux études ont montré la pertinence de combiner plusieurs outils d’évaluation au sein d’un portfolio (Moonen‐van Loon et al, Adv in Health Sci Educ 2013 ; van der Vleuten CP et al, Med Educ 2005). 7 3.3 RENDRE L’INTERNE AUTONOME ET ACTEUR DE SA PROPRE EVALUATION L’interne doit avoir dès le début une idée de son plan de formation et des modalités d’évaluation. Pour cela, il doit très précocement avoir une idée claire des objectifs à terme du DES dans lequel il s’engage et des différents niveaux de développement de chaque compétence. Il doit s’engager dans sa formation en particulier en s’auto évaluant de façon régulière. Cette auto évaluation doit être comparée à l’hétéro‐évaluation réalisée par les superviseurs. Après chaque mise en situation, lors d’une séance de rétroaction avec un tuteur ou seul, l’interne doit dégager les savoirs (cognitifs, habiletés, attitudes) qui ont été mobilisés et ceux qui auraient dû être mobilisés et en déduire des pistes d’apprentissage. Un enseignement de type e‐learning, comprenant une autoévaluation pourrait favoriser l’engagement de l’étudiant dans sa propre formation. Ainsi, l’interne devrait être responsable de son dossier d’évaluation et de la documentation de sa propre évaluation à partir d’outils d’auto‐évaluation (carnet de compétences, livret de l’interne), à partir des traces d’apprentissages (résumés de congrès, exposés, articles, synthèse des évaluations de compétences effectuées). 3.4 DEVELOPPER UNE EVALUATION FORMATIVE IMPLIQUANT RETROACTION ET TUTORAT La rétroaction (ou feed back) après une observation ou une rencontre avec l’interne est à la fois un outil d’évaluation formative et l’un des plus puissants inducteurs d’apprentissage (Hatie et al, Rev of Educ Res 2007) Il est préférable d’avoir un tuteur attribué à chaque interne qui puisse avoir une vision longitudinale de l’évolution de l’interne et l’aider à pointer ses points forts et ses faiblesses par une rétroaction et une remédiation en cas de difficultés. Pour améliorer ce suivi il est nécessaire que soient produites des traces d’évaluation et de progression de l’interne. Le tuteur pourra suggérer à l’interne les stages qu’il sera préférable de choisir pour parfaire sa formation afin qu’il n’évite pas certains stages. Le groupe suggère qu’un tuteur soit proposé par stage ou par niveau de DES plutôt qu’un seul tuteur pour l’ensemble du cursus, car ce dispositif a déjà montré quelques défaillances avec des lacunes dans le suivi des internes. Les assistants‐chefs de clinques pourraient jouer un rôle dans ce type de tutorat sur les lieux de stage. Dans une approche par compétence le tutorat est très précieux. Il faut être conscient qu'il est aussi très exigeant en termes d'implication du tuteur dans les processus d'évaluation ; la formation pédagogique des tuteurs est indispensable en termes de supervision indirecte et d'évaluation. La posture de rétroaction doit être partagée par l'ensemble des superviseurs de l'interne. 8 IV 10 RECOMMANDATIONS POUR LA CREATION D'UN DISPOSITIF D'EVALUATION DES COMPETENCES 1°) Vérifier que les objectifs du programme de DES sont bien déclinés en compétences et sont parfaitement connus des étudiants 2°) Décrire les situations professionnelles dans lesquelles les compétences prédéfinies sont habituellement observées (notion de famille de situations) 3°) Fonder le dispositif d’évaluation sur des mises en situations professionnelles, idéalement rencontrée au cours des stages. 4°) Assurer une bonne représentativité des compétences évaluées pour permettre de porter un jugement sans trop incertitude sur l’acquisition de l’ensemble des compétences en répartissant les compétences évaluées dans chaque famille de situations prédéfinie. 5°) Planifier les périodes d’évaluation dans le programme à divers temps de la formation de l’interne : Evaluations formatives (tout au long du cursus) Evaluations sommatives en fonction des niveaux de compétences prédéfinies Evaluations sur les terrains de stage Evaluation à distance Evaluation certificative finale pour la validation du DES 6°) Documenter les processus et les ressources mobilisés pendant les évaluations formatives 7°) Documenter la performance pendant les évaluations sommatives 8°) Choisir des outils d’évaluation diversifiés et complémentaires (pour assurer une bonne validité de construit de l'évaluation) au mieux regroupés dans un portfolio 9 Par exemple, un même interne pourrait être évalué tout au long de son cursus par plusieurs outils dans la liste suivante : ‐ des QCM pour la compréhension du sujet ‐ des tests de concordance de script pour le raisonnement clinique ‐ une grille d’évaluation des compétences relationnelles, ‐ une grille d’évaluation des habilités psychomotrices ‐ des cartes conceptuelles pour explorer les schémas cognitifs ‐ des récits de situations cliniques authentiques pour évaluer ses capacités d’analyse à posteriori d’une situation professionnelle vécue (analyse réflexive). 9°) Décrire les implications de la non validation lors de chaque évaluation sommative Qu’implique la non validation d’une année ou d’un niveau de DES ? Qu’implique la non validation du DES lors de l’évaluation finale 10°) Dans la mesure du possible, privilégier une gestion en ligne des traces d’apprentissage, des comptes rendus d’évaluation et des résultats des tests (portfolio électronique) 10 V EXEMPLES DE DISPOSITIFS EXISTANTS (FRANÇAIS OU ETRANGERS) D'EVALUATION DES COMPETENCES DES INTERNES 1. description d'une expérience intégrant des ECOS (Harden et al, Med Educ 1979) Il s’agit d’une évaluation au Québec, de niveau "internes" (board national) en radiologie intégrant des épreuves cliniques objectives et structurées (ECOS). L'épreuve (sanctionnante ouvrant au droit de pratique très convoité en Amérique du Nord) consiste en un parcours d'une dizaine de stations. Chaque interne est convoqué avec un planning très précis (aucun dépassement horaire n'est possible) et réalise ses épreuves dans un ordre pré défini. A chaque station, il est mis dans une situation différente; par exemple : ‐
‐
‐
‐
‐
épreuve de détection : un examen est présenté avec une anomalie que l'étudiant doit pointer (possible avec des techniques informatiques, la note dépend de la distance en pixels entre le click et l'anomalie) épreuve de compte rendu : dans ce cas le diagnostic est fourni et c'est la qualité du "reporting" qui est mesurée; annonce de résultat avec un professeur ou un patient simulé pour évaluer l'interaction médecin patient épreuve de diagnostic différentiel : une image ou un examen est présenté et l'étudiant doit donner 3 diagnostics possibles en les classant par ordre décroissant, épreuve technique : un patient suspect d'embolie pulmonaire doit être exploré par un scanner; réglages des paramètres radiologiques, maitrise de la dose de radiations et de PDC iodé, explications au patient, paramètres d'injection, temporalité des différentes phases etc... épreuve en situation : l'étudiant(e) réalise une échographie (à un volontaire ou patient) et on lui demande de produire une série d'images et de mesures. Le spectre doppler d'une artère rénale, la flèche hépatique, le flux portal en couleur etc...Les images produites servent pour la notation. Chaque épreuve est conçue par des professionnels de la spécialité qui essayent au mieux d'analyser leur processus de travail et de mettre l'étudiant dans des situations à la fois quotidiennes et pas forcément simples. Cette épreuve se rapproche du travail fait en Urologie à Rouen (Sibert et al, Eur Urol 2000) Elle est complexe à organiser, adaptée à un petit nombre d'étudiants (30 ou 40), difficile à réaliser à l'échelle nationale, sauf dans de petites spécialités. Elle est très adaptée à la radiologie, mais aussi à la chirurgie ou à l'anatomopathologie par exemple. Malheureusement, elle est coûteuse en moyens financiers et en surveillants; il faut presqu'autant de personnel que d'étudiants et difficile à mettre en place dans le contexte financier actuel de nos CHU. 11 2. Evaluation des compétences en médecine générale En France, la médecine générale a mis en place un référentiel de compétence et a décrit les niveaux au cours du cursus (Compagnon et al, Exercer 2013). Ce référentiel permet aux différents départements de médecine générale (DMG) de créer ses propres outils d'évaluation. Un récent travail de thèse a montré que la grande majorité des DMG français utilisaient un portfolio. Il n'existe pas encore de portfolio commun en termes de contenu ou de modalités d'évaluation. Ceci va faire l'objet d'un travail de consensus pour déterminer un socle commun à tous les DMG. Les traces d'apprentissages sont elles aussi hétérogènes mais les plus fréquentes sont des récits de situation complexes authentiques (Le Mauff et al, Pédagogie Médicale 2006) et les journaux/ carnet/ relevés de bord à propos d'évènements significatifs ayant entrainé des apprentissages. D'autre traces comme des comptes rendus de travail de groupe d'échange de pratique sont elles aussi souvent rencontrées. On peut enfin trouver des traces d'hétéro‐évaluation comme les grilles d'évaluation des stages ou des compétences communicationnelles. Une grille d’évaluation des compétences professionnelles des internes en médecine générale pendant les stages pratiques hospitaliers et ambulatoires est a été mise en place en ile de France. Cette grille est utilisable en auto évaluation, de façon formative en cours de stage mais également de façon validante en fin de stage ; chacune des 6 compétences est déclinée en deux à six items dont l’évaluation est désignée comme insuffisante, intermédiaire ou satisfaisante à partir de critères dévolus à chaque item. Par exemple pour la compétence « Approche globale, prise en compte de la complexité », un des items est « Prend en compte la globalité du patient (données biomédicales, psychologiques, sociales, administratives, etc.) ». Cela sera jugé : ‐ Insuffisant si : la décision ne tient pas compte de la prévalence ou de la gravité, uniquement basée sur une démarche bio clinique, n’intégre pas l’avis du patient ni les répercussions de la plainte ou de la maladie sur sa vie et son entourage. ‐ Intermédiaire si: la décision tente de prendre en compte la prévalence et la gravité et d’intégrer les données bio psycho sociales du patient ‐ Satisfaisant si: la décision est adaptée à la situation, tenant compte de la prévalence ou de la gravité, basée sur une démarche intégrant les données bio psycho sociales du patient et intégrant l’avis du patient et les répercussions de la plainte ou de la maladie sur sa vie et son entourage. Autre exemple, dans la compétence Professionnalisme , pour l’item « Investissement (motivation, curiosité intellectuelle) », l’interne sera jugé : ‐
‐
‐
insuffisant: s’il est insuffisamment motivé dans l’acquisition des connaissances avec une faible capacité de lecture critique des données. intermédiaire : s’il est intéressé par l’acquisition des connaissances sans pour autant mettre en œuvre des stratégies de recherche adéquates. satisfaisant : s’il est motivé pour apprendre; à la recherche d’informations validées et actualisées, avec une forte capacité à la lecture d’articles L’existence d’une progression en cours de stage est notée : il n’est pas indispensable d’être satisfaisant dans tous les items pour être validé car il est normal par exemple qu’en début de 12 cursus les internes soit entre les niveaux insuffisant et intermédiaire mais ils doivent évoluer en cours de stage. En revanche s’il persiste plus de 2 items jugés insuffisants en fin de stage on doit envisager de ne pas valider. Une place est laissée à l’évaluateur pour faire des commentaires pour chaque item et proposer des axes de travail pour améliorer le niveau dans la suite du cursus. 3. expérience de la radiologie Avant d'évaluer les internes de radiologie, il a paru nécessaire de définir les objectifs de l'évaluation connus de tous, enseignés et enseignants. Un programme d'objectifs aussi consensuel que possible a donc été défini. A partir de ces objectifs, une évaluation a été mise en place dont les modalités sont adaptées à la pratique professionnelle et dont la correction est au maximum automatisée. Il s’agit d’une évaluation nationale annuelle réalisée dans tous les CHU de France, basée sur 100 QCM issus des différentes spécialités d'organe de l'imagerie médicale. Cette évaluation existe depuis plus de 10 ans et est maintenant bien acceptée par les internes dans la mesure où elle est considérée comme formative, et bien entendu non sanctionnante. Seule la non‐
participation au test est sanctionnée au moment de la présentation du mémoire de spécialité. Pour l'enseignement, des référentiels ont été mise en place (correspondants à des cours en amphithéâtre délivrés à Paris) qui sont en libre accès sur le site du collège. Il existe aujourd'hui un référentiel en imagerie pédiatrique, thoracique, cardiaque, ORL par exemple. S’y ajoute la banque de données (considérable) des Journées Françaises de Radiologie, utilisée au quotidien dans tous les services. Cet enseignement et cette évaluation sont purement cognitifs. On considère que l'évaluation des compétences pratiques (savoir‐faire) est réalisée au cours des stages, et devrait être mentionnée dans le livret électronique de l'interne. Celui‐ci existe, centralisé à Grenoble, rattaché au coordonnateur local mais reste très imparfaitement rempli pour des raisons techniques d'accès délicat et de charge de travail. 13 4. Dispositif prévu pour deux D.E.S en cours de création 4.1 DES de médecine d’urgence La validation des compétences se fera selon plusieurs modalités découlant des supports pédagogiques utilisés: ‐
‐
‐
‐
Connaissances théoriques :  QCM et cas cliniques QCM sous forme de dossiers progressifs de type e‐ECN. L'utilisation de l'e‐learning sera développée car elle permet un enseignement asynchrone de l'ensemble des étudiants de l'inter‐
région avec intégration de séquences vidéos.  LCA sur article diagnostique (format e‐ECN avec QCM)  Oraux sur la prise en charge diagnostique et thérapeutique des situations les plus fréquentes en médecine d'urgence. Connaissances pratiques et travail en équipe :  utilisation de simulation basse fidélité pour le contrôle de la connaissance des gestes techniques de base (intubation orotrachéale, pose de drains thoraciques…)  utilisation de simulation haute‐fidélité pour la mise en situation complexe avec démarche diagnostique et thérapeutique intriquée et gestion de l'équipe.  Portfolio et/ou carnet de stage permettant de suivre l'acquisition des différents gestes techniques.  Évaluation de stage à l'issue de chaque semestre par le responsable pédagogique du service après avis des praticiens titulaires sur les capacités relationnelles avec les patients, leurs familles ainsi qu'avec l'équipe soignante, la qualité de la démarche diagnostique et thérapeutique.  Visualisation des boucles vidéos et images fixes acquises lors d'échographies cliniques Validation finale : Soutenance d'une thèse de médecine d'urgence portant sur un travail de recherche clinique 4.2 DES de maladies infectieuses et tropicales Validation de l'enseignement théorique (qui comprend une part importante (environ 2/3 du temps sans compter le travail personnel) de travail en atelier avec auto‐ et hétéro‐apprentissage :  Présence aux 30 journées thématiques  Pré et post test de 10 QCM en début de chacune des 30 journées thématiques = « note de contrôle continu ». Le pré test évalue les acquis du travail personnel (lecture de documents fournis avant la séance) ; le post test évalue les acquis de la journée, les 2 sur la base 14 d'objectifs pédagogiques de savoir/savoir faire/savoir être définis collégialement (ce travail vient d'être fait))  Auto‐évaluation des candidats de leur travail en atelier (auto et hétéro‐apprentissage) sur la base des objectifs pédagogiques définis ‐ Validation des stages  Respect de la maquette de validation  Auto‐évaluation des candidats sur la base des objectifs pédagogiques de savoir faire/savoir être  Evaluation par le tuteur de stage sur la base de l'auto‐évaluation faite par le candidat  Carnet de stage (= compétences pratiques de savoir faire/savoir être) en discussion ‐ Mémoire 5. Evaluation « 360° » en neurochirurgie à Poitiers. Il s'agit d'une évaluation de l'interne effectuée par l'ensemble des acteurs du service (chef de service, autres praticiens, Assistants‐chefs de, cadres, IDE, aide‐
soignantes). Il s'agit d'une évaluation informelle, sans critères précis prédéfinis (pas de grille de validation). Cependant, l'évaluation porte autant sur les compétences cliniques de l'interne (notamment le "savoir faire") que sur la qualité de ses relations humaines avec ses collègues et supérieurs hiérarchiques, le personnel paramédical et bien sûr les patients et leurs proches ("savoir‐être"). 6. test de concordance de script (en chirurgie pédiatrique) : outil de raisonnement face à des cas complexes, à différents temps. Description en attente 15 VI EXPERIMENTATIONS PILOTES EN TERMES D'EVALUATION DES COMPETENCES Le groupe propose qu’une des premières expérimentations à mener soit de demander à chaque collège de rédiger un projet d'évaluation des compétences d’après les recommandations formulées (cf. chapitre recommandations pour la création d’un dispositif d’évaluation), ce qui permettrait d’une part de développer l’appropriation des collèges de ces principes et d’autres part d’évaluer leur pertinence et leur caractère opérationnel. En effet les expérimentations in situ requièrent un temps important pour se mettre en place et impliquent que toutes les disciplines aient d’ors et déjà écrit leurs objectifs pédagogiques en termes de compétences professionnelles ce qui est peu probable. Voici quelques projets à venir ou en cours : ‐
‐
La chirurgie générale et la chirurgie digestives sont sur le point de mettre en ligne un carnet d'évaluation des compétences techniques. Cette expérience pourrait être un excellent terrain d'expérimentation et en cas de succès un exemple pour d'autres spécialités. En Médecine Interne, deux grilles d'évaluation des compétences sont évaluées auprès d'interne de médecine interne en terme de reproductibilité inter‐juge et de validité : 1) une grille évaluant la qualité de l'examen clinique réalisé à l'entrée du patient, utilisée aux Etats‐Unis, traduite en français 2) une grille évaluant les compétences relationnelles lors de l'examen clinique d'entrée, utilisée aux Etats‐Unis dont la traduction française a été validée par une étude antérieure. La validation de ces deux grilles fait l'objet d'une étude bi‐centrique (Nantes et Paris). ‐
‐
En orthopédie, se dessine un projet d’évaluer les compétences cliniques des internes à partir d’enregistrements audio‐visuels de consultation d’internes filmés avec un vrai patient. Il a été montré que cette méthode est faisable et donne des résultats aussi valides (voire plus) que l’évaluation basée sur la simulation par des patients standardisés (Reinders et al, Med Educ 2011). Ces enregistrements seraient analysés en présence d’un senior. Cette expérimentation pourrait débuter rapidement. Elle pourrait facilement être étendue à toutes les disciplines cliniques. En médecine générale, évaluation et amélioration d’une grille d’évaluation des compétences professionnelles pendant les stages pratiques hospitaliers et ambulatoires des IMG en ile de France. Cette grille est utilisable en auto évaluation de façon formative en cours de stage et de façon validante en fin de stage ; pour chacune des 6 compétences, elle décline deux à six items dont l’évaluation est désignée comme insuffisante, intermédiaire ou satisfaisante à partir de critères dévolu à chaque item. 16 VII OUTILS INNOVANTS D'EVALUATION DES COMPETENCES Le groupe a recommandé la mise en place de dispositifs évaluation utilisant des outils variés, dont les résultats pourront idéalement être conservés comme traces ou preuves d’évaluation (et donc d’apprentissage) dans un portfolio (Gadbury et al, J Dental Educ 2014 ; Naccache et al, Pédagogie médicale, 2006) avec ou sans tuteur, en version papier ou électronique. Le portfolio est considéré comme « l’instrument des instruments ». Comme évoqué précédemment, pour améliorer ses qualités métriques (validité et reproductibilité), il doit si possible réunir suffisamment de preuves d’apprentissage provenant de multiples sources d’évaluation (Moonen‐van Loon et al, Adv in Health Sci Educ 2013). Parmi tous les outils disponibles, les suivants apparaissent particulièrement adaptés à l’évaluation des compétences professionnelles : 1°) la simulation quelle que soit sa forme (McGaghie et al, Acad Med 2011) : ‐
‐
‐
‐
‐
par des mannequins haute ou basse fidélité, dans les écoles de chirurgie (laboratoires de grands animaux, laboratoires d’anatomie, simulateurs de laparoscopie, de coelioscopie, d’endoscopie…) par des consultations ambulatoires simulées avec des patients standardisés (comédiens ou patients réels) (Swanson el al, Teach learn Med 2013) par des patients virtuels, inclus ou non dans un serious game avec des simulateurs d'habiletés psychomotrices (membres supérieurs pour perfusion, tête et cou pour intubation, bassin pour examen gynéco ou accouchement....) (cf. Lacreuse et al, pédagogie médicale 2011, pour un exemple) 2°) les outils d'évaluation du raisonnement clinique tels que : ‐
‐
‐
‐
le test de concordance de scripts (cf fiche méthode HAS, Marie et al, Rev med Intern 2005 ; Sibert et al, Med Teach 2009) les cartes conceptuelles (Pottier et al, Med Educ 2010) les cas cliniques simulés par écrits progressifs (ou dossiers progressifs) tels que ceux créés sur la plateforme SIDES les QCM à jumelage étendu, à menu longue liste. 3°) les outils d’évaluation des compétences relationnelles par des vrais patients, par des patients simulés, en milieu ambulatoire ou hospitalier (Shirmer et al, Family medicine 2005) 4°) les outils développant la pensée réflexive tels que la rédaction de récits de situation clinique authentique (Le Mauff et al, Pédagogie médicale 2006). 5°) la supervision clinique directe et indirecte, avec ou sans utilisation de fiches de rencontre (Norcini et al, Ann Intern Med 2003, Portfolio for internal residency programs. Accreditation Council for Graduate Medical Education and the American Board of Medical Specialties).
6°) la rétroaction de sources multiples (ou évaluation à 360°), (Moonen‐van Loon et al, Adv in Health Sci Educ 2013, Donnon et al, Acad Med 2014) 7°) les examens oraux structurés 17 8°) les examens objectifs structurés reliés au rendement, équivalents des ECOS pour les disciplines non cliniques Les caractéristiques de ces outils, leurs avantages et leurs inconvénients, le type de compétence qu’ils évaluent sont décrits de façon détaillée et très complète dans le guide des outils d’évaluation des compétences CANMEDS (Collège Royal des médecins et des chirurgiens du Canada). 18 VIII ETAT DES LIEUX DES PRATIQUES EN MATIERE D'EVALUATION DES COMPETENCES EN 3EME CYCLE Cet objectif du groupe sera atteint à plus long terme. Des points restent à clarifier. A quels niveaux fait‐on l’état des lieux ? ‐
‐
‐
‐
état des lieux des d’outils et/ou des dispositifs d’évaluation ? état des lieux de ce qui se faisait avant ou de ce qui se fera à la suite de la réforme ? état des lieux des pratiques à l’échelle nationale, régionale ou locale ? En chirurgie, les outils d’évaluation sont très souvent harmonisés au niveau national, alors que dans beaucoup de disciplines médicales, ils sont communs à une région ou à une inter‐
région. état des lieux exhaustif de toutes les disciplines médicales et chirurgicales ou à partir d’un échantillon représentatif de disciplines ? Dans un premier temps, il a été décidé que chaque membre du groupe ferait un état des lieux des pratiques d’évaluation dans sa région et dans sa propre discipline. Un état des lieux des outils d'évaluations des compétences des internes et de validation des D.E.S a été réalisé pour l'inter‐région ouest (HUGO) Les graphiques suivants présentent les différents outils utilisés pour les DES de Médecine et de Chirurgie dans cette inter‐région et leur répartition en fonction de leur fréquence. 19 20 REFERENCES 4.3 Tardif J. L’évaluation des compétences. Documenter le parcours de développement. Chapitre 1, Chenelière Education, 2006. 4.4 Compagnon L, Bail P, Huez JF, Stalnikiewicz B, Ghasarossian C, Zerbib Y, Piriou C, Ferrat E, Chartier S, Le Breton J, Renard R, Attali C. Définitions et descriptions des compétences en médecine générale. Exercer 2013;108:148‐55. 4.5 Compagnon L, Bail P, Huez JF, Stalnikiewicz B, Ghasarossian C, Zerbib Y, Piriou C, Ferrat E, Chartier S, Le Breton J, Renard R, Attali C. Les niveaux de compétences. Exercer 2013;108:156‐64. 4.6 Moonen‐van Loon JMV, Overeem K, Donkers HHLM. van der Vleuten CPM, Driessen EW. Composite reliability of a workplace‐based assessment toolbox for postgraduate medical education. Adv in Health Sci Educ (2013) 18:1087–
1102 4.7 van der Vleuten CP, Schuwirth LW. Assessing professional competence: from methods to programs. Med Educ 2005; 39: 309‐17. 4.8 Hattie J, Timperley H. The Power of Feedback. Review of educational research. 2007 77: 81 4.9 Attali C, Huez JF, Valette T, Lehr‐Drylewicz. Les grandes familles de situations cliniques. exercer 2013;108:165 4.10 Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ 1979; 13: 41‐54. 4.11 Sibert L, Grand'Maison P, Doucet J, Weber J, Grise P. Initial experience of an objective structured clinical examination in evaluating urology residents. Eur Urol. 2000;37(5):621‐7. 4.12 Le Mauff P, Pottier P, Goronflot L, Barrier B. Evaluation d’un dispositif expérimental d’évaluation certificative des étudiants en fin de troisième cycle de médecine générale. Pédagogie Médicale 2006 ;7 :142‐154. 4.13 Reinders ME, Blankenstein AH, van Marwijk HWJ, Knol DL, Ram P, van der Horst HE, de VetCees HCW, van der Vleuten PM. Reliability of consultation skills assessments using standardised versus real patients. Med Educ 2011. 45: 578–
584 4.14 Gadbury‐Amyot CC, McCracken MS, Woldt JL, Brennan RL. Validity and reliability of portfolio assessment of student competence in two dental school populations: a four‐year study. J Dent Educ 2014; 78: 657‐67. 4.15 Naccache N, Samson L, Jouquan J. Le portfolio en éducation des sciences de la santé : un outil d’apprentissage, de développement professionnel et d’évaluation. Pédagogie Médicale 2006;7:110‐27 4.16 McGaghie WC, Issenberg SB, Cohen ER, Barsuk JH, Wayne DB.Does simulation‐
based medical education with deliberate practice yield better results than 21 traditional clinical education? A meta‐analytic comparative review of the evidence. Acad Med. 2011 Jun;86(6):706‐11. 4.17 Swanson DB, van der Vleuten CP. Assessment of clinical skills with standardized patients: state of the art revisited. Teach Learn Med 2013; 25: S17‐25 4.18 Lacreuse I, Mahoudeau G, Becmeur F, Gomes Ferreira C, Moog R, Kauffmann I. Évaluation clinique de l’efficacité de l'entraînement sur simulateur à la réalisation de noeuds intracorporels par les internes de chirurgie : un programme mis en place dans un service de chirurgie pédiatrique. Pédagogie médicale 2011 ; 12 :213‐221 4.19 Marie I, Sibert L, Roussel F, Hellot MF, Lechevallier J, Weber J. The script concordance test: a new evaluation method of both clinical reasoning and skills in internal medicine]. Rev Med Interne. 2005;26(6):501‐7. 4.20 Sibert L, Giorgi R, Dahamna B, Doucet J, Charlin B, Darmoni SJ. Is a web‐based concordance test feasible to assess therapeutic decision‐making skills in a French context? Med Teach. 2009;31(4):e162‐8. 4.21 Pottier P, Hardouin JB, Hodges BD, Pistorius MA, Connault J, Durant C, Clairand R, Sebille V, Barrier JH, Planchon B. Exploring how students think: a new method combining think‐aloud and concept mapping protocols.Med Educ. 2010;44(9):926‐35 4.22 Schirmer JM, Mauksch M, Lang F, Marvel MK, Zoppi K, Epstein RM, Brock D, Pryzbylski M. Assessing Communication Competence: A Review of Current Tools. Family medicine 2005; 37(3):184‐192. 4.23 Norcini JJ, Blank LL, Duffy FD, Fortna GS. The mini‐CEX: a method for assessing clinical skills. Ann Intern Med 2003; 138: 476‐81. 4.24 Portfolio for internal residency programs. Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Medical Specialties (ABMS) 4.25 Donnon T, Al Ansari A, Al Alawi S, Violato C. The reliability, validity, and feasibility of multisource feedback physician assessment: a systematic review. Acad Med 2014; 89: 511‐6. 4.26 Bandiera G, Sherbino J, Franc JR. Guide des outils d’évaluation des compétences CANMEDS. Collège Royal des médecins et des chirurgiens du Canada. (Format Kindle). 22