ÉVALUATION PAR CRITÈRES EXPLICITES

ÉVALUATION PAR CRITÈRES EXPLICITES
Une des meilleures façons de mesurer la qualité des soins dans un centre hospitalier est
certainement d’utiliser l’évaluation par critères explicites. C’est une méthode qui permet une
évaluation objective d’un traitement ou d’une procédure diagnostique utilisée lors d’un épisode de
soins. Le suivi des patients fait aussi partie intégrale de cette méthode d’évaluation.
Cette façon de mesurer la qualité des soins peut sembler lourde initialement, mais elle s’avère
facilement réalisable avec l’aide du service des archives et d’une question simple et précise, à
laquelle on cherche une réponse. La qualité de la préparation et de la précision de la question à
répondre est la pierre angulaire de ce type d’étude de dossier.
Les évaluations par critères explicites sont des activités avec des liens étroits à l’ÉMC puisque
chaque étude implique une revue de la littérature sur le sujet étudié. Nous espérons d’ailleurs
réussir à obtenir des crédits d’ÉMC pour les candidats qui complètent une étude par critères
explicites.
Dans le document ci-joint, vous trouverez une description détaillée de la démarche à suivre pour
mener à terme une étude par critères explicites, avec des exemples à l’appui. Cette information
sera d’ailleurs disponible sur le site Internet du CHA à titre de guide virtuel.
LA MÉTHODE D’ÉVALUATION PAR
CRITÈRES EXPLICITES
Passons maintenant au mode d’évaluation de l’acte médical par critères explicites. Cette méthode
constitue une appréciation de la qualité des soins basée sur des éléments précis, évalués par
rapport à des normes déterminées par consensus et habituellement fondés sur des données
scientifiquement reconnues. La notion de consensus est de première importance : elle soustend le travail en équipe de la part des membres du service médical concerné; il est parfois
surprenant de se rendre compte comment les normes scientifiquement reconnues sont rares et/ou
inutilisables dans nos milieux.
Il faut donc en arriver à définir des critères et des normes qui soient applicables dans notre
contexte, soit dans chacune de nos salles d’urgence et c’est par rapport à celles-ci que nous
devront faire l’appréciation de la qualité des soins que nous dispensons.
Avantages :
Quels sont les avantages de ce mode d’évaluation? Il indique avec précision les éléments utilisés
pour apprécier la qualité. De plus, il assure une uniformisation de la norme dans l’évaluation qui y
gagne donc en objectivité, par opposition à d’autres méthodes qui consistent en un jugement de
valeur, porté par un ou des médecins sur un épisode de soins. Il permet de démontrer l’ampleur
d’un problème puisque les résultats sont exprimés en pourcentage de conformité à la norme
établie. Il dépersonnalise le processus d’évaluation et vise à identifier la composante de soins qui
est perfectible plutôt que l’individu qui aurait à s’améliorer.
Ceci n’empêche pas qu’on puisse l’utiliser pour identifier un médecin dont le profil de pratique
serait nettement déviant par rapport à ses collègues. Il rend possible la collecte des données par le
personnel des archives ce qui est un avantage énorme, considérant la charge clinique des
médecins œuvrant à l’hôpital. Il permet aussi de comparer dans le temps les mêmes éléments de
soins en répétant ultérieurement l’étude au besoin, donnant ainsi une idée de l’efficacité des
recommandations qui auraient découlé de notre évaluation.
Inconvénients :
Ce mode d’évaluation a aussi de toute évidence des limites, la plus grande étant que
l’établissement des critères et normes est parfois difficile. C’est précisément à cette étape que le
travail d’équipe est le plus profitable et il faut se souvenir que le seul consensus nécessaire pour
avoir une étude valable pour améliorer la qualité des actes médicaux dans notre service est celui
des médecins qui y travaillent : le groupe est souverain dans son choix de critères, en évitant les
écarts grossiers cela va de soi; c’est-à-dire que seuls les médecins concernés par l’évaluation
peuvent intégrer toutes les particularités de leur milieu de travail, ce qui n’empêche pas parfois de
pouvoir demander l’avis d’experts autres, sur un sujet litigieux. Une autre limite est la capacité
relativement limitée de ce mode d’évaluation qui permet d’évaluer seulement quelques aspects à
la fois des soins donnés aux patients. Cette limitation augmente cependant sa capacité de
suggérer des changements concrets dans notre pratique et devient donc plutôt un avantage.
Technique :
La technique elle-même d’évaluation par critères explicites n’a rien de bien sorcier. Il s’agit de
respecter les étapes essentielles pour la mener à bien. Cf : tableau # 4. En premier lieu, il faut
bien cerner l’objectif visé, définir la question (le sujet) à laquelle l’étude devra répondre le plus
précisément possible. Comme exemple, une étude qui voudrait vérifier si le risque suicidaire est
bien évalué à l’urgence pourrait rechercher aux dossiers l’échelle de SAD PERSONS modifiée ou
son équivalent. Il est utopique de vouloir évaluer trop de composantes de soins en même temps.
Il faut optimiser les chances de résultats utilisables en se restreignant à idéalement une ou au
maximum deux composantes. Par la suite, il faut choisir des critères identifiables qui reflèteront
les éléments retenus, en se souvenant que la recherche se fera par des archivistes et la plupart du
temps dans les dossiers médicaux.
Cette étape est de loin la plus éprouvante, surtout lors d’un premier projet, mais il est intéressant
de noter que des changements de comportements ont lieu habituellement dès l’atteinte d’un
consensus suite aux discussions de groupe. Une erreur fréquente est de retenir trop de critères.
Un exemple de grille simple et efficace est donné au tableau # 5.
Il restera à faire la collecte des données aux dossiers, étape qui parfois commandera des
réajustements au niveau des normes, tel que l’acceptation de certaines exceptions ou le rejet de
certains critères non pertinents afin de permettre l’achèvement du travail.
À cette fin, nous suggérons fortement un essai préliminaire avec une dizaine de dossiers pour
s’assurer de la bonne marche de la collecte finale des données. L’étape ultime est celle de
dégager des conclusions, en vue évidemment de pouvoir établir un plan d’action pour améliorer la
qualité des soins aux patients. C’est cette étape qui donne tout son sens aux efforts investis.
TABLEAU # 4 :
Étapes à suivre pour un projet de révision de la qualité de l’acte médical par critères explicites :
Étapes
Caractéristiques
Choix du sujet
Précis, ¨payant¨, réalisable.
Sélection de la méthode pour retrouver les Très important. Utiliser la méthode qui assurera
dossiers.
un échantillon représentatif, non pas
¨statistiquement significatif¨.
Établissement des critères d’évaluation et des Travail d’équipe, consensus important, travail de
normes de performance.
recherche et revue de littérature préalable
nécessaire, pour critère scientifiquement
reconnu.
Nombre maximum de critères : 10-15.
Étape ardue, mais très profitable.
Confection d’une grille des données.
Nécessaire pour recueillir les données par
Recueil préliminaire des données.
Recueil final des données.
l’archiviste. Doit être simple et tenir sur une
page.
Dans environ 10 dossiers.
Effectuer rajustements si nécessaire.
50-75 dossiers retenus = suffisant. On peut
avoir besoin d’en vérifier beaucoup plus.
Analyse des données
Faire ressortir les aspects à modifier.
Pas de signification statistique solide, attention
aux extrapolations.
Présentation et discussion avec groupe.
Très intéressant.
Recommandation pour améliorer la qualité des But ultime du projet.
actes médicaux étudiés.
Refaire l’étude ultérieurement.
Q 1-2 ans?
Vérifier s’il y a eu changement de
comportement.
TABLEAU # 5 :
Exemple de grille simple et efficace pour une étude par critères explicites sur l’administration de
l’ASA dans l’infarctus du myocarde.
Éléments :
No de dossier
Âge
Sexe
Heure d’arrivée à l’urgence
Raison de consultation : douleur thoracique, dyspnée, douleur
épigastrique, arrêt cardio-respiratoire
Diagnostic à l’urgence
Heure de l’administration de l’ASA
Contre-indications à l’ASA notées
Prenait déjà de l’ASA
ÉVALUATION PAR CRITÈRES EXPLICITES
(Performance évaluation procédure)
Méthode qui fait appel à des critères pour faire la vérification d’un certain nombre de dossiers en
rapport avec un problème soupçonné ou potentiel. Elle comporte quatre grandes étapes :
1.
-
l’identification du sujet d’évaluation
-
la détermination et l’application des critères à l’évaluation
-
l’analyse et l’identification du problème et de ses causes
-
les recommandations et le suivi du problème
CHOIX DU SUJET :
Il doit être simple, précis et scientifiquement bien établi. Il doit correspondre à un problème
connu ou appréhendé, ayant un impact significatif sur la qualité des soins.
2.
OBJECTIF D’UN PROTOCOLE D’ÉVALUATION :
Énoncé spécifique et mesurable de ce que l’étude doit démontrer. Il faut poser une seule
question, simple et précise, à laquelle l’étude devra répondre sans ambiguïté. Il appartient
au comité de préciser les spécifications : groupe de patients, âge, diagnostics, etc. Les
spécialistes de la méthode prétendent qu’un nombre de dossiers variant de 30 à 50 est
insuffisant pour pouvoir tirer des conclusions valides.
3.
DÉFINITIONS :
Signe sur lequel on base un jugement. Plus spécifiquement, c’est un élément de
comparaison, normatif, prédéterminé, mesurable et jugé essentiel à la dispensation de
soins de qualité.




Élément de comparaison : élément de soin, procédé diagnostique, intervention,
toute décision qui se rapporte à un patient.
Normatif : déterminé par des jugements de valeur établis par les meilleurs experts
disponibles et inspiré de la littérature récente.
Prédéterminé : déterminé avant l’étude.
Mesurable : représente un chiffre, une donnée, un rapport, une constatation
présente ou absente.
4.
 Essentiel : reconnu comme indispensable, nécessaire ou obligatoire.

LES QUATRE COMPOSANTES D’UN CRITÈRE :
-
-
L’élément (indicateur primaire) : le critère ou élément essentiel qui atteste que tel
soin, diagnostic, intervention a été approprié ou non.
La norme (standard) : chiffre ou pourcentage qui caractérise la norme. Exemple :
le standard pour une complication doit être de 0%.
L’exception (indicateur secondaire) : c’est l’exception à l’indicateur primaire; la
raison cliniquement acceptable qui justifie l’absence (ou la présence) de l’élément
essentiel.
Instructions à l’intention de l’archiviste : élément de clarification, synonyme, valeur
numérique, indication qui permet de retrouver tel élément dans le dossier.
5.
CATÉGORIES DE CRITÈRES UTILISÉS POUR L’ÉTUDE DE DOSSIERS :
6.
Critères de validation du diagnostic : doivent toujours apparaître au protocole
d’étude. Généralement au nombre de 1 ou 2 qui assurent que le dossier
appartient bien à l’étude entreprise.
- Critères de justification :
 de l’admission
 des procédés diagnostiques
 des procédés thérapeutiques
 des interventions chirurgicales
 de la demande de consultation
Critères de procédés essentiels :
Critères de complications :
Critères de résultats :
 disparition des symptômes
 signes généraux de retour à la santé
 etc.
GRILLE D’ÉVALUTION DES CRITÈRES :
-
Le critère utilisé :
 Est-il mesurable?
 Est-il compréhensible par un non médecin?
 Est-il applicable à la population à l’étude?
 Est-il pertinent par rapport aux objectifs de l’étude?
 Reflète-t-il des mesures reconnues, récentes, non controversées en rapport
avec des standards optimums de soins?

Badcock D, Kelly AM, Kerr D, Reade T. The quality of medical record review studies in the
-
international emergency medicine literature. Ann Emerg Med. 2005 Apr;45(4):444-7.