Indicateur

LES INDICATEURS DE LA QUALITÉ DES
SOINS
Maika BERROUET
IFSI 2013
Les Indicateurs de Qualité de Soins
 Définitions
 Place des Indicateurs dans une démarche qualité
 Indicateur : un outil de mesure
 Utilisation des indicateurs
 Typologie des indicateurs
 Caractéristiques générales des indicateurs
 Limites méthodologiques
 Construction des indicateurs de qualité de soins
 Mise en application : recueil de donnés à partir d’un
dossier patient
Définitions
 Indicateur :
- « Instrument qui fournit une indication » (le Robert)
- « Outil de mesure ou critère d’appréciation de l’état d’un
phénomène à un moment donné » (Lexique Economique)
- « Donnée objective quantifiée reflétant un ou plusieurs champs
de la qualité des soins dont l’exploitation permet de faire le
point par rapport à un objectif qualité prédéterminé » (ANAES)
 Objectif :
- Donner une mesure de la qualité obtenue
Définition du CCASS
Variable exprimée sous forme d’événement ou de ratio
Utilisée afin de vérifier, d’assurer un suivi, et d’évaluer la qualité :
– des soins
– des activités médico-techniques et logistiques,
– des services administratifs
En vue d’apporter les améliorations requises, le cas échéant
(Conseil Canadien d’Agrément des Services de Santé 1996)
Définition de la JCAHO
Mesure quantitative valide et fiable
d’un processus ou d’un résultat
liée à une ou plusieurs dimensions de la performance comme
l’efficacité ou l’adéquation
et une valeur statistique indiquant la performance ou l’évolution
dans le temps de cette mesure
(Joint Commission on Accreditation of Healthcare Organizations
1993)
Autres éléments de définition
 Reflet de la qualité des soins qui permet d’effectuer des
comparaisons dans le temps et l’espace
 Il fait l’objet d’un enregistrement périodique ou
permanent
 C’est surtout un « révélateur » que toute variation
significative entre deux valeurs doit entraîner la
recherche d’une explication
Place des indicateurs dans une démarche qualité
 Indicateurs à inclure dans une logique d’amélioration
continue de la qualité afin :
– de renforcer l’effet incitatif de la démarche en fournissant
aux établissements de nouveaux outils fondés sur la mesure,
– de renforcer le champ de la certification sur le champ
clinique,
– d’optimiser et enrichir la procédure de certification, les
indicateurs pouvant aider à orienter ou cibler la visite,
– de réduire les exigences exprimées sous formes de règles ou
de normes au profit d’une approche centrée sur les résultats.
Indicateur : un outil de mesure
 La survenue d’un événement :
– Erreur de patient ou de côté en chirurgie
– Rapt d’enfant
– Suicide d’un patient en chirurgie
 Un pourcentage :
– Pourcentage d’examens endoscopiques suivis de complications
– Pourcentage de plaintes ayant fait l’objet d’une enquête et d’une réponse
– Taux d’infections nosocomiales
 Une moyenne :
– Délai moyen de transmission du compte-rendu de séjour au médecin désigné
par le patient
– Durée d’attente aux urgences
Utilisation des indicateurs
 Outil diagnostique (utilisation interne à un établissement)
– Pilotage interne, tableau de bord
– Dépister les problèmes et dysfonctionnements évitables
– Définir des actions d’amélioration (ou de prévention) prioritaires
 Outil de comparaison (utilisation interne ou externe)
– Comparer de services ou d’établissements
– Suivre dans le temps un établissement/activité/service
 Outil de pilotage externe
– COM, demande d’autorisation
– Certification
Typologie des indicateurs
 3 principaux types d’indicateurs :
- Indicateur de structure,
- Indicateur de résultat,
- Indicateur de processus.
Typologie des indicateurs (1)
 Indicateurs de structure :
– Déterminent si l’établissement a les moyens de remplir
sa mission
– Peuvent être classés en indicateurs de moyens matériels,
financiers, en personnel, organisationnels,…
– Sont le plus souvent issus de normes réglementaires
– Exemple : Indicateurs de qualité en anesthésie
pédiatrique (diversité d’âges et poids : matériel
spécifique)
Typologie des indicateurs (2)

Indicateurs de processus :
– Déterminent :
• La fréquence de réalisation de tout ou partie des processus,
• L’existence, la qualité et le degré d’application de processus,
• Le résultat des processus
– Peuvent être classés comme indicateurs de pratique de soins,
d’organisation des soins et de gestion des documents
– Exemples :
• Indicateurs de pratiques de soins : pourcentage de consultations préanesthésiques en chirurgie programmée
• Indicateurs d’organisation des soins : temps moyen d’attente en
consultation
• Indicateurs de la gestion des documents : pourcentage de dossiers
incomplets au moment d’une consultation
Typologie des indicateurs (3)
 Indicateurs de résultats :
– Déterminent si l’établissement a atteint ses objectifs
– Peuvent être classés en indicateurs de mortalité, de morbidité
(iatrogénie et gain de santé) et de satisfaction
– Exemples
• Indicateurs de mortalité : taux de mortalité après pontage
coronaire
• Indicateurs de morbidité : pourcentage de chutes des
malades
• Indicateurs de satisfaction : score moyen de satisfaction,
pourcentage de plaintes
– Ce sont les indicateurs les plus médiatisés
Caractéristiques générales d'un indicateur
 Applicabilité
 Existence d’actions d'amélioration
 Performances métrologiques
– Validité
– Fiabilité
– Robustesse
– Sensibilité au changement
 Pertinence
 Opérationnalité
Caractéristiques générales (1) / Applicabilité
 Définition
– Susceptibilité de l'outil à être utilisé dans les circonstances dans
lesquelles la mesure est nécessaire
 Aspects importants
– Simplicité
– Coût
– Acceptabilité
Caractéristiques générales (2) / Actions d'amélioration
 Doivent être définies avec les professionnels
 Applicables « rapidement » et facilement
 Il faut pouvoir suivre les conséquences de ces actions
 Utilité d’un indicateur sans action possible ?
Performances Métrologiques (1) / Fiabilité et validité
 Capacité d'un outil à atteindre son objectif
 Fiabilité
– Capacité à donner les mêmes résultats, quelles que soient les conditions
d'application
– Evaluation de la variabilité des résultats, indépendamment du phénomène
que l'on veut mesurer
 Validité
– Capacité à effectivement mesurer ce que l'on prétend mesurer
– Evaluation de la variabilité des résultats, liée au phénomène lui-même
 Deux aspects complémentaires
Performances Métrologiques (2) / Fiabilité et validité
Fiable, non valide
Valide et fiable
Source : L.R. Salmi - DIU Evaluation de la qualité en médecine
Valide, non fiable
Caractéristiques générales (3) / Pertinence
 Un indicateur est pertinent
– S’il permet de repérer directement les causes de
dysfonctionnement
– Si les actions correctrices ont un impact fort sur les résultats
Caractéristiques générales (4) / Pertinence
 Le temps moyen d’attente aux consultations est un
indicateur pertinent car :
– Les causes sont repérables : retard du médecin, absence de
prévision des appels urgents
– La réduction du temps d’attente a un impact positif sur la
satisfaction des patients
Caractéristiques générales (5) / Pertinence
 L’indicateur qui se mord la queue
– Indicateur dont la conséquence agit directement sur la cause
avec un mouvement autoentretenu faussant l’appréciation
– Histoire du trappeur et du sage indien
Caractéristiques générales (5) / Pertinence


Vous connaissez le grand nord canadien ? Vous en avez entendu parlé en tout
cas. L'histoire se déroule en des temps pas si lointains. Le personnage : un
trappeur. La saison : l'été. Alors l'été, dans le grand nord canadien, c'est une
courte saison entre la fin d'un long hiver et le début d'un long hiver. Notre ami le
trappeur profite de cette courte période pour faire sa provision de bois. Car
voilà, l'hiver il fait froid et il faut se chauffer. Il part donc en forêt, une turlute à
la bouche (une chansonnette au québec), abattre quelques arbres et les débiter
en bûches de la taille adéquate pour entrer dans sa cheminée....
Mais couper du bois c'est fatiguant ! il s'agit de ne pas trop en couper et
se fatiguer inutilement. Il s'agit aussi de ne pas en couper trop peu et manquer
durant l'hiver ! Par moins 30 ou moins 40 on imagine notre trappeur devant sa
cheminée éteinte ! En tout cas pour le moment il est perplexe... A-t-il coupé
assez de bois ? Faut-il débiter encore deux ou trois nouveaux fûts ? Il a déjà un
bon tas de bûches. Comment savoir ?
Caractéristiques générales (5) / Pertinence

Mais quelle chance ! Voilà un vieil indien qui passe par la futaie. Or comme tout
le monde le sait, un indien, vieux de surcroît, est obligatoirement un sage. Notre
trappeur l'interpelle :
« Dis-moi vieux sage, d'après toi, l'hiver va être rude cette année ? » L'indien
réfléchit, regarde le sol, regarde le tas de bois, regarde le ciel, réfléchit encore et
dit : « Rude ». Rien de plus. Mais c'est suffisant.
Notre trappeur crache dans ses mains, reprend la cognée et en abat encore
quelques uns. Le vieux sage indien qui n'avait pas grand chose à faire et pour
une fois qu'il y avait un spectacle dans la forêt, s'est assis sur un rondin et
regarde le trappeur travailler.
Au bout d'un moment, fatigué, ce dernier questionne de nouveau l'indien : «
Très rude » fut sa réponse après quelques secondes de réflexion. C'est reparti
pour encore deux ou trois arbres. Mais la nuit va tomber et notre trappeur n'en
peut plus. Il questionne à nouveau le vieux sage. « Très très rude ! » répondit ce
dernier.
Mais là le trappeur pose sa cognée et lui demande : « Mais à quoi vois-tu cela ?
Tu le lis dans le ciel, c'est le vol des oiseaux qui est révélateur ou encore la
mousse au pied des arbres ? Dis-moi comment tu fais. »
« Oh c'est très simple. » répondit l'indien. « Quand homme blanc couper
beaucoup de bois c'est que l'hiver sera rude ! »
Caractéristiques générales (6) / Opérationnalité
 Répond à une attente des professionnels
– Besoin ressenti
– Adhésion au référentiel et confiance dans l’indicateur choisi
– Enjeu explicité et accepté
 Réalisable en pratique
– Base de données existantes, sinon enquête ad hoc prévue et
faisable
– Charge de travail définie et acceptée
Caractéristiques générales (7) / Opérationnalité
 Le temps moyen d’attente aux consultations peut
être difficile à mesurer si :
Une enquête spécifique impliquant le secrétariat et
l’ensemble des médecins consultants est nécessaire
Limites méthodologiques souvent rencontrées
 Critères de choix des indicateurs non pertinents
– Arguments logistiques (disponibilité des données) ou médicaux
(survenue d’un évènement grave)
– Pertinence et opérationnalité pour les utilisateurs
 Absence de validation des indicateurs
– Méthodes de validation encore peu appliquées
 Mise en place sur l’unique initiative de la direction ou
des institutions extérieures à l’établissement
– Perçus uniquement comme des outils de contrôle externe
Conséquences de ces limites
 Interprétation difficile des indicateurs (si absence de
validation, controverse)
 Très forte réticence des professionnels de santé
(absence de validation… quel intérêt ???)
 Impact insuffisant sur la qualité des soins
Construction des Indicateurs
Champs d’action
– Identifié en fonction des problèmes reconnus comme
prioritaire.
– Il s’agit souvent d’un secteur, d’un service ou d’un
processus que l’on souhaite développer, améliorer au
vu de dysfonctionnements antérieurs.
Exemple : accueil des patients
Page  29
Objectifs généraux
– « Que cherche-t-on à faire ? »
– « Quelles actions engager ? »
A ce stade : buts fixés non quantifiés
Exemple : diminution du délais d’attente
Page  30
Variables critiques
Déterminer les variables critiques : ce qui entraîne le plus
de risque de ne pas atteindre l’objectif.
Mettre en exergue les critères essentiels dont l’évolution
aura le plus d’impact sur les buts fixés.
Trois première étapes :
Inhérentes à toute démarche qualité,
Permettent de poser de façon sereine le cadre de travail.
Page  31
Variables critiques
Déterminer les variables critiques : ce qui entraîne le plus
de risque de ne pas atteindre l’objectif.
Mettre en exergue les critères essentiels dont l’évolution
aura le plus d’impact sur les buts fixés.
Trois première étapes :
Inhérentes à toute démarche qualité,
Permettent de poser de façon sereine le cadre de travail.
Page  32
Variables critiques
Définir les paramètres mesurables correspondants aux
variables retenues :
Exemple : accueil des patients, et plus particulièrement
les délais d’attente dans la zone d’accueil
Fixation d’une norme : délai ne dépassant pas les 20 min
Critère : conformité des délais d’attente enregistrés avec
le délai fixé (20 min).
Identification des éléments permettant de quantifier le
critère et la périodicité de la mesure :
Périodicité : quotidienne
Critères retenus :
nbre de patients dont l’attente est < à 20 min
nbre total de patients transférés dans les services.
Page  33
Indicateurs
Indicateur : accueil des patients et plus spécifiquement le
délai d’attente
Taux (résultat d’une fraction dont le numérateur est
compris dans le dénominateur)
Ici appelé : taux de conformité quotidien
nombre de patients dont l’attente est < à 20 min /
nombre total de patients accueillis.
Définir un standard chiffré qui soit optimal
Définir un seuil de réactivité qui soit inférieur à ce
standard et en deçà duquel des actions correctives
devront être menées.
Page  34
Validation de l’indicateur
Réflexion immédiate sur sa pertinence
Est ce que mon indicateur me permet de vraiment faire le
point sur le champ d’action que j’ai défini?
Possède t-il les fameuses qualités requises ?
spécificité (une seule variable à la fois)
sensibilité (transcription de toutes les variations
du phénomène étudié);
fiabilité (résultats reproductibles entre 2 mesures
similaires).
Test sur le terrain
indicateur compris par tous les utilisateurs?
support de collecte des donnés est-il
opérationnel? …….
Page  35
Construction d’une grille de recueil
- Concepts théoriques
- Application
Élaboration d’un questionnaire (1)
Caractéristiques d'un questionnaire (1)
 Questionnaire approprié
– Capable de fournir les réponses aux questions posées
 Question intelligible
– Question que la personne interviewée peut comprendre (langue en particulier)
 Question sans ambiguïté
– Question ayant le même sens pour tout personne interviewée et l’enquêteur,
le chercheur
 Question impartiale
– Une question peut apparaître non biaisée jusqu’à ce qu’on essaie
d’interpréter les réponses. L’objectif est de s’assurer que l’on ne favorise pas
plus une réponse qu’une autre
Page  37
CCECQA – Formation Indicateurs – Mai 2008
37
Élaboration d’un questionnaire (2)
Caractéristiques d'un questionnaire (2)
 Question omnicompétente
– Capable de rapporter toutes les réponses possibles
 Codage approprié
– Le codage doit être vérifié attentivement pour éviter l’ambiguïté et le
chevauchement ; la règle est d’être exhaustif et mutuellement exclusif
 Questionnaire testé
– Pour supprimer les erreurs de construction oubliées, et permettre une
évaluation en règle
 Questionnaire éthique
– Vérifier la nécessité de la recherche, la rigueur scientifique, la
confidentialité, et l’obtention du consentement des sujets
Page  38
CCECQA – Formation Indicateurs – Mai 2008
38
Élaboration d’un questionnaire (3)
Etapes (1)
 Décider ce dont on a besoin
– Dépend des objectifs
– Doit être clairement exprimé
 Sélectionner les items à inclure
– Lister les items spécifiques que l’on veut enregistrer
 Construire les questions
– Le format des questions dépend largement du mode de recueil
choisi et du type des données
 Rédiger les libellés
– Règle d’or : être bref
– La précision est essentielle
– A une question, une idée
Page  39
CCECQA – Formation Indicateurs – Mai 2008
39
Élaboration d’un questionnaire (4)
Etapes (2)
 Préparer la mise en page
– Politesse, brève introduction
– Du général vers le particulier
 Préparer le codage
– Méthode de la réponse codée automatiquement plus rapide
 Préparer le premier jet et le pré-test
 Lancer l'étude pilote et évaluer
– Petit échantillon
– Validité et fiabilité
 Lancer l'étude
– Enquêteur
– Vérification questionnaires remplis
Page  40
CCECQA – Formation Indicateurs – Mai 2008
40
Exemple 1 grille
« Délai envoi des courriers »
Page  41
CCECQA – Formation Indicateurs – Mai 2008
41
Exemple 1 consignes remplissage grille
« Délai envoi des courriers »
Page  42
CCECQA – Formation Indicateurs – Mai 2008
42
Commentaires grille et consignes exemple 1
Difficultés de remplissage Q20 :
 Double message « présence » et « conformité »
 Double négation « non-conforme » et « éléments manquants »
 Manque de clarté sur le terme « conforme »
 Il faut répondre « Oui » s’il est présent mais aussi conforme
 Il faut répondre « Non » si le courrier est non-conforme ou s’il n’est pas
présent
Page  43
CCECQA – Formation Indicateurs – Mai 2008
43
Commentaires grille et consignes exemple 1
Difficultés de remplissage Q20 :
 Le critère « Date de sortie du patient de l’établissement » n’a pas de lien
sur la présence ou non et la conformité ou non du courrier de sortie
 Il n’est pas précisé dans les consignes qu’il faut renseigner la date de
sortie du patient quel que soit la réponse à Q20
 S’il n’est pas conforme, il faut penser à cocher les éléments manquants
Page  44
CCECQA – Formation Indicateurs – Mai 2008
44
Commentaires grille et consignes exemple 1 bis
Difficultés de remplissage Q 21 :
 Il n’est pas précisé qu’il faut répondre « Oui ou Non » uniquement s’il y a
présence d’un courrier, la question étant de savoir s’il y a une date d’envoi
sur le courrier de sortie
Page  45
CCECQA – Formation Indicateurs – Mai 2008
45
Améliorations apportées
Pour la 2ème mesure :
 Essayer de clarifier les consignes de remplissage
 Essayer de clarifier la grille de recueil
 Etre plus directif dans les modalités de réponse
 Eviter une mauvaise compréhension du remplissage de la grille ce
qui peut entraîner un problème de codage
En gardant à l’esprit qu’il fallait respecter le plan d’analyse réalisé
lors de la mesure précédente
Page  46
CCECQA – Formation Indicateurs – Mai 2008
46
Nouvelle version grille
« Délai envoi des courriers »
Page  47
CCECQA – Formation Indicateurs – Mai 2008
47
Nouvelle version consignes de
remplissage « Délai envoi des courriers »
Page  48
CCECQA – Formation Indicateurs – Mai 2008
48
Modalités
de présentation et diffusion des
résultats
Analyse, diffusion
 Interne
– Etat des lieux = audit
– Evolution temporelle
• Recueil continu
• Recueil répété (fréquence ?)
 Externe
– Volontaire : comparaison + échange d’expériences
– Imposée : objectifs ? (diffusion publique)
Page  50
CCECQA – Formation Indicateurs – Mai 2008
50
Diffusion interne
Page  51
CCECQA – Formation Indicateurs – Mai 2008
51
Analyse avec stratification
Page  52
CCECQA – Formation Indicateurs – Mai 2008
52
Positif – négatif :
interprétation et pièges
Page  53
CCECQA – Formation Indicateurs – Mai 2008
53
Questionnaire SAPHORA Résultats (1)
Page  54
CCECQA – Formation Indicateurs – Mai 2008
54
Questionnaire SAPHORA Résultats (2)
Page  55
CCECQA – Formation Indicateurs – Mai 2008
55
ICALIN (1)
Page  56
CCECQA – Formation Indicateurs – Mai 2008
56
Délai d’envoi du courrier (3)
Signification des indicateurs (2)
Page  57
CCECQA – Formation Indicateurs – Mai 2008
57
Délai d’envoi du courrier (4)
Signification des indicateurs (3)
<=J0
J1-J4
J5-J8
J9-J15
> J15
MCO publics
MCO privés
SSR
0%
Page  58
20%
40%
60%
80%
100%
CCECQA – Formation Indicateurs – Mai 2008
58
Conclusion (1)
Mise en application
Recueil de donnés à partir d’un dossier patient