LES INDICATEURS DE LA QUALITÉ DES SOINS Maika BERROUET IFSI 2013 Les Indicateurs de Qualité de Soins Définitions Place des Indicateurs dans une démarche qualité Indicateur : un outil de mesure Utilisation des indicateurs Typologie des indicateurs Caractéristiques générales des indicateurs Limites méthodologiques Construction des indicateurs de qualité de soins Mise en application : recueil de donnés à partir d’un dossier patient Définitions Indicateur : - « Instrument qui fournit une indication » (le Robert) - « Outil de mesure ou critère d’appréciation de l’état d’un phénomène à un moment donné » (Lexique Economique) - « Donnée objective quantifiée reflétant un ou plusieurs champs de la qualité des soins dont l’exploitation permet de faire le point par rapport à un objectif qualité prédéterminé » (ANAES) Objectif : - Donner une mesure de la qualité obtenue Définition du CCASS Variable exprimée sous forme d’événement ou de ratio Utilisée afin de vérifier, d’assurer un suivi, et d’évaluer la qualité : – des soins – des activités médico-techniques et logistiques, – des services administratifs En vue d’apporter les améliorations requises, le cas échéant (Conseil Canadien d’Agrément des Services de Santé 1996) Définition de la JCAHO Mesure quantitative valide et fiable d’un processus ou d’un résultat liée à une ou plusieurs dimensions de la performance comme l’efficacité ou l’adéquation et une valeur statistique indiquant la performance ou l’évolution dans le temps de cette mesure (Joint Commission on Accreditation of Healthcare Organizations 1993) Autres éléments de définition Reflet de la qualité des soins qui permet d’effectuer des comparaisons dans le temps et l’espace Il fait l’objet d’un enregistrement périodique ou permanent C’est surtout un « révélateur » que toute variation significative entre deux valeurs doit entraîner la recherche d’une explication Place des indicateurs dans une démarche qualité Indicateurs à inclure dans une logique d’amélioration continue de la qualité afin : – de renforcer l’effet incitatif de la démarche en fournissant aux établissements de nouveaux outils fondés sur la mesure, – de renforcer le champ de la certification sur le champ clinique, – d’optimiser et enrichir la procédure de certification, les indicateurs pouvant aider à orienter ou cibler la visite, – de réduire les exigences exprimées sous formes de règles ou de normes au profit d’une approche centrée sur les résultats. Indicateur : un outil de mesure La survenue d’un événement : – Erreur de patient ou de côté en chirurgie – Rapt d’enfant – Suicide d’un patient en chirurgie Un pourcentage : – Pourcentage d’examens endoscopiques suivis de complications – Pourcentage de plaintes ayant fait l’objet d’une enquête et d’une réponse – Taux d’infections nosocomiales Une moyenne : – Délai moyen de transmission du compte-rendu de séjour au médecin désigné par le patient – Durée d’attente aux urgences Utilisation des indicateurs Outil diagnostique (utilisation interne à un établissement) – Pilotage interne, tableau de bord – Dépister les problèmes et dysfonctionnements évitables – Définir des actions d’amélioration (ou de prévention) prioritaires Outil de comparaison (utilisation interne ou externe) – Comparer de services ou d’établissements – Suivre dans le temps un établissement/activité/service Outil de pilotage externe – COM, demande d’autorisation – Certification Typologie des indicateurs 3 principaux types d’indicateurs : - Indicateur de structure, - Indicateur de résultat, - Indicateur de processus. Typologie des indicateurs (1) Indicateurs de structure : – Déterminent si l’établissement a les moyens de remplir sa mission – Peuvent être classés en indicateurs de moyens matériels, financiers, en personnel, organisationnels,… – Sont le plus souvent issus de normes réglementaires – Exemple : Indicateurs de qualité en anesthésie pédiatrique (diversité d’âges et poids : matériel spécifique) Typologie des indicateurs (2) Indicateurs de processus : – Déterminent : • La fréquence de réalisation de tout ou partie des processus, • L’existence, la qualité et le degré d’application de processus, • Le résultat des processus – Peuvent être classés comme indicateurs de pratique de soins, d’organisation des soins et de gestion des documents – Exemples : • Indicateurs de pratiques de soins : pourcentage de consultations préanesthésiques en chirurgie programmée • Indicateurs d’organisation des soins : temps moyen d’attente en consultation • Indicateurs de la gestion des documents : pourcentage de dossiers incomplets au moment d’une consultation Typologie des indicateurs (3) Indicateurs de résultats : – Déterminent si l’établissement a atteint ses objectifs – Peuvent être classés en indicateurs de mortalité, de morbidité (iatrogénie et gain de santé) et de satisfaction – Exemples • Indicateurs de mortalité : taux de mortalité après pontage coronaire • Indicateurs de morbidité : pourcentage de chutes des malades • Indicateurs de satisfaction : score moyen de satisfaction, pourcentage de plaintes – Ce sont les indicateurs les plus médiatisés Caractéristiques générales d'un indicateur Applicabilité Existence d’actions d'amélioration Performances métrologiques – Validité – Fiabilité – Robustesse – Sensibilité au changement Pertinence Opérationnalité Caractéristiques générales (1) / Applicabilité Définition – Susceptibilité de l'outil à être utilisé dans les circonstances dans lesquelles la mesure est nécessaire Aspects importants – Simplicité – Coût – Acceptabilité Caractéristiques générales (2) / Actions d'amélioration Doivent être définies avec les professionnels Applicables « rapidement » et facilement Il faut pouvoir suivre les conséquences de ces actions Utilité d’un indicateur sans action possible ? Performances Métrologiques (1) / Fiabilité et validité Capacité d'un outil à atteindre son objectif Fiabilité – Capacité à donner les mêmes résultats, quelles que soient les conditions d'application – Evaluation de la variabilité des résultats, indépendamment du phénomène que l'on veut mesurer Validité – Capacité à effectivement mesurer ce que l'on prétend mesurer – Evaluation de la variabilité des résultats, liée au phénomène lui-même Deux aspects complémentaires Performances Métrologiques (2) / Fiabilité et validité Fiable, non valide Valide et fiable Source : L.R. Salmi - DIU Evaluation de la qualité en médecine Valide, non fiable Caractéristiques générales (3) / Pertinence Un indicateur est pertinent – S’il permet de repérer directement les causes de dysfonctionnement – Si les actions correctrices ont un impact fort sur les résultats Caractéristiques générales (4) / Pertinence Le temps moyen d’attente aux consultations est un indicateur pertinent car : – Les causes sont repérables : retard du médecin, absence de prévision des appels urgents – La réduction du temps d’attente a un impact positif sur la satisfaction des patients Caractéristiques générales (5) / Pertinence L’indicateur qui se mord la queue – Indicateur dont la conséquence agit directement sur la cause avec un mouvement autoentretenu faussant l’appréciation – Histoire du trappeur et du sage indien Caractéristiques générales (5) / Pertinence Vous connaissez le grand nord canadien ? Vous en avez entendu parlé en tout cas. L'histoire se déroule en des temps pas si lointains. Le personnage : un trappeur. La saison : l'été. Alors l'été, dans le grand nord canadien, c'est une courte saison entre la fin d'un long hiver et le début d'un long hiver. Notre ami le trappeur profite de cette courte période pour faire sa provision de bois. Car voilà, l'hiver il fait froid et il faut se chauffer. Il part donc en forêt, une turlute à la bouche (une chansonnette au québec), abattre quelques arbres et les débiter en bûches de la taille adéquate pour entrer dans sa cheminée.... Mais couper du bois c'est fatiguant ! il s'agit de ne pas trop en couper et se fatiguer inutilement. Il s'agit aussi de ne pas en couper trop peu et manquer durant l'hiver ! Par moins 30 ou moins 40 on imagine notre trappeur devant sa cheminée éteinte ! En tout cas pour le moment il est perplexe... A-t-il coupé assez de bois ? Faut-il débiter encore deux ou trois nouveaux fûts ? Il a déjà un bon tas de bûches. Comment savoir ? Caractéristiques générales (5) / Pertinence Mais quelle chance ! Voilà un vieil indien qui passe par la futaie. Or comme tout le monde le sait, un indien, vieux de surcroît, est obligatoirement un sage. Notre trappeur l'interpelle : « Dis-moi vieux sage, d'après toi, l'hiver va être rude cette année ? » L'indien réfléchit, regarde le sol, regarde le tas de bois, regarde le ciel, réfléchit encore et dit : « Rude ». Rien de plus. Mais c'est suffisant. Notre trappeur crache dans ses mains, reprend la cognée et en abat encore quelques uns. Le vieux sage indien qui n'avait pas grand chose à faire et pour une fois qu'il y avait un spectacle dans la forêt, s'est assis sur un rondin et regarde le trappeur travailler. Au bout d'un moment, fatigué, ce dernier questionne de nouveau l'indien : « Très rude » fut sa réponse après quelques secondes de réflexion. C'est reparti pour encore deux ou trois arbres. Mais la nuit va tomber et notre trappeur n'en peut plus. Il questionne à nouveau le vieux sage. « Très très rude ! » répondit ce dernier. Mais là le trappeur pose sa cognée et lui demande : « Mais à quoi vois-tu cela ? Tu le lis dans le ciel, c'est le vol des oiseaux qui est révélateur ou encore la mousse au pied des arbres ? Dis-moi comment tu fais. » « Oh c'est très simple. » répondit l'indien. « Quand homme blanc couper beaucoup de bois c'est que l'hiver sera rude ! » Caractéristiques générales (6) / Opérationnalité Répond à une attente des professionnels – Besoin ressenti – Adhésion au référentiel et confiance dans l’indicateur choisi – Enjeu explicité et accepté Réalisable en pratique – Base de données existantes, sinon enquête ad hoc prévue et faisable – Charge de travail définie et acceptée Caractéristiques générales (7) / Opérationnalité Le temps moyen d’attente aux consultations peut être difficile à mesurer si : Une enquête spécifique impliquant le secrétariat et l’ensemble des médecins consultants est nécessaire Limites méthodologiques souvent rencontrées Critères de choix des indicateurs non pertinents – Arguments logistiques (disponibilité des données) ou médicaux (survenue d’un évènement grave) – Pertinence et opérationnalité pour les utilisateurs Absence de validation des indicateurs – Méthodes de validation encore peu appliquées Mise en place sur l’unique initiative de la direction ou des institutions extérieures à l’établissement – Perçus uniquement comme des outils de contrôle externe Conséquences de ces limites Interprétation difficile des indicateurs (si absence de validation, controverse) Très forte réticence des professionnels de santé (absence de validation… quel intérêt ???) Impact insuffisant sur la qualité des soins Construction des Indicateurs Champs d’action – Identifié en fonction des problèmes reconnus comme prioritaire. – Il s’agit souvent d’un secteur, d’un service ou d’un processus que l’on souhaite développer, améliorer au vu de dysfonctionnements antérieurs. Exemple : accueil des patients Page 29 Objectifs généraux – « Que cherche-t-on à faire ? » – « Quelles actions engager ? » A ce stade : buts fixés non quantifiés Exemple : diminution du délais d’attente Page 30 Variables critiques Déterminer les variables critiques : ce qui entraîne le plus de risque de ne pas atteindre l’objectif. Mettre en exergue les critères essentiels dont l’évolution aura le plus d’impact sur les buts fixés. Trois première étapes : Inhérentes à toute démarche qualité, Permettent de poser de façon sereine le cadre de travail. Page 31 Variables critiques Déterminer les variables critiques : ce qui entraîne le plus de risque de ne pas atteindre l’objectif. Mettre en exergue les critères essentiels dont l’évolution aura le plus d’impact sur les buts fixés. Trois première étapes : Inhérentes à toute démarche qualité, Permettent de poser de façon sereine le cadre de travail. Page 32 Variables critiques Définir les paramètres mesurables correspondants aux variables retenues : Exemple : accueil des patients, et plus particulièrement les délais d’attente dans la zone d’accueil Fixation d’une norme : délai ne dépassant pas les 20 min Critère : conformité des délais d’attente enregistrés avec le délai fixé (20 min). Identification des éléments permettant de quantifier le critère et la périodicité de la mesure : Périodicité : quotidienne Critères retenus : nbre de patients dont l’attente est < à 20 min nbre total de patients transférés dans les services. Page 33 Indicateurs Indicateur : accueil des patients et plus spécifiquement le délai d’attente Taux (résultat d’une fraction dont le numérateur est compris dans le dénominateur) Ici appelé : taux de conformité quotidien nombre de patients dont l’attente est < à 20 min / nombre total de patients accueillis. Définir un standard chiffré qui soit optimal Définir un seuil de réactivité qui soit inférieur à ce standard et en deçà duquel des actions correctives devront être menées. Page 34 Validation de l’indicateur Réflexion immédiate sur sa pertinence Est ce que mon indicateur me permet de vraiment faire le point sur le champ d’action que j’ai défini? Possède t-il les fameuses qualités requises ? spécificité (une seule variable à la fois) sensibilité (transcription de toutes les variations du phénomène étudié); fiabilité (résultats reproductibles entre 2 mesures similaires). Test sur le terrain indicateur compris par tous les utilisateurs? support de collecte des donnés est-il opérationnel? ……. Page 35 Construction d’une grille de recueil - Concepts théoriques - Application Élaboration d’un questionnaire (1) Caractéristiques d'un questionnaire (1) Questionnaire approprié – Capable de fournir les réponses aux questions posées Question intelligible – Question que la personne interviewée peut comprendre (langue en particulier) Question sans ambiguïté – Question ayant le même sens pour tout personne interviewée et l’enquêteur, le chercheur Question impartiale – Une question peut apparaître non biaisée jusqu’à ce qu’on essaie d’interpréter les réponses. L’objectif est de s’assurer que l’on ne favorise pas plus une réponse qu’une autre Page 37 CCECQA – Formation Indicateurs – Mai 2008 37 Élaboration d’un questionnaire (2) Caractéristiques d'un questionnaire (2) Question omnicompétente – Capable de rapporter toutes les réponses possibles Codage approprié – Le codage doit être vérifié attentivement pour éviter l’ambiguïté et le chevauchement ; la règle est d’être exhaustif et mutuellement exclusif Questionnaire testé – Pour supprimer les erreurs de construction oubliées, et permettre une évaluation en règle Questionnaire éthique – Vérifier la nécessité de la recherche, la rigueur scientifique, la confidentialité, et l’obtention du consentement des sujets Page 38 CCECQA – Formation Indicateurs – Mai 2008 38 Élaboration d’un questionnaire (3) Etapes (1) Décider ce dont on a besoin – Dépend des objectifs – Doit être clairement exprimé Sélectionner les items à inclure – Lister les items spécifiques que l’on veut enregistrer Construire les questions – Le format des questions dépend largement du mode de recueil choisi et du type des données Rédiger les libellés – Règle d’or : être bref – La précision est essentielle – A une question, une idée Page 39 CCECQA – Formation Indicateurs – Mai 2008 39 Élaboration d’un questionnaire (4) Etapes (2) Préparer la mise en page – Politesse, brève introduction – Du général vers le particulier Préparer le codage – Méthode de la réponse codée automatiquement plus rapide Préparer le premier jet et le pré-test Lancer l'étude pilote et évaluer – Petit échantillon – Validité et fiabilité Lancer l'étude – Enquêteur – Vérification questionnaires remplis Page 40 CCECQA – Formation Indicateurs – Mai 2008 40 Exemple 1 grille « Délai envoi des courriers » Page 41 CCECQA – Formation Indicateurs – Mai 2008 41 Exemple 1 consignes remplissage grille « Délai envoi des courriers » Page 42 CCECQA – Formation Indicateurs – Mai 2008 42 Commentaires grille et consignes exemple 1 Difficultés de remplissage Q20 : Double message « présence » et « conformité » Double négation « non-conforme » et « éléments manquants » Manque de clarté sur le terme « conforme » Il faut répondre « Oui » s’il est présent mais aussi conforme Il faut répondre « Non » si le courrier est non-conforme ou s’il n’est pas présent Page 43 CCECQA – Formation Indicateurs – Mai 2008 43 Commentaires grille et consignes exemple 1 Difficultés de remplissage Q20 : Le critère « Date de sortie du patient de l’établissement » n’a pas de lien sur la présence ou non et la conformité ou non du courrier de sortie Il n’est pas précisé dans les consignes qu’il faut renseigner la date de sortie du patient quel que soit la réponse à Q20 S’il n’est pas conforme, il faut penser à cocher les éléments manquants Page 44 CCECQA – Formation Indicateurs – Mai 2008 44 Commentaires grille et consignes exemple 1 bis Difficultés de remplissage Q 21 : Il n’est pas précisé qu’il faut répondre « Oui ou Non » uniquement s’il y a présence d’un courrier, la question étant de savoir s’il y a une date d’envoi sur le courrier de sortie Page 45 CCECQA – Formation Indicateurs – Mai 2008 45 Améliorations apportées Pour la 2ème mesure : Essayer de clarifier les consignes de remplissage Essayer de clarifier la grille de recueil Etre plus directif dans les modalités de réponse Eviter une mauvaise compréhension du remplissage de la grille ce qui peut entraîner un problème de codage En gardant à l’esprit qu’il fallait respecter le plan d’analyse réalisé lors de la mesure précédente Page 46 CCECQA – Formation Indicateurs – Mai 2008 46 Nouvelle version grille « Délai envoi des courriers » Page 47 CCECQA – Formation Indicateurs – Mai 2008 47 Nouvelle version consignes de remplissage « Délai envoi des courriers » Page 48 CCECQA – Formation Indicateurs – Mai 2008 48 Modalités de présentation et diffusion des résultats Analyse, diffusion Interne – Etat des lieux = audit – Evolution temporelle • Recueil continu • Recueil répété (fréquence ?) Externe – Volontaire : comparaison + échange d’expériences – Imposée : objectifs ? (diffusion publique) Page 50 CCECQA – Formation Indicateurs – Mai 2008 50 Diffusion interne Page 51 CCECQA – Formation Indicateurs – Mai 2008 51 Analyse avec stratification Page 52 CCECQA – Formation Indicateurs – Mai 2008 52 Positif – négatif : interprétation et pièges Page 53 CCECQA – Formation Indicateurs – Mai 2008 53 Questionnaire SAPHORA Résultats (1) Page 54 CCECQA – Formation Indicateurs – Mai 2008 54 Questionnaire SAPHORA Résultats (2) Page 55 CCECQA – Formation Indicateurs – Mai 2008 55 ICALIN (1) Page 56 CCECQA – Formation Indicateurs – Mai 2008 56 Délai d’envoi du courrier (3) Signification des indicateurs (2) Page 57 CCECQA – Formation Indicateurs – Mai 2008 57 Délai d’envoi du courrier (4) Signification des indicateurs (3) <=J0 J1-J4 J5-J8 J9-J15 > J15 MCO publics MCO privés SSR 0% Page 58 20% 40% 60% 80% 100% CCECQA – Formation Indicateurs – Mai 2008 58 Conclusion (1) Mise en application Recueil de donnés à partir d’un dossier patient