Fiabilité des outils d`analyse des événements indésirables de l
publicité
JVS_Resume&posters_151105 Journées de veille sanitaire • Journées de veille sanitaire 2 15/11/05 16:16 Page 53 Fiabilité des outils d’analyse des événements indésirables de l’Etude nationale en établissements de santé sur les événements indésirables graves liés aux soins P. Michel, S. Domecq, J.-L. Quenon, A.-M. de Sarasqueta CCECQA, Hôpital Xavier Arnozan, Pessac, France Contexte Eneis a été en 2004 la première étude en France sur l’ensemble des risques liés aux soins. Son objectif était d’estimer la fréquence et le caractère évitable des événements indésirables graves liés aux soins (EIG) et de réaliser une analyse approfondie des défaillances. Ces deux objectifs ont été atteints en deux temps, une enquête épidémiologique puis une analyse approfondie des défaillances, de type qualitatif. Les outils ont été validés avant leur utilisation dans l’étude. Leur validité de contenu a été vérifiée auprès de groupes d’experts nationaux et internationaux. Leur fiabilité, en terme de reproductibilité inter-enquêteurs, est présentée ici. • Collecte des données - Par deux médecins enquêteurs avec les médecins du service. - A deux reprises : à 6 jours d’intervalle pendant l’enquête (J0 et J6). • Analyse - Reproductibilité des échelles de présomption*. - Outils statistiques : coefficient Kappa (k), concordance brute sous forme de pourcentage (p)†. - Caractère lié aux soins : sur l’ensemble des cas détectés (à J0 et J6), puis médecine et chirurgie séparément. - Caractère évitable : sur l’ensemble des cas détectés et liés aux soins (à J0 et J6), puis médecine et chirurgie séparément. Questionnaires utilisés • Caractère lié aux soins - L’événement clinique était-il attendu compte-tenu de l’évolution prévisible de la maladie ou de l’état du malade ? - Les soins ont-ils provoqué l’événement clinique ? - La chronologie des événements suggère-t-elle que l’événement clinique est lié aux soins (ou à leur absence) ? - Existe-t-il une autre explication plausible que les soins comme cause de l’événement clinique ? - Les soins sont-ils reconnus comme pouvant être la cause de cet événement clinique (niveau de preuves scientifiques) ? - Cet événement aurait-il pu survenir en l’absence de ces soins ? - L’événement clinique a-t-il été identifié comme un événement indésirable lié aux soins par l’équipe médicale durant l’hospitalisation de référence ? - Echelle de présomption* : EIG lié aux soins si niveau de confiance compris entre 4 et 6. • Caractère évitable - La maladie du patient en rapport avec les soins à l’origine de l’événement était-elle grave ? - Quel était le degré de complexité de la situation clinique du patient (état général, comorbidités, comportement du patient, etc.) ? - Ces soins étaient-ils urgents ? - Ces soins étaient-ils indiqués (niveau de preuves scientifiques) ? - Y a-t-il eu une déviation dans la réalisation de ces soins, par rapport à la pratique attendue ? - Quel était le bénéfice potentiel, pour le patient, de ces soins au moment de leur réalisation ? - Quel était le risque potentiel de survenue d’événement indésirable au moment de la réalisation de ces soins ? - La plupart des médecins ou professionnels de santé, dans un contexte identique, auraient-ils pris en charge le patient de la même manière ? Echelle de présomption* : EIG évitable si niveau de confiance compris entre 4 et 6. • Analyse approfondie des défaillances 6 types de défaillances et 43 défaillances au total - L’EIG est-il lié à des facteurs individuels ayant favorisé des erreurs humaines ? 7 défaillances spécifiques (connaissance, aptitude, échanges avec le patient, etc.) - L’EIG est-il lié à des défauts concernant l’équipe ? 5 défaillances spécifiques (communication, collaboration, supervision, etc.) - L’EIG est-il lié aux tâches à accomplir lors des soins ? 10 défaillances spécifiques (protocoles, accessibilité information, planification, etc.) - L’EIG est-il lié à des facteurs concernant l’environnement ? 8 défaillances spécifiques (locaux, équipements, charge de travail, etc.) - L’EIG est-il lié à des facteurs concernant l’organisation ? 8 défaillances spécifiques (définition des responsabilité, gestion du personnel, etc.) - L’EIG est-il lié à des facteurs concernant le contexte institutionnel ? 5 défaillances spécifiques (contraintes financières, culture qualité/risque, etc.) Méthode et résultats de la fiabilité des échelles de présomption des caractères liés aux soins et évitables * Echelle de présomption • Exclu. • Très peu probable (surtout des arguments en défaveur). • Peu probable (plus d’arguments en défaveur qu’en faveur). • Assez probable (plus d’arguments en faveur qu’en défaveur). • Très probable (surtout des arguments en faveur). • Certain. • Schéma d’étude - Reproductibilité inter-enquêteurs avec deux mesures indépendantes. • Critères d’inclusion - En conditions réelles d’enquête. - Tous les patients hospitalisés en médecine et en chirurgie avec un EI détecté avant passage du médecin enquêteur. Résultats • Reproductibilité “caractère liés aux soins” excellente p= 91,7 %, k=0,83. 145 cas détectés. Résultats similaires en médecine et en chirurgie. • Reproductibilité modérée p=67,8 %, k=0,31. 52 cas détectés et liés aux soins. Résultats similaires en médecine et en chirurgie. Méthode et résultats de la fiabilité de l’analyse appronfondie des défaillences • Schéma d’étude - Reproductibilité inter-enquêteurs. - Critères d’inclusion. - 5 cas réels choisis pour la diversité des situations (2 issus de la littérature, 3 analysés par le CCECQA). - Collecte des données. - Attribution aléatoire des cas aux 9 futurs enquêteurs Eneis. - Sous la forme de jeux de rôle lors de leur période de formation. - Analyse du même cas par deux médecins enquêteurs avec le même formateur. • Analyse - Reproductibilité de chaque type de cause et de chaque cause spécifique. - Outils statistiques : coefficient Kappa (k), concordance brute sous forme de pourcentage (p)†. Résultats • Types de cause - Reproductibilité bonne mais à confirmer pour 5 des 6 types de cause : individuelle, opérationnelle, environnementale, organisationnelle, institutionnelle. - p compris entre 77 % et 94 %, k compris entre 0,20 et 0,46. • Causes spécifiques - Reproductibilité satisfaisante pour 31 des 43 défaillances : excellente (2) très bonne (3), bonne mais à confirmer (26). - Défaut de reproductibilité : collaboration entre soignants, formation et supervision des professionnels, retard dans la prestation ou programmation des examens, conditions de travail, définition des responsabilités et des tâches, coordination entre services, adéquation de la procédure de sortie et ensemble des causes liées au contexte institutionnel. † Règles d’interprétation des résultats • Reproductibilité excellente : pª100 % et k>0,80. • Reproductibilité bonne : p> à 85 % (>75 % pour analyse approfondie) et k>0,60. • Reproductibilité bonne mais à confirmer : p> à 75 % et k faible (existence de biais). • Reproductibilité modérée : p Œ [60-70 %], k Œ [0,30-0,60]. Discussion • La très bonne fiabilité du caractère lié aux soins a été une des raisons du choix de la méthode épidémiologique utilisée pour l’étude Eneis. • La reproductibilité modérée de l’analyse du caractère évitable est largement documentée dans la littérature. Elle pourrait être améliorée en ajoutant à l’outil d’analyse du caractère évitable des éléments succincts d’analyse des défaillances afin de mieux structurer la recherche des causes. Ces éléments sont disponibles puisque l’analyse de la reproductibilité de l’analyse des défaillances est le plus souvent satisfaisante. • L’analyse des défaillances latentes les plus proches de la survenue de l’événement (facteurs individuels et d’équipe) semble plus fiable que celle des défaillances les plus profondes (organisation, institution). • Le CCECQA a pour prochains objectifs d’améliorer l’outil d’analyse du caractère évitable des EIG et de diffuser l’outil d’analyse des défaillances. Remerciements Ce travail a été financé par une subvention de la Direction de la recherche, des études et de l’évaluation et des statistiques (Drees). >>> 53
