Fiabilité des outils d`analyse des événements indésirables de l

Fiabilité des outils d’analyse des événements
indésirables de l’Etude nationale en
établissements de santé sur les événements
indésirables graves liés aux soins
• Collecte des données
- Par deux médecins enquêteurs avec les médecins du service.
- A deux reprises : à 6 jours d’intervalle pendant l’enquête (J0 et J6).
• Analyse
- Reproductibilité des échelles de présomption*.
- Outils statistiques : coefficient Kappa (k), concordance brute sous forme de pourcentage (p)†.
- Caractère lié aux soins : sur l’ensemble des cas détectés (à J0 et J6), puis médecine
et chirurgie séparément.
- Caractère évitable : sur l’ensemble des cas détectés et liés aux soins (à J0 et J6),
puis médecine et chirurgie séparément.
Résultats
• Reproductibilité “caractère liés aux soins” excellente
p= 91,7 %, k=0,83.
145 cas détectés.
Résultats similaires en médecine et en chirurgie.
• Reproductibilité modérée
p=67,8 %, k=0,31.
52 cas détectés et liés aux soins.
Résultats similaires en médecine et en chirurgie.
Méthode et résultats de la fiabilité
de l’analyse appronfondie des défaillences
• Schéma d’étude
- Reproductibilité inter-enquêteurs.
- Critères d’inclusion.
- 5 cas réels choisis pour la diversité des situations (2 issus de la littérature,
3 analysés par le CCECQA).
- Collecte des données.
- Attribution aléatoire des cas aux 9 futurs enquêteurs Eneis.
- Sous la forme de jeux de rôle lors de leur période de formation.
- Analyse du même cas par deux médecins enquêteurs avec le même formateur.
• Analyse
- Reproductibilité de chaque type de cause et de chaque cause spécifique.
- Outils statistiques : coefficient Kappa (k), concordance brute sous forme de pour-
centage (p)†.
Résultats
• Types de cause
- Reproductibilité bonne mais à confirmer pour 5 des 6 types de cause : individuelle,
opérationnelle, environnementale, organisationnelle, institutionnelle.
- p compris entre 77 % et 94 %, k compris entre 0,20 et 0,46.
• Causes spécifiques
- Reproductibilité satisfaisante pour 31 des 43 défaillances : excellente (2) très
bonne (3), bonne mais à confirmer (26).
- Défaut de reproductibilité : collaboration entre soignants, formation et supervision
des professionnels, retard dans la prestation ou programmation des examens,
conditions de travail, définition des responsabilités et des tâches, coordination entre
services, adéquation de la procédure de sortie et ensemble des causes liées au
contexte institutionnel.
Discussion
• La très bonne fiabilité du caractère lié aux soins a été une des raisons du choix de la
méthode épidémiologique utilisée pour l’étude Eneis.
• La reproductibilité modérée de l’analyse du caractère évitable est largement
documentée dans la littérature. Elle pourrait être améliorée en ajoutant à l’outil
d’analyse du caractère évitable des éléments succincts d’analyse des défaillances
afin de mieux structurer la recherche des causes. Ces éléments sont disponibles
puisque l’analyse de la reproductibilité de l’analyse des défaillances est le plus
souvent satisfaisante.
• L’analyse des défaillances latentes les plus proches de la survenue de l’événement
(facteurs individuels et d’équipe) semble plus fiable que celle des défaillances les plus
profondes (organisation, institution).
• Le CCECQA a pour prochains objectifs d’améliorer l’outil
d’analyse du caractère évitable des EIG et de diffuser l’outil
d’analyse des défaillances.
Remerciements
Ce travail a été financé par une subvention de la Direction de la
recherche, des études et de l’évaluation et des statistiques (Drees).
2
P. Michel, S. Domecq, J.-L. Quenon, A.-M. de Sarasqueta
CCECQA, Hôpital Xavier Arnozan, Pessac, France
Journées de veille sanitaire • Journées de veille sanitaire
Contexte
Eneis a été en 2004 la première étude en France sur l’ensemble des risques liés aux
soins. Son objectif était d’estimer la fréquence et le caractère évitable des événements
indésirables graves liés aux soins (EIG) et de réaliser une analyse approfondie des
défaillances. Ces deux objectifs ont été atteints en deux temps, une enquête
épidémiologique puis une analyse approfondie des défaillances, de type qualitatif. Les
outils ont été validés avant leur utilisation dans l’étude. Leur validité de contenu a été
vérifiée auprès de groupes d’experts nationaux et internationaux. Leur fiabilité, en
terme de reproductibilité inter-enquêteurs, est présentée ici.
Questionnaires utilisés
• Caractère lié aux soins
- L’événement clinique était-il attendu compte-tenu de l’évolution prévisible de la
maladie ou de l’état du malade ?
- Les soins ont-ils provoqué l’événement clinique ?
- La chronologie des événements suggère-t-elle que l’événement clinique est lié aux
soins (ou à leur absence) ?
- Existe-t-il une autre explication plausible que les soins comme cause de
l’événement clinique ?
- Les soins sont-ils reconnus comme pouvant être la cause de cet événement clinique
(niveau de preuves scientifiques) ?
- Cet événement aurait-il pu survenir en l’absence de ces soins ?
- L’événement clinique a-t-il été identifié comme un événement indésirable lié aux
soins par l’équipe médicale durant l’hospitalisation de référence ?
- Echelle de présomption* : EIG lié aux soins si niveau de confiance compris entre 4 et 6.
• Caractère évitable
- La maladie du patient en rapport avec les soins à l’origine de l’événement était-elle
grave ?
- Quel était le degré de complexité de la situation clinique du patient (état général,
comorbidités, comportement du patient, etc.) ?
- Ces soins étaient-ils urgents ?
- Ces soins étaient-ils indiqués (niveau de preuves scientifiques) ?
- Y a-t-il eu une déviation dans la réalisation de ces soins, par rapport à la pratique
attendue ?
- Quel était le bénéfice potentiel, pour le patient, de ces soins au moment de leur
réalisation ?
- Quel était le risque potentiel de survenue d’événement indésirable au moment de la
réalisation de ces soins ?
- La plupart des médecins ou professionnels de santé, dans un contexte identique,
auraient-ils pris en charge le patient de la même manière ?
Echelle de présomption* : EIG évitable si niveau de confiance compris entre 4 et 6.
• Analyse approfondie des défaillances
6 types de défaillances et 43 défaillances au total
- L’EIG est-il lié à des facteurs individuels ayant favorisé des erreurs humaines ?
7 défaillances spécifiques (connaissance, aptitude, échanges avec le patient, etc.)
- L’EIG est-il lié à des défauts concernant l’équipe ?
5 défaillances spécifiques (communication, collaboration, supervision, etc.)
- L’EIG est-il lié aux tâches à accomplir lors des soins ?
10 défaillances spécifiques (protocoles, accessibilité information, planification, etc.)
- L’EIG est-il lié à des facteurs concernant l’environnement ?
8 défaillances spécifiques (locaux, équipements, charge de travail, etc.)
- L’EIG est-il lié à des facteurs concernant l’organisation ?
8 défaillances spécifiques (définition des responsabilité, gestion du personnel, etc.)
- L’EIG est-il lié à des facteurs concernant le contexte institutionnel ?
5 défaillances spécifiques (contraintes financières, culture qualité/risque, etc.)
Méthode et résultats de la fiabilité
des échelles de présomption
des caractères liés aux soins et évitables
• Schéma d’étude
- Reproductibilité inter-enquêteurs avec deux mesures indépendantes.
• Critères d’inclusion
- En conditions réelles d’enquête.
- Tous les patients hospitalisés en médecine et en chirurgie avec un EI détecté avant
passage du médecin enquêteur.
† Règles d’interprétation des résultats
• Reproductibilité excellente : pª100 % et k>0,80.
• Reproductibilité bonne : p> à 85 % (>75 % pour analyse approfondie) et k>0,60.
• Reproductibilité bonne mais à confirmer : p> à 75 % et k faible (existence de biais).
• Reproductibilité modérée : p Œ [60-70 %], k Œ [0,30-0,60].
* Echelle de présomption
• Exclu.
• Très peu probable (surtout des arguments en défaveur).
• Peu probable (plus d’arguments en défaveur qu’en faveur).
• Assez probable (plus d’arguments en faveur qu’en défaveur).
• Très probable (surtout des arguments en faveur).
• Certain.
>>>53
JVS_Resume&posters_151105 15/11/05 16:16 Page 53