urgences22_grilles
publicité
Grille d'évaluation de la qualité générale d'un article scientifique 1. Quel est le but de l'étude ? - A quelle question est-elle censée répondre ? - Quelles sont les hypothèses spécifiques testées ? 2. Quel est le type d'étude réalisé ? - étude primaire : expérimentation : essai comparatif randomisé, autre essai clinique comparatif ; étude d’observation : étude de cohortes, enquête longitudinale, étude cas-témoins, enquête transversale, description de cas. - étude secondaire: revue de la littérature, synthèse méthodique, méta-analyse, analyse décisionnelle, recommandation de pratique clinique, analyse économique ? 3. L'étude est-elle originale ? (d’autres études n’ont-elles pas déjà répondu à la question ?) 4. Quelle est la population (sujets) cible (à laquelle s’appliquera les conclusions de l’étude)? 5. L’échantillon de sujets étudiés correspond-il bien à la population cible ? - Comment les sujets ont-ils été recrutés ? - Qui a été inclus et exclu de l'étude ? - Les sujets ont-ils été observés dans leurs conditions habituelles ? 6. Quelle est l'intervention ou la stratégie évaluée ? - Est-elle bien décrite ? - Est-elle standardisée ? 7. Quel(s) critère(s) est (sont)-il(s) choisi(s) pour en mesurer les effets ? - Sont-ils pertinents ? sensibles ? reproductibles ? - Sont-ils objectifs ? 8. Les conditions de réalisation de l’étude ont-elles été satisfaisantes ? - S'il s'agit d'un essai randomisé, la randomisation a-t-elle été vraiment aléatoire ? - S'il s'agit d'une étude de cohortes, d'une étude cas-témoins ou d'un autre type d'étude comparative non randomisée, le groupe témoin (non exposé) a-t-il été constitué de manière appropriée pour limiter les sources d’erreur ou de biais? - Les groupes sont-ils comparables en tous points à l'exception de la variable étudiée ? - L'évaluation des résultats (ou la définition des cas » dans une étude cas-témoins) a-t-elle été faite en aveugle » ? 9. L'étude dispose-t-elle d'un effectif suffisamment important, d'une durée suffisamment longue et d'un taux de suivi suffisamment complet pour assurer la crédibilité des résultats ? Le nombre de sujets nécessaire a-t-il été calculé à l’avance ? 10. L’analyse statistique est-elle adaptée ? (Cf. grille spécifique) 11. L'étude est-elle éthique ? 12. Les auteurs discutent-ils les limites et les lacunes de l’étude ? Confrontent-ils objectivement leurs résultats avec ceux déjà obtenus précédemment. Grille d'évaluation de la qualité des analyses statistiques d'un article 1. Quel type de données ont été recueillies, et ont-elles été analysées par des tests statistiques appropriés ? 2. Les données ont-elles été analysées conformément au protocole initial ? (si celui-ci est précisé ou peut être reconstitué) 3. Les données appariées ont-elles été analysées par les tests appropriés ? 4. Les valeurs atypiques ou extrêmes ont-elles été recherchées et traitées de manière appropriée ? 5. Un test bilatéral a-t-il été effectué sauf cas (rarissime) où une intervention ne pouvait susciter qu’une réponse positive ou nulle ? 6. La construction des modèles multivariés a-t-elle été pertinente ? 7. Si des méthodes statistiques peu courantes ont été utilisées, sont-elles justifiées ? 8. Les auteurs ont-ils vérifié la comparabilité des groupes et les ont-ils ajustés pour les différences initiales éventuellement présentes ? Le phénomène de régression vers la moyenne a-t-il été pris en compte ? 9. Les intervalles de confiance ont-ils été calculés pour les critères de jugements principaux et ont-ils été pris en compte par les conclusions des auteurs ? 10. Les valeurs de p ont-elles été calculées et interprétées de façon appropriée ? 11. Les résultats ont-ils été interprétés correctement , notamment en termes de causalité ? Grille d'évaluation d'un article concernant la validation d’un test diagnostique 1. Le test a-t-il été évalué face à un examen de référence reconnu ? 2. L’étude de validation a-t-elle inclus un échantillon adapté de patients? (représentatif de la « population cible » dans laquelle le test sera ensuite utilisé) 3. L'examen testé et l'examen de référence ont-ils été effectués chez tous les sujets ? 4. L'examen testé et l'examen de référence ont-ils été réalisés et interprétés indépendamment l’un de l’autre, et indépendamment du contexte clinique? 5. La fiabilité du test a-t-elle été évaluée ? Les erreurs de mesure ont-elles été quantifiées ? Une épreuve testretest, une analyse intra-observateur et interobservateur ont-elle été réalisées? Des méthodes statistiques ontelles été utilisées (coefficient Kappa, méthode de Bland et Altman) ? 6. Les intervalles de confiance ont-ils été calculés pour les critères de sensibilité, de spécificité et pour les autres caractéristiques du test ? 7. Un intervalle de « valeurs normales » a-t-il été défini ? celui-ci a-t-il été construit de manière appropriée (échantillon issue d’une population réellement « normale » et de taille suffisante) ? 8. La place de ce test a-t-elle été déterminée dans le contexte des autres examens utilisables dans la démarche diagnostique suivie dans cette maladie ? Grille d'évaluation d'un article concernant l’histoire naturelle ou le pronostic 1. Les auteurs ont-ils constitué une cohorte "incipiente" (avec des sujets observés dès le début de leur maladie ou à un point uniforme de l'évolution de leur maladie) ? 2. L’échantillon étudié provient-il d’un recrutement non spécialisé, les cas sont-ils similaires à ceux observés en pratique quotidienne ? 3. La surveillance a-t-elle été poursuivie jusqu’à son terme chez tous les sujets ? Quelle est la fréquence et les caractéristiques des perdus de vue ? 4. Des critères objectifs ont-ils été utilisés pour évaluer les modalités d'évolution ? 5. Les modalités d'évolution ont-elles été évaluées en insu des caractéristiques initiales des patients ? Les biais de suspicion de diagnostic et les biais d’expectative ont-ils été éliminés ? 6. Un ajustement sur les facteurs de confusion pouvant interférer sur l’évolution étudié a-t-il été prévu ? 7. L’analyse statistique est-elle appropriée ? Une analyse de « survie » a-t-elle été mise en oeuvre pour tenir compte des suivis hétérogènes et des perdus de vue ? Grille d'évaluation d'un article concernant une intervention thérapeutique ou préventive 1. Le type d’étude : essai randomisé avec aveugle ou sans aveugle ? Etude avant–après ? Etude de médico-économique (coût-efficacité )? est-il précisé? 2. La formulation de l’objectif (recherche d’efficacité, d’équivalence) est-il précisé ? 3. L’étude est-elle comparative versus placebo ?ou versus un traitement ou une situation de référence ? 4. La méthodologie de l’étude est-elle précisée? - Critères d’inclusion, d’exclusion - Modalités de l’intervention : dose, durée, mode d’administration - Mono ou multicentrique. Nombre de centres précisé - Précision des règles d’arrêt ou de sortie de l’étude - Calcul préalable du nombre de sujets nécessaire - Description de la méthode de randomisation - Procédures pour assurer l’insu ou l’aveugle 5. Le critère de jugement principal de l’intervention est-il bien défini ? Evalué en aveugle ? Correspond-il à celui défini initialement (protocole de l’étude) ? 6. Le critère de jugement est-il pertinent ? qualités métrologiques (reproductibilité, sensibilité, spécificité) 7. Y a-t-il eu approbation par un comité d’éthique ? Signature d’un consentement libre et éclairé ? 8. L’étude est-elle indépendante notamment vis à vis de la firme pharmaceutique commercialisant le produit (traitement, vaccin, etc.) ? 9. L’échantillon étudié est-il représentatif de la population cible sur laquelle on souhaite appliquer le traitement ou l’intervention préventive ? Existe-t-il des biais de sélection ? 10. Les groupes étudiés sont-ils bien décrits (nombre de patients dans chaque groupe, caractéristiques socio-démographiques, cliniques) ? 11. Les informations sur la comparabilité des groupes sont-elles été présentées ? 12. Les informations sur les malades exclus (nombre, raisons de l’exclusion) sont-elles été présentées ?. 13. Les informations sur les sujets perdus de vue (nombre, raisons) sont-elles été présentées ?. 14. (P) Des indicateurs de l’application de l’intervention évaluée sont-ils fournis : indicateurs de couverture ? Le calcul des cas évitables est-il présenté ? 15. La tolérance et les effets secondaires faisant suite à l’intervention sont-ils décrits ? 16. Les méthodes statistiques sont-elles présentées (tests effectués, conditions de validité) ? L’analyse est-elle bien en intention de traiter ? (P) : prévention uniquement Grille d'évaluation d'une synthèse méthodique ou d'une méta-analyse 1. La synthèse porte-t-elle sur une question clinique précise ? 2. Une recherche documentaire approfondie a-t-elle été effectuée dans les banques de données pertinentes ? D'autres sources d'information potentiellement importantes ont-elles été explorées ? 3. Des critères objectifs d’inclusion et d’exclusion des publications (mots clés) ont-ils été utilisés ? Sont-ils appropriés ? 4. Une analyse standardisée des publications a-t-elle a effectuée ? La reproductibilité de cette analyse a-t-elle été testée ? 5. La qualité méthodologique des études incluses a-t-elle été évaluée, et leurs résultats ont-t-il été pondérés en conséquence ? 6. L’hétérogénéité des études (contradictions) et ses causes ont-elles été recherchées ? 7. Le biais de publication a-t-il été recherché et pris en compte ? 8. Une synthèse statistique a-t-elle été réalisée et les résultats de celle-ci sont-ils robustes au regard des analyses de sensibilité ? Les niveaux de fiabilité et de généralisabilité pour la pratique des études de recherche clinique Les niveaux sont croissants, mais le meilleur n’est pas accessible dans tous les domaines d’application Niveau 1 2 3 3a 3b 3c 4 5 6 Description Cas clinique (isolé) Observation non contrôlée d’un échantillon de cas constitué de manière rétrospective (retour aux dossiers) Observation non contrôlée d’un échantillon de cas constitué de manière prospective (étude standardisée), il y en a 3 types selon que le critère d’intérêt est recueilli de manière: * rétrospective (caractéristique remémorée ou retrouvée dans le passé) * transversalement (caractéristique observée à un point donné) * prospective (caractéristique survenant après l’inclusion): « étude de cohorte » Observation contrôlée d’un échantillon de cas constitué et suivi de manière prospective, avec recrutement de « témoins » : « étude exposés-non exposés » Observation contrôlée d’un échantillon de cas constitué de manière prospective, avec recrutement de « témoins » et allocation aléatoire de la procédure étudiée (« randomisation »), et suivi « ouvert », avec la connaissance de quels sujets ont quelle procédure Observation contrôlée d’un échantillon de cas constitué de manière prospective, avec recrutement de « témoins » et allocation aléatoire de la procédure étudiée (« randomisation »), et suivi « en aveugle ou en "insu", c’est à dire sans la connaissance de quels sujets ont quelle procédure Domaine d’application privilégié - Commentaire Diagnostic Diagnostic Diagnostic et Pronostic Type de référence pour les applications dans le diagnostic et le pronostic Epidémiologie Type de référence pour les applications en épidémiologie (recherche de facteurs de risque) Thérapeutique, Prévention Thérapeutique, Prévention Type de référence pour les applications en thérapeutique et prévention Recherche documentaire dans Medline 1. Pour retrouver un article dont vous avez entendu parler, cherchez à l'aide de mots du langage naturel (dans le titre, le résumé ou les deux), ou bien servez-vous des suffixes de champ « auteur », « titre », « institution », « journal » et « année de publication ». 2. Pour une recherche extensive ou systématique sur un sujet donné, utilisez à la fois les descripteurs du thésaurus MeSH (éclatés) et le langage naturel (titre et résumé), en combinant éventuellement ces deux recherches avec l'opérateur booléen « OU » [OR]. 3. Pour une recherche plus ciblée sur un thème défini, effectuez deux recherches extensives ou plus (comme décrit au point 2) et combinez-les à l'aide de l'opérateur booléen « ET » [AND]. 4. Pour retrouver des articles de haute qualité méthodologique dans les domaines étiologique, diagnostique pronostique ou thérapeutique, introduisez un filtre qualitatif fondé sur les niveaux de preuve (Cf. Fiche « niveau de preuve ») et/ou employez des stratégies visant à identifier les essais comparatifs randomisés, les synthèses méthodiques et les méta-analyses. 5. Affinez votre recherche au fur et à mesure. Par exemple, afin d'exclure des références non pertinentes, utilisez l'opérateur booléen « SAUF » [NOT]. 6. N'employez les subdivisions du MeSH pour restreindre votre recherche qu'en cas de nécessité absolue, car les erreurs d'indexation sont fréquentes. 7. Pour réduire un gros ensemble de références, passez en revue « manuellement » une cinquantaine de résumés: n'attendez pas du logiciel documentaire qu'il puisse sélectionner les meilleurs articles à votre place.
