L’Evidence based medicine les atouts, les limites en réanimation Jean-François TIMSIT Réanimation médicale CHU Grenoble INSERM U823 Définition Pertinence L'Evidence-Based Medicine se définit comme l'utilisation consciencieuse et judicieuse des meilleures données actuelles de la recherche clinique dans la prise en charge personnalisée de chaque patient . Préférence Sackett DL, et al. BMJ 1996 ; 312 : 71-72. Expérience Patient or problem Intervention, test of exposure Comparison interventions Outcomes Meta-analysis of original data Systematic revue of RCTs RCT Cohort Case-control Analyses using computer databases Series with literature control Cases series case reports Expert opinion Animal research / in vitro studies Evidence pyramid Olkin – J Clin Epidemiol; 48:133 1995 Intérêt de la randomisation… Prise en compte des facteurs de confusion connus ET inconnus dans l’estimation de la relation entre un facteur X et un résultat Y Traitement Traitement A B DC 5% DC 40% IGSII 10 IGS II 48 Fact X 90% Fact X 10% Allocation aveugle et aléatoire Est ce que les investigateurs ont les moyens de savoir (ou de prédire) dans quel groupe sera le prochain sujet? Tirage au sort aveugle aléatoire « Trials with unconcealed allocation consistently overestimate benefit by ~40% » Schulz KF et al. Lancet 2002;359:614-18. Altman DG et al – BMJ 2001; 323;446-447 EBM .. POUR amélioration des connaissances, Des habiletés à la recherche biblio, support à l’enseignement, permet aux juniors de participer à la décision, permet une meilleure communication avec les patients et une meilleure utilisation des ressources Permet d’identifier le meilleur traitement et de faire le meilleur choix en connaissance de cause Kerridge I & Henry D – BMJ 1998; 1151 Questionnaire étalonné et validé explorant les connaissances et les habiletés (15 scénarios cliniques) 203 participants (61% réponses) à 3 jours de formation Amélioration très nette du score restant < aux experts Obstacles à l’EBM Accès à l’information? Manque de moyens Manque de formation spécialisée Interprétation incorrecte Refus du résultat Volonté de ne pas concevoir des procédures Coût Villar J – ICM 2005; 31:196 Isaacs D and Fitzgerald D - BMJ 1999;319:1618 Alternatives à l’EBM Facteur décisionnel marqueur Outils de mesure Unité de mesure Evidence-based Essai randomisé Meta-analyse Rapport des cotes Eminence-based Eclat de la crinière argentée Photometre Densité optique Véhémence Volume sonore Sonometre Décibels Eloquence Charme du discours et Téflometre drapé du costume Score d’adhésion collante Providence Ferveur religieuse Angle de genuflexion Unité de piété Indécision Niveau de morosité Nihilometre Soupirs Frousse Degré de phobie juridique Tout est imaginable Solde banquaire Test à la sueur anidrose Confidence-based Bravade Tout article scientifique est biaisé par 4 (5) acteurs Auteur Rédacteur Subjectivité prouvée, affectivité Propriétaire Innovation, équilibre thématique, plaire au propriétaire (biais de publication) Expert Etre publié (accepte tous les compromis sur le message) Liens avec des sociétés savantes, avec des industriels Lecteur Ne lit que la version finale, a le droit de ne pas lire, de ne pas accepter Maisonneuve H - EBM J 1996 RCT et impact socio-économique Poids de l’argent et de l’ambition Poids économique vital pour l’industrie Mise sur le marché 500 millions de $ Études négatives non publiées Compétitions entre les CRO et les structures indépendantes (academiques) le moins cher et le plus conciliant gagne…. « the use of clinical trials primarily for marketing makes a mockery of clinical investigation » Poids économique majeur sur la vie d’un journal Impact factor, publicité, suppléments, actionnariat…. Dreyfuss D – ICM 2005; 31:345 Source de financement et bénéfice Lexchin J – BMJ 2003; 326:1167 OR=4.05 Institutional Academic−Industry Relationships National survey, 2006, 125 allopathic medical schools 459 of 688 department chairs completed the survey (67%) 60% of department chairs had personal relationship with industry Consultant (27%) Member of a scientific advisory board (27%) Paid speaker (14%) officer (7%), founder (9%) A member of the board of directors (11%) Two-thirds (67%) of departments as administrative units had relationships with industry. No effect on professional activities (66%) BUT negative impact on conducting unbiased research (72%) Campbell EG et al - JAMA. 2007;298(15):1779-1786 Campbell EG et al - JAMA. 2007;298(15):1779-1786 Méta-analyses…. Hétérogénéité des essais inclus Analyse minutieuse Scores de qualité Qualité de la meta-analyse (double lecture, analyses de sensibilité, exhaustivité biblio) Biais de publication 271/1041 des essais réalisés par des « professionnels » (Dickersin K et al – 1987) 27 soumis et refusés 33% stop prématuré Le reste: résultats négatifs ou sans intérêt Intérêt des registres d’essais déclarés +++ A ne faire que si une RCT de même taille n’est pas faisable( ou dans un 1er temps) Discrepancies between large meta-analyses and subsequent large RCT (>1000 Pts) Lelorier J et Gregoire G: NEJM 1997; 337:8:536 Articles originaux sur cirrhose et hépatites de 1945 à 1999 dans Lancet et Gastroenterology (RCTs et non RCTs tiré au sort par période de 5 ans) Toutes les meta-analyses de 1945 à 1992 (tous les journaux) Aucune jusqu’à 1980 Scores de qualité des RCTs et des meta-analyses Classification par 6 experts aveugles en 3 classes Conclusions toujours valables Conclusions valables mais obsolètes Conclusions fausses 285/474 (60%) conclusions sont encore vraies, 91 (19%) obsolètes, 98 (21%) fausses Conclusions encore vraies entre 1980 et 1999: 76% Méta-analyses sur données individuelles: 6/6 vraies P<0.001 Survie à 20 ans: Méta-analyses: 57 10% Non RCTs: 87 2 % RCTs: 85 3% IF>10!! Obstacles à l’EBM en réanimation 1. 2. 3. 4. 5. 6. Changement de comportement par diffusion passive Population des études non représentative de la vraie vie Le critère de jugement aurait pu être intéressant mais pas de la manière dont il est présenté Les résultats sont en risque relatif et pas en variation du risque absolu Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet Une RCT peut être contre dite par une autre quelques temps après Low Tidal volume Obstacles à l’EBM en réanimation 1. 2. 3. 4. 5. 6. Changement de comportement par diffusion passive Population des études non représentative de la vraie vie Le critère de jugement aurait pu être intéressant mais pas de la manière dont il est présenté Les résultats sont en risque relatif et pas en variation du risque absolu Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet Une RCT peut être contre dite par une autre quelques temps après What patients are we talking about??? Severe sepsis…what is it? (case-mix infection etc…) wes s Pro Len ers ep I t Septic shock Severe sepsis TFP 70 60 50 40 30 20 10 0 EGD T CS2 000 Cor ticu s CAT S Kyb ers e pt Ant i E5 Effet consentement éclairé …Nécessité éthique qui pénalise l’applicabilité externe de la recherche sur les patients non compétents Sélection non aléatoire de l’échantillon inclus Centres particuliers souvent HU parfois distant de la vraie vie Délai entre l’indication et le début du traitement (sepsis+++, ards, HF haut débit etc…) Intérêt des nouvelles directives, consentement d’urgence…. AJRCCM 2003; 167:1304 Diminution progressive des VC non influencé par les résultats de l’ARDS net et largement au dessus de 6 ml/kg… Why 6 ml/kg is not accepted? Because tidal volume was 10.3 2 ml/Kg in 10 centers between 1996 and 1999 and not 12!!! (Thompson, Chest 2001) These results was confirmed in two large epidemiological study (Esteban JAMA 2002, Brun-Buisson ICM 2004) Because mortality of not enroled ards patients was similar to the low tidal volume group!!!! (Hayden AJRCCM 2000) Les patients ne sont pas nécessairement représentatifs de la population que l’on soigne… 15 % des patients éligibles inclus dans ARDS net 40% de DC vs 60% dans les études épidémiologiques… Problème de la REPRESENTATIVITE de l’échantillon ++++ La randomisation ne garantit pas l’équilibre entre les groupes Facteurs de confusion ARDS net: On sait que DC ALI >>> DC ARDS …. Les critères d’inclusion ne garantissent pas nécessairement la comparabilité entre les groupes et l’équivalence avec la population que je soigne… Épreuve de 30 mn de VM (8 ml/kg, peep 10, 100%) Ferguson et al – ICM 2004; 30:1111 The control group… « is an exagerate real life » Control group in the Vandenberghe study (2006) Finney – JAMA 2003 …Could no longer be used because physician attitude changed Prowess 1690 pts/ 11 pays/ 164 sites!!!! Uniquement 6.1% de réduction de DC A peine quelques % des sepsis sévères admis… Grande variabilité du reste de la prise en charge….non contrôlée… Cette étude est-t-elle généralisable…..? Prowess – a learning curve? Macias et al – Crit care med 2004;32:2385 « CONCLUSIONS: A learning curve appeared to be present within the PROWESS trial … efficacy improved with increasing site experience... Investigational sites may need to require a minimum level of protocol-specific experience to appropriately implement a given trial. …This experience should be an important consideration in designing trials and analysis plans. … » Macias et al – Crit care med 2004;32:2385 Obstacles à l’EBM en réanimation 1. 2. 3. 4. 5. 6. Changement de comportement par diffusion passive Population des études non représentative de la vraie vie Le critère de jugement ne sont pas forcement bon ou sont mal présentés Les résultats sont en risque relatif et pas en variation du risque absolu Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet Une RCT peut être contre dite par une autre quelques temps après Les (les) critères de jugement Précis Reproductible Reflet de ce que l’on veux mesurer.. Attention au choix Attention aux critères multiples « Surrogate end-points » Y a t-il une association forte indiscutable entre le « surrogate » et le « clinical » end-point? Y a t-il des démonstrations répétées, pour la même famille de traitement, que l’amélioration du « surrogate » est associée à une amélioration du clinical end-point? Quelle est l’importance de l’effet et sa précision? Est ce que le rapport coût-bénéfice est dans le bon sens? Grande circonspection…. Bucher HG – JAMA 1999; 282:771 Surrogate end-points…example of failure Tension artérielle DC LNMA TA Lopez A et al – Crit Care Med 2004;32:21-30 Survival:What is the optimal end-point? Underlying illnesses Acute disease Day 14 Day 28 Day 90 1y time Mortality of bacteremic pneumococcal pneumonia Mortalité après un sepsis 20 to 30 % des évènements surviennent après J28 Duration of Hospital stay after infection (European sepsis database - Alberti, 2002) 40 36 35 30 31 33 30 jours 25 20 15 14 10 5 16 9 18 18 10 10 4 0 Sans SIRS Sepsis Sepsis sévère Choc septique Median IQR Drot AA Placebo p Lost of Follow up Hospital 70.3% 65.1% 0.03 0% 3-month 66.1% 62.4% 0.11 6% 1-year 58.9% 57.2% 0.49 7% Angus D et al - Crit Care Med 2004; 32:2199 –2206) Angus D et al - Crit Care Med 2004; 32:2199 –2206) What is the best??? Day 14 more related to the disease itself…low noise Day 28 compromise? Day 90 competing events?, probably more important at the patient’s point of view 1 year competing events, more important for patient and at the societal point of view All of the end-points YES!!BUT Multiple comparisons ( NNT, power) Multiple comparisons probabilty to obtain one 5 on a throw of dice P = 1 – (5/6)= 0.16 Probability to obtain at least one 5 on 2 throws of dice P = 1 – (5/6)2= 0.30 Multiple comparison and type one error Alpha (type one error) = probability to show a difference whereas there is not (fixed arbitrarily to 5% in biology) 1 test: =1-95/100= 5% 2 tests* = 1-(95/100)2= 9.7% 3 tests* = 1-(95/100)3= 14.3% (*) En supposant l’indépendance entre les facteurs testés If we came back to our example: Drot AA Placebo p Lost of Follow up Hospital 70.3% 65.1% 0.03 0% 3-month 66.1% 62.4% 0.11 6% 1-year 58.9% 57.2% 0.49 7% The probability to show at least one p value less than 5% out of 3 tests is 14.3%! So.. be careful before to conclude… Angus D et al - Crit Care Med 2004; 32:2199 –2206) Si l’on fait 100 ECR (avec risque alpha de 5%) sur le même sujet, il y a 5 chances sur 100 que l’un soit “positif” Les hypothèses et le nombre de sujets nécessaires ne sont pas là que pour la Freeman et al – AJRCCM 2001; 164:190 faisabilité…. HGH: Pour démontrer un effet délétère de la GH on aurait pu inclure 382 patients de moins et éviter 44 DC… DCL-Hb: Pas de phase II, Data safety monitoring committee en aveugle…(42 DC évitables) LNMA: entre l’analyse intermédiaire (n=500) jugeant d’un effet potentiellement delétère et l’arrêt de l’étude: 297 inclusions!!! JAMA 2005; 294: 2203 •143 RCT, 92 dans les 5 « top impact » journaux Surtout: sponsorisé par l’industrie, cardiologie, cancérologie •En très forte augmentation (0.5 1.2% en 2000-2004) •63% du recrutement prévu •RR médian: 0.53 (0.28-0.66) •135/143 (94%) ne renseignent pas sur: L’effectif initialement prévu, l’existence d’analyse(s) intermédiaire(s), les règles d’arrêt. Importance de l’effet traitement peu plausible, règles d’arrêt pas claires, à regarder avec distance… Au nom du petit p…. Combien faut t-il de décès qui change de bras pour que l’essai Prowess ne soit plus significatif…????? Placebo Xigris total 840 Placebo 850Xigris DC total 259 840 (30.8%) DC 210 850 (24.7%) 251 (29.9%) P=0.005 P=0.06 218 (25.6%) TFPI in severe sepsis Abraham E et al- JAMA 2003; 238-47 P<10-4 Conclusion: Treatment with tifacogin had no effect on all-cause mortality in patients with severe sepsis and high INR... Obstacles à l’EBM en réanimation 1. 2. 3. 4. 5. 6. Changement de comportement par diffusion passive Population des études non représentative de la vraie vie Le critère de jugement ne sont pas forcement bon ou sont mal présentés Les résultats sont en risque relatif et pas en variation du risque absolu Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet Une RCT peut être contre dite par une autre quelques temps après Statistiquement significatif Que veut dire p <0,001? Statistiquement significatif décès 35% vs 46% difference: 11%; p <0,001 Hypothèse nulle (H0) Il n’y a pas de différence entre les groupes Que teste t-on? En supposant qu’il n’y ait pas de différence entre les traitements... …Quelle est la probabilité d’observer une différence au moins aussi importante (11%) par hasard? Statistiquement significatif si p <0,05 (5%) on conclura que la différence n’est pas liée au hasard pourquoi p <0,05 (1/20)? À cause de lui... Hypothermia after cardiac arrest NEJM 2002; 346: 549 death Cooling Normal Yes no total ARR = Rc – Ra 0,14 56 76 81 62 137 138 NNT = 1/ARR 8 Ra = 56/137 = 0,41 Rc = 76/138 = 0,55 RR = Ra/Rc 0,74 RRR = 1–RR 26% Hypothermia after cardiac arrest NEJM 2002; 346: 549 100 survival [%] 75 RR = 0,74?? Survival analysis Relative Hazard (Hazard Ratio) HR ~ 0,65 hypothermia 50 normotermia 25 time [days 0 50 100 150 200 Survival without recurrence [%] • Survival analysis 100 HR ~ 0,68 75 After 12 years RR ~ 0,98 After 4 years RR ~ 0,16 50 treated 25 Non-treated 0 4 5 Time [years] 10 12 15 Risque relatif ou absolu Risque de base Ra Rc RR RRR ARR NNT faible 4% 3% 0,75 0,25 élevé 20% 15% 0,75 0,25 0,01 0,05 100 20 Évaluation de l’efficacité des RCTs Recombinant Human Activated Protein C for severe sepsis Décès à J28 Ra Rc 24.7% 30.8% Oui non APC 210 640 Placebo 259 581 OR RR RRR ARR NNT Number « pills » coût 0,74 0.80 0,20 6.1% 16 16 US $ 100,000 Si l’on accepte les résultats de Prowess.. on évite 20% des décès Doit t-on dépenser cet argent? Chez qui? Quel est le coût des effets secondaires? Qui décide l’utilisation (réanimateur, patient, Sec soc, société)? Coût-efficacité comparés 0$/QALY 100.000$/QALY Statines 20.000 $ PAC 30.000 $ Thrombolyse 50.000 $ Drotrecogin alfa 40.000 $ Airbags Defibrillateurs implantables Réanimation cardio pulmonaire From: Crit Care Med 2003; Vol.31 (1) 50.000 $ 100.000 $ 400.000 $ Validity Internal validity: How well was the study done? Do the results reflect the truth? External validity: can I apply these results to MY patients? Conflit validité interne/externe La spironolactone améliore le pronostic de l’insuffisance cardiaque (-30% de risque de dc) Juurlink et al – NEJM 2004; 351:543 Essais randomisés contrôlés et pronostic du SDRA ERC sur réduction du VT ? ERC sur niveau de PEP ? ERC sur decubitus ventral ? ERC sur NO ? Hudson et al, 1998 EBM et éthique Dans la décision médicale: EBM mais aussi Expérience, valeurs personnelles, considération économiques et politiques, Principes philosophiques (justice) Conséquentialisme: Outcome non mesuré (douleur), non mesurable (justice), complexes (QdV) L’outcome choisi n’est pas forcément celui que choisirait le patient mais celui de l’investigateur principal… Suprématie de la RCT… Notion d’équipoise Kerridge I & Henry D – BMJ 1998; 1151 Ne permet pas de tester certaines hypothèses Utilisation de l’EBM Applicabilité à la population que je soigne… On ne peut allouer des ressources aux champs de la médecine se prêtant mal à l’EBM (soins palliatifs) Notion de bénéfice individuel? Ou de bénéfice collectif? Savoir raison garder EBM En est un outil utile… recherche, soins, pédagogie… Ne résout pas tout… Intérêt du rationnel physiopathologique Intérêt de la répétition des résultats Sur d’autres RCTs Sur des bases de données…