L`Evidence based medicine les atouts, les limites en réanimation

L’Evidence based medicine
les atouts, les limites en
réanimation
Jean-François TIMSIT
Réanimation médicale
CHU Grenoble
INSERM U823
Définition

Pertinence
L'Evidence-Based Medicine se définit
comme l'utilisation consciencieuse et
judicieuse des meilleures données
actuelles de la recherche clinique dans
la prise en charge personnalisée de
chaque patient .
Préférence
Sackett DL, et al. BMJ 1996 ; 312 : 71-72.
Expérience




Patient or problem
Intervention, test
of exposure
Comparison interventions
Outcomes
Meta-analysis of original data
Systematic revue of RCTs
RCT
Cohort
Case-control
Analyses using computer databases
Series with literature control
Cases series case reports
Expert opinion
Animal research / in vitro studies
Evidence pyramid
Olkin – J Clin Epidemiol; 48:133 1995
Intérêt de la randomisation…
Prise en compte des facteurs
de confusion connus ET
inconnus dans l’estimation
de la relation entre un
facteur X et un résultat Y
Traitement
Traitement A
B
DC 5%
DC 40%
IGSII 10
IGS II 48
Fact X 90%
Fact X 10%
Allocation aveugle et aléatoire
Est
ce
que
les
investigateurs ont les
moyens de savoir (ou
de prédire) dans quel
groupe sera le prochain
sujet?
Tirage au sort aveugle aléatoire
« Trials with unconcealed allocation
consistently overestimate benefit by
~40% »
Schulz KF et al. Lancet 2002;359:614-18.
Altman DG et al – BMJ 2001; 323;446-447
EBM ..
POUR





amélioration des connaissances,
Des habiletés à la recherche biblio,
support à l’enseignement,
permet aux juniors de participer à la décision,
permet une meilleure communication avec les
patients et une meilleure utilisation des ressources
Permet d’identifier le meilleur traitement et de faire
le meilleur choix en connaissance de cause
Kerridge I & Henry D – BMJ 1998; 1151



Questionnaire étalonné et
validé explorant les
connaissances et les
habiletés (15 scénarios
cliniques)
203 participants (61%
réponses) à 3 jours de
formation
Amélioration très nette du
score restant < aux experts
Obstacles à l’EBM







Accès à l’information?
Manque de moyens
Manque de formation spécialisée
Interprétation incorrecte
Refus du résultat
Volonté de ne pas concevoir des procédures
Coût
Villar J – ICM 2005; 31:196
Isaacs D and Fitzgerald D - BMJ 1999;319:1618
Alternatives à l’EBM
Facteur
décisionnel
marqueur
Outils de mesure
Unité de mesure
Evidence-based
Essai randomisé
Meta-analyse
Rapport des cotes
Eminence-based
Eclat de la crinière
argentée
Photometre
Densité optique
Véhémence
Volume sonore
Sonometre
Décibels
Eloquence
Charme du discours et Téflometre
drapé du costume
Score d’adhésion
collante
Providence
Ferveur religieuse
Angle de
genuflexion
Unité de piété
Indécision
Niveau de morosité
Nihilometre
Soupirs
Frousse
Degré de phobie
juridique
Tout est
imaginable
Solde banquaire
Test à la sueur
anidrose
Confidence-based Bravade
Tout article scientifique est biaisé
par 4 (5) acteurs

Auteur


Rédacteur


Subjectivité prouvée, affectivité
Propriétaire


Innovation, équilibre thématique, plaire au propriétaire (biais
de publication)
Expert


Etre publié (accepte tous les compromis sur le message)
Liens avec des sociétés savantes, avec des industriels
Lecteur

Ne lit que la version finale, a le droit de ne pas lire, de ne
pas accepter
Maisonneuve H - EBM J 1996
RCT et impact socio-économique


Poids de l’argent et de l’ambition
Poids économique vital pour l’industrie

Mise sur le marché 500 millions de $
Études négatives non publiées

Compétitions entre les CRO et les structures
indépendantes (academiques)
 le moins cher et le plus conciliant gagne….
« the use of clinical trials primarily for marketing makes a mockery
of clinical investigation »

Poids économique majeur sur la vie d’un journal

Impact factor, publicité, suppléments, actionnariat….
Dreyfuss D – ICM 2005; 31:345
Source de financement et bénéfice
Lexchin J – BMJ 2003; 326:1167
OR=4.05
Institutional Academic−Industry Relationships
National survey, 2006, 125 allopathic medical schools
459 of 688 department chairs completed the survey (67%)
60% of department chairs had personal relationship with industry
Consultant (27%)
Member of a scientific advisory board (27%)
Paid speaker (14%)
officer (7%), founder (9%)
A member of the board of directors (11%)
Two-thirds (67%) of departments as administrative units had
relationships with industry.
No effect on professional activities (66%)
BUT negative impact on conducting unbiased research (72%)
Campbell EG et al - JAMA. 2007;298(15):1779-1786
Campbell EG et al - JAMA. 2007;298(15):1779-1786
Méta-analyses….

Hétérogénéité des essais inclus




Analyse minutieuse
Scores de qualité
Qualité de la meta-analyse (double lecture, analyses
de sensibilité, exhaustivité biblio)
Biais de publication

271/1041 des essais réalisés par des « professionnels »
(Dickersin K et al – 1987)




27 soumis et refusés
33% stop prématuré
Le reste: résultats négatifs ou sans intérêt
Intérêt des registres d’essais déclarés +++
A ne faire que si une RCT de même taille n’est pas
faisable( ou dans un 1er temps)
Discrepancies between large meta-analyses and
subsequent large RCT (>1000 Pts)
Lelorier J et Gregoire G: NEJM 1997; 337:8:536


Articles originaux sur cirrhose et hépatites de 1945 à
1999 dans Lancet et Gastroenterology (RCTs et non
RCTs tiré au sort par période de 5 ans)
Toutes les meta-analyses de 1945 à 1992 (tous les
journaux)



Aucune jusqu’à 1980
Scores de qualité des RCTs et des meta-analyses
Classification par 6 experts aveugles en 3 classes



Conclusions toujours valables
Conclusions valables mais obsolètes
Conclusions fausses

285/474 (60%) conclusions sont encore
vraies, 91 (19%) obsolètes, 98 (21%) fausses

Conclusions encore vraies entre 1980 et 1999: 76%
Méta-analyses sur données individuelles: 6/6 vraies

P<0.001
Survie à 20 ans:
Méta-analyses: 57  10%
Non RCTs: 87  2 %
RCTs: 85  3%
IF>10!!
Obstacles à l’EBM en réanimation
1.
2.
3.
4.
5.
6.
Changement de comportement par diffusion
passive
Population des études non représentative de la
vraie vie
Le critère de jugement aurait pu être intéressant
mais pas de la manière dont il est présenté
Les résultats sont en risque relatif et pas en
variation du risque absolu
Les résultats sont basés sur le sacro-saint petit p
dépendant de l’effectif et pas du réél effet
Une RCT peut être contre dite par une autre
quelques temps après
Low Tidal volume
Obstacles à l’EBM en réanimation
1.
2.
3.
4.
5.
6.
Changement de comportement par diffusion
passive
Population des études non représentative de la
vraie vie
Le critère de jugement aurait pu être intéressant
mais pas de la manière dont il est présenté
Les résultats sont en risque relatif et pas en
variation du risque absolu
Les résultats sont basés sur le sacro-saint petit p
dépendant de l’effectif et pas du réél effet
Une RCT peut être contre dite par une autre
quelques temps après
What patients are we talking about???
Severe sepsis…what is it? (case-mix
infection etc…)
wes
s
Pro
Len
ers
ep
I
t
Septic shock
Severe sepsis
TFP
70
60
50
40
30
20
10
0
EGD
T
CS2
000
Cor
ticu
s
CAT
S
Kyb
ers
e pt
Ant
i E5

Effet consentement éclairé

…Nécessité éthique qui pénalise
l’applicabilité externe de la recherche sur les
patients non compétents




Sélection non aléatoire de l’échantillon inclus
Centres particuliers souvent HU parfois distant de
la vraie vie
Délai entre l’indication et le début du traitement
(sepsis+++, ards, HF haut débit etc…)
Intérêt des nouvelles directives,
consentement d’urgence….
AJRCCM 2003; 167:1304
Diminution progressive des VC non influencé par les résultats
de l’ARDS net et largement au dessus de 6 ml/kg…
Why 6 ml/kg is not accepted?



Because tidal volume was 10.3  2 ml/Kg in
10 centers between 1996 and 1999 and not
12!!! (Thompson, Chest 2001)
These results was confirmed in two large
epidemiological study (Esteban JAMA 2002,
Brun-Buisson ICM 2004)
Because mortality of not enroled ards
patients was similar to the low tidal volume
group!!!! (Hayden AJRCCM 2000)
Les patients ne sont pas nécessairement
représentatifs de la population que l’on
soigne…


15 % des patients éligibles inclus dans ARDS net
40% de DC vs 60% dans les études épidémiologiques…
Problème de la REPRESENTATIVITE de l’échantillon ++++

La randomisation ne garantit pas l’équilibre entre les
groupes

Facteurs de confusion
ARDS net: On sait que DC ALI >>> DC ARDS ….

Les critères d’inclusion ne garantissent pas
nécessairement la comparabilité entre les groupes et
l’équivalence avec la population que je soigne…
 Épreuve de 30 mn de VM (8 ml/kg, peep 10, 100%)
Ferguson et al – ICM 2004; 30:1111
The control group…
« is an exagerate real life »
Control group in the
Vandenberghe
study (2006)
Finney – JAMA 2003
…Could no longer be used because physician
attitude changed
Prowess
1690 pts/ 11 pays/ 164 sites!!!!
 Uniquement 6.1% de réduction de DC
 A peine quelques % des sepsis sévères
admis…
 Grande variabilité du reste de la prise
en charge….non contrôlée…
 Cette étude est-t-elle généralisable…..?

Prowess – a learning curve?
Macias et al – Crit care med 2004;32:2385
« CONCLUSIONS: A learning curve appeared to be present
within the PROWESS trial … efficacy improved with
increasing site experience... Investigational sites may need to
require a minimum level of protocol-specific experience to
appropriately implement a given trial. …This experience
should be an important consideration in designing trials and
analysis plans. … »
Macias et al – Crit care med 2004;32:2385
Obstacles à l’EBM en réanimation
1.
2.
3.
4.
5.
6.
Changement de comportement par diffusion
passive
Population des études non représentative de la
vraie vie
Le critère de jugement ne sont pas forcement bon
ou sont mal présentés
Les résultats sont en risque relatif et pas en
variation du risque absolu
Les résultats sont basés sur le sacro-saint petit p
dépendant de l’effectif et pas du réél effet
Une RCT peut être contre dite par une autre
quelques temps après
Les (les) critères de jugement
Précis
Reproductible
Reflet de ce que l’on veux mesurer..
Attention au choix
Attention aux critères multiples
« Surrogate end-points »

Y a t-il une association forte indiscutable entre le
« surrogate » et le « clinical » end-point?

Y a t-il des démonstrations répétées, pour la même
famille de traitement, que l’amélioration du
« surrogate » est associée à une amélioration du
clinical end-point?
Quelle est l’importance de l’effet et sa précision?
Est ce que le rapport coût-bénéfice est dans le bon
sens?



Grande circonspection….
Bucher HG – JAMA 1999; 282:771
Surrogate end-points…example of failure
Tension artérielle    DC
 LNMA   TA

Lopez A et al – Crit Care Med 2004;32:21-30
Survival:What is the optimal end-point?
Underlying illnesses
Acute disease
Day 14
Day 28
Day 90
1y
time
Mortality of bacteremic pneumococcal
pneumonia
Mortalité après un sepsis

20 to 30 % des évènements surviennent après J28
Duration of Hospital stay after infection (European sepsis database - Alberti, 2002)
40
36
35
30
31
33
30
jours
25
20
15
14
10
5
16
9
18
18
10
10
4
0
Sans SIRS
Sepsis
Sepsis sévère
Choc septique
Median
IQR
Drot AA
Placebo
p
Lost of Follow
up
Hospital
70.3%
65.1%
0.03
0%
3-month
66.1%
62.4%
0.11
6%
1-year
58.9%
57.2%
0.49
7%
Angus D et al - Crit Care Med 2004; 32:2199 –2206)
Angus D et al - Crit Care Med 2004; 32:2199 –2206)
What is the best???





Day 14  more related to the disease
itself…low noise
Day 28  compromise?
Day 90  competing events?, probably more
important at the patient’s point of view
1 year   competing events, more important
for patient and at the societal point of view
All of the end-points  YES!!BUT
Multiple comparisons ( NNT,  power)
Multiple comparisons

probabilty to obtain one 5 on a throw of
dice
P = 1 – (5/6)= 0.16

Probability to obtain at least one 5 on 2
throws of dice
P = 1 – (5/6)2= 0.30
Multiple comparison and type
one error

Alpha (type one error) = probability to
show a difference whereas there is not
(fixed arbitrarily to 5% in biology)
1 test: =1-95/100= 5%
 2 tests* = 1-(95/100)2= 9.7%
 3 tests* = 1-(95/100)3= 14.3%

(*) En supposant l’indépendance entre les facteurs testés
If we came back to our example:
Drot AA
Placebo
p
Lost of Follow up
Hospital
70.3%
65.1%
0.03
0%
3-month
66.1%
62.4%
0.11
6%
1-year
58.9%
57.2%
0.49
7%
The probability to show at least one p value less than
5% out of 3 tests is 14.3%!
So..
be careful before to conclude…
Angus D et al - Crit Care Med 2004; 32:2199 –2206)
Si l’on fait 100 ECR (avec risque alpha de 5%) sur le même sujet,
il y a 5 chances sur 100 que l’un soit “positif”
Les hypothèses et le nombre de sujets
nécessaires ne sont pas là que pour la
Freeman et al – AJRCCM 2001; 164:190
faisabilité….



HGH: Pour démontrer un effet délétère de la GH on aurait pu inclure
382 patients de moins et éviter 44 DC…
DCL-Hb: Pas de phase II, Data safety monitoring committee en
aveugle…(42 DC évitables)
LNMA: entre l’analyse intermédiaire (n=500) jugeant d’un effet
potentiellement delétère et l’arrêt de l’étude: 297 inclusions!!!
JAMA 2005; 294: 2203
•143 RCT, 92 dans les 5 « top impact » journaux
Surtout: sponsorisé par l’industrie, cardiologie,
cancérologie
•En très forte augmentation
(0.5  1.2% en 2000-2004)
•63% du recrutement prévu
•RR médian: 0.53 (0.28-0.66)
•135/143 (94%) ne renseignent pas sur:
L’effectif initialement prévu, l’existence d’analyse(s)
intermédiaire(s), les règles d’arrêt.
Importance de l’effet traitement peu plausible, règles
d’arrêt pas claires, à regarder avec distance…
Au nom du petit p….

Combien faut t-il de
décès qui change de
bras pour que l’essai
Prowess ne soit plus
significatif…?????
Placebo
Xigris
total
840
Placebo 850Xigris
DC
total
259
840
(30.8%)
DC
210
850
(24.7%)
251
(29.9%)
P=0.005
P=0.06
218
(25.6%)
TFPI in severe sepsis
Abraham E et al- JAMA 2003; 238-47
P<10-4
Conclusion: Treatment with tifacogin had no
effect on all-cause mortality in patients with
severe sepsis and high INR...
Obstacles à l’EBM en réanimation
1.
2.
3.
4.
5.
6.
Changement de comportement par diffusion
passive
Population des études non représentative de la
vraie vie
Le critère de jugement ne sont pas forcement bon
ou sont mal présentés
Les résultats sont en risque relatif et pas en
variation du risque absolu
Les résultats sont basés sur le sacro-saint petit p
dépendant de l’effectif et pas du réél effet
Une RCT peut être contre dite par une autre
quelques temps après
Statistiquement significatif
Que veut dire p <0,001?
Statistiquement significatif
décès 35% vs 46%
 difference: 11%; p <0,001
 Hypothèse nulle (H0)
Il n’y a pas de différence entre les groupes

Que teste t-on?
En supposant qu’il n’y ait pas de différence entre
les traitements...
…Quelle est la probabilité d’observer une différence
au moins aussi importante (11%) par hasard?
Statistiquement significatif

si p <0,05 (5%) on conclura que la différence n’est
pas liée au hasard

pourquoi p <0,05 (1/20)?

À cause de lui...
Hypothermia after cardiac arrest
NEJM 2002; 346: 549
death
Cooling
Normal


Yes
no
total
ARR = Rc – Ra
 0,14
56
76
81
62
137
138
NNT = 1/ARR
 8
Ra = 56/137 = 0,41
Rc = 76/138 = 0,55
RR = Ra/Rc
 0,74
RRR = 1–RR
 26%
Hypothermia after cardiac arrest
NEJM 2002; 346: 549
100



survival [%]
75
RR = 0,74??
Survival analysis
Relative Hazard (Hazard Ratio)
HR ~ 0,65
hypothermia
50
normotermia
25
time [days
0
50
100
150
200
Survival without recurrence [%]
• Survival analysis
100
HR ~ 0,68
75
After 12 years
RR ~ 0,98
After 4 years
RR ~ 0,16
50
treated
25
Non-treated
0
4
5
Time [years]
10
12
15
Risque relatif ou absolu
Risque de
base
Ra
Rc
RR
RRR ARR NNT
faible
4%
3%
0,75
0,25
élevé
20%
15%
0,75
0,25
0,01
0,05
100
20
Évaluation de l’efficacité des RCTs
Recombinant Human Activated Protein C for severe sepsis
Décès à J28
Ra
Rc
24.7% 30.8%



Oui
non
APC
210
640
Placebo
259
581
OR
RR
RRR
ARR
NNT
Number
« pills »
coût
0,74
0.80
0,20
6.1%
16
16
US $ 100,000
Si l’on accepte les résultats de Prowess.. on évite 20% des décès
Doit t-on dépenser cet argent? Chez qui? Quel est le coût des effets
secondaires?
Qui décide l’utilisation (réanimateur, patient, Sec soc, société)?
Coût-efficacité comparés
0$/QALY
100.000$/QALY
Statines
20.000 $
PAC
30.000 $
Thrombolyse
50.000 $
Drotrecogin alfa
40.000 $
Airbags
Defibrillateurs
implantables
Réanimation cardio pulmonaire
From: Crit Care Med 2003; Vol.31 (1)
50.000 $
100.000 $
400.000 $
Validity

Internal validity: How well was the study
done? Do the results reflect the truth?

External validity: can I apply these
results to MY patients?
Conflit validité interne/externe
La spironolactone améliore le pronostic de
l’insuffisance cardiaque (-30% de risque de dc)
Juurlink et al – NEJM 2004; 351:543
Essais randomisés contrôlés et pronostic du SDRA
ERC sur réduction du VT ?
ERC sur niveau de PEP ?
ERC sur decubitus ventral ?
ERC sur NO ?
Hudson et al, 1998
EBM et éthique

Dans la décision médicale:




EBM mais aussi
Expérience, valeurs personnelles, considération économiques et
politiques,
Principes philosophiques (justice)
Conséquentialisme:



Outcome non mesuré (douleur), non mesurable (justice),
complexes (QdV)
L’outcome choisi n’est pas forcément celui que choisirait le patient
mais celui de l’investigateur principal…
Suprématie de la RCT…

Notion d’équipoise


Kerridge I & Henry D – BMJ 1998; 1151
Ne permet pas de tester certaines hypothèses
Utilisation de l’EBM



Applicabilité à la population que je soigne…
On ne peut allouer des ressources aux champs de la médecine se
prêtant mal à l’EBM (soins palliatifs)
Notion de bénéfice individuel? Ou de bénéfice collectif?
Savoir raison garder
EBM
En
est un outil utile…
recherche, soins, pédagogie…
Ne
résout pas tout…
Intérêt du rationnel physiopathologique
Intérêt de la répétition des résultats
Sur
d’autres RCTs
Sur des bases de données…