Lecture critique de la publication d`un essai clinique

Lecture critique
de la publication
d’un essai clinique
M. Bronnec et A. Sauvaget
Pôle universitaire d’addictologie et de psychiatrie
Le titre
• court et informatif (10 à 15 mots)
• parfois complété par un « titre courant »
(40 caractères)
• En tête / pied de page
Le contexte
• l’article a-t-il été publié dans une revue avec un
comité de lecture ?
• quelle est la notoriété de l’auteur ?
• quel est son degré d’indépendance intellectuelle ?
(conflits d’intérêt)
• y-a-t-il eu approbation d’un comité d’éthique ?
La structure
« IMRAD »
Introduction
• Comprendre pourquoi le travail a été réalisé… L’étude
doit donner envie au lecteur de poursuivre.
• 3 parties constitutives :
– position du problème : brève (plus la revue est spécialisée,
plus les lecteurs sont initiés, plus elle est courte)
– aspect particulier de la recherche : motivations des auteurs,
hypothèses testées
– objectif principal de l’étude…(un ou deux objectifs
secondaires). On introduit le chapitre méthodologie
L’objectif de l’étude
• clairement défini et justifié
(raisonnement hypothético-déductif)
• réaliste, limité et précis
• hiérarchie avec un objectif principal, +/- des
objectifs secondaires
• quel est son intérêt clinique, sa pertinence ?
• quelle est sa justification ?
• le travail doit être légitime et faisable
Matériels et méthodes
• cette partie permet d’évaluer la rigueur
scientifique du travail présenté
• le schéma doit être REPRODUCTIBLE par le
lecteur
Matériels et méthodes : plan expérimental
• essai de supériorité, contre placebo
• essai d’équivalence (ou de non-infériorité), contre un
médicament de référence
• essai pragmatique, de comparaison de deux stratégies
thérapeutiques (dans la vraie vie)
• Essai explicatif, pour expliquer l’effet dans des
conditions précises (en phase III)
Matériels et méthodes : plan expérimental
Traitement A
• groupes parallèles :
Wash out
Traitement B
• groupes croisés :
2
1
Traitement A
Traitement B
Traitement A
Wash out
Traitement B
Le patient est son propre témoin (ce qui  la puissance car moins de variation interindividuelle et le nombre de sujets est X2, mais essai très long et donc nécessité d’une
maladie assez stable et chronique)
Matériels et méthodes : plan expérimental
• tirage au sort / randomisation : attribution aléatoire
du traitement
• modalités : centralisé, stratifié par centre, sur
certaines variables pronostiques…
• moment (après le consentement, avant l’inclusion)
Matériels et méthodes : plan expérimental
• ouvert
• simple aveugle
• double aveugle
Matériels et méthodes : plan expérimental
l’essai est au mieux :
• comparatif (= prospectif et contrôlé)
• randomisé
• en double aveugle
Matériels et méthodes : sélection des sujets
critères d’inclusion et de non-inclusion :
• âge
• sexe
• hospitalisés / ambulatoires…
Matériels et méthodes : critères de jugement
• nombre et hiérarchie :
– c’est sur le critère principal qu’est calculé le nombre
de sujets à inclure
– ce critère principal ne doit pas changer en cours
d’étude
• pertinence et validité :
– signification clinique
– critère biologique/radiologique… « intermédiaire » à
défaut, à condition qu’il soit validé et admis par la
communauté scientifique
Matériels et méthodes : critères de jugement
• moment du recueil
• critères quantitatifs / qualitatifs:
– les critères quantitatifs fournissent plus d’information
– sinon, « succès/échec », « répondeur/non répondeur »,
à condition que la définition du succès ou la fixation
du seuil de réponse ait été faite préalablement,
conformément au consensus scientifique
• traitement comparés : la comparaison doit être loyale
(posologies, durée d’utilisation…). Les traitements
associés doivent être les mêmes dans les deux groupes.
Matériels et méthodes : nombre de sujets nécessaire
• nécessaire pour connaître la puissance de l’essai
• il serait trop facile de conclure que l’on n’a pu démontrer
l’efficacité du produit testé par manque de puissance : il fallait
inclure un effectif suffisant, déterminé par le calcul
• puissance : probabilité d’obtenir un résultat statistiquement
significatif
• erreur de 1ère espèce  : probabilité de conclure à une différence
qui n’existe pas
• erreur de 2ème espèce  : probabilité de conclure à une absence de
différence, qui existe pourtant
Matériels et méthodes : qualité de l’essai
• écarts au protocole
• inclusions à tort
• données manquantes
• mauvaise observance du traitement
• perdus de vue…
Matériels et méthodes : analyse statistique
• Description de la nature des tests statistiques,
avec justification…
• Seuil de significativité (p=0,05)
Résultats : présentation
• « tous les résultats, rien que les résultats »
• Combinaison de :
– texte
– tableaux
– figures…
Ces trois formes sont complémentaires et non
redondantes (on ne répète pas dans le texte les
résultats d’un tableau )
Résultats : présentation
• caractéristiques initiales des patients inclus
• présentation claire sous forme de tableaux indiquant les valeurs
observées dans les différents groupes avec leur intervalle de
confiance, les effectifs sur lesquels ces valeurs ont été observées et
le degré de signification statistique (p) des tests
• essai de supériorité : analyse en intention de traiter (« analyse en
ITT », qui porte sur tous les inclus, à la différence de l’analyse
« per protocole » qui ne tient compte que des sujets n’ayant pas
fait d’écart majeur au protocole
• l’analyse principale doit porter sur le critère de jugement principal
• La multiplicité des critères et des moments d’évaluation entraîne
une multiplicité des comparaisons et des tests statistiques, qui ne
permet plus de garantir un risque  global de 5%
Résultats : interprétation
• pour juger de l’efficacité d’un traitement, on ne compare pas « avant-après »
mais à la fin de l’essai entre les deux groupes
• signification statistique : la différence observée est-elle réelle, ou résulte-t-elle
du hasard ? Un « p » à 0.001 est plus confortable qu’un « p » à 0.05
• taille de la différence : quantité d’effet du traitement. « statistiquement
significatif » ne veut pas dire « cliniquement intéressant » !!
• « p » ne traduit pas l’importance de l’effet du traitement, mais seulement la
probabilité que l’effet observé existe réellement
• causalité : l’effet du traitement testé est-il seul responsable de la différence
observée, ou cette différence peut-elle être due à un autre facteur = « facteur de
confusion ». On peut affirmer une causalité si l’essai est mené avec un
maximum de précautions pour minimiser les biais.
Résultats : analyses en sous-groupes
• une analyse non prévue dans le protocole, réalisée sur un sousgroupe de patients (par exemple les plus âgés), n’ayant pas fait
l’objet d’une stratification de la randomisation ne saurait donner
lieu à une conclusion (car la comparabilité n’est pas assurée)…
• … mais elle incite à un nouvel essai
• essai négatif (essai de supériorité dont les résultats ne sont pas
statistiquement significatifs) : manque de puissance du à un
recrutement insuffisant ? Vrai manque d’efficacité du médicament
testé ?
• ne pas mettre en évidence de différence entre deux produits
n’autorise pas à les déclarer équivalents
Discussion
• discuter les conditions de réalisation de l’étude et les limites de
l’interprétation des résultats
• l’évocation de publications antérieures doit être référencée
• c’est une autocritique destinée à mettre l’accent sur les données les
plus fiables et les plus démonstratives de l’étude, et à n’accorder
aux résultats que la portée qu’ils méritent
• discuter la signification clinique de la différence observée
• cohérence :
– interne : études fournissant des résultats discordants, voire contradictoires ?
– externe : données de la littérature
Discussion
3 buts :
• Répondre à la question posée en introduction :
– résumer les principaux résultats
• Porter un jugement critique sur la qualité / validité des résultats :
–
–
–
–
Les résultats sont-ils logiques ?
La population était-elle suffisante pour tirer des conclusions ?
Le schéma expérimental était-il adapté pour répondre à la question posée ?
Certains résultats ne sont-ils pas liés à l’existence de biais ?
• Comparer les résultats à ceux d’autres auteurs :
– Les résultats sont-ils conformes à la littérature ?
– S’il existe des discordances, comment peuvent-elles s’expliquer ?
– Si l’on doit critiquer le travail d’autres auteurs, la critique doit être objective
et scientifique
Conclusion
• elle s’inscrit dans la logique des seuls résultats fiables de l’essai, et
se limitent au thème qui était l’objet du travail
• une bonne conclusion est factuelle
( de l’opinion,  de la spéculation)
• elle fait la part de ce qui a été démontré, et de ce qui ne l’a pas été
(et non un tri des informations pour ne retenir que les favorables)
• on doit percevoir le bénéfice thérapeutique concret à attendre de
l’essai
• courte, ouvrant vers d’autres voies de recherche, ou des
compléments, ou de précisions qui seront apportées ultérieurement
Référence
Bouvenot G, Villani P, Ambrosi P.
Lecture critique de la publication d’un essai
clinique.
La Presse Médicale, 2002; 31: 1061-1068.
Questions
1. Que pensez-vous de la formulation de la question ?
2. Décrivez le plan expérimental, en donnant votre avis.
3. Que pensez-vous de la sélection des sujets ?
4. Le nombre de sujets inclus vous paraît-il suffisant ?
5. Que pensez-vous de l’interprétation des résultats ?
Correction
1. Que pensez-vous de la formulation de la question ?
Il n’y a pas de question vraiment bien formulée, et
donc pas d’objectif d’étude bien défini.
On comprend que les auteurs souhaitent évaluer
l’efficacité d’une association NLP+bromocriptine.
L’introduction est trop brève et ne justifie pas le choix
des posologies employées.
Correction
2. Décrivez le plan expérimental, en donnant votre avis.
Il s’agit d’un essai pragmatique, prospectif,
Les auteurs disent « en cross-over » (ce qui aurait permis de limiter la
variabilité inter-individuelle et d’augmenter la puissance). En fait, essai avec
augmentation de dose.
Une période de wash-out a bien été respectée, entre les deux traitements
testés, suffisamment longue par rapport à la demi-vie de la bromocriptine.
Les auteurs n’ont pas procédé à une randomisation des 2 séquences de
traitement.
Il n’y a pas de groupe témoin.
L’essai est en double aveugle, ce qui limite les biais.
Le traitement neuroleptique avait été stabilisé avant le début de l’étude.
L’essai est reproductible.
On peut lui reprocher sa durée trop courte (au regard de la chronicité du
trouble).
Correction
3. Que pensez-vous de la sélection des sujets ?
On peut se poser la question du choix de sujets schizophrènes
résistants (choix non justifié dans l’introduction).
On manque de renseignements sur le lieu de recrutement des
sujets, l’écart-type de l’âge moyen des sujets et de l’ancienneté
moyenne des troubles.
Les auteurs n’apportent pas assez d’informations sociodémographique ou clinique sur les sujets recrutés.
la population est hétérogène : 7 hommes et une femme.
Les critères d’inclusion sont trop limités, il n’y a pas de critères
d’exclusion (mais essai pragmatique).
Enfin, on peut se poser la question du recueil du consentement
dans cette population de schizophrènes résistants (capacité à
comprendre l’information et à consentir) (problème éthique).
Correction
4. Le nombre de sujets inclus vous paraît-il suffisant ?
Les auteurs n’indiquent pas si le nombre de sujets
nécessaires a été calculé (probablement pas), calcul se
basant sur la différence minimale que l’on souhaite
mettre en évidence).
Le nombre de sujets inclus est très certainement
insuffisant, ce qui augmente le risque d’erreur 
(conclure à tort qu’il n’y a pas de différence, et donc
pas d’effet)
Correction
5. Que pensez-vous de l’interprétation des résultats ?
Les auteurs mettent en évidence des différences statistiquement
significatives, mais pour autant, ces différences sont-elles
cliniquement significatives ??
Il aurait fallu choisir un critère de jugement principal pertinent
(par exemple, « amélioration symptomatique ou non », définie
par une diminution d’au moins 50% du score total de la BPRS).
L’écart-type est très grand.
On ne devrait pas interpréter les résultats concernant les sousscores de la BPRS.
Correction
5. Que pensez-vous de l’interprétation des résultats ?
Les auteurs parlent « d’échappement » au sujet de la posologie
de 1.25mg/j, mais avec un effectif aussi réduit, ne s’agit-il pas
plutôt d’un manque de puissance ??
Les auteurs ont multiplié les tests 2 à 2, augmentant
inévitablement le risque d’erreur .
SURTOUT : les auteurs concluent à la supériorité de la
posologie 2.5 mg vs 1.25 mg ,alors qu’ils n’ont pas testé
l’efficacité d’une dose par rapport à l’autre, mais des 2 doses par
rapport au placebo !!!