10ème Université d'automne Méthodologie de l’évaluation des pratiques dans le champ de l’autisme L ’évaluation des pratiques est fondée sur des méthodologies issues des essais thérapeutiques. Lorsqu’on considère le poids économique du médicament qui représente 1 % de la richesse mondiale on ne s’étonne pas de l’investissement majeur qui est consacré à l’évaluation. Le coût d’une phase III d’un essai thérapeutique pour une nouvelle molécule est de l’ordre de 500 millions d’euros. En regard, le budget d’une évaluation de pratiques dans l’autisme, à l’échelle de la planète, est dix fois moins important. Réfléchir à l’évaluation a un côté rébarbatif puisqu’il est question de méthodes et plus encore, de choix de critères. Pour certains, c’est complexe et décourageant. D’autres considèrent que l’on est « parasité » par ces méthodes d’évaluation venues du médicament. Faut-il le rappeler, mener une évaluation suppose le risque de mettre en évidence l'inefficacité de ce qui a été entrepris. Synthèse de la conférence de Bruno Falissard2 sible à viser la simplicité, et à éprouver une préférence pour travailler avec des personnes présentant un autisme avec bon niveau de fonctionnement plutôt qu’avec celles ayant un autisme sévère. Plus encore que pour d’autres pathologies, dans le domaine de l’autisme, l’hétérogénéité des profils est la règle plus que l’exception : d’où la nécessité de définir la population et le « type » de patient auprès de qui l’évaluation sera focalisée. Quels traitements ? Chaque équipe ayant sa propre pratique de prise en charge, s’il n’est pas reproductible, le traitement demeure-t-il évaluable ? Comment introduire une évaluation ? Cette Quels patients ? question se pose aussi pour le médicament, Quels traitements ? Comment car l’effet d’un méévaluer qualitativement dicament tient égaet quantitativement lement au médecin l’évolution du patient ? et à la relation qu’il Comment construire entretient avec ses patients. La singulaun protocole ? rité est propre à toute évaluation des thérapeutiques. Expliciter le plus possible ce qui est fait avec les patients, entraîne-t-il une réduction abusive ? Non, cela aide à réaliser concrètement ce qui a été entrepris, à trouver une ligne commune et de tenter d’évoluer, lorsque cela est possible, vers une homogénéisation de la prise en charge. Il y a nécessairement un compromis à trouver entre l’explicitation et l’indistinct. La question de la singularité n’est pas spécifique à nos domaines. Dans le domaine du cancer, les collègues généticiens sont confrontés à la personnalisation de plus en plus grande de leurs outils : avec une puce on peut singulariser une tumeur, et adapter la thérapeutique. En conséquence l’approche spécifiquement ciblée qui vise à une médecine personnalisée, ne permet pas d’obtenir une reproductibilité. La psychiatrie n’est pas le seul domaine où se pose ce type de question. Sur quels patients va-t-on centrer l’attention ? Cette attitude réflexive peut faire apparaitre un certain nombre de biais. A titre d’exemple il y a une tendance compréhen- Comment évaluer l’évolution des patients ? De quels outils dispose-t-on pour rendre compte de l’amélioration ? Le choix des critères est un enjeu complexe. Il est Quelles sont les questions à se poser pour construire une évaluation ? En tout premier lieu, il importe d’abandonner l’idée que l’on peut « tout » évaluer d’une manière globale. Ensuite il faut s’attacher à délimiter certains aspects de la question afin de s’obliger à une certaine rigueur. S’il est nécessaire de formaliser les questions posées, de les expliciter, il y aura un passage indispensable autour de quatre sous-groupes de questions : Quels patients ? Quels traitements ? Comment évaluer qualitativement et quantitativement l’évolution du patient ? Comment construire un protocole ? 2 Professeur des universités, praticien hospitalier (biostatistique), Responsable du département de santé publique de l’hôpital Paul-Brousse, Directeur de l’unité INSERM 669 (santé mentale de l’adolescent), Paris conférence résumée par Dominique Donnet-Kamel et Karima Taleb-Mahi le Bulletin scientifique de l’arapi - numéro 25 - printemps 2010 Licence Creative Commons Attribution - Pas d'Utilisation Commerciale - Pas de Modification v.4.0 Internationale (cc-BY-NC-ND4.0) 7 10ème Université d'automne préférable d’avoir de multiples solutions qu’une pauvreté de recours possibles. Encore une fois, cette question n’est pas spécifique au domaine des TED qui nous préoccupe ici. Le diabète donne une bonne illustration : quel critère choisir pour évaluer l’évolution des patients : la normalisation de la glycémie ou la prévention de survenue des complications ? Il est évident que l'étude de la normalisation de la glycémie coûte moins cher que celle de la prévention des complications. Dans la cognition, la question de la sensibilité au changement est-elle un critère ? Si la personne est plus performante, peut-on dire pour autant qu’elle va mieux ? La réponse est non, le changement constaté ne signifie pas qu’il y ait amélioration de l’état de la personne. Dans la schizophrénie, les psychiatres ont proposé des mesures cognitives que la FDA ( Food and Drug Administration, bureau américain de contrôle alimentaire et pharmaceutique) a refusé en tant que mesures de l’efficacité. Cela se discute, car les Comment évaluer la qualité modèles cognitifs ont de vie ? Les instruments leur pertinence dans existent, également, mais la compréhension du on leur reproche d’être fonctionnement psychique de la personne. prétentieux et normatifs. Peut-on utiliser un instrument Cela ne remet pas en question la pertinence normé pour un trouble des instruments qui autistique ? De quelle qualité existent pour mesurer de vie parle-t-on ? les symptômes, qui cristallisent le savoirfaire médical. Pour autant ils présentent l’inconvénient majeur d’être médico-centrés. Les médecins peuvent négliger d’autres dimensions de la maladie comme l’attestent les syndromes déficitaires dans la schizophrénie, qui ne peuvent être appréhendés que par une investigation de nature cognitive. Comment évaluer la qualité de vie ? Les instruments existent, également, mais on leur reproche d’être prétentieux et normatifs. Peut-on utiliser un instrument normé pour un trouble autistique ? De quelle qualité de vie parle-t-on ? De celle du patient ou de celle de sa famille ? En l’absence de plainte du sujet concerné, la qualité de vie de l’entourage est-elle un meilleur indicateur ? Comment mettre en place un protocole ? Y a t-il nécessité d’un « groupe contrôle » ? La réponse est globalement affirmative. Si un groupe s’améliore, il importe de pouvoir attribuer l’amélioration à la méthode observée, et pas à d’autres facteurs. Néanmoins, dans certaines situations, si une personne présente une dégradation, une rupture, il n’est pas besoin d’un groupe contrôle. Il existe des méthodes alternatives au groupe contrôle, par exemple la comparaison historique avant-après, mais la difficulté réside, là encore, dans l’interprétation des résultats. Qu’en est-il du tirage au sort pour former les groupes ? Cette méthode est la seule façon d’interpréter les données recueillies. Il ne s’agit pas, cependant, de se laisser obnubiler par le tirage au sort. On peut aussi inventer d’autres modèles, mais la condition est la prise en considération des biais possibles. La question fondamentale reste celle 8 de la transférabilité des résultats. Enfin, la question du nombre de sujets à inclure dans le protocole est, là aussi, une question méthodologique importante. Si la pratique qu’on évalue est très efficace, il faudra un nombre moins conséquent de patients à inclure et à comparer. En revanche, si la méthode n’est pas d’une très grande efficacité, il faudra inclure un grand nombre de patients. L’apport fondamental de l’évaluation est de clarifier les pratiques, ce n’est pas si difficile, nous disposons des moyens utiles, et cela nous aide à progresser efficacement. Aujourd’hui, il y a une vraie prise de conscience de la nécessité d’évaluer les pratiques psychiatriques mais il s’agit d’être vigilant sur les raccourcis et les risques de « dérapage ». Ce n’est pas parce qu’on ne se prête pas à l’évaluation que ce que l’on fait est mauvais ! Derrière l’évaluation, il y a des enjeux de pouvoirs. le Bulletin scientifique de l’arapi - numéro 25 - printemps 2010 Licence Creative Commons Attribution - Pas d'Utilisation Commerciale - Pas de Modification v.4.0 Internationale (cc-BY-NC-ND4.0)