Méthodes d`évaluation des systèmes de soins en psychiatrie

Méthodes d’évaluation des systèmes
de soins en psychiatrie
JL Terra
Résumé. – L’évaluation des systèmes de soins en psychiatrie représente un véritable défi méthodologique
quand on examine les dernières données de la littérature. Plusieurs courants de pensée existent et, plutôt que
de s’affronter, vont dans des directions divergentes. On peut distinguer un axe épidémiologique qui donne la
primauté à une évaluation préalable des besoins de soins qui se fonde sur la morbidité dans la population
générale et secondairement une évaluation des besoins de soins des patients utilisant le système de soins. Cet
axe peut être articulé avec les approches plus cliniques, voire clinimétriques, à la recherche des changements
de santé induits par les actions thérapeutiques. Un autre courant est issu de l’évaluation de la qualité et de la
sécurité des soins avec d’un côté, mais de façon complémentaire, l’évaluation des pratiques professionnelles
et de l’autre l’évaluation des organisations avec les systèmes d’accréditation, dont la tendance est de mettre
l’accent de plus en plus sur les indicateurs de résultat après avoir insisté pendant des décennies sur les
indicateurs de structure et de processus. En raison de pressions souvent externes aux courants précédents,
essentiellement les payeurs et les consommateurs de soins, une forte évolution se fait en faveur d’une
évaluation centrée sur le patient en lui donnant la parole pour apprécier la façon dont il a été soigné et juger
du résultat obtenu. Ces faits ne sont pas spécifiques à la psychiatrie, mais la psychiatrie est au cœur de cette
évolution, la littérature de ces dernières années apportant de nombreuses preuves et exemples de cette
évolution rapide des idées dans ce domaine.
©2001 Editions Scientifiques et Médicales Elsevier SAS. Tous droits réservés.
Mots-clés : évaluation, méthodes, psychiatrie, besoins de soins, pratiques professionnelles, évaluation des
résultats, satisfaction des patients, qualité des soins, audit.
Introduction
Le concept d’évaluation en médecine est devenu classique grâce aux
efforts conduits dans de nombreux pays depuis des décennies. Une
masse considérable de travaux est disponible dans des orientations
variées, telles que l’évaluation des besoins de soins, l’évaluation des
pratiques professionnelles, l’évaluation des résultats en termes de
gain de santé ou de gestion des risques, l’évaluation des structures
et des organisations ou encore l’évaluation médicoéconomique
[12]
.
La psychiatrie est une des disciplines qui a, de façon peut-être
inattendue, joué un rôle important dans ce domaine, si bien que des
ouvrages de référence ont été publiés récemment pour examiner les
méthodes disponibles et proposer des modèles d’évaluation
cohérents
[9, 21]
. Faire la synthèse des différentes approches
d’évaluation s’avère complexe cependant, en raison de la coexistence
de courants de pensée qui ont encore peu fait de concessions les uns
vis-à-vis des autres, tout en ayant en même temps des zones de
recouvrement en raison de l’objet même à évaluer. Cet objet, les
systèmes de soins en psychiatrie, mériterait un long travail de
délimitation, car il est rarement organisé comme un système, ce qui
suppose un certain degré de systématisation et d’articulation. Nous
avons choisi d’aborder ici seulement quelques approches vers
lesquelles se dirige l’évaluation en psychiatrie, notamment pour ne
pas complexifier ce champ et tenir compte des écarts conséquents
qui existent entre ce qui est avancé par les experts du domaine et le
développement réel de l’évaluation, en particulier en France
[6, 10]
.
Jean-Louis Terra : Professeur des Universités, praticien hospitalier, université Lyon 1, UFR RTH Laennec,
centre hospitalier Vinatier, 95, boulevard Pinel, 69677 Bron cedex, France.
Concept de système de soins
Évoquer la notion de système introduit celle d’organisation avec ses
différentes déclinaisons possibles. Doit-on considérer que la
sectorisation psychiatrique française est un mode d’organisation
suffisamment structuré, régulier dans ses modalités de
fonctionnement pour être considéré comme une entité évaluable ?
Le nombre d’interrogations possibles n’a pas été réduit par
l’introduction, plus récente et sous forme quasi épidémique, du
concept de réseau, accompagné de ceux de filières, de trajectoires.
La connaissance des caractéristiques de la répartition et de
l’agencement des prestations de soins est devenue aussi importante
que les contenus mêmes du soin. Comme le soulignent de nombreux
auteurs
[4]
, il semble important d’avoir une conception dynamique
des systèmes de soins en portant une plus grande attention aux
processus de prise en charge des patients qu’aux structures elles-
mêmes. Cette approche, qui permet d’associer les différents
intervenants autour d’un patient et de sa famille, en est encore au
stade des balbutiements en termes d’évaluation.
Modèles de l’évaluation
Évaluer revient à mesurer et à comparer. De ce fait, il est nécessaire
de définir à la fois l’objet de la mesure, le référentiel de comparaison
et la méthode de mesure. À ce jour, le manque paraît être plus
présent pour définir l’objet de la mesure, alors que les référentiels
sont de plus en plus nombreux, ainsi que les méthodes publiées ces
dernières années dans des ouvrages de référence
[9, 20, 21]
. Nous
Encyclopédie Médico-Chirurgicale 37-800-A-20
37-800-A-20
Toute référence à cet article doit porter la mention : Terra JL. Méthodes d’évaluation des systèmes de soins en psychiatrie. Encycl Méd Chir (Editions Scientifiques et Médicales Elsevier SAS, Paris, tous droits réservés), Psychiatrie,
37-800-A-20, 2001, 5 p.

envisageons seulement quelques modèles d’évaluation, sans que
leur cohérence sur le terrain ne soit toujours trouvée. En effet,
évaluer ne se fait pas spontanément. Il faut en général des pressions
internes et/ou externes au système dont la nature peut varier et
conditionner un type plus particulier d’évaluation, sans que les
étapes méthodologiques préalables aient été totalement franchies. Il
semble ainsi difficile d’évaluer les résultats du soin sans connaître
les besoins de soins.
Évaluation des besoins
Un large consensus existe à ce jour entre les cliniciens et les
planificateurs pour que les services de santé mentale soient
organisés en fonction des besoins de santé à couvrir, aussi bien au
niveau individuel que collectif. En pratique, cette étape préalable
est de réalisation difficile, nécessitant à la fois de définir les besoins
auxquels il semble licite et possible de répondre et de disposer des
méthodes adéquates.
Actuellement, il n’existe pas d’accord sur la façon dont les besoins
doivent être évalués
[9]
. De nombreuses définitions des besoins en
santé et en santé mentale ont été proposées
[21]
en fonction de l’état
de santé lui-même, de l’existence de possibilités de traitement et
aussi de la demande explicite de soins. Comme dans les autres
disciplines, il peut exister des demandes sans besoin et des besoins
sans demande. Une évaluation des systèmes de soins en psychiatrie
suppose que les besoins soient définis et mesurés pour apprécier les
écarts entre la couverture des soins souhaitée et celle réalisée. Des
distinctions peuvent être faites entre la morbidité diagnosticable, la
morbidité diagnostiquée, la morbidité ressentie. Aussi bien pour les
besoins individuels que pour les besoins d’une communauté, de
nombreuses étapes peuvent être identifiées entre le besoin et la
réponse. La figure 1 contient une proposition de ces différents
niveaux.
Si ces étapes montrent la complexité du processus de prise en
charge, une simplification est souvent utilisée en retenant seulement
trois éléments : le besoin, la demande et la réponse offerte. Le besoin
est défini sur des critères établis par les professionnels, la demande
est définie par les patients et la réponse correspond aux soins
réellement délivrés. Les nombreuses possibilités de recouvrement ou
non sont possibles entre les trois niveaux, telles que celle d’un besoin
de soins alors que le patient refuse les soins ou encore celle d’une
consommation de soins qui peut être sans demande ou sans besoin.
La difficulté réside dans le choix des seuils pour définir les besoins
et des moyens mis en œuvre pour faire émerger la demande. De
plus, un besoin de soins défini par un professionnel peut ne pas être
rempli et remplacé par une réponse acceptable par le patient.
Dans le champ de la santé mentale, comme dans d’autres domaines,
le besoin est défini comme l’écart entre les besoins de soins d’une
population et les services de soins actuellement offerts. Pour
Lehteinen et al en 1990, cités par Thornicroft
[20]
, un besoin
correspond à niveau inadéquat de soins pour la sévérité du trouble.
INSTRUMENTS DE MESURE DES BESOINS INDIVIDUELS
Dans l’idéal, chaque patient devrait bénéficier d’une évaluation de
ses besoins à l’aide d’un instrument structuré correspondant au
cahier des charges suivant : bref et de passation rapide,
appropriation aisée, utilisable en routine par les professionnels
habituels, doté d’une bonne validité intercotateur et sensible aux
changements induits par les soins. Parmi les instruments
disponibles, quelques-uns méritent une attention particulière.
¶Exemple d’instrument : Camberwell Assessment
of Need (CAN)
Cet instrument a été élaboré par l’Institut de psychiatrie de Londres
pour entreprendre spécialement l’évaluation des besoins de soins
des patients atteints de troubles mentaux sévères
[20]
. Il permet
d’explorer les besoins en tenant compte de façon concomitante des
points de vue des patients et des soignants, et il permet de
distinguer clairement les besoins des interventions reçues. Les
domaines investigués sont répertoriés dans le tableau I.
Les propriétés psychométriques du CAN ont été évaluées. Le niveau
de sa validité a été jugé comme suffisamment acceptable pour qu’il
soit traduit en 12 langues et accessible en version PC appelée
PELICAN.
Le nombre de problèmes identifiés pour des patients sévèrement
handicapés par leur trouble mental dans le sud de Londres a été de
7,5 en moyenne pour les soignants et de 7,9 pour les patients, avec
une convergence faible entre les soignants et les patients, ce qui
légitime une double approche.
¶Autres instruments
À côté de cet instrument, il existe d’autres propositions pour évaluer
les besoins de soins. Le Needs for Care Assessment de Brewin et al,
1992, cité par Thornicroft
[20]
, est fondé sur des définitions précises
d’un besoin de soins. Celui-ci existe lorsque le niveau de
fonctionnement d’un patient tombe, ou menace de tomber, en
dessous d’un niveau minimal spécifié, que la cause de cette
dégradation soit curable ou en partie curable. Un besoin est couvert
lorsque des soins sont entrepris et qu’il n’y a pas de soins de plus
grande efficacité existants. Cette échelle de besoins tient compte de
la capacité pour un soin de réduire la symptomatologie.
D’origine commune, le Cardinal Needs Schedule est un autre
instrument qui permet de coter le degré de coopération du patient
et la sévérité du problème de santé.
ÉVALUATION DES BESOINS D’UNE POPULATION
Idéalement, une méthode exhaustive pour mettre en place les
services de soins adaptés serait de se fonder sur une évaluation
systématique des personnes qui ont été identifiées comme malades
dans la zone géographique correspondante. Les données
individuelles seraient agrégées dans un registre de cas et les services
seraient développés en fonction des besoins non couverts.
En pratique, les données directement disponibles des besoins de
services sont soit absentes, soit de mauvaise qualité. De ce fait, des
indicateurs doivent être mis en place spécifiquement. Plusieurs
approches sont possibles en combinant des données
épidémiologiques et des données reflétant l’utilisation des services.
1Niveaux du processus entre le besoin de soins et la réponse.
Tableau I. – Domaines de besoins potentiels inclus dans le Cam-
berwell Assessment of Need (CAN)
[20]
.
Logement
Activité
Symtômes psychotiques spécifiques
Détresse psychologique
Information concernant l’état de santé et le traitement
Médicaments non prescrits
Nourriture et repas
Activité domestique
Hygiène et présentation
Sécurité personnelle
Sécurité pour les autres
Ressources financières
Soins des enfants
Santé physique
Alcool
Éducation de base
Téléphone
Transports publics
Bien-être
37-800-A-20 Méthodes d’évaluation des systèmes de soins en psychiatrie Psychiatrie
2

¶Estimation du niveau de morbidité psychiatrique
dans la population générale
Une simple estimation peut être dérivée des données nationales, à
défaut internationales, de la morbidité locale
[20]
. Ces données
appliquées à la population d’un secteur de psychiatrie de taille
moyenne donne des chiffres impressionnants, indiquant, mais ce
n’est qu’une indication, que un dixième de la population atteinte
d’un trouble mental est pris en charge par le dispositif psychiatrique
de secteur. Ces estimations ne tiennent pas compte des écarts entre
la morbidité diagnostiquée, la morbidité diagnosticable et la
morbidité traitée. De plus, elles n’indiquent pas quels types de
services sont adéquats. Cette méthode est mieux adaptée pour les
troubles les plus graves où les écarts devraient être réduits au
minimum entre la prévalence du trouble et la prévalence traitée en
raison de l’importance de prendre en charge chaque personne et de
la durée des soins.
¶Estimation des besoins de soins à partir
des statistiques d’utilisation des services
Des données générales de l’utilisation des soins peuvent être
extrapolées à une aire géographique dépourvues de statistiques. Il a
été établi par Golberg et Huxley en 1992, cités par Thornicroft
[20]
,
que chaque année 25 % de la population souffre au moins d’un
trouble mental de sévérité modérée et que, pour ces auteurs, 23 %
consulte un médecin de soins primaires, 14 % est identifiée comme
ayant un trouble ou étant en détresse, 1,7 % est adressée aux services
de soins psychiatriques dans la communauté et 0,6 % est
hospitalisée.
¶Évaluation des besoins pour les populations
en situation sociale précaire
Les troubles mentaux et le taux d’admission en psychiatrie sont plus
fréquents dans les populations présentant une situation sociale
précaire telle que l’absence d’abri ou l’absence de domicile fixe. La
prévalence élevée des psychoses associées à l’alcoolisme dans ces
populations justifie de concevoir des services de soins adaptés pour
une prise en charge au long cours. Cependant, en raison de la
difficulté à recenser ces populations, des méthodes de capture-
recapture sont utiles pour obtenir des estimations plus précises de
leur nombre, pour effectuer ensuite une évaluation de leurs
besoins
[7]
.
Évaluation des pratiques
professionnelles
L’évaluation des pratiques professionnelles est certainement le
préalable à toute évaluation des résultats. En l’absence de
connaissance des pratiques, il est impossible d’interpréter les
variations des résultats. De nombreuses initiatives visent maintenant
à décrire l’influence des recommandations professionnelles sur les
pratiques de soins, et de nombreux auteurs viennent à discuter
l’importance à accorder aux soins basés sur des faits prouvés. Une
évaluation d’un système de santé peut se fonder en grande partie
sur le degré d’utilisation des recommandations existantes pour
satisfaire aux besoins de santé d’une population. Ceci suppose la
recherche de preuves valides et pertinentes comme celles qui sont
mises à disposition par les agences médicales des différents pays,
par des revues telles que l’Evidence Based Medicine Journal ou encore
par des systèmes de synthèse et de dissémination de l’information
médicale tels que la Cochrane Collaboration. Cette dernière propose,
pour l’exemple des chambres d’isolement (cf infra), une analyse de
l’efficacité de l’utilisation de l’isolement comparée à celle de ses
alternatives pour les patients présentant des troubles mentaux
sévères
[16]
. Le processus de sélection des faits prouvés et
l’organisation pour leur implémentation représentent une
perspective importante de l’évaluation des système de soins. Trop
souvent, la psychiatrie est considérée comme manquant globalement
de références scientifiques. Les faits prouvés de grade A (preuve
scientifique établie) et de grade B (présomption scientifique) sont
encore peu nombreux, mais il n’est pas sûr que les efforts
correspondants aient été déployés pour en assurer l’application
régulière. De ce fait, la psychiatrie dispose de thérapeutiques dont
l’efficacité théorique (efficacy) a été démontrée par des essais bien
conduits mais manque d’évaluation de l’efficacité sur le terrain
(effectiveness) lorsque le traitement est appliqué dans des conditions
non contrôlées par un médecin « moyen » à un patient « moyen ».
La mise en place d’un système d’évaluation peut modifier les
conditions d’exercice et de soins comme cela peut être reproché à la
UK Prism Study, sur les soins aux patients psychotiques dans la
communauté, une des rares études de ce type disponible à l’heure
actuelle
[2]
. Quant à l’évaluation de l’efficience (efficiency), elle ne peut
être développée faute d’études d’efficacité sur le terrain pour
pouvoir savoir si elles sont coût-efficaces. Andrews note qu’aucune
intervention thérapeutique psychiatrique n’est citée dans les
500 interventions en médecine dont l’efficience a été évaluée et
exprimée en coût par année de vie sauvée
[2]
.
En raison de ce retard, l’évaluation de l’application des références
médicales opposables (RMO), qui n’est pas jugée satisfaisante,
représente un moyen de savoir si les acteurs d’un système de soins
ont tendance à utiliser les thérapeutiques selon les recommandations
professionnelles élaborées sur des bases scientifiques. Les
responsables des structures de soins, médicaux et gestionnaires qui
se réfèrent habituellement aux exigences professionnelles et
réglementaires, devront de plus en plus faciliter la recherche de
preuves valides et pertinentes, évaluer la qualité de ces preuves dont
l’accès devient très facile par l’Internet. On ne sait pas encore à quel
niveau d’exigence sera développé ce devoir d’actualisation des
pratiques avec l’avènement d’un système qui permet de multiplier à
l’infini la même information dans des délais très courts. Cette
actualisation peut être freinée par le fait que des preuves ne suffisent
pas à mettre fin aux controverses lorsqu’il s’agit de savoir si un
nouveau traitement correctement validé est supérieur à un
traitement pratiqué de longue date pour lequel il est peu probable
que l’on dispose un jour de preuves tangibles
[14]
.
L’étape importante et souvent négligée est l’utilisation des leviers
appropriés pour obtenir des changements dans les pratiques
cliniques. Influencer les professionnels peut se faire dans le cadre de
la formation professionnelle continue et par le biais de l’évaluation
des pratiques professionnelles. En revanche, il existe des risques non
négligeables que les thérapeutiques qui ne disposent pas de preuves
suffisantes soient réduites pour minimiser les dépenses, sans être
remplacées par celles qui sont réputées efficaces.
On voit que ce volet qui était l’exclusivité des professionnels de
santé par la maîtrise et l’actualisation du métier peut devenir un axe
de la politique de gestion des systèmes de santé et de leur
modernisation. Le risque souvent avancé d’uniformisation des
pratiques paraît à l’heure actuelle moins élevé que des variations de
pratique, que ni la pathologie des patients, ni leurs préférences, ne
peuvent expliquer. La fréquence d’utilisation des chambres
d’isolement en est un exemple démonstratif, en raison des variations
de leur nombre selon les établissements, de leur utilisation plus ou
moins fréquente et enfin du degré variable de sécurité obtenue
[1, 18]
.
Il est important de pouvoir coupler une évaluation des pratiques
professionnelles avec un mesurage du résultat afin de démontrer
l’impact des efforts réalisés. Une pratique à risque telle que
l’isolement peut être un témoin de la qualité des soins, du respect
des libertés individuelles et de la gestion des risques. La mortalité
en chambre d’isolement représente un exemple d’indicateur de
résultat qui mesure ce qui doit arriver ou ne pas arriver comme
résultante d’un processus. Au niveau national ou régional, le
nombre de décès en chambre d’isolement peut être rapporté au
nombre de patients qui ont été isolés. En revanche, pour un
établissement de santé, cet événement est un indicateur sentinelle
dans la mesure où tout décès inattendu ou inacceptable demande
un examen sans délai des causes et la mise en place de mesures
correctives.
Psychiatrie Méthodes d’évaluation des systèmes de soins en psychiatrie 37-800-A-20
3

Évaluation des résultats cliniques
Aussi bien pour les cliniciens que pour les épidémiologistes,
l’évaluation des résultats est la seule évaluation qui présente un
intérêt majeur. Ni l’évaluation des processus de soins, ni la
description des caractéristiques des patients traités, ni la qualité de
l’organisation ne sauraient remplacer l’évaluation des changements
cliniques. En raison des difficultés de l’implémentation des tels
systèmes d’évaluation et de leur rareté, de nombreux auteurs et
organisations en font la promotion, rappelant qu’il est impératif de
se centrer sur la personne qui est le cœur de tous les efforts de
soins
[17]
. Cette demande des cliniciens est reprise par les organismes
d’accréditation des établissements de santé tels que la Joint
Commission on Accreditation of Healthcare Organizations, qui en
font un élément essentiel des programmes d’amélioration continue
de la qualité des soins
[15]
. En effet, quelle confiance peut-on accorder
à un système d’évaluation qui ne se préoccuperait que d’améliorer
la structure et son organisation sans vérifier que cela se fasse au
profit des patients
[15]
?
Si cette volonté est reprise dans le système
d’accréditation de plusieurs pays, c’est en grande partie dû à la
pression exercée par les acheteurs de soins et les associations de
consommateurs. De ce fait, l’évaluation du résultat clinique se fait
dans une double perspective, celle des soignants et celle des
patients.
Pour devancer cette évolution, un groupe de travail, sponsorisé par
la Johns Hopkins University et la National Alliance for the Men-
tally Ill, a élaboré 12 principes pour l’évaluation du résultat en
psychiatrie.
L’encadré suivant reprend, à titre d’exemple, quelques-uns de ces
principes.
La lecture, même partielle, de cet ensemble de principes fait
facilement percevoir les écarts entre le point de vue de spécialistes
de l’évaluation et le degré de développement des systèmes
d’évaluation. Un déficit de ce type d’évaluation, incluant à la fois
les soignants et les soignés, risque de favoriser des évaluations plus
externes aux soins telles que celles qui accordent une place centrale
à la satisfaction des patients. Devant une demande d’évaluation de
plus en plus multiaxiale, des auteurs proposent des méthodes
associant le point de vue des professionnels et celui des patients.
Exemple d’évaluation intégrée :
évaluation des programmes de santé
dans la communauté
Les programmes de soutien des patients dans la communauté ont
bénéficié de plusieurs types d’évaluation. En premier lieu, leur
efficacité a été évaluée en utilisant des indicateurs de résultats tels
que le taux de réhospitalisation ou la qualité de vie
[9]
. Cependant,
peu de recherches ont été réalisées pour savoir comment les
programmes obtenaient de tels résultats. Si la mesure de la qualité
des services est importante, ainsi que la perception des équipes de
professionnels, seule la perception des bénéficiaires est en dernier
ressort importante si l’on retient comme hypothèse que les
conditions de délivrance des soins ont une influence sur les résultats.
L’idée est de comprendre pourquoi les interventions, avec certains
patients, fonctionnent ou non.
Ces programmes comportent en général toute une gamme des
structures de soins qui sont par essence non comparables entre elles.
Ce sont des hôpitaux de jour, des foyers de vie, des programmes de
réhabilitation psychosociale… L’évaluation ne pouvant se faire ni
sur des critères de structure, étant donné leurs différences
intrinsèques, ni sur des critères de qualité des processus, les
pratiques étant de nature variée, des méthodes ont été proposées
pour évaluer les perceptions des patients atteints de troubles
mentaux sévères concernant les programmes de soins dont ils sont
les bénéficiaires
[5]
.
L’instrument développé par Burt et al
[5]
explore les perceptions que
les patients ont vis-à-vis des soins proposés. Il explore des
dimensions considérées comme importantes par Brekke
[3]
, telles que
l’atmosphère dans laquelle se déroule le programme, la qualité des
interactions. Ce projet découle du constat que de nombreuses
évaluations ont décrit les contenus des programmes, les
caractéristiques des patients auxquels ils s’adressaient et peu la
qualité du processus de soins.
Le Program Environment Scale (PES) a été construit autour de dix
composantes qui explorent la perception du programme par les
patients :
– perception d’être aidé, d’avoir ses capacités améliorées ;
– sentiment d’appartenance ;
– perception d’être « en lien » et d’être aidé par les autres
bénéficiaires ;
– perception que les services sont pertinents et utiles ;
– perception d’avoir accès aux ressources pertinentes et utiles dans
la communauté ;
– perception de la cohésion de l’équipe et de la stabilité du
programme ;
– perception des attitudes de l’équipe, incluant le respect et l’équité ;
– perception de la responsabilité, du choix, du contrôle accordés
pour leur propre compte ;
– perception de la responsabilité, du choix, du contrôle vis-à-vis de
la structure, des activités et des décisions ;
– perception de l’accessibilité de l’équipe de soins.
Pour mesurer ces composantes, plusieurs versions d’un ensemble
de sous-échelles ont été testées sur un échantillon incluant des
structures aussi variées que des foyers d’hébergement de longue
durée ou des programmes d’hospitalisation à temps partiel. Le
travail de validation, effectué avec 221 patients atteints de
schizophrénie ou de dépression, a abouti à la version définitive du
PES avec 24 sous-échelles comprenant chacune de trois à six items.
Des différentes analyses réalisées, il apparaît pour les auteurs que
les caractéristiques des patients, comprenant la nature de leur
trouble, ne sont pas des déterminants importants de leurs réponses
et ne recouvrent pas les différences entre les programmes. Le
regroupement des sous-échelles, guidé par les résultats des analyses
factorielles, permet de distinguer les trois dimensions principales
suivantes :
•Les outils d’évaluation des résultats doivent avoir une validité et
une fiabilité démontrées et doivent être sensibles à la survenue
des changements cliniques importants.
•Les évaluations des résultats doivent inclure toujours le point
de vue du patient ; les évaluations des résultats recueillies
auprès des soignants et des membres de la famille peuvent
augmenter les informations.
•Les évaluations des résultats doivent inclure la santé globale et
la santé mentale.
•Les outils d’évaluation des résultats doivent mentionner la
nature des traitements et dans quelle mesure ils ont été reçus
(le processus de soins) pour la pathologie traitée afin de
comprendre la relation entre les résultats et les traitements.
•Les outils d’évaluation des résultats doivent inclure une
information générique et spécifique qui prédit les résultats
attendus ; cette information pronostique doit inclure les
caractéristiques du « case mix » et de la sévérité, qui sont
associées avec le choix ou la réussite du traitement.
•Les systèmes d’évaluation du résultat doivent entraîner une
charge minimale pour les répondants et doivent être adaptés
aux différents systèmes de soins.
•Évaluer les résultats des patients qui arrêtent prématurément les
soins est aussi important que les résultats de ceux qui sont encore
en traitement au moment de l’évaluation de suivi.
37-800-A-20 Méthodes d’évaluation des systèmes de soins en psychiatrie Psychiatrie
4

– atmosphère/interactions : 11 sous-échelles ;
– responsabilisation/équité : 3 sous-échelles ;
– composantes des services : 10 sous-échelles.
Cette dernière dimension tient compte du fait que les soins en
psychiatrie comportent de nombreuses lignes d’action telles que
l’accès aux urgences, l’aide pour trouver un logement ou un travail
rémunéré, l’aide en cas d’abus d’alcool ou de substance illicite, et
les aspects plus classiques du soin comme les thérapeutiques
médicamenteuses.
Les résultats rapportés par les auteurs sont peu transposables aux
structures de soins françaises. Cependant, il est à noter que chaque
catégorie de structure possède un certain profil, même s’il existe un
ensemble de qualités (énergie de l’équipe, relations respectueuses,
relations dans une ambiance amicale, protection des mauvaises
relations) retrouvées régulièrement. Il y aurait un grand intérêt à
reproduire une telle évaluation auprès d’un échantillon de structures
de soins publiques et privées françaises, pour faire une typologie
des qualités et des faiblesses en regard des attentes et des
perceptions des patients.
Il est à noter que ce type d’évaluation ne porte pas directement sur
le résultat clinique exprimé en gain de santé, de façon précise, telle
que la réduction du nombre d’attaques de panique, mais sur une
appréciation plus globale qui porte sur la notion de progrès et de
meilleures capacités. Une telle évaluation globale est adaptée aux
soins ambulatoires et dans la communauté où les diagnostics sont
moins fréquemment posés que lors des soins hospitaliers.
Conclusion
L’ordre dans lequel les quelques méthodes sont envisagées dans cet
article se veut une tentative de classement des approches possibles pour
évaluer un système de soins en psychiatrie. Volontairement, certaines
approches ont été délaissées, comme les évaluations médicoéconomiques
ou encore des approches à l’aide d’une pathologie traceuse comme la
dépression ou encore un risque, comme le suicide, pour lesquelles les
professionnels de psychiatrie sont loin d’être les intervenants les plus
nombreux, sauf à considérer qu’ils conçoivent et organisent les soins et
les aides effectués par les autres professionnels et les bénévoles formés,
parfois dénommés à juste titre paraprofessionnels. Le besoin
d’évaluation semble pouvoir varier considérablement selon les
demandeurs, qui sont de plus en plus nombreux, et la nature des
questions posées. En particulier, l’exigence de preuve scientifique est
aussi variable, selon que l’on veut simplement vérifier la bonne
utilisation des ressources ou démontrer un gain de santé dû à des soins
réellement dispensés. En raison de la pression à évaluer, les diverses
approches deviennent concurrentielles, car il ne sera jamais possible de
réaliser l’ensemble des évaluations imaginables, voire souhaitables. Il
est possible que puissent émerger les méthodes qui apportent des
informations au maximum de patients sur les résultats de l’évaluation.
Les méthodes centrées sur le patient et son entourage devraient être de
celles-là.
Références
[1] ANAES. L’évaluation des pratiques professionnelles dans
les établissements de santé - l’audit clinique appliqué à
l’utilisation des chambres d’isolement en psychiatrie.
Agence nationale d’accréditation et d’évaluation en santé,
1998
[2] Andrews G. Efficacy, effectiveness and efficiency in mental
health delivery. AustNZJPsychiatry 1999 ; 33 : 316-322
[3] Brekke JS et al. Pratiques coopératives dans le système de
santé.Lesréseauxenquestion.EvalRev1987;11:281-299
[4] Brémond M, Bourgueil Y, Naiditch M, Levy G, Champetier
De Ribes D, Lepetit C et al. Pratiques coopératives dans le
système de santé. Les réseaux en question. Rennes : édi-
tions ENSP, 1998 : 1-99
[5] Burt MR, Duke AE, Hargreaves WA. The Program Environ-
ment Scale client perceptions of communauty-based pro-
grams for the severely mentally ill. Am J Commun Psychol
1998 ; 26 : 853-879
[6] COTER. La description de l’offre de soins et du fonctionne-
mentdes structures comme préalableaux démarches qua-
lité:l’exempleduCOTER.Évaluationdepsychiatrie Rhône-
Alpes. In : Kovess V éd. Psychiatrie années 2000. Paris :
Flammarion, 1999 : 237-255
[7] Fischer N, Turner SW, Pugh R, Taylor C. Estimating
numbers of homeless and homeless mentally ill in North
East Westminster by using capture-recapture analysis. Br
Med J 1994 ; 308 : 27-30
[8] Holloway F.Needincommunautypsychiatry. Psychiatr Bull
1994 ; 18 : 321-323
[9] Knudsen HC, Thornicroft G. Mental health. Services evalu-
ation. Cambridge : Cambridge University Press, 1996 :
1-379
[10] Kovess V, Lopez A, Pénochet JC, Reynaud M. Psychiatrie
années 2000. Organisations, évaluations, accréditation.
Paris : Médecine-Sciences Flammarion, 1999 : 1-305
[11] Levine IS, Lezak AD, Goldman HH. Communauty support
systems for the homeless mentally ill. N Direct Ment Health
Serv 1986 ; 30 : 27-42
[12] Matillon Y,Durieux P. L’évaluationmédicale. Du concept à
la pratique. Paris : Médecine-Sciences Flammarion, 2000 :
1-180
[13] Mattson MR. Manual of psychiatric quality assurance. In: A
report of the American psychiatric association committee
on quality assurance. Washington : American Psychiatric
Association, 1992 : 115-249
[14] Milne R. Gestion du système de santé basée sur des faits
prouvés. EBMJ 1996;4:7-8
[15] O’Leary DS. Quality drivers for the millenium. Joint Com-
mission Perspectives, 1996 : 2-3
[16] Sailas E, Fenton M. Seclusion and restraint as a method of
treatment for people with serious mental illnesses
(Cochrane Review). Oxford : The Cochrane Librairy, 1998
[17] Smith GR, Manderscheid RW, Flynn LM, Steinwachs DM.
Principles for assessment of patient outcomes in mental
health care. Psychiatr Serv 1997 ; 48 : 1033-1036
[18] Terra JL. Évaluation. In : Senon JL, Sechter D, Richard D éd.
Thérapeutique psychiatrique. Paris : Hermann, 1995 :
1017-1027
[19] Terra JL. Le raisonnement épidémiologique au service de la
politiquede secteur etdesonévaluation.Confront Psychiatr
1993 ; 35 : 89-98
[20] Thornicroft G. Need assessment. In : Knudsen HC, Thorni-
croft G eds. Mental health. Services evaluation. Cam-
bridge : Cambridge University Press, 1996 : 317-338
[21] Thornicroft G, Tansella M. The mental health matrix. A
manual to improve services. Cambridge : Cambridge Uni-
versity Press, 1999 : 1-291
Une sous-échelle porte sur la perception d’être soigné dans le cadre
du programme. Le patient a le choix entre quatre propositions :
•1 : je sens que l’équipe me soigne ;
•2 : ici, quand je m’adresse à l’équipe, je perçois qu’elle
m’écoute avec soin ;
•3 : c’est difficile de réussir à être écouté ;
•4 : je ne pense pas que l’équipe me soigne beaucoup ici.
Psychiatrie Méthodes d’évaluation des systèmes de soins en psychiatrie 37-800-A-20
5