Séminaire de formation L’évaluation de la santé mentale des jeunes Que nous apprend la recherche? Lise Bergeron, PhD ¹, 2 et Nicole Smolla, PhD ¹, 3 ¹ Chercheures, Hôpital Rivière-des-Prairies et IUSMM ² Professeure-chercheure, Département de psychologie, Université de Montréal ³ Chargée d’enseignement clinique, Département de psychiatrie, Université de Montréal 6 novembre 2014 PLAN DU SÉMINAIRE 1. Objectif général 2. Objectifs d’apprentissage 3. Cadre conceptuel sur la mesure des troubles mentaux 4. Instruments d’évaluation des troubles mentaux 5. Propriétés psychométriques des instruments 6. Discussion 6.1 Avantages et limites des guides d’entrevues psychiatriques 6.2 Contribution du Dominique Interactif dans l’évolution de la mesure de la santé mentale des jeunes 6.3 Implication du bilan des connaissances pour la recherche future (Bergeron et Smolla, 2014) ❶ OBJECTIF GÉNÉRAL Analyse critique des connaissances sur la fidélité et la validité des instruments d’évaluation des troubles mentaux les plus fréquents, chez les enfants et les adolescent(e)s 3 (Bergeron et Smolla, 2014) ❷ OBJECTIFS D’APPRENTISSAGE Meilleure connaissance des principaux enjeux rencontrés, dans le domaine de la recherche en santé mentale des enfants et des adolescent(e)s Appréciation critique à l’égard de la fidélité et de la validité des instruments d’évaluation des troubles mentaux, s’appuyant sur le DSM, et utilisés en épidémiologie pédopsychiatrique 4 (Bergeron et Smolla, 2014) PLAN DU SÉMINAIRE 1. Objectif général 2. Objectifs d’apprentissage 3. Cadre conceptuel sur la mesure des troubles mentaux 4. Instruments d’évaluation des troubles mentaux 5. Propriétés psychométriques des instruments 6. Discussion 6.1 Avantages et limites des guides d’entrevues psychiatriques 6.2 Contribution du Dominique Interactif dans l’évolution de la mesure de la santé mentale des jeunes 6.3 Implication du bilan des connaissances pour la recherche future (Bergeron et Smolla, 2014) ❸ CADRE CONCEPTUEL Mesure des troubles mentaux des enfants de 6-11 ans et des adolescent(e)s de 12-15 ans 6 Survol des systèmes nosologiques Désaccord entre les informateurs quant aux symptômes Pertinence d’interroger les jeunes sur leurs symptômes Importance du paradigme développemental (Bergeron et Smolla, 2014) SYSTÈMES NOSOLOGIQUES : DIMENSIONNEL ET CATÉGORIEL Approche Classification des problèmes de santé mentale des jeunes 7 (Bergeron et Smolla, 2014) dimensionnelle Approche catégorielle Achenbach System of Empirically Based Assessment (ASEBA) DSM-5 (APA, 2013) 3. Cadre Conceptuel SYSTÈME DIMENSIONNEL MULTIVARIÉ : ACHENBACH SYSTEM OF EMPIRICALLY BASED ASSESSMENT (ASEBA) (Achenbach et McConaughy, 2003) Distribution des symptômes selon une norme : jeunes ayant problèmes de santé se situent à l’extrémité du continuum Analyse factorielle avec symptômes en 2 catégories: troubles intériorisés et les troubles extériorisés Parents Ex: Child Behavior Checklist (CBCL) Youth Self-Report Adolescent(e)s CBCL et YSR utilisés dans certaines enquêtes en 2 étapes: 1) dépistage des problèmes de santé mentale 2) évaluation des troubles mentaux des jeunes, par des instruments conçus selon le DSM (ex., Bird et al., 1988) 8 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Système dimensionnel SYSTÈME CATÉGORIEL : DSM-5 (APA 2013) 9 Troubles mentaux de l’axe I du DSM-5 Principaux changements de l’axe I du DSM-5 Implications pour les instruments d’évaluation Avantage et limite du DSM-5 en épidémiologie pédopsychiatrique (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Système catégoriel TROUBLES MENTAUX DE L’AXE I DU DSM-5 1. 2. 3. 4. 5. 6. 7. 8. 9. 10 Dépression Anxiété de séparation Phobie spécifique Phobie sociale Anxiété généralisée Déficit de l’attention avec ou sans hyperactivité Opposition avec provocation Conduites Consommation de substances (alcool et drogues) (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Système catégoriel PRINCIPAUX CHANGEMENTS DE L’AXE I DU DSM-5 Troubles de l’Axe I Changements 1. Dépression Ajout: Trouble de régulation de l’humeur «disruptive mood dysregulation disorder» 2. Anxiété de séparation Aucun 3. Phobie spécifique Durée: 6 mois pour tous les âges 4. Phobie sociale Ajouts: (1) peur humiliation/rejet (2) anxiété ressentie avec les pairs Durée: 6 mois pour tous les âges 5. Anxiété généralisée Aucun 6. Déficit de l’attention avec hyperactivité Symptômes: apparition avant 12 ans (≠ 7 ans) 7. Opposition avec provocation Symptômes: Vindicatif au moins 2 fois durant 6 mois (et non régulièrement) 8. Conduites Aucun 9. Consommation de substances Intégration: dépendance et abus dans «substance use disorders» Retrait: Récurrence des problèmes légaux 11 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Système catégoriel IMPLICATIONS POUR LES INSTRUMENTS D’ÉVALUATION DES TROUBLES MENTAUX DES JEUNES Le DSM-5 n’introduit pas de changement majeur concernant les symptômes qui définissent les troubles de l’Axe I évalués par les instruments existants 12 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Système catégoriel AVANTAGE ET LIMITE DU DSM-5 EN ÉPIDÉMIOLOGIE PÉDOPSYCHIATRIQUE Avantage : cadre de référence permettant un consensus sur les différents construits définissant les troubles mentaux Limite : l’absence d’un critère absolu pour définir et valider les construits demeure un problème (ex., Angold et Costello, 2007; Carlisle et McClellan, 2010; Kendell et Jablensky, 2003; McClellan, 2004) 13 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Système catégoriel DÉSACCORD ENTRE LES SOURCES D’INFORMATION Illustration du désaccord: Méta-analyse d’Achenbach et al. (1987) Enquête Québécoise sur la Santé Mentale des Jeunes (1992) Hypothèses d’interprétation du désaccord 14 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Désaccord entre les informateurs MÉTA-ANALYSE D’ACHENBACH ET AL. (1987) N = 268 échantillons provenant de 119 études Faibles corrélations entre les différents informateurs quant aux symptômes des jeunes Informateurs 15 Coefficient moyen de Pearson Parents-Enfants ,25 Enseignants-Enfants ,20 Parents-Enseignants ,27 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Désaccord entre les informateurs ENQUÊTE QUÉBÉCOISE (EQSMJ, 1992) N= 2,400 jeunes de 6 à 14 ans Variation des estimés de prévalence selon la source d’information 16 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Désaccord entre les informateurs Prévalence de la dépression chez les enfants et les adolescent(e)s selon la source d’information (EQSMJ, Breton et al., 1999) 4 3,5 3,4 3,4 2,8 3 2,5 2 1,5 Selon les jeunes Selon les parents 1,2 1 0,5 0 Enfants 6-11 ans 17 (Bergeron et Smolla, 2014) Adolescent(e)s 12-14 ans 3. Cadre conceptuel – Désaccord entre les informateurs Prévalence des idées et tentatives suicidaires chez les adolescent(e)s selon la source d’information (EQSMJ, Breton et al., 2002) 8 7 6 7,2 5,5 5 4,1 4 Selon les adolescent(e)s 3 Selon les parents 2 1,5 1 0 18 0 Idées suicidaires (6 mois) (Bergeron et Smolla, 2014) Tentatives (6 mois) 0,7 Tentatives (à vie) 3. Cadre conceptuel – Désaccord entre les informateurs HYPOTHÈSES D’INTERPRÉTATION DU DÉSACCORD ENTRE LES SOURCES D’INFORMATION La compréhension du désaccord entre les sources d’information est limitée (ex., Bird et al., 1992; Achenbach et al., 2011) Différence de perception entre les informateurs plutôt qu’uniquement de «l’erreur de mesure» (ex., Achenbach et al., 1987, 2011; Angold et al., 2007; Loeber et al., 2000; Kazdin, 2003; Rutter et Taylor, 2008) Spécificité de certains problèmes selon le contexte Accès à l’information Niveau développemental: ex., prise de conscience des problèmes, compréhension des questions 19 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Désaccord entre les informateurs CONSENSUS SUR LA PERTINENCE D’INTERROGER LES JEUNES SUR LEURS SYMPTÔMES Chaque informateur, incluant l’enfant et l’adolescent(e), apporte une contribution à l’évaluation des troubles mentaux des jeunes (ex., Achenbach et al., 2011) Parents: ex., les problèmes de comportement Jeunes: ex., leurs pensées, émotions et des problèmes de conduites manifestés à l’insu des parents 20 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Pertinence d’interroger les jeunes CONSENSUS SUR LA PERTINENCE D’INTERROGER LES JEUNES SUR LEURS SYMPTÔMES Application en épidémiologie pour l’estimation des prévalences et l’identification des facteurs associés: Analyse selon chaque source d’information pour estimer les prévalences et identifier les facteurs associés (ex., Breton et al., 1999 ; Bergeron et al., 2000 ; 2007) Combinaison selon la règle du «ou» (ex., Costello et al., 2003) 21 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Pertinence d’interroger les jeunes LE PARADIGME DÉVELOPPEMENTAL APPLIQUÉ À L’ÉLABORATION DES INSTRUMENTS D’ÉVALUATION DES TROUBLES MENTAUX Apport de la théorie de Piaget et des Néo-Piagétiens Développement des opérations concrètes Développement des opérations formelles Implication pour les instruments qui s’adressent directement aux enfants de 6-11 ans et aux adolescent(e)s de 12-15 ans 22 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Paradigme développemental DÉVELOPPEMENT DES OPÉRATIONS CONCRÈTES (6-11 ANS) Concepts de temps représentés par stimuli visuels vers 7-8 ans Développement graduel des opérations logiques (classification, sériation, conservation) Habiletés verbales: Compréhension et création d’histoires 6 ans : courte incluant 1 événement ou 1 état mental 8 ans : courte incluant 2 événements ou 2 états mentaux 11 ans : plus élaborée avec différentes composantes (ex., Case et al., 2001 ; Griffin, 2004 ; Demetriou, 2004) 23 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Paradigme développemental DÉVELOPPEMENT DES OPÉRATIONS FORMELLES (12-15 ANS) Compréhension graduelle de concepts abstraits et différences individuelles Utilisation de stratégies cognitives plus complexes (ex., raisonnement hypothético-déductif) Différences entre les jeunes de 12-13 ans, 14-15 ans et 16-19 ans concernant le développement de la pensée abstraite (ex., Case et al., 2001 ; Griffin, 2004 ; Demetriou, 2004) 24 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Paradigme développemental IMPLICATION POUR LES INSTRUMENTS QUI S’ADRESSENT DIRECTEMENT AUX JEUNES Difficulté de compréhension Référence à la temporalité Questions longues ou complexes Concepts abstraits Structures grammaticales complexes Surtout chez les 6-11 ans Chez certain(e)s adolescent(e)s (Breton et al., 1995) (Bergeron et al., 2010 ; Smolla et al., 2004) Approche pictographique (Bergeron et al., 2010, 2013) Amélioration de la compréhension chez les 6-11 ans et les 12-15 ans 25 (Bergeron et Smolla, 2014) 3. Cadre conceptuel – Paradigme développemental ❹ INSTRUMENTS D’ÉVALUATION DES TROUBLES MENTAUX CONÇUS SELON LE DSM, EN AMÉRIQUE DU NORD Instruments pertinents pour l’épidémiologie pédopsychiatrique McClellan (2004), Costello et al. (2005), Angold et al. (2007), Carlisle et McClellan (2010) Instruments semi-structurés DICA CAPA 26 (Bergeron et Smolla, 2014) Instruments structurés NIMH DISC-IV ChIPS DI DIA / DIA-R DIAGNOSTIC INTERVIEW FOR CHILDREN AND ADOLESCENTS (DICA) Caractéristiques Concepteurs Barbara Herjanic , MD (psychiatrie) (années 70’) Wendy Reich, PhD (2000) (É.-U.) Historique DICA, DICA-R, DICA-IV Très structuré au début, puis a évolué en un instrument semi-structuré Système nosologique DSM-IV Groupes d’âge 6-12 ans; 13-17 ans (entrevues différentes selon le groupe d’âge) Informateurs Enfant (6-12 ans), adolescent(e) (13-17 ans), parent (6-17 ans) Durée d’administration 60 – 120 minutes Période d’évaluation Période actuelle et sur la vie entière Langue Anglais, espagnol Format Modulaire Diagnostics 26 troubles intériorisés et extériorisés Informatisation Oui, support informatique pour l’administration de l’entrevue. Les qualités métriques de la version informatisée seraient inférieures à celles de la version administrée par un clinicien. 27 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments semi-structurés Exemples de question du DICA TROUBLE DES CONDUITES (version 6 à 12 ans) As-tu déjà volé quelque chose à quelqu'un alors que cette personne ne regardait pas ou n'était pas là? Have you ever stolen anything from someone when that person wasn’t looking or wasn’t around? OUI : 1 NON : 0 Spécifier : ___________________ (demander à l’enfant de fournir des exemples) Si l’enfant est incertain: As-tu déjà «chipé» («piqué», «emprunté», «trouvé») quelque chose dans le pupitre ou le casier de quelqu'un d'autre? Probe : Have you ever « swiped » (« taken », « kind of borrowed », « found ») something in someone else’s desk, locker? 28 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments semi-structurés CHILD AND ADOLESCENT PSYCHIATRIC ASSESSMENT (CAPA) Caractéristiques 29 Concepteurs Adrian C. Angold, MD (psychiatrie) et Jane Costello, PhD (É.-U.) Historique CAPA (1995, 2000) Système nosologique DSM-IV Groupes d’âge 9-17 ans Informateurs Enfant et adolescent(e) (9-17 ans); parent (9-17 ans) Durée d’administration 60 – 150 minutes Période d’évaluation 3 derniers mois; Sur la vie, pour certains symptômes (ex.: tentative de suicide) Langue Anglais, espagnol Format Modulaire Diagnostics > 30 troubles intériorisés et extériorisés (sauf THADA pour la version pour le jeune) Caractéristique distinctive Doté d’un important glossaire Informatisation Oui, support informatique pour l’administration de l’entrevue (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments semi-structurés Exemples de question du CAPA IRRITABILITÉ (module Dépression) As-tu été plus irritable que d'habitude au cours des 3 derniers mois? Have you been more irritable than usual in the last 3 months? Ou t’es-tu mis en colère plus facilement? Or made angry more easily? À propos de quoi étais-tu sensible? What have you been 'touchy' about? Était-ce plus qu’à l’habitude? Is that more than usual? Que fais-tu quand tu te sens comme ça? What do you do when you feel like that? Gardes-tu cela pour toi? Do you keep it to yourself? Combien de temps cela dure-t-il quand tu te sens comme ça? How long does it last when you feel like that? Etc. 30 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments semi-structurés Caractéristiques 31 NATIONAL INSTITUTE OF MENTAL HEALTH – DIAGNOSTIC INTERVIEW SCHEDULE FOR CHILDREN (NIMH-DISC-IV) Concepteur David Shaffer, MD (psychiatrie) (É.-U.) Historique DISC, DISC-R, DISC-2.25, DISC-3, DISC-IV (1997, 2000) Voice DISC-IV (2002) Système nosologique DSM-IV Groupes d’âge 6-17 ans Informateurs Enfant et adolescent(e) (9-17 ans), parent (6-17 ans) Durée d’administration 70 – 120 minutes Période d’évaluation 6 derniers mois; 12 derniers mois; Module optionnel pour la vie entière Langue Anglais, français, espagnol, cantonais, coréen, xhosa Format Modulaire Diagnostics > 30 troubles intériorisés et extériorisés Informatisation Oui, support informatique pour l’administration de l’entrevue; Voice DISC-IV : système vocal pour la présentation des questions (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de question du DISC-IV DÉPRESSION Je vais te poser quelques questions concernant le fait de se sentir triste et malheureux(se). I am going to ask you some questions about feeling sad and unhappy. 1. Au cours de la dernière année – c’est-à-dire depuis l’événement X – y a-t-il eu une période où tu t’es souvent senti(e) triste ou déprimé(e)? In the last year – that is, since X – was there a time when you often felt sad or depressed? SI OUI (IF YES) A. Y a-t-il eu une période au cours de la dernière année où tu t’est senti(e) triste ou déprimé(e) durant un long moment chaque jour? Was there a time in the last year when you felt sad or depressed for a long time each day? SI NON, aller à la question Q2 (IF NO, go to Q2) B. Dirais-tu que tu t’es senti(e) comme cela la majeure partie de la journée? Would you say that you felt that way for most of the day? Etc. 32 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Caractéristiques CHILDREN’S INTERVIEW FOR PSYCHIATRIC SYNDROMES (CHIPS) Concepteur Elizabeth Weller, MD (psychiatrie) (É.-U.) Historique Version papier seulement (Weller et al., 2000) Système nosologique DSM-IV Groupes d’âge 6-18 ans A l’origine, a été conçu pour les enfants de 6 à 12 ans Informateurs Enfant et adolescent(e) (6-18 ans), parent (6-18 ans) Durée d’administration 40 minutes Période d’évaluation Actuelle (6 derniers mois), 12 derniers mois (ex., pour TC) Langue Anglais, espagnol Format Modulaire Diagnostics 20 troubles intériorisés et extériorisés Informatisation Serait en cours de développement Avantage Questions formulées de manière à maximiser leur compréhension par les jeunes 33 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de question du ChiPS TROUBLE DES CONDUITES As-tu déjà volé quelque chose alors que personne ne portait attention? (ex.: prendre de l’argent, des jouets ou les choses de tes parents, de l’école ou d’un magasin). Have you ever stolen anything when no one was paying attention (for example, taking money, toys, or things from your parents, school, or a store). SI OUI (IF YES) Combien de fois? (coter seulement si >1) How often? (score only if >1) Durée: Quand [les symptômes] ont-ils commencé? (enregistrer l’âge en années) When did [referring to symptoms endorsed] begin? (record age in years). Durée: Est-ce que tu as fait [les symptômes] au cours des 6 derniers mois? Have you done [referring to symptoms endorsed] in the past 6 months SI NON: enregistrer l’âge où les symptômes ont cessé. IF NO, record age when symptoms stopped. SI OUI: enregistrer l’âge actuel. IF YES, record current age. Durée: Est-ce que cela s’est produit durant un an ou plus? (enregistrer le nombre de mois) Has this been going on for a year or more? (record actual number of months) 34 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Caractéristiques DOMINIQUE INTERACTIF (DI) Concepteur Jean-Pierre Valla, MD, MSc (psychiatrie) (Québec) Historique Dominique (Valla et al., 1994); Dominique-R (Valla et al., 2000) Dominique Interactif (Bergeron et al., 2013) Système nosologique DSM-IV-TR / Symptomatologie DSM-5; pas d’information âge d’apparition et aspects temporels des symptômes Groupes d’âge 6-11 ans Informateurs Enfant Durée d’administration 15 minutes Période d’évaluation Actuelle, et sur la vie pour certains symptômes ( ex.: TC, idées suicidaires) Langues / versions Français, anglais, espagnol, 7 autres langues européennes, mandarin (en cours), filles et garçons / types caucasien, afro-américain, hispanique, asiatique Format Non modulaire Tendances vers troubles mentaux Dépression, TAG, TA Sép, Phobie S, THADA, TO, TC, forces et compétence Informatisation Oui, approche multimédia : pictographique + système vocal; entièrement auto-administré 35 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Sous-échelles et les deux seuils au DI Sous-échelle 36 Nombre Seuil supérieur Seuil inférieur d’items « problème probable » « problème possible » Dépression 20 ≥ 14 ≥ 11 TAG 15 ≥ 12 ≥ 10 TA Séparation 8 ≥6 ≥5 Phobie S 9 ≥5 ≥3 THADA 19 ≥ 14 ≥ 11 T Opposition 9 ≥7 ≥5 T Conduites 14 ≥6 ≥3 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Les versions du « Dominique » - DI 37 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DI Dépression Version « type » caucasienne (garçon) 38 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DI Conduites Version « type » caucasienne (garçon) 39 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DI TAG Version « type » hispanique (fille) 40 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DI TAG Version « type » caucasienne (garçon) 41 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DI Forces et compétences Version « type » hispanique (fille) 42 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Caractéristiques DOMINIQUE INTERACTIF POUR ADOLESCENTS (DIA) DOMINIQUE INTERACTIF POUR ADOLESCENTS – RÉVISÉ (DIA-R) Concepteur Jean-Pierre Valla, MD, MSc (psychiatrie) (Québec) Historique DA (DSM-III-R) (Smolla, Valla, Bergeron et al., 2004); DIA (Bergeron et al., 2010); DIA-R (Bergeron et al., IRSC, 2010-15) Système nosologique DSM-IV-TR / Symptomatologie DSM-5; pas d’information âge d’apparition et aspects temporels des symptômes Groupes d’âge 12-15 ans Informateurs Adolescent(e) Durée d’administration 15 minutes (DIA), 20 minutes (DIA-R) Période d’évaluation Actuelle, sur la vie pour certains symptômes (ex.: TC, suicidalité) Langues / versions Français, anglais, espagnol / filles et garçons / Types caucasien, afro-américain, hispanique, asiatique Format Non modulaire Tendances vers troubles mentaux DIA: Dépression, TAG, Phobie S, THADA, TO, TC, compétence DIA-R: Idem + Phobie sociale, TOC, symptômes personnalité limite, suicidalité, consommation (tabac, alcool, drogues) Informatisation Oui, approche multimédia : pictographique + système vocal; entièrement auto-administré 43 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Sous-échelles et les deux seuils au DIA Sous-échelle Seuil supérieur Seuil inférieur « problème probable » « problème possible » Dépression 19 ≥ 14 ≥ 11 TAG 16 ≥ 13 ≥ 10 TA Séparation1 6 =6 ≥5 Phobie S 8 ≥6 ≥4 THADA 18 ≥ 15 ≥ 11 T Opposition 9 ≥7 ≥5 T Conduites 15 ≥6 ≥4 1 44 Nombre d’items TA Séparation a été retirée du DIA (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Les versions du « Dominique Adolescent » - DIA / DIA-R 45 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DIA / DIA-R Dépression Version « type » caucasienne (garçon) 46 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DIA / DIA-R Dépression /Opposition Version « type » caucasienne (garçon) 47 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DIA / DIA-R Conduites Version « type » asiatique (fille) 48 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DIA / DIA-R THADA Version « type » afro-américaine (garçon) 49 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DIA / DIA-R Consommation Version « type » caucasienne (fille) 50 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DIA-R Person. Limite Version « type » caucasienne (garçon) 51 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DIA-R Person. Limite Version « type » caucasienne (garçon) 52 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DIA-R Person. Limite Version « type » caucasienne (garçon) 53 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DIA / DIA-R Dépression / Suicidalité Version « type » caucasienne (garçon) 54 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés Exemples de questions du DIA / DIA-R Forces et compétence Version « type » hispanique (fille) 55 (Bergeron et Smolla, 2014) 4. Instruments d’évaluation – Instruments structurés ❺ PROPRIÉTÉS PSYCHOMÉTRIQUES DES INSTRUMENTS D’ÉVALUATION DES TROUBLES MENTAUX CHEZ LES ENFANTS ET LES ADOLESCENT(E)S Fidélité Résultats sur la fidélité des instruments structurés et semi-structurés Validité Résultats sur la validité de critère des instruments structurés 56 (Bergeron et Smolla, 2014) DÉFINITION GÉNÉRALE DE LA FIDÉLITÉ «Reproductibilité» ou «stabilité» des réponses obtenues par les mêmes personnes aux items d’une mesure administrée: à une seule occasion (ex., cohérence interne d’un test) à différentes occasions (ex., fidélité par test-retest) Informe sur la «précision» d’une mesure en vérifiant si elle est affectée par des facteurs qui relèvent du hasard (erreurs aléatoires) (Anastasi, 1988 ; Ghiselli et al., 1981 ; Pedhazur et Pedhazur Schmelkin, 1991) 57 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité DÉFINITION DE LA FIDÉLITÉ SELON LA THÉORIE PSYCHOMÉTRIQUE CLASSIQUE Proportion de la variance totale attribuable aux différences systématiques ou réelles entre les sujets (“between subjects variance”) La variance totale représente la somme de la variance réelle et de la variance due aux erreurs aléatoires (“random errors”, “within subjects variance”) 58 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité Coefficient de fidélité RX 59 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité PRINCIPAUX INDICATEURS DE FIDÉLITÉ Cohérence interne : Coefficient Alpha de Cronbach (Cronbach, 1951 ; Duhachek et Iacobucci, 2004) Fidélité test-retest : Scores de symptômes: Coefficient de corrélation intraclasse (Shrout et Fleiss, 1979) Catégories définies par les seuils de gravité : Kappa (Cohen, 1960 ; Shrout et al., 1987) 60 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité PRINCIPAUX INDICATEURS DE FIDÉLITÉ Statistique Kappa: largement utilisée en pédopsychiatrie pour évaluer le niveau d’accord test-retest 61 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité Définition du Kappa (K) dans un devis test-retest (Cohen, 1960) 62 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité CRITÈRES D’INTERPRÉTATION DES COEFFICIENTS DE FIDÉLITÉ Critères pour le K et le CCI suggérés par Shrout (1998, 2002) Valeurs K et CCI Interprétation < ,11 Absence de fidélité ,11 - ,401 Faible ,41 - ,602 Acceptable ,61 - ,80 Modérée > ,80 Substantielle Critères d’acceptabilité consensuels : 1K = ,40; 2CCI = ,60 63 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité CRITÈRES D’INTERPRÉTATION DES COEFFICIENTS DE FIDÉLITÉ Critères spécifiques au coefficient Alpha * Valeurs Alpha (α) Interprétation < ,60 Faible ,60 - ,70 Acceptable ,71 - ,80 Modérée / Bonne > ,80 Excellente * Les critères varient selon le nombre d’items dans les échelles de symptômes (Cicchetti, 1994; Ponterotto et Ruckdeschel, 2007) 64 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité ENJEUX CONCEPTUELS ET MÉTHODOLOGIQUES: HYPOTHÈSES SUR LES SOURCES DE VARIATION DES COEFFICIENTS DE FIDÉLITÉ Coefficients de fidélité affectés par de multiples sources de variation (Cronbach et al., 1972 ; Shavelson et al., 1989) Identification des déterminants de la fidélité: enjeu majeur dans le domaine de la mesure des troubles mentaux Peu de données empiriques dans ce domaine de recherche 65 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Sources de variation Sources de variation liées au niveau développemental (ex., difficulté de compréhension des questions) Sources de variation dans le devis test-retest: Caractéristiques individuelles associées à la fidélité test-retest du DISC-R : Âge : Sexe : fidélité ↑ entre 7 et 12 ans fidélité ↑ chez les filles (Fallon et Schwab-Stone, 1994) Atténuation des symptômes entre test et retest (« erreur systématique »): Affecte tous les instruments Peut se confondre avec l’erreur aléatoire Peut sous-estimer le coefficient de fidélité (ex., Angold et Costello, 2000 ; Bergeron et al., 2010 ; Lucas et al., 1999; Piacentini et al., 1999; Shaffer et al., 1999) 66 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Sources de variation Déterminants de l’atténuation des symptômes évalués par le DISC.2.3: Questions complexes (temporalité, intensité des symptômes) Longueur des questions Position des questions dans l’entrevue Intervalle de temps entre test et retest (Lucas et al., 1999 ; Piacentini, 1999) « Variance » du phénomène dans la population (ex., prévalence des troubles mentaux) : Kappa ↓ dans population plus homogène (ex., générale) Kappa ↑ dans population plus hétérogène (ex., clinique) (Shrout et al., 1987) Variation de la fidélité en fonction du contexte et de l’échantillon sélectionné (Cronbach et al., 1972 ; Shaffer et al., 1999; Shavelson et al., 1989 ; Shrout et al., 1987) 67 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Sources de variation PRÉSENTATION DES RÉSULTATS SUR LA FIDÉLITÉ DES INSTRUMENTS D’ÉVALUATION DES TROUBLES MENTAUX (ENFANTS - ADOLESCENT(E)S) 68 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité Cohérence interne des scores de symptômes du DI chez les enfants de 6 à 8 ans et de 9 à 11 ans, en fonction de différents échantillon et études COEFFICIENT ALPHA DE CRONBACH (α) TROUBLES MENTAUX 1 QUÉBEC Bergeron et al. (2013) N=583 scolaire/clinique QUÉBEC Shojaei et al. (2009)1 n=453 scolaire FRANCE Shojaei et al. (2009)1 N=1,274 scolaire QUÉBEC ÉTATS-UNIS Bergeron et al. (2013) n=97 scolaire/clinique Linares Scott et al. (2006) N=322 scolaire 6-8 ans 9-11 ans 6-8 ans 9-11 ans 6-8 ans 9-11 ans 6 ans 6 ans Dépression ,81 ,81 ,81 ,80 ,80 ,79 ,84 ,79 TAG ,74 ,74 ,75 ,73 ,76 ,73 ,77 ,71 TA Sép ,66 ,69 ,64 ,66 ,61 ,62 ,69 ,70 Phobie S ,68 ,57 ,59 ,62 ,55 ,57 ,74 ,63 T Anxieux ,84 ,83 ,83 ,82 – – ,86 – T Intériorisés ,90 ,90 ,90 ,89 ,88 ,85 ,91 ,80 THADA ,86 ,86 ,86 ,85 ,83 ,83 ,86 ,79 T Opposition ,80 ,79 ,75 ,76 ,70 ,75 ,77 ,61 T Conduites ,83 ,74 ,78 ,67 ,82 ,77 ,89 ,79 T Extériorisés ,92 ,91 ,91 ,89 ,89 ,89 ,93 ,86 Échantillon représentatif de la population scolaire de la région du sud-est de la France (Provence-Alpes-Côte d’Azur). Les données du Québec présentées dans l’article de Shojaei et al. (2009) proviennent de l’étude de Bergeron et al. (2013) 69 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Résultats Cohérence interne des scores de symptômes du DI selon le sexe, la langue et le type d’échantillon (Bergeron et al. , 2013) TROUBLES MENTAUX 70 COEFFICIENT ALPHA DE CRONBACH (α) Filles n=267 Garçons n=316 Français n=306 Anglais n=277 Scolaire n=453 Clinique n=130 Dépression ,82 ,81 ,81 ,82 ,80 ,80 TAG ,75 ,73 ,77 ,71 ,74 ,74 TA Sép ,70 ,66 ,68 ,68 ,66 ,73 Phobie S ,58 ,64 ,60 ,66 ,57 ,75 T Anxieux ,83 ,83 ,85 ,82 ,83 ,85 T Intériorisés ,90 ,90 ,90 ,90 ,90 ,90 THADA ,84 ,88 ,87 ,87 ,86 ,87 T Opposition ,77 ,81 ,81 ,77 ,76 ,79 T Conduites ,74 ,82 ,80 ,79 ,74 ,82 T Extériorisés ,90 ,92 ,92 ,91 ,90 ,92 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Résultats Illustration de la variation de la fidélité test-retest des scores de symptômes évalués par le DISC.1, version Enfant de 6 à 18 ans, et Parent (Edelbrock et al., 1985); n=242, population clinique TROUBLES MENTAUX COEFFICIENT DE CORRÉLATION INTRA-CLASSE (CCI)1 DISC.1 – Version Enfant DISC.1 – Version Parent 6-9 ans 10-13 ans 14-18 ans 6-9 ans 10-13 ans 14-18 ans Dépression ,30 ,53 ,81 ,83 ,79 ,75 TAG ,38 ,51 ,69 ,77 ,79 ,74 TA Sép ,53 ,56 ,81 ,75 ,73 ,68 T Anxieux ,49 ,54 ,77 ,84 ,80 ,71 THADA ,61 ,66 ,73 ,87 ,82 ,77 T Opposition ,63 ,71 ,78 ,86 ,75 ,78 T Conduites ,58 ,73 ,77 ,88 ,84 ,86 p ≤ 0,05 DISC.1 – Version enfant N.B. : CCIs plus faibles chez les jeunes de 6-13 ans, surtout pour les troubles intériorisés 1 71 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Résultats Fidélité test-retest des catégories de troubles mentaux (K) et des scores de symptômes (CCI) selon les instruments qui s’adressent aux enfants de 6 à 11 ans TROUBLES MENTAUX DI (français; anglais) Bergeron et al. (2013) N=568 (453 scolaire) DISC-R (anglais) Schwab-Stone et al. (1994) N=109 scolaire DICA-R (anglais) DICA-IV (anglais) Boyle et al. (1993) Reich (2000) N=114 scolaire N=40 (30 clinique) K 2 seuils CCI K CCI K K Dépression ,52/,57 ,77 – – ,21 ,55 TAG ,42/,54 ,73 ,54 durée – ,50 ,01 ,55 TA Sép ,57/,56 ,74 ,41 durée +b ,73 ,01 ,60 ,53 durée – Phobie S ,31a/,59 ,70 – – – ,65 T Intériorisés ,56/,60 ,79 – – – – THADA ,61/,62 ,81 ,33 durée +b ,72 ,43 ,32 ,56 durée – T Opposition ,55/,60 ,72 ,00 durée +b ,53 ,33 ,46 T Conduites ,46/,50 ,71 – ,35 ,37 – T Extériorisés ,55/,61 ,81 – – – – – : < 5 cas positifs a Kappas plus faibles: peu d’enfants ont ≥ 5 réponses positives aux situations phobogènes b Kappas plus faibles lorsque le critère du DSM concernant la durée des symptômes est appliqué 72 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Résultats Fidélité test-retest des scores de symptômes du DI selon l’âge, le sexe, la langue et le type d’échantillon (Bergeron et al., 2013) TROUBLES MENTAUX COEFFICIENT DE CORRÉLATION INTRA-CLASSE (CCI) Total N=568 6-8 ans n=288 9-11 ans n=280 Filles n=263 Garçons n=305 Français n=299 Anglais n=269 Dépression ,77 ,76 ,79 ,77 ,77 ,78 ,77 TAG ,73 ,71 ,76 ,71 ,75 ,75 ,70 TA Sép ,74 ,70 ,78 ,75 ,73 ,74 ,75 Phobie S ,70 ,64 ,79 ,68 ,68 ,68 ,73 T Anxieux ,77 ,73 ,80 ,74 ,78 ,78 ,76 T Intériorisés ,79 ,77 ,81 ,78 ,80 ,80 ,79 THADA ,81 ,78 ,83 ,80 ,81 ,79 ,82 T Opposition ,72 ,67 ,77 ,71 ,73 ,74 ,70 T Conduites ,71 ,65 ,79 ,67 ,72 ,65 ,78 T Extériorisés ,81 ,78 ,85 ,81 ,81 ,80 ,83 Population scolaire : CCI varient de ,70 à ,83 Population clinique : CCI varient de ,65 à ,75 73 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Résultats Cohérence interne des scores de symptômes du DIA selon l’âge, le sexe et le type d’échantillon (Bergeron et al. , 2010) TROUBLES MENTAUX COEFFICIENT ALPHA DE CRONBACH (α) Total N=607 12-13 ans n=333 14-15 ans n=274 Filles n=300 Garçons n=307 Scolaire n=465 Clinique n=142 Dépression ,82 ,82 ,82 ,83 ,79 ,75 ,81 TAG ,75 ,77 ,73 ,75 ,75 ,72 ,73 TA Sép ,73 ,76 ,70 ,72 ,75 ,73 ,77 Phobie S ,55 ,57 ,52 ,51 ,49 ,57 ,46 T Anxieux ,82 ,84 ,79 ,81 ,82 ,81 ,81 T Intériorisés ,89 ,89 ,88 ,89 ,88 ,87 ,88 THADA ,80 ,80 ,80 ,82 ,78 ,78 ,80 T Opposition ,75 ,76 ,73 ,79 ,70 ,68 ,72 T Conduites ,69 ,62 ,73 ,72 ,66 ,64 ,72 T Extériorisés ,87 ,88 ,87 ,89 ,86 ,85 ,87 74 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Résultats Fidélité test-retest du DIA, du DISC-2.25, du DISC-IV, du DICA-R et du CAPA : catégories de troubles mentaux (K) et scores de symptômes (CCI) TROUBLES MENTAUX DIA (français) Bergeron et al. (2010) N=465 scolaire + 121 clinique 12-15 ans DISC-2.25 (français) Breton et al. (1998) N=145 scolaire+gén 12-14 ans DISC-IV (anglais) Shaffer et al. (2000) N=82 clinique 9-17 ans X = 12,6 ans DISC-IV (espagnol) Bravo et al. (2001) N=83 clinique 11-17 ans DISC-IV (cantonais) Ho et al. (2005) N=79 clinique 9-18 ans X = 13 ans K 2 seuils CCI K CCI K K K Dépression ,71/,56 ,82 ,55 ,76 ,92 ,15 ,58 TAG ,56/,60 ,82 ,53 ,74 – – < 5 cas + TA Sép ,64/,67 ,82 ,59 ,83 ,46 ,18 < 5 cas + Phobie S ,36/,67 ,83 ,55 ,83 ,68 – < 5 cas + Phobie Soc – – – – ,25 – < 5 cas + T Anxieux ,58/,63 ,85 – – – – ,63 T Intériorisés ,64/,59 ,85 – – _ – – THADA ,69/,63 ,85 < 5 cas + ,71 ,42 < 5 cas + ,25 T Opposition ,66/,54 ,78 < 5 cas + ,75 ,51 < 5 cas + ,41 T Conduites ,56/,65 ,82 ,40 ,84 ,65 ,62 < 5 cas + – – – – – ,80 < 5 cas + ,69/,59 ,87 – – – ,58 – T Sub T Extériorisés 75 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Résultats Fidélité test-retest du DIA, du DISC-2.25, du DISC-IV, du DICA-R et du CAPA : catégories de troubles mentaux (K) et scores de symptômes (CCI) (suite) TROUBLES MENTAUX DIA (français) Bergeron et al. (2010) N=465 scolaire + 121 clinique 12-15 ans DICA-R (anglais) Boyle et al. (1993) N=137 scolaire 12-16 ans CAPA (anglais) Angold et al. (1995, 2000, 2007) N=77 clinique 10-18 ans K 2 seuils CCI K K CCI Dépression ,71/,56 ,82 ,38 ,90 ,88 TAG ,56/,60 ,82 ,54 ,79 _ TA Sép ,64/,67 ,82 – – – Phobie S ,36/,67 ,83 – – – Phobie Soc – – – – – T Anxieux ,58/,63 ,85 ,56 ,64 ,78 T Intériorisés ,64/,59 ,85 ,47 – – THADA ,69/,63 ,85 ,24 – – T Opposition ,66/,54 ,78 ,28 _ ,50 T Conduites ,56/,65 ,82 ,92 ,55 ,60 – – – – ,98 ,69/,59 ,87 ,38 – – T Sub T Extériorisés 76 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Résultats Fidélité test-retest des scores de symptômes du DIA selon l’âge, le sexe et le type d’échantillon (Bergeron et al., 2010) TROUBLES MENTAUX COEFFICIENT DE CORRÉLATION INTRA-CLASSE (CCI) Total N=586 12-13 ans n=322 14-15 ans n=264 Filles n=290 Garçons n=296 Scolaire n=460 Clinique n=126 Dépression ,82 ,82 ,82 ,83 ,80 ,79 ,79 TAG ,82 ,82 ,82 ,83 ,81 ,80 ,80 TA Sép ,82 ,82 ,81 ,82 ,82 ,82 ,83 Phobie S ,83 ,82 ,84 ,81 ,78 ,84 ,78 T Anxieux ,85 ,85 ,85 ,85 ,83 ,85 ,83 T Intériorisés ,85 ,85 ,85 ,86 ,83 ,83 ,83 THADA ,85 ,85 ,86 ,88 ,82 ,84 ,84 T Opposition ,78 ,78 ,78 ,82 ,73 ,76 ,72 T Conduites ,82 ,81 ,82 ,84 ,79 ,79 ,84 T Extériorisés ,87 ,86 ,88 ,89 ,84 ,85 ,84 77 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Fidélité – Résultats La fidélité d’un instrument est essentielle, mais insuffisante pour s’assurer de sa validité 78 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques DÉFINITION GÉNÉRALE DE LA VALIDITÉ But: Vérifier, avec quel degré d’exactitude, l’instrument évalue les construits théoriques ou concepts (ex., la dépression, l’anxiété généralisée) Validation: Processus impliquant différentes étapes et méthodes afin de vérifier si les résultats obtenus suite à l’administration d’un instrument représentent les construits (Anastasi, 1988; Campbell et Fiske, 1959; Cronbach et Meehl, 1955; DeVellis, 2003; Kazdin, 2003; Ghiselli et al., 1981; Goldstein et Simpson, 2002; Pedhazur et Pedhazur Schmelkin, 1991; Streiner et Norman, 2007) 79 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité VALIDITÉ DE CONTENU (NATURE DES ITEMS) But 1: Vérifier que l’échantillon d’items reflète le construit d’intérêt Exemple: Analyse qualitative de la correspondance entre: → items du DI et DIA → symptômes du DSM-5 80 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité VALIDITÉ DE CONTENU (NATURE DES ITEMS) But 2: Vérifier la compréhension des items par le répondant Exemples: Étude de la compréhension des questions du DISC par des enfants de 9-11 ans (Breton et al., 1995) Études de la compréhension des items des questionnaires - Dominique pour enfants de 6-11 ans (Valla et al., 1994; 2000) - Dominique pour Adolescents (Smolla et al., 2004) 81 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité VALIDITÉ DE CRITÈRE Vérifier l’association entre instrument et critère externe Validité concomitante: 1- Les résultats obtenus aux 2 mesures (instrument et critère externe) réfèrent à une même période temporelle 2- En pédopsychiatrie, les étude de validation concernent surtout la validité concomitante Exemples de critères: référence en pédopsychiatrie, diagnostic psychiatrique, instruments standardisés d’évaluation des troubles mentaux, échelles de symptômes Validité prédictive: Instrument Temps 1 versus Critère externe Temps 2 82 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité PRINCIPAUX INDICATEURS POUR LA VALIDITÉ DE CRITÈRE (VARIABLES CATÉGORIELLES) Niveau d’accord entre l’instrument et le critère externe (ex., Kappa) Sensibilité: proportion de jeunes identifiés positivement (avec trouble) selon l’instrument, parmi ceux ayant le trouble selon le critère externe Faux négatifs: proportion de jeunes identifiés négativement (sans trouble) selon l’instrument, parmi ceux ayant le trouble selon le critère externe (1-sensibilité) Spécificité: proportion de jeunes identifiés négativement (sans trouble) selon l’instrument, parmi ceux n’ayant pas de trouble selon le critère externe Faux positifs: proportion de jeunes identifiés positivement (avec trouble) selon l’instrument, parmi ceux n’ayant pas de trouble selon le critère externe (1-spécificité) Valeur prédictive positive: proportion des jeunes ayant le trouble, selon le critère externe, parmi ceux identifiés positivement par l’instrument Valeur prédictive négative: proportion des jeunes n’ayant pas le trouble, selon le critère, parmi ceux identifiés négativement par l’instrument 83 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité PRINCIPAUX INDICATEURS POUR LA VALIDITÉ DE CRITÈRE Niveau d’accord entre l’instrument et le critère externe (ex., kappa) 84 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité VALIDITÉ DE CONSTRUIT Exige une accumulation progressive des connaissances provenant de plusieurs sources d’information Preuves pertinentes du processus: Résultats susceptibles d’éclairer la nature du construit ainsi que les conditions qui affectent son développement et ses manifestations (Anastasi, 1988 ; Cronbach et Meehl, 1955) 85 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité PRINCIPALES MÉTHODES POUR LA VALIDATION DES CONSTRUITS Cohérence interne (coefficient alpha de Cronbach) et analyse de la structure factorielle Validations convergente et discriminante (matrice de corrélation multitraits /multiméthodes) (Campbell et Fiske, 1959) Associations entre l’instrument et certains facteurs de risque reconnus en épidémiologie pédopsychiatrique Exemples: âge sexe troubles mentaux chez les parents (Angold et Costello, 2000) 86 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité ENJEUX CONCEPTUELS ET MÉTHODOLOGIQUES LIÉS À LA VALIDITÉ Adaptation des instruments au niveau développemental des jeunes: un enjeu à la validité Absence d’un critère externe absolu: limite majeure à tout processus de validation Absence d’un critère absolu pour définir et valider les troubles mentaux limite l’évaluation précise de la validité de ces construits et l’interprétation de tous les coefficients obtenus dans les études de validation Validité des instruments conçus selon le DSM se situe dans les limites de la validité des construits de ce système nosologique 87 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Enjeux ENJEUX CONCEPTUELS ET MÉTHODOLOGIQUES LIÉS À LA VALIDITÉ (SUITE) Limite des guides d’entrevue psychiatriques comme critère externe Guides d’entrevue psychiatrique structurés, fortement recommandés comme critère externe chez l’adulte (ex., Robins, 2002) → limités pour valider les instruments qui s’adressent directement aux enfants de 6-11 ans et aux adolescent(e)s 12-13 ans ou à ceux qui ont des problèmes d’apprentissage (Bergeron et al., 2010, 2013 ; Smolla et al, 2004 ; Valla et al, 2000) 88 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Enjeux ENJEUX CONCEPTUELS ET MÉTHODOLOGIQUES LIÉS À LA VALIDITÉ (SUITE) Limites à l’interprétation des indicateurs de la validité de critère Prévalence relativement faible de certains troubles mentaux chez les jeunes de la population en général (ex., dépression) peut entraîner une diminution de la valeur prédictive positive (VPP) et du Kappa (ex., McClellan, 2004) Les seuils de gravité établis sur les échelles de symptômes demeurent arbitraires Seuil plus faible: Un seuil plus élevé : Augmentation sensibilité et faux positifs (↓ des faux négatifs) Augmentation spécificité et faux négatifs (↓ des faux positifs) Équilibre optimal : Dépend du contexte d’utilisation de l’instrument (ex., dépistage des problèmes de santé mentale; estimation de la prévalence des troubles mentaux chez enfants et adolescent(e)s) 89 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Enjeux PRÉSENTATION DES RÉSULTATS SUR LA VALIDITÉ DE CRITÈRE DES INSTRUMENTS STRUCTURÉS D’ÉVALUATION DES TROUBLES MENTAUX (ENFANTS -ADOLESCENT(E)S) Objectifs : Présenter une synthèse des principales méthodes de validation proposées et des résultats qui en découlent Illustrer les enjeux rencontrés dans le domaine de la validation 90 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Résultats Résultats: Études sur la validité de critère des instruments structurés d’évaluation des troubles mentaux chez les enfants et le adolescent(e)s (répondant jeune) 91 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Résultats Études sur la validité de critère des instruments structurés d’évaluation des troubles mentaux chez les enfants et les adolescent(e)s (répondant jeune). INSTRUMENT DISC-R anglais ÉTUDE Piacentini et al. (1993) É.-U. N ÉCHANTILLON ÂGES 74 Clinique 11-17 ans Х=13 ans MÉTHODE RÉSULTATS Clinical Assessment Form (CAS) Kappa : ,21 (TO); ,28 (TC) ,39 (dépression); ,48 (THADA) Sensibilité : ,38 (dépression); ,50 (TC) 1,00 (TO, THADA) Spécificité : ,83 (TO, TC); ,94 (THADA) ,95 (dépression) Corrélations Pearson : ,51 – ,59 92 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Résultats Études sur la validité de critère des instruments structurés d’évaluation des troubles mentaux chez les enfants et les adolescent(e)s (répondant jeune). INSTRUMENT DISC-2.3 anglais ÉCHANTILLON ÂGES Schwab-Stone 247 MECA Study et al. (1996) Pop. générale ÉTUDE Shaffer et al. (2000) N 9-17 ans É.-U. MÉTHODE 1) DISC–clinicien 2) Identification des réponses positives et ambiguës 3) Entrevues de validation: élaboration sur pensées et comportements 4) Décisions du clinicien 0=absent; 1=normal 2=présent; 3=définitif DISC-IV anglais Lewczyk et al. (2003) É.-U. MECA Study: POC Study : 93 240 POC Study Pop. générale 11-18 ans RÉSULTATS Kappa : ,27 (THADA); ,23 (TAG) ,45 (P So); ,49 (TA); ,54 (TO) ,77 (TC); ,79 (dépression) N.B. : L’inclusion des réponses négatives non validées dans le calcul du kappa peut hausser la valeur du coefficient 5) Accord entre entrevue clinique semi-structurée et DISC–clinicien Diagnostics psychiatriques Kappa : ,04 (TA) ,11 (dépression) NIMH Methods for the Epidemiology of Child and Adolescent Mental Disorders (1,285 dyades) Patterns of Care Study (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Résultats Études sur la validité de critère des instruments structurés d’évaluation des troubles mentaux chez les enfants et les adolescent(e)s (répondant jeune). INSTRUMENT ChIPS anglais ÉCHANTILLON MÉTHODE ÂGES Swenson et al. 97 Clinique KIDDIE-SADS-PL (2007) Pédopsychiatrie (6 mois/12 mois) interne É.-U. Comparaisons entre ChIPS 12-18 ans (3 regroupements) et Х=15 ans échelles de symptômes : ÉTUDE N 1) Dépression (ChIPS) – RADS-2, BSS, SIQ, HSC 2) Tr. Anxieux (ChIPS) – MASC-10, SCARED 3) Tr. Extériorisés (ChIPS) – AQ, STAXI KIDDIE-SADS-PL : RADS-2 : BSS : SIQ : HSC : MASC-10 : SCARED : AQ : STAXI : 94 RÉSULTATS Kappa : ,18 (TO); ,26 (THADA) ,29 (TAG); ,39 (P Soc) ,49 (dépression); ,66 (T Sub) Analyse de variance : Scores moyens sur échelles de symptômes significativement plus élevés chez les jeunes avec présence de dépression, Tr. Anxieux, Tr. Extériorisés (vs leur absence) Schedule for Affective Disorders and Schizophrenia for School-Age Children – Present and Lifetime version Reynolds Adolescent Depression Scale Beck Scale for Suicidal Ideation Suicidal Ideation Questionnaire Hopelessness Scale for Children Multidimensional Anxiety Scale for Children – Short Version Screen for Child Anxiety Related Emotional Disorders Aggression Questionnaire State-Trait Anger Expression Inventory (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Résultats Études sur la validité de critère des instruments structurés d’évaluation des troubles mentaux chez les enfants et les adolescent(e)s (répondant jeune). INSTRUMENT DI français ÉTUDE Valla et al. (2002) France N ÉCHANTILLON ÂGES 403 n1 : 253 scolaire n2 : 150 clinique Pédopsychiatrie interne et externe 6-11 ans DI anglais Linares Scott et al. (2006) É.-U. RÉSULTATS Khi 2 : Pourcentages d’enfants qui atteignent les seuils du DI significativement plus 2) Diagnostics psychiatriques élevés dans l’échantillon clinique 1) Comparaison entre échantillons clinique et scolaire Kappa (seuils supérieurs) : ,09 (dépression) à ,25 (TC) 322 Pop. générale 6 ans MÉTHODE Comparaison avec Échelles de symptômes (version parent) : CBCL, PSI et Observation des émotions durant un jeu (APS) Kappa (seuils inférieurs) : ,05 (TO) à ,39 (THADA) Coefficients de corrélation Pearson significatifs : • APS (affects négatifs) et DI (symptômes dépressifs et d’opposition) • CBCL et DI (symptômes extériorisés) • PSI et DI (symptômes d’opposition) CBCL : PSI : APS : 95 Child Behavior Checklist Parenting Stress Index Affect in Play Scale (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Résultats Études sur la validité de critère des instruments structurés d’évaluation des troubles mentaux chez les enfants et les adolescent(e)s (répondant jeune). INSTRUMENT DI français anglais ÉTUDE N ÉCHANTILLON ÂGES MÉTHODE 583 n1 : 453 scolaire Comparaison entre n2 : 130 clinique échantillons scolaire et clinique Pédopsychiatrie Bergeron et al. externe (en préparation) Correspondance entre l’élaboration des enfants 6-11 ans Québec sur leurs réponses positives et décision de 3 juges indépendants sur la présence/absence de chaque symptôme Bergeron et al. (2013) Échelle de cotation : 1=absent; 2=présent 3=incertain RÉSULTATS Khi 2 : Pourcentages d’enfants qui atteignent les seuils du DI sont significativement plus élevés dans l’échantillon clinique Valeurs prédictives positives : VPP ≥ ,60 pour 75% – 80% des symptômes, indépendamment des juges Accord inter-juges : CCI ≥ ,90 Limite des kappas : 85% des symptômes : K ≥,60 50% des symptômes : K ≥,80 Alternative à la méthode si les réponses négatives et de Schwab-Stone (1996) non validées sont incluses 96 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Résultats Études sur la validité de critère des instruments structurés d’évaluation des troubles mentaux chez les enfants et les adolescent(e)s (répondant jeune). INSTRUMENT DIA français ÉTUDE N Bergeron et al. (2010) 607 Québec ÉCHANTILLON ÂGES N1 : 465 scolaire N2: 142 clinique Pédopsychiatrie Externe 12-15 ans MÉTHODE Comparaison entre échantillons scolaire et clinique Correspondance entre l’élaboration des jeunes sur leurs réponses positives et négatives et décision de 3 juges indépendants sur la présence/absence de chaque symptôme. RÉSULTATS Tests T et Khi 2 : Scores moyens et % significativement plus élevés dans l’échantillon clinique Kappa (seuils supérieurs) : ,50 – ,78, sauf TA Sép Kappa (seuils inférieurs) : ,43 – ,92, sauf TA Sép Échelle de cotation : 1=absent; 2=présent; 3=incertain Comparaison entre distribution des symptômes au DIA et la distribution du nombre de symptômes jugés présents/absents 97 (Bergeron et Smolla, 2014) Exclusion a posteriori de TA Sép 5. Propriétés psychométriques – Validité – Résultats Études sur la validité de critère des instruments structurés d’évaluation des troubles mentaux chez les enfants et les adolescent(e)s (répondant jeune). INSTRUMENT DIA-R français anglais ÉTUDE Bergeron et al. (en cours) IRSC 2010-15 Québec ÉCHANTILLON MÉTHODE ÂGES 1) KIDDIE-SADS-PL (6 mois/12 mois) : 500 Pop. scolaire troubles de l’Axe I, pensées suicidaires Pop. clinique N 12-15 ans RÉSULTATS À venir 2) AB-DIB : symptomatologie liée à la personnalité limite 3) Échelle de désespoir de Beck : risque suicidaire Détermination des seuils par l’analyse ROC (Receiver Operating Characteristic Curve) 98 (Bergeron et Smolla, 2014) 5. Propriétés psychométriques – Validité – Résultats ❻ DISCUSSION 6.1 Avantages et limites des guides d’entrevue psychiatriques 6.2 Contribution du Dominique Interactif dans l’évolution de la mesure de la santé mentale des jeunes 6.3 Implication du bilan des connaissances pour la recherche future (Bergeron et Smolla, 2014) 6.1 AVANTAGES ET LIMITES DES GUIDES D’ENTREVUE PSYCHIATRIQUES AVANTAGES Évaluation de la majorité des troubles mentaux de l’Axe I Correspondance étroite avec les critères diagnostiques du DSM Guides d’entrevue semi-structurés très appropriés en contexte clinique (ex., le CAPA), particulièrement avec les adolescent(e)s et leurs parents Utilité largement reconnue des guides d’entrevue structurés en épidémiologie (ex., DISC) pour interroger les parents et les adolescent(e)s de 14-17 ans 100 (Bergeron et Smolla, 2014) 6.1 Discussion – Guides psychiatriques LIMITES Niveau trop élevé de complexité (ex., temporalité, structure grammaticale) chez: enfants de 6-11 ans Limite des guides d’entrevue structurés chez: adolescent(e)s de 12-13 ans adolescent(e)s de 14-15 ans avec problèmes d’apprentissage 101 (Bergeron et Smolla, 2014) 6.1 Discussion – Guides psychiatriques 6.2 CONTRIBUTION DU DOMINIQUE INTERACTIF AVANTAGES Format du DI approprié au niveau développemental des enfants de 6-11 ans : approche multimédia, phrase courte incluant un seul concept par symptôme Format du DIA et du DIA-R respecte la possibilité de différences individuelles au niveau de la compréhension des concepts abstraits au cours de l’adolescence Intégration des approches dimensionnelle et catégorielle dans le DI, DIA et DIA-R: cohérence avec la proposition du DSM-5 102 (Bergeron et Smolla, 2014) 6.2 Discussion – Dominique Interactif AVANTAGES (SUITE) Courte durée d’administration (15 à 25 minutes) permettant une utilisation avec d’autres mesures (approche multi-méthodes) Utilité du DI, du DIA et du DIA-R pour l’évaluation des «tendances aux troubles mentaux du DSM-5» dans une approche multi-informateurs (ex., parents), en recherche et en clinique Utilité reconnue des logiciels pour le dépistage précoce des symptômes et syndromes du DSM-5, dans les services de première ligne 103 (Bergeron et Smolla, 2014) 6.2 Discussion – Dominique Interactif LIMITES Évaluation des troubles les plus fréquents et non l’ensemble des troubles de l’Axe I Exclusion des critères de temporalité suggérés par le DSM-5 limitant la possibilité de déterminer, de façon précise, la présence ou l’absence de troubles mentaux 104 (Bergeron et Smolla, 2014) 6.2 Discussion – Contribution du Dominique Interactif 6.3 IMPLICATION DU BILAN DES CONNAISSANCES POUR LA RECHERCHE FUTURE Choix d’un instrument dépend de l’objectif poursuivi (ex., recherche, dépistage, diagnostic clinique) et du contexte d’utilisation (ex., population en général ou clinique) Efforts importants, au cours des 30 dernières années, pour proposer des instruments qui évaluent directement la symptomatologie et les critères du DSM chez les jeunes Poursuite de la recherche sur l’élaboration et la validation d’instruments adaptés au niveau développemental des jeunes et au contexte culturel : une démarche complexe mais souhaitable 105 (Bergeron et Smolla, 2014) 6.3 Implication pour la recherche future Compréhension des raisons du désaccord entre les sources d’information : une question fondamentale pour la recherche future Recherche sur la validité de critère et la validité de construit demeure un défi méthodologique majeur, en raison de l’absence d’un critère externe absolu 106 (Bergeron et Smolla, 2014) 6.3 Implication pour la recherche future Remerciements • Préparation de la présentation PowerPoint: Pauline Morin, coordonnatrice du projet DIA-R Assistantes de recherche: Marie Claude Vinay, Marie-Josée Cécyre, Élissa Zavaglia • Soutien organisationnel de l’événement de la COPEP: Aline Drapeau, Christel Cornelis, Nancy Renaud • Organismes subventionnaires des études psychométriques: DA: DI: DIA: DIA-R: DIA-R: 107 FRQ-S, 1994-1998 FRQ-S, 1999-2002 FRQ-S, 2002-2006 IRSC, 2010-2015 Fondation les petits trésors, 2012-2016 (Bergeron et Smolla, 2014) Références Achenbach, T.M., McConaughy, S.H., & Howell, C.T. (1987). Child/adolescent behavioral and emotional problems: Implications of cross-informant correlations for situational specificity. Psychological Bulletin, 101, 213-232. Achenbach, T.M., & McConaughy, S.H. (2003). The Achenbach System of Empirically Based Assessment. In C.R. Reynolds, & R.W. Kamphaus (Eds.), Handbook of psychological & educational assessment of children: Personality, behavior, and context (2nd ed., pp. 406-430). New York, NY: Guilford Press. Achenbach, T. M. (2011). Commentary: Definitely more than measurement error: But how should we understand and deal with informant discrepancies ? Journal of Clinical Child and Adolescent Psychology, 40, 80-86. American Psychiatric Association (2013). Diagnostic and statistical manual of mental disorders (5th ed.). Washington, DC: American Psychiatric Association. Anastasi, A. (1988). Psychological testing (6th edition). New York NY: Macmillan Publishing Company. Angold, A., Costello, E.J., & Messer, S.C. (1995). Development of a short questionnaire for use in epidemiological studies of depression in children and adolescents. International Journal of Methods in Psychiatric Research, 5, 237-249. Angold, A., & Costello, E.J. (2000). The child and Adolescent Psychiatric Assessment (CAPA). Journal of the American Academy of Child and Adolescent Psychiatry, 39, 39-48. Angold, A., Costello, E.J., & Egger, H. (2007). Structured interviews. In A. Martin, F.R. & Volkmar (Eds.), Lewis’s child and adolescent psychiatry: A comprehensive textbook (4th ed., pp. 150-171). Philadelphia PA: Lippincott Williams & Wilkins. Bergeron, L., Valla, J.P., Breton, J.J., Gaudet, N., Berthiaume, C., Lambert, J., et al. (2000). Correlates of mental disorders in the Quebec general population of 6 to 14-year olds. Journal of Abnormal Child Psychology, 28, 47-62. Bergeron, L., Valla, J.P., Smolla, N., Piché, G., Berthiaume, C., St.-Georges, M. (2007). Correlates of depressive disorders in the Quebec general population 6 to 14 years of age. Journal of Abnormal Child Psychology, 35, 459-474. 108 (Bergeron et Smolla, 2014) Références Bergeron, L., Smolla, N., Valla, J.P., St.-Georges, M., Berthiaume, C., & Piché, G. et al. (2010). Psychometric properties of a pictorial instrument for assessing psychopathology in youth aged 12 to 15 years: The Dominic Interactive for Adolescents. The Canadian Journal of Psychiatry/La Revue Canadienne de Psychiatrie, 55, 211-221. Bergeron, L., Berthiaume, C., St.-Georges, Piché, G., & Smolla, N. (2013). Reliability, validity, and clinical use of the Dominic Interactive: A DSM-based, selfreport screen for school-aged children. The Canadian Journal of psychiatry/La Revue Canadienne de Psychiatrie, 58, 466-475. Bird, H.R., Canino, G., Rubio-Stipec, M., Gould, M.S., Ribera, J., Sesman, M et al. (1988). Estimates of the prevalence of childhood maladjustment in a community survey in Puerto Rico. Archives of General Psychiatry, 45, 1120-1126. Bird, R.H., Gould, M., & Staghezza, B. (1992). Aggregating data from multiple informants in child psychiatry epidemiological research. Journal of the American Academy of Child and Adolescent Psychiatry, 31, 78-85. Boyle, M.H., Offord, D.R., Racine, Y., Sandford, M., Szatmari, P., Fleming, J.E., et al. (1993). Evaluation of the Diagnostic Interview for Children and Adolescent for use in general population samples. Journal of Abnormal Child Psychology, 21, 663-681. Bravo, M., Ribera, J., Rubio-Stipec, M., Canino, G., Shrout, P., Ramírez, R., et al. (2001). Test-retest reliability of the Spanish version of the Diagnostic Interview Schedule for Children (DISC-IV). Journal of Abnormal Child Psychology, 29, 433-44. Breton, J.J., Bergeron, L., Valla, J.P., Lépine, S., Houde, L., & Gaudet, N. (1995). Do children aged 9 through 11 years understand the DISC version 2.25 questions? Journal of the American Academy of Child and Adolescent Psychiatry, 34, 946-956. Breton, J.J., Bergeron, L., Valla, J.P., Berthiaume, C., & St.-Georges, M. (1998). The Diagnostic Interview Schedule for Children (DISC-2.25) in Quebec: Reliability findings in the light of the MECA Study. Journal of the American Academy of Child and Adolescent Psychiatry, 37, 1167-1174. Breton, J.J., Bergeron, L., Valla, J.P., Berthiaume, C., Gaudet, N., Lambert, J., et al. (1999). Quebec child mental health survey: Prevalence of DSM-III-R mental health disorders. Journal of Child Psychology and Psychiatry, 40, 375-384. Breton, J.J., Tousignant, M., Bergeron, L., & Berthiaume,. (2002). Informant-specific correlates of suicidal behavior in a community survey of 12-14 yearolds. Journal of the American Academy of Child and Adolescent Psychiatry, 41, 723-730. 109 (Bergeron et Smolla, 2014) Références Campbell, D. T. & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56, 81-105. Case, R., Demetriou A., & Platsidou M. (2001). Integrating concepts and tests of intelligence from the differential and developmental traditions. Intelligence, 29, 307-336. Carlisle, L., & McClellan, J. (2010). Diagnostic interviews. In M.K. Dulcan (Ed.), Dulcan’s textbook of child and adolescent psychiatry (1st ed., pp 79-88). Washington DC: The American Psychiatric Publishing. Cicchetti, D. V. (1994). Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology. Psychological Assessment, 6, 284-290. Cohen, J. (1960). A coefficient of agreement for nominal scale. Educational and Psychological Measurement, 20, 37-46. Costello, E.J., Mustillo, S., Erkanli, A., Keeler, G., & Angold, A. (2003). Prevalence and development of psychiatric disorders in childhood and adolescence. Archives of General Psychiatry, 60, 837-844. Costello, E.J., Egger, H., & Angold, A. (2005). 10-year research update review: The epidemiology of child and adolescent psychiatric disorders: 1. Methods and public health burden. Journal of the American Academy of Child and Adolescent Psychiatry, 44, 972-986. Cronbach, L.J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-234. Cronbach, L.J., & Meehl, P.E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281-302. Cronbach, L.J., Gleser, G.C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: Theory of generalizability of scores and profiles. New York NY: Wiley. 110 (Bergeron et Smolla, 2014) Références Demetriou A. (2004). Mind, intelligence and development: a cognitive, differential and developmental theory of intelligence. In A. Demetriou, & A. Raftopoulos (Eds.). Cognitive developmental change: theories, models and measurement (pp. 21-73). Cambridge GB : Cambridge University Press. DeVellis, R.F. (2003). Scale development : Theory and applications (2nd ed.). Applied Social Research Methods Series, volume 6 : California : Sage Publications. Duhachek, A., & Iacobucci, D. (2004). Alpha’s standard error (ASE): An accurate and precise confidence interval estimate. Journal of Applied Psychology, 89, 792-808. Edelbrock, C., Costello, A.J., Dulcan, M.K., Kalas, R., & Calabro-Conover, N. (1985). Age differences in the reliability of the psychiatric interview of the child. Child Development, 56, 265-275. Fallon, T., & Schwab-Stone, M. (1994). Determinants of reliability in psychiatric surveys of children. Journal of Child Psychology and Psychiatry, 35, 13911408. Ghiselli, E.E., Campbell, J.P., & Zedeck, S. (1981). Measurement theory for the behavioral sciences. San Francisco: Freeman & Company. Goldstein, J.M., & Simpson, J.C. (2002). Validity: Definitions and applications to psychiatric research. In M.T. Tsuang, & M. Tohen (Eds.), Textbook in psychiatric epidemiology (2nd ed., pp. 149-163). New York, NY: Wiley-Liss. Griffin, S. (2004). Contributions of central conceptual structure theory to education. In A. Demetriou, & A. Raftopoulos (Eds.). Cognitive developmental change: theories, models and measurement (pp. 264-295). Cambridge GB: Cambridge University Press. Ho, T-p., Wing-l.l., P., Lee, C-c., Tang, c-p., Hung, S-f., Kwong, S-l., et al. (2005). "Test-retest reliability of the Chinese version of the Diagnostic Interview Schedule for Children-Version 4 (DISC-IV). Journal of Child Psychology and Psychiatry, 46, 1135-1138. Kazdin, A.E. (2003). Clinical design in clinical psychology. Boston, MA: Allyn & Bacon. 111 (Bergeron et Smolla, 2014) Références Kendell, R., & Jablensky, A. (2003). Distinguishing between the validity and utility of psychiatric diagnoses. American Journal of Psychiatry, 160, 4-12. Lewczyk, C.M., Garland, A.F., Hurlburt, M.S., Gearity, J., & Hough, R.L. (2003). Comparing DISC-IV and clinician diagnoses among youths receiving public mental health services. Journal of the American Academy of Child and Adolescent Psychiatry, 42, 349-356. Linares Scott, T.J., Short, E.J., Singer, L.T., Russ, S.W., & Minnes, S. (2006). Psychometric properties of the Dominic Interactive Assessment: A computerized self-report for children. Assessment, 13, 16-26. Loeber, R., Burke, J.D., Lahey, B.B., Winters, A., Zera, M. (2000). Oppositional defiant and conduct disorder: A review of the past 10 years, Part I. Journal of the American Academy of Child and Adolescent Psychiatry, 39, 1468 -1484. Lucas, C.P., Fisher, P., Piacentini, J., Zhang, H., Jensen, P., Shaffer, D., et al. (1999). Features of interview questions associated with attenuation of symptoms reports. Journal of Abnormal Child Psychology, 27, 429-437. McClellan, J. (2004). Diagnostic interviews. In J.M. Wiener, & M.K. Dulcan (Eds.), Textbook of child and adolescent psychiatry (3rd ed., pp. 137-148). Washington, DC: The American Psychiatric Publishing. Pedhazur, E., & Pedhazur Schmelkin, L. (1991). Measurement, design and analysis: An integrated approach. New Jersey, NJ: Lawrence Erlbaum Associates. Piacentini, J., Shaffer, D., Fisher, P., Schwab-Stone, M., Davies, M., & Gioia, P. (1993). The Diagnostic Interview Schedule for Children-Revised Version (DISCR): III. Concurrent criterion validity. Journal of the American Academy of Child and Adolescent Psychiatry, 32, 658-665. Piacentini, J., Roper, M., Jensen, P., Lucas, C., Fisher, P., Bird, H., et al. (1999). Informant-based determinants of symptom attenuation in structured child psychiatric interviews. Journal of Abnormal Child Psychology, 27, 417-428. Ponterotto, J. G., & Ruckdeschel, D.E. (2007). An overview of coefficient alpha and a reliability matrix for estimating adequacy of internal consistency coefficients with psychological research measures. Perceptual and Motor Skills, 105, 997-1014. 112 (Bergeron et Smolla, 2014) Références Reich, W. (2000). Diagnostic Interview for Children and Adolescents (DICA). Journal of the American Academy of Child and Adolescent Psychiatry, 39, 59-66. Robins, L.N. (2002). Birth and development of psychiatric interviews. In M.T. Tsuang, & M. Tohen (Eds.), Textbook in psychiatric epidemiology (2nd ed., pp. 257-271). New York, NY: Wiley-Liss. Rutter, M., & Taylor, E. (2008). Clinical assessment and diagnostic formulation. In: M. Rutter, D. Bishop, D. Pine, S. Scott, J. Stevenson, & E. Taylor et al. (Eds.), Rutter’s child and adolescent psychiatry (5th ed., pp. 42-57). Schwab-Stone, M., Fallon, T., Briggs, M., & Crowther, B. (1994). Reliability of diagnostic reporting for children aged 6-11 years: A test-retest study of the Diagnostic Interview Schedule for Children. Revised. American Journal of Psychiatry, 151, 1048-1054. Schwab-Stone, M.E., Shaffer, D., Dulcan, M.K., Jensen, P.S., Fisher, P., Bird, H.R., et al. (1996). Criterion validity of the NIMH Diagnostic Interview Schedule for Children Version 2.3 (DISC-2.3). Journal of the American Academy of Child and Adolescent Psychiatry, 35, 878-888. Shaffer, D., Fisher, P.W., & Lucas, C. (1999). Respondent-based interviews. In D. Shaffer, C.P. Lucas, & J.E. Richters (Eds.), Diagnostic assessment in child and adolescent psychopathology (pp. 3-33). New York, NY: Guilford Press. Shaffer, D., Fisher, P., Lucas, C., Dulcan, M., & Schwab-Stone, M.E. (2000). NIMH Diagnostic Interview Schedule for Children Version IV (NIMH DISC-IV): Description, differences from previous versions, and reliability of some common diagnoses. Journal of the American Academy of Child and Adolescent Psychiatry, 39, 28-38. Shavelson, R.J., Webb, N.M., & Rowley, G.L. (1989). Generalizability theory. American Psychologist, 44, 922-932. Shojaei, T., Wazana, A., Pitrou, I., Gilbert, F., Bergeron, L., Valla, J.P. et al. (2009). Psychometric properties of the Dominic Interactive in a large French sample. The Canadian Journal of Psychiatry/La Revue Canadienne de Psychiatrie, 54, 767-776. Shrout, P.E., & Fleiss, J.L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86, 420-428. Shrout, P.E., Spitzer, R.L., & Fleiss, J.L. (1987). Quantification of agreement in psychiatric diagnosis revisited. Archives of General Psychiatry, 44, 172-177. 113 (Bergeron et Smolla, 2014) Références Shrout, P. (1998). Measurement reliability and agreement in psychiatry. Statistical methods in Medical Research, 7, 301-317. Shrout, P.E. (2002). Reliability. In M.T. Tsuang, & M. Tohen (Eds.), Textbook in psychiatric epidemiology (2nd ed., pp. 131-147). New York, NY: Wiley-Liss. Smolla, N., Valla, J.P., Bergeron, L., Berthiaume, C., & St.-Georges, M. (2004). Development of a pictorial mental disorders screen for young adolescents. The Canadian Journal of Psychiatry/La revue Canadienne de Psychiatrie, 49, 828-837. Streiner, D. L., & Norman, G. R. (2007). Health measurement scales: a practical guide to their development and use (3rd ed.). New York, NY: Oxford University Press. Swenson, L.P., Esposito-Smythers, C., Hunt, J.I., Hollander, B.L.G., Dyl, J., Rizzo, C.J. et al. (2007). Validation of the Children’s Interview for Psychiatric Syndromes (ChIPS) with psychiatrically hospitalized adolescents. Journal of the American Academy of Child and Adolescent Psychiatry, 46, 1482-1490. Valla, J.P., Bergeron, L., Bérubé, H., Gaudet, N., & St.-Georges, M. (1994). A structured pictorial questionnaire to assess DSM-III-R-based diagnoses in children (6-11 years): Development, validity, and reliability. Journal of Abnormal Child Psychology, 22, 403-423. Valla, J.P., Bergeron, L., & Smolla, N. (2000). The Dominic-R: A pictorial interview for 6-to 11-year-old children. Journal of the American Academy of Child and Adolescent Psychiatry, 39, 85-93. Valla, J.P., Kovess, V., Chan Chee, C., Berthiaume, C., Vantalon, V., Piquet, C., et al. (2002). A French study of the Dominic Interactive. Social Psychiatry and Psychiatric Epidemiology, 37, 441-448. Weller, E.B., Weller, R.A., Fristad, M., Rooney, M.T., & Schecter, J. (2000). Children’s interview for psychiatric syndromes (ChIPS). Journal of the American Academy of Child and Adolescent Psychiatry, 39, 76-84. 114 (Bergeron et Smolla, 2014)