Évaluer les campagnes médiatiques antitabacs
publicité
Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD Objectifs de l’enseignement Comprendre les objectifs d’évaluation des campagnes médiatiques Comprendre le processus de développement de l’évaluation de campagnes médiatiques antitabac Comprendre les approches de base utilisées pour évaluer les impacts d’une campagne médiatique antitabac Évaluer les campagnes médiatiques antitabac Dr Marc Boulay Centre pour les Programmes de Communication École de Santé Publique Bloomberg Johns Hopkins © 2008 École de Santé Publique John Hopkins Bloomberg © 2008 École de Santé Publique John Hopkins Bloomberg Le rôle des campagnes médiatiques dans la lutte antitabac 2 Nous évaluons ces campagnes pour savoir : Les programmes complets de lutte antitabac comprennent souvent des campagnes médiatiques Si le programme a dissuadé les gens de commencer à fumer et/ou encouragé les fumeurs à arrêter Ces interventions sont généralement destinées à dissuader les gens de commencer à fumer et à encourager les fumeurs à arrêter Dans quelle mesure le programme a influencé les décisions de fumer Les canaux médiatiques constituent un bon moyen de sensibiliser un grand nombre de personnes aux messages antitabac Ce qui aurait pu être fait pour rendre la campagne plus efficace Si elles sont efficaces, les campagnes médiatiques antitabac sont un moyen de réduire la consommation de tabac à grand échelle à un coût relativement faible © 2008 École de Santé Publique John Hopkins Bloomberg 3 Étapes du développement et de l’évaluation 4 Étape 1 : identifier le modèle conceptuel 1. Identifier le modèle conceptuel à l’origine du programme Tous les programmes reposent sur une théorie spécifiant par quels moyens ils sont censés atteindre leurs objectifs 2. Définir les indicateurs servant à mesurer les éléments du modèle conceptuel 3. Concevoir l’étude qui servira à mesurer et analyser ces indicateurs © 2008 École de Santé Publique John Hopkins Bloomberg © 2008 École de Santé Publique John Hopkins Bloomberg 5 Dans le cas des programmes de communication, cette théorie décrit généralement les facteurs psychosociaux qui : − Influencent le comportement qui résulte du programme (par ex. fumer) − Sont censés être influencés par une exposition aux messages communiqués par le programme © 2008 École de Santé Publique John Hopkins Bloomberg 6 1 Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD Comment identifier le modèle conceptuel à l’origine du programme ? Modèle conceptuel représentatif Une recherche préparatoire (y compris la lecture de publications sur ce sujet, des études qualitatives auprès de groupes ciblés et des analyses secondaires de données existantes) doit orienter le développement de ce modèle conceptuel © 2008 École de Santé Publique John Hopkins Bloomberg Rencontrez les personnes chargées du développement du programme et les parties prenantes pour identifier le modèle conceptuel − Quels sont les objectifs de la campagne en termes d’impact sur le comportement ? − Quels sont les facteurs psychosociaux liés au tabagisme qui sont abordés dans les messages de la campagne ? Quels sont les facteurs qui ne sont pas abordés dans la campagne ? − Qui est le public, et comment les messages lui sont-ils communiqués (par ex. canal, moment, fréquences, etc.) ? − Quels sont les facteurs contextuels qui peuvent aussi avoir un impact sur le tabagisme ? 7 Avantages de l’utilisation d’un modèle conceptuel © 2008 École de Santé Publique John Hopkins Bloomberg Étape 2 : définir les indicateurs Le modèle conceptuel peut : − Vous indiquer ce que vous devez mesurer − Élargir le succès au-delà du résultat final − Améliorer la capacité d’attribuer des effets au programme − Permettre de comprendre précisément en quoi le programme a été efficace ou pas Des indicateurs sont nécessaires pour mesurer chaque élément du modèle conceptuel Ces indicateurs doivent être « SMART » (intelligents) − Spécifiques − Mesurables − Atteignables − axés sur les Résultats − © 2008 École de Santé Publique John Hopkins Bloomberg 9 limités dans le Temps © 2008 École de Santé Publique John Hopkins Bloomberg 10 Indicateurs utilisés pour mesurer la mise en oeuvre du programme Mesurer la mise en oeuvre du programme Surveillez la mise en oeuvre du programme pour vous assurer que les activités de communication se déroulent comme prévu (évaluation du processus) Exemples d’indicateurs de résultats du programme − Nombre de spots télévisés diffusés le mois dernier − Nombre de posters distribués le mois dernier Cette étape a généralement lieu tout au long de la période de mise en oeuvre du programme Les indicateurs de mise en oeuvre du programme se basent souvent sur des données existantes ou facilement accessibles pour permettre des évaluations fréquentes (par ex. mensuelles ou trimestrielles) © 2008 École de Santé Publique John Hopkins Bloomberg 8 11 Si possible, essayez d’identifier les sources de données disponibles pour contrôler la portée du programme − Insérez des questions dans des enquêtes déjà existantes − Recensez le nombre d’appels téléphoniques passés au numéro indiqué dans la publicité © 2008 École de Santé Publique John Hopkins Bloomberg 12 2 Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD Mesurer les effets du programme Mesurer l’exposition au programme Les enquêtes auprès du public servent généralement à mesurer les éléments restants du modèle conceptuel et à évaluer les effets du programme (évaluation sommative) L’exposition est généralement mesurée en demandant aux personnes interrogées de signaler s’ils ont vu ou entendu parler des supports de votre campagne pendant la période de mise en oeuvre du projet L’exposition aux messages du programme constitue la mesure fondamentale pour établir un lien entre la campagne et les effets observés sur le tabagisme Il peut également être utile de mesurer l’exposition aux publicités pro-tabac pour établir un variable contextuel Les effets de cette exposition peuvent être classés soit par résultats intermédiaires soit par résultats sommaires : − Les résultats intermédiaires sont les effets directs de l’exposition sur les connaissances, les attitudes et les croyances qui influent sur la décision de fumer − Les résultats sommaires sont les effets indirects de l’exposition (via les effets intermédiaires) sur le tabagisme © 2008 École de Santé Publique John Hopkins Bloomberg 13 Mesures dirigées et spontanées de l’exposition au programme 14 Questions dirigées et spontanées sur l’exposition au programme Les questions spontanées invitent les gens à se remémorer des messages antitabac sans fournir d’informations spécifiques sur la campagne − Mesure plus forte qui nécessite un plus grand degré d’implication dans le support de la campagne − Peuvent ne pas identifier les personnes ayant été faiblement exposées Questions spontanées − Avez-vous vu des publicités antitabac au cours de cette année ? − Si oui, décrivez les publicités que vous avez vues − Les personnes sont considérées comme exposées si elles sont suffisamment capables de décrire une publicité Questions dirigées − Avez-vous vu des publicités antitabac au cours de cette année dont le slogan était __X__ ? Les questions dirigées invitent les gens à se remémorer des publicités précises de la campagne − Mesure plus faible qui peut compter des réponses biaisées − Peuvent être plus utiles dans les campagnes menées à plus petite échelle © 2008 École de Santé Publique John Hopkins Bloomberg © 2008 École de Santé Publique John Hopkins Bloomberg 15 Indicateurs pour mesurer l’exposition au programme © 2008 École de Santé Publique John Hopkins Bloomberg 16 Mesurer les effets intermédiaires d’une campagne Pourcentage de personnes interrogées qui ont mémorisé une publicité de la campagne sur une période donnée (utiliser la période de mise en oeuvre) Les programmes de communication affectent les comportements au niveau du processus de prise de décision − Le modèle conceptuel doit décrire les facteurs psychosociaux qui influencent la décision de fumer Pourcentage de personnes interrogées qui ont mémorisé [aucune/un petit nombre de/un grand nombre de] publicité(s) de la campagne sur une période donnée − Pour examiner une relation dose/effet Référez-vous à des enquêtes déjà menées pour identifier les approches valides qui existent pour mesurer ces facteurs Assurez-vous que les questions correspondent aux messages de la campagne © 2008 École de Santé Publique John Hopkins Bloomberg 17 © 2008 École de Santé Publique John Hopkins Bloomberg 18 3 Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD Mesurer le tabagisme Étape 3 : conception de l’étude Plusieurs questions permettant de mesurer le tabagisme et l’arrêt du tabagisme ont été développées − Avez-vous fumé ce mois-ci ? − Avez-vous fumé au moins 100 cigarettes dans votre vie ? − Avez-vous fumé cette année mais pas ce mois-ci ? − Avez-vous essayé de vous arrêter de fumer au cours des six derniers mois ? − Etc. La conception traditionnelle d’une étude d’évaluation des publicités antitabac s’articule autour de trois questions essentielles : − Le tabagisme et les facteurs liés au tabagisme ont-ils changé à la suite du programme ? − Le tabagisme et les facteurs liés au tabagisme étaient-ils associés à l’exposition au programme ? − Les réponses aux questions 1 et 2 sont-elles toujours valides si l’on prend en compte d’autres explications ? Le choix de la mesure peut dépendre des objectifs de la campagne − Arrêt du tabagisme ou prévention du tabagisme − Jeunes ou adultes © 2008 École de Santé Publique John Hopkins Bloomberg 19 Mesure le changement de comportement sur la durée © 2008 École de Santé Publique John Hopkins Bloomberg 20 Comparaison entre l’enquête de référence et l’enquête finale Faites une enquête de référence avant de commencer votre campagne et une enquête finale une fois votre campagne terminée Dans les deux enquêtes − Utilisez des mesures identiques pour les indicateurs du modèle conceptuel afin de mesurer le changement de comportement sur la durée − Utilisez des stratégies d’échantillonnage identiques pour éliminer la possibilité que les différences entre échantillons soient la cause du changement de comportement Surveillez les changements de contexte (par ex. nouveaux prix, nouvelles taxes, etc.) © 2008 École de Santé Publique John Hopkins Bloomberg 21 Exposition et résultats © 2008 École de Santé Publique John Hopkins Bloomberg 22 Répartition des personnes en différents groupes exposés Les conceptions expérimentales qui répartissent au hasard les personnes dans des groupes exposés ou non exposés ne sont généralement pas applicables à des programmes de communication à grande échelle Il existe deux approches de répartition des personnes dans les groupes exposés : − Les approches quasi-expérimentales qui identifient les lieux où les publicités antitabac n’ont pas été diffusées − L’auto-répartition basée sur l’exposition au programme signalée spontanément par les personnes interrogées Sélectionnez deux types d’environnement pour mener les études d’évaluation − Les environnements d’intervention où les publicités ont été diffusées − Les environnements de comparaison où les publicités n’ont pas été diffusées Un taux de réduction du tabagisme plus élevé dans les environnements d’intervention que dans ceux de comparaison peut indiquer que le programme a eu un impact Éviter les biais d’auto-sélection Les différences entre les environnements de comparaison et les environnements d’intervention peuvent néanmoins être importantes © 2008 École de Santé Publique John Hopkins Bloomberg 23 © 2008 École de Santé Publique John Hopkins Bloomberg 24 4 Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD Comparaison entre environnements d’intervention et environnements de comparaison Auto-répartition des personnes en différents groupes exposés Effectuer les enquêtes dans les environnements où les publicités ont été diffusées Utilisez les mesures d’auto-évaluation des personnes interrogées sur leur degré d’exposition pour les répartir en groupes Un taux de tabagisme moindre chez les personnes interrogées exposées, comparativement à celles non exposées, peut indiquer que le programme a eu un impact Biais possible : les personnes déjà motivées pour arrêter de fumer peuvent être plus susceptibles de se remémorer les publicités − Ce facteur souligne l’importance qu’il y a à comprendre les différences sous-jacentes qui existent entre les groupes exposés et les groupes non exposés © 2008 École de Santé Publique John Hopkins Bloomberg 25 Comparaison : personnes interrogées exposées et non exposées © 2008 École de Santé Publique John Hopkins Bloomberg 26 Analyses supplémentaires Examinez les changements sur la durée et les associations entre exposition et tabagisme pour déterminer si le programme a atteint ou non son objectif final Effectuez des analyses similaires avec des résultats intermédiaires pour tirer d’autres leçons − Les effets sur les résultats intermédiaires indiqueront dans quelle mesure le programme à eu un impact sur les décisions de fumer − Les résultats intermédiaires qui n’ont pas changé indiquent des domaines à améliorer dans les programmes ultérieurs © 2008 École de Santé Publique John Hopkins Bloomberg 27 © 2008 École de Santé Publique John Hopkins Bloomberg 28 Résumé L’évaluation des campagnes médiatiques permet de mesurer leur efficacité et de tirer des leçons qui serviront à de futurs programmes Utilisez le modèle conceptuel du programme pour déterminer quels sont les indicateurs pertinents à mesurer lors de l’évaluation Identifiez les effets de la campagne en : − Comparant la mesure de référence et la mesure finale pour évaluer les changements de comportement sur la durée − Comparant les groupes exposés et non exposés pour établir une relation entre les changements de comportement et la campagne © 2008 École de Santé Publique John Hopkins Bloomberg 29 5
