Évaluer les campagnes médiatiques antitabacs

Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD
1
©2008 École de Santé Publique John Hopkins Bloomberg
Évaluer les campagnes médiatiques antitabac
Évaluer les campagnes médiatiques antitabac
Dr Marc Boulay
Centre pour les Programmes de Communication
École de Santé Publique Bloomberg Johns Hopkins
2
©2008 École de Santé Publique John Hopkins Bloomberg
Objectifs de l’enseignement
Comprendre les objectifs d’évaluation des campagnes médiatiques
Comprendre le processus de développement de l’évaluation
de campagnes médiatiques antitabac
Comprendre les approches de base utilisées pour évaluer
les impacts d’une campagne médiatique antitabac
3
©2008 École de Santé Publique John Hopkins Bloomberg
Le rôle des campagnes médiatiques dans la lutte antitabac
Les programmes complets de lutte antitabac comprennent souvent
des campagnes médiatiques
Ces interventions sont généralement destinées à dissuader les gens
de commencer à fumer et à encourager les fumeurs à arrêter
Les canaux médiatiques constituent un bon moyen de sensibiliser
un grand nombre de personnes aux messages antitabac
Si elles sont efficaces, les campagnes médiatiques antitabac sont
un moyen de réduire la consommation de tabac à grand échelle
à un coût relativement faible
4
©2008 École de Santé Publique John Hopkins Bloomberg
Nous évaluons ces campagnes pour savoir :
Si le programme a dissuadé les gens de commencer à fumer
et/ou encouragé les fumeurs à arrêter
Dans quelle mesure le programme a influencé les décisions
de fumer
Ce qui aurait pu être fait pour rendre la campagne plus efficace
5
©2008 École de Santé Publique John Hopkins Bloomberg
Étapes du développement et de l’évaluation
1. Identifier le modèle conceptuel à l’origine du programme
2. Définir les indicateurs servant à mesurer les éléments du modèle
conceptuel
3. Concevoir l’étude qui servira à mesurer et analyser ces indicateurs
6
©2008 École de Santé Publique John Hopkins Bloomberg
Étape1:identifierlemodèleconceptuel
Tous les programmes reposent sur une théorie spécifiant par quels
moyens ils sont censés atteindre leurs objectifs
Dans le cas des programmes de communication, cette théorie
décrit généralement les facteurs psychosociaux qui :
−Influencent le comportement qui résulte du programme
(par ex. fumer)
−Sont censés être influencés par une exposition aux messages
communiqués par le programme

Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD
2
7
©2008 École de Santé Publique John Hopkins Bloomberg
Modèle conceptuel représentatif
Une recherche préparatoire (y compris la lecture de publications
sur ce sujet, des études qualitatives auprès de groupes ciblés et
des analyses secondaires de données existantes) doit orienter le
développement de ce modèle conceptuel
8
©2008 École de Santé Publique John Hopkins Bloomberg
Comment identifier le modèle conceptuel à l’origine
du programme ?
Rencontrez les personnes chargées du développement du
programme et les parties prenantes pour identifier le modèle
conceptuel
−Quels sont les objectifs de la campagne en termes d’impact
sur le comportement ?
−Quels sont les facteurs psychosociaux liés au tabagisme
qui sont abordés dans les messages de la campagne ?
Quels sont les facteurs qui ne sont pas abordés dans
la campagne ?
−Qui est le public, et comment les messages lui sont-ils
communiqués (par ex. canal, moment, fréquences, etc.) ?
−Quels sont les facteurs contextuels qui peuvent aussi avoir
un impact sur le tabagisme ?
9
©2008 École de Santé Publique John Hopkins Bloomberg
Avantages de l’utilisation d’un modèle conceptuel
Le modèle conceptuel peut :
−Vous indiquer ce que vous devez mesurer
−Élargir le succès au-delà du résultat final
−Améliorer la capacité d’attribuer des effets au programme
−Permettre de comprendre précisément en quoi le programme
a été efficace ou pas
10
©2008 École de Santé Publique John Hopkins Bloomberg
Étape 2 : définir les indicateurs
Des indicateurs sont nécessaires pour mesurer chaque élément
du modèle conceptuel
Ces indicateurs doivent être « SMART » (intelligents)
−Spécifiques
−Mesurables
−Atteignables
−axés sur les Résultats
−limités dans le Temps
11
©2008 École de Santé Publique John Hopkins Bloomberg
Mesurer la mise en oeuvre du programme
Surveillez la mise en oeuvre du programme pour vous assurer
que les activités de communication se déroulent comme prévu
(évaluationduprocessus)
Cette étape a généralement lieu tout au long de la période de mise
en oeuvre du programme
Les indicateurs de mise en oeuvre du programme se basent souvent
sur des données existantes ou facilement accessibles pour
permettre des évaluations fréquentes (par ex. mensuelles
ou trimestrielles)
12
©2008 École de Santé Publique John Hopkins Bloomberg
Indicateurs utilisés pour mesurer la mise en oeuvre
du programme
Exemples d’indicateurs de résultats du programme
−Nombre de spots télévisés diffusés le mois dernier
−Nombre de posters distribués le mois dernier
Si possible, essayez d’identifier les sources de données disponibles
pour contrôler la portée du programme
−Insérez des questions dans des enquêtes déjà existantes
−Recensez le nombre d’appels téléphoniques passés au numéro
indiqué dans la publicité

Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD
3
13
©2008 École de Santé Publique John Hopkins Bloomberg
Mesurer les effets du programme
Les enquêtes auprès du public servent généralement à mesurer les
éléments restants du modèle conceptuel et à évaluer les effets du
programme (évaluation sommative)
L’exposition aux messages du programme constitue la mesure
fondamentale pour établir un lien entre la campagne et les effets
observés sur le tabagisme
Les effets de cette exposition peuvent être classés soit par résultats
intermédiaires soit par résultats sommaires :
−Les résultats intermédiaires sont les effets directs de
l’exposition sur les connaissances, les attitudes et les croyances
qui influent sur la décision de fumer
−Les résultats sommaires sont les effets indirects de l’exposition
(via les effets intermédiaires) sur le tabagisme
14
©2008 École de Santé Publique John Hopkins Bloomberg
Mesurer l’exposition au programme
L’exposition est généralement mesurée en demandant aux
personnes interrogées de signaler s’ils ont vu ou entendu
parler des supports de votre campagne pendant la période
de mise en oeuvre du projet
Il peut également être utile de mesurer l’exposition aux
publicités pro-tabac pour établir un variable contextuel
15
©2008 École de Santé Publique John Hopkins Bloomberg
Mesuresdirigéesetspontanéesdel’exposition
au programme
Les questions spontanées invitent les gens à se remémorer des
messages antitabac sans fournir d’informations spécifiques sur
la campagne
−Mesure plus forte qui nécessite un plus grand degré
d’implication dans le support de la campagne
−Peuvent ne pas identifier les personnes ayant été faiblement
exposées
Les questions dirigées invitent les gens à se remémorer des
publicités précises de la campagne
−Mesure plus faible qui peut compter des réponses biaisées
−Peuvent être plus utiles dans les campagnes menées à plus
petite échelle
16
©2008 École de Santé Publique John Hopkins Bloomberg
Questions dirigées et spontanées sur l’exposition
au programme
Questions spontanées
−Avez-vous vu des publicités antitabac au cours de cette année ?
−Si oui, décrivez les publicités que vous avez vues
−Les personnes sont considérées comme exposées si elles sont
suffisamment capables de décrire une publicité
Questions dirigées
−Avez-vous vu des publicités antitabac au cours de cette année
dont le slogan était __X__ ?
17
©2008 École de Santé Publique John Hopkins Bloomberg
Indicateurs pour mesurer l’exposition au programme
Pourcentage de personnes interrogées qui ont mémorisé une
publicité de la campagne sur une période donnée (utiliser la
périodedemiseenoeuvre)
Pourcentage de personnes interrogées qui ont mémorisé
[aucune/un petit nombre de/un grand nombre de] publicité(s)
de la campagne sur une période donnée
−Pour examiner une relation dose/effet
18
©2008 École de Santé Publique John Hopkins Bloomberg
Mesurer les effets intermédiaires d’une campagne
Les programmes de communication affectent les comportements
au niveau du processus de prise de décision
−Le modèle conceptuel doit décrire les facteurs psychosociaux
qui influencent la décision de fumer
Référez-vous à des enquêtes déjà menées pour identifier les
approches valides qui existent pour mesurer ces facteurs
Assurez-vous que les questions correspondent aux messages
de la campagne

Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD
4
19
©2008 École de Santé Publique John Hopkins Bloomberg
Mesurer le tabagisme
Plusieurs questions permettant de mesurer le tabagisme et l’arrêt
du tabagisme ont été développées
−Avez-vousfumécemois-ci?
−Avez-vous fumé au moins 100 cigarettes dans votre vie ?
−Avez-vous fumé cette année mais pas ce mois-ci ?
−Avez-vous essayé de vous arrêter de fumer au cours des six
derniers mois ?
−Etc.
Le choix de la mesure peut dépendre des objectifs de la campagne
−Arrêt du tabagisme ou prévention du tabagisme
−Jeunes ou adultes
20
©2008 École de Santé Publique John Hopkins Bloomberg
Étape3:conceptiondel’étude
La conception traditionnelle d’une étude d’évaluation des
publicités antitabac s’articule autour de trois questions
essentielles :
−Le tabagisme et les facteurs liés au tabagisme ont-ils changé
à la suite du programme ?
−Le tabagisme et les facteurs liés au tabagisme étaient-ils
associés à l’exposition au programme ?
−Les réponses aux questions 1 et 2 sont-elles toujours valides
si l’on prend en compte d’autres explications ?
21
©2008 École de Santé Publique John Hopkins Bloomberg
Mesure le changement de comportement sur la durée
Faites une enquête de référence avant de commencer votre
campagne et une enquête finale une fois votre campagne terminée
Dans les deux enquêtes
−Utilisez des mesures identiques pour les indicateurs du modèle
conceptuel afin de mesurer le changement de comportement
sur la durée
−Utilisez des stratégies d’échantillonnage identiques pour
éliminer la possibilité que les différences entre échantillons
soient la cause du changement de comportement
Surveillez les changements de contexte (par ex. nouveaux prix,
nouvelles taxes, etc.)
22
©2008 École de Santé Publique John Hopkins Bloomberg
Comparaison entre l’enquête de référence et l’enquête finale
23
©2008 École de Santé Publique John Hopkins Bloomberg
Exposition et résultats
Les conceptions expérimentales qui répartissent au hasard les
personnes dans des groupes exposés ou non exposés ne sont
généralement pas applicables à des programmes de communication
à grande échelle
Il existe deux approches de répartition des personnes dans les
groupes exposés :
−Les approches quasi-expérimentales qui identifient les lieux
où les publicités antitabac n’ont pas été diffusées
−L’auto-répartition basée sur l’exposition au programme
signalée spontanément par les personnes interrogées
24
©2008 École de Santé Publique John Hopkins Bloomberg
Répartition des personnes en différents groupes exposés
Sélectionnez deux types d’environnement pour mener les études
d’évaluation
−Les environnements d’intervention où les publicités ont été
diffusées
−Les environnements de comparaison où les publicités n’ont
pas été diffusées
Un taux de réduction du tabagisme plus élevé dans les environnements
d’intervention que dans ceux de comparaison peut indiquer que le
programme a eu un impact
Éviter les biais d’auto-sélection
Les différences entre les environnements de comparaison et les
environnements d’intervention peuvent néanmoins être importantes

Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD
5
25
©2008 École de Santé Publique John Hopkins Bloomberg
Comparaison entre environnements d’intervention
et environnements de comparaison
26
©2008 École de Santé Publique John Hopkins Bloomberg
Auto-répartition des personnes en différents groupes exposés
Effectuer les enquêtes dans les environnements où les publicités
ont été diffusées
Utilisez les mesures d’auto-évaluation des personnes interrogées
sur leur degré d’exposition pour les répartir en groupes
Un taux de tabagisme moindre chez les personnes interrogées
exposées, comparativement à celles non exposées, peut indiquer
que le programme a eu un impact
Biais possible : les personnes déjà motivées pour arrêter de fumer
peuvent être plus susceptibles de se remémorer les publicités
−Ce facteur souligne l’importance qu’il y a à comprendre
les différences sous-jacentes qui existent entre les groupes
exposés et les groupes non exposés
27
©2008 École de Santé Publique John Hopkins Bloomberg
Comparaison : personnes interrogées exposées et non exposées
28
©2008 École de Santé Publique John Hopkins Bloomberg
Analyses supplémentaires
Examinez les changements sur la durée et les associations entre
exposition et tabagisme pour déterminer si le programme a atteint
ou non son objectif final
Effectuez des analyses similaires avec des résultats intermédiaires
pour tirer d’autres leçons
−Les effets sur les résultats intermédiaires indiqueront dans
quelle mesure le programme à eu un impact sur les décisions
de fumer
−Les résultats intermédiaires qui n’ont pas changé indiquent
des domaines à améliorer dans les programmes ultérieurs
29
©2008 École de Santé Publique John Hopkins Bloomberg
Résumé
L’évaluation des campagnes médiatiques permet de mesurer
leur efficacité et de tirer des leçons qui serviront à de futurs
programmes
Utilisez le modèle conceptuel du programme pour déterminer
quels sont les indicateurs pertinents à mesurer lors de l’évaluation
Identifiez les effets de la campagne en :
−Comparant la mesure de référence et la mesure finale pour
évaluer les changements de comportement sur la durée
−Comparant les groupes exposés et non exposés pour établir
une relation entre les changements de comportement et la
campagne