Évaluation des interventions - La Société québécoise d`évaluation

Comment s’est déroulée une évaluation de
programme à laquelle vous avez collaboré ?
Évaluation des interventions en innovation et en économie du savoir
à Développement économique Canada
Daniel Otis
Direction Qualité et examen
Développement économique Canada
Présentation au colloque de la SQEP
29 octobre 2004
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
Objectifs de la présentation
• Décrire les contraintes qui «déterminent» le
choix d’une stratégie d’évaluation
• L’utilité de faire un «post mortem» de toute
démarche d’évaluation
– Permettre de tirer des enseignements pour le futur
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
2
Plan de présentation
• Brève présentation de l’agence
– Direction Qualité et examen
• Contexte de l’évaluation
• Mandat d’évaluation
• Étapes de planification de l’évaluation
– Élaboration d’un devis d’évaluation
• Étapes de réalisation de l’évaluation
• Post mortem
– Utilité des résultats
– Efficacité et efficience du processus
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
3
À propos de Développement
économique Canada
• Mandat : Promouvoir le développement
régional au Québec
• Budget annuel : environ 350 millions $
• Nombre d'employés : environ 400
• 14 bureaux d'affaires, un siège social à
Montréal et un bureau de liaison situé à
Gatineau
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
4
À propos de Développement
économique Canada
• Clientèle principale visée : PME
• Principaux services offerts :
– Aide financière (contributions et subventions)
– renseignements, références, avis et
accompagnement pour la réalisation de projets de
développement
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
5
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
6
Direction Qualité et examen
• Regroupe les fonctions de mesure du rendement,
d’évaluation, de vérification et de Qualité (ISO 9001)
– Une quinzaine d’ETP, dont 5,5 ETP en évaluation
• Principales responsabilités de l’équipe :
– Supervision des projets d’évaluation
• Selon les exigences du Conseil du trésor
• Selon les demandes ad hoc
– Rédaction du rapport ministériel sur le rendement
– Services-conseils en mesure du rendement (annexe E) et en
évaluation de projets auprès des bureaux d’affaires
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
7
Contexte de l’évaluation
En juin 2001, le Conseil du Trésor approuvait le
transfert, B l’agence, du solde du budget de 177,2 M$
du Fonds du Canada pour la création d’emplois (FCCE)
pour lui permettre d’intensifier ses interventions en
matière d’innovation, avec un effort accru dans les
régions qui éprouvent des difficultés à s’adapter au
nouveau contexte économique.
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
8
Contexte de l’évaluation
• Avant 2001
• Agence intervenait déjà en innovation
– Programme IDÉE-PME (1994) :
• L’innovation / R-D était l’un des trois axes d’intervention
– Programme IRS (1997) :
• Accroître la capacité technologique des régions pour
favoriser l’utilisation des technologies les plus
appropriées et leur adaptation par la PME
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
9
Contexte de l’évaluation
• Novembre 2001,
– Le secrétaire d’État responsable de l’agence annonce que
l’axe innovation du programme IDÉE-PME serait élargi
– Inclusion d’un nouvel axe Innovation et productivité dans le
but d’améliorer la performance des PME québécoises en
matière d’innovation et de productivité
– Deux volets
• Volet 1 : Innovation
– Sous-volet : Essais et expérimentations / ressources naturelles
• Volet 2 : Productivité
– Sous-volet : Affaires électroniques
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
10
Mandat d’évaluation
• L’évaluation doit répondre B deux grandes
préoccupations
– … une exigence externe : celle du Conseil du
Trésor
• Le CT dans sa décision du 7 juin 2001 (CT 829053)
exige que l’agence « procède à une évaluation des
programmes démontrant les résultats des activités liées
à l’innovation et à l’économie du savoir financées par les
crédits transférés du Fonds du Canada pour la création
d’emplois avant juin 2004».
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
11
Mandat d’évaluation
– … des préoccupations internes :
• L’agence est B l’étape de la planification des travaux
entourant :
– le renouvellement de sa programmation dont l’échéance
est 2005-2006.
» L’évaluation, comme fonction de gestion, contribue au cycle de
gestion de l’agence en permettant notamment de tirer des
enseignements pour l’avenir des interventions réalisées
– Le renouvellement des fonds FCCE (juin 2004)
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
12
Étapes de la planification (1)
Étapes d’élaboration d’un devis d’évaluation
Été 2003
•Consultation des directions sur leurs préoccupations à l’égard de l’évaluation
•Revue de la documentation / recension des écrits / données disponibles à l’interne
•Rédaction d’un devis d’évaluation
Septembre 2003
•Composition du comité d’évaluation
•Approbation du devis d’évaluation
•Octobre 2003
•Début de la phase de réalisation
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
13
Étapes de planification (1)
• Première étape : rédaction d’un devis d’évaluation
Description de la logique d’intervention de l’agence en innovation /
économie du savoir
• Avoir une compréhension commune sur :
– les intentions et le rationnel (raison d’être, cibles et objectifs)
– l’intervention et ses effets (dynamique interne liée à la gestion
et la mise en œuvre des interventions et de leurs effets et
répercussions)
Étape importante compte tenu de la nature des interventions de
l’agence
– Diversité des interventions (programmes / types d’intervention /
clientèles)
• rappel cadre d’intervention stratégique
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
14
Étapes de planification (2)
• Défis méthodologiques et organisationnels
– Défis méthodologiques:
• Comment mesurer les effets pour les entreprises ?
– Groupe contrôle / faisabilité ?
• Comment mesurer les effets pour les projets
«organismes» / les régions ?
• Comment faire la démonstration de l’intensification des
interventions de l’agence ?
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
15
Étapes de la planification (3)
• Défis organisationnels
– Nos consultations à l’interne ont permis de dégager certaines
préoccupations et aussi identifier certaines réticences à l’égard
d’enjeux d’évaluation. Par exemple :
• Avoir un «regard» prospectif pas uniquement rétrospectif
• Certaines réticences à intégrer l’enjeu de la mise en oeuvre
• Contraintes «logistiques»
– Échéancier de réalisation (avant juin 2004)
– Budget : 100K$
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
16
Étapes de la planification (3)
• Pour la version finale du devis, nous avons tenu compte
de certaines des préoccupations et effectué certains
choix méthodologiques
• Enjeux d’évaluation
– Intégration de la dimension prospective
– Maintien de l’enjeu de la mise en oeuvre
• Respect de l’échéancier
– Utilisation de plusieurs firmes pour réaliser en parallèle les
différents travaux
– Études de cas – organismes / régions
• Respect du budget
– Travaux réalisés à l’interne
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
17
Enjeux d’évaluation
• L’évaluation a porté sur quatre grands enjeux,
soit :
– Enjeu de la pertinence
• A-t-on fait les bonnes choses ?
– Enjeu de la mise en œuvre
• A-t-on bien fait les choses ?
– Enjeu des effets et répercussions
• Quels sont les résultats ?
– Enjeu des perspectives d’intervention
• Comment devrions-nous intervenir ?
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
18
Enjeu – Pertinence de l’intervention (1)
• Objectif :
– Procéder à l’examen de la logique d’intervention:
• le maintien ou non de la pertinence des cibles, des
objectifs et de la nature de l’intervention
• Les questions s’articulent autour des thPmes
suivants :
– la conception de l’approche d’intervention
– l’adéquation aux besoins
– la cohérence de l’approche d’intervention
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
19
Enjeu – Pertinence de l’intervention (2)
• Méthodologie :
– Revue de la documentation interne
– Entrevues auprès des directeurs des bureaux d’affaires (n=14)
/Entrevues avec des partenaires fédéraux (protocole
d’entente) (n=5)
– Enquête intranet auprès des conseillers de l’agence (54 / 95)
– Enquête téléphonique auprès des entreprises
– Études de cas – régions / organismes
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
20
Enjeu – Mise en oeuvre (1)
• Objectif :
– Vérifier si la mise en œuvre des interventions s’est
déroulée telle que prévue / problèmes rencontrés
• Les questions s’articulent autour des thèmes
suivants :
– La planification de la mise en oeuvre des interventions
– l’utilisation des ressources humaines et financières
(intrants)
– le suivi de la mise en oeuvre
– Le bilan des interventions (extrants)
– A-t-on intensifié nos interventions depuis juin 2001 ?
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
21
Enjeu – Mise en oeuvre (2)
• Méthodologie :
– Entrevues auprès des directeurs des bureaux d’affaires
(n=14)
– Entrevues avec des partenaires fédéraux (protocole
d’entente) (n=5)
– Enquête intranet auprès des conseillers de l’agence (54 / 95)
– Analyse de la base de données HERMÈS (extrants)
– Enquête téléphonique auprès des entreprises
– Études de cas – régions / organismes
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
22
Enjeu – Effets et répercussions (1)
• Objectif :
– Déterminer les effets et répercussions des projets en
innovation et économie du savoir
• Les questions s’articulent autour des thèmes
suivants :
– les effets immédiats et intermédiaires sur les entreprises
– Ex. Commercialisation / transferts de technologies
– mais aussi les effets et répercussions sur les milieux
régionaux
– Système régional d’innovation / capacités technologiques
des régions
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
23
Enjeu – Effets et répercussions (2)
• Résultats attendus :
– Quels sont les résultats «bruts» de nos interventions auprès :
• des entreprises
– accroissement des ventes / réduction des coûts de
production, etc.)
• des organismes / régions
– Contribution à la mise en place d’un système régional
d’innovation
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
24
Enjeu – Effets et répercussions (3)
• Méthodologie :
– Enquête téléphonique auprès des clients entreprises
(404/740)
– Études de cas
• Organismes (8)
• Régions (3)
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
25
Enjeu – Perspectives d’intervention (1)
• Objectifs :
– Dégager les grandes tendances d’intervention
dans le domaine de l’innovation et du
développement régional
– Décrire comment d’autres organismes
interviennent en innovation
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
26
Enjeu – Perspectives d’intervention (2)
• Les questions s’articulent autour des thèmes
suivants :
– Quel est rôle de L’État / des agences en
innovation ?
– Quels sont les instruments d’intervention les plus
efficaces, etc. ?
– Quelles sont les approches d’intervention utilisées
par d’autres organismes ?
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
27
Enjeu – Perspectives d’intervention (3)
• Résultats attendus :
– Identification des tendances lourdes d’intervention
en innovation, les instruments d’intervention les
plus efficaces, etc.
– Positionner l’intervention de l’intervention par
rapport à d’autres organismes
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
28
Enjeu – Perspectives d’intervention (4)
• Méthodologie :
– Consultation téléphonique de 14 experts
internationaux en innovation / développement
régional
• Une adaptation de la méthode DELPHI
– Étalonnage de 7 organismes qui interviennent en
innovation / développement régional
• Positionnement de l’intervention de l’agence par rapport
à ses organismes
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
29
Sources et méthodes de collecte
de données
Pertinence
Mise en
oeuvre
Effets et
répercussions
Les clients ayant reçu une aide
financière de l’agence (enquête)
Y
Y
Y
Études de cas (organismes /
régions)
Y
Y
Y
Gestionnaires et conseillers de
l’agence (entrevues/enquête)
Y
Y
Partenaires fédéraux
(entrevues)
Y
Y
Experts (DELPHI)
Y
Organismes en innovation /
développement régional
(Étalonnage)
Y
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
Prospectif
Y
Y
Y
30
Étapes de réalisation (1)
Octobre 2003
•Constitution des groupes de travail
•Octobre 2003 / mars 2004
•Firme A
•Enquête téléphonique auprès des clients entreprises
•Enquête intranet auprès des conseillers
•Entrevues auprès des directeurs / partenaires
Janvier 2004
•Firme B
•Étalonnage et Delphi
•Huit (8) firmes
•Études de cas (régions / organismes)
Avril/ mai 2004
•Dépôt des rapports préliminaires
Juin 2004
Présentation au comité d’évaluation (une journée)
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
31
Étapes de réalisation (2)
• Gestion de l’évaluation
• Une équipe d’évaluation (3)
– 2 personnes responsables du projet – DQE
• Élaboration des termes de référence
– 1 personne – DGPP - impliquée dans le volet – perspectives
d’intervention
• Un comité de suivi de l’évaluation
– Représentants des différentes directions de l’agence
– Deux experts externes en évaluation et en innovation
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
32
Étapes de réalisation (3)
• Principales responsabilités du comité d’évaluation
/groupes de travail
• Approuver :
– le devis final d’évaluation (automne 2003)
– les différents outils de collecte de données (hiver 2004)
– le rapport final
• Soutien à l’équipe d’évaluation:
– Définir les critères pour la sélection des études de cas
– Identifier les experts québécois, canadiens et internationaux
(groupe de discussion et enquête DELPHI)
– Commenter les différents biens livrables (présentations, rapports
intérimaires, rapports finaux, recommandations)
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
33
Étapes de réalisation (4)
• Différentes firmes ont été impliquées dans la
réalisation des différents travaux en raison de
l’échéancier de réalisation
– Rédaction d’un rapport par chacune des firmes
impliquées
– Rapport-synthèse rédigé par la DQE
• Les différents rapports deviennent des annexes
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
34
Post mortem (1)
• Utilité
– Utilisation des rapports préliminaires pour fins de
présentation dans le cadre du renouvellement des
orientations stratégiques
• Comité de gestion ministérielle (juin)
• Secteur Planification et politiques (août)
• Secteur des opérations (septembre)
– Renouvellement du FCCE
• Préparation d’une synthèse des principaux résultats pour le
Conseil du trésor (novembre)
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
35
Post mortem (2)
• Efficacité et efficience du processus
– Gestion de l’évaluation
• Équipe d’évaluation
– Répartition des tâches de supervision entre les membres de
l’équipe d’évaluation
• Comité d’évaluation / groupes de travail
– À améliorer
• Méthodologie
– Organismes – mesure des effets (enquête ?)
– Étalonnage
• Synthèse des rapports (en cours)
– À partir des enjeux et questions d’évaluation du devis
– Plus compliqué pour les études de cas
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
36
Post mortem (3)
• Respect du budget
• Développer un outil pour évaluer les coûts des études de cas
• Travaux réalisés à l’interne
– Bilan des interventions / Rapport-synthèse
• Respect des échéanciers
– Partiellement
• Oui, pour le dépôt des rapports préliminaires
• Modification de l’échéancier
– Changement de gouvernement / élections Utilisation de plusieurs
firmes afin de respecter l’échéancier
Canada Economic
Développement
Development
économique Canada
pour les régions du Québec for Quebec Regions
37