Comment s’est déroulée une évaluation de programme à laquelle vous avez collaboré ? Évaluation des interventions en innovation et en économie du savoir à Développement économique Canada Daniel Otis Direction Qualité et examen Développement économique Canada Présentation au colloque de la SQEP 29 octobre 2004 Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions Objectifs de la présentation • Décrire les contraintes qui «déterminent» le choix d’une stratégie d’évaluation • L’utilité de faire un «post mortem» de toute démarche d’évaluation – Permettre de tirer des enseignements pour le futur Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 2 Plan de présentation • Brève présentation de l’agence – Direction Qualité et examen • Contexte de l’évaluation • Mandat d’évaluation • Étapes de planification de l’évaluation – Élaboration d’un devis d’évaluation • Étapes de réalisation de l’évaluation • Post mortem – Utilité des résultats – Efficacité et efficience du processus Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 3 À propos de Développement économique Canada • Mandat : Promouvoir le développement régional au Québec • Budget annuel : environ 350 millions $ • Nombre d'employés : environ 400 • 14 bureaux d'affaires, un siège social à Montréal et un bureau de liaison situé à Gatineau Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 4 À propos de Développement économique Canada • Clientèle principale visée : PME • Principaux services offerts : – Aide financière (contributions et subventions) – renseignements, références, avis et accompagnement pour la réalisation de projets de développement Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 5 Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 6 Direction Qualité et examen • Regroupe les fonctions de mesure du rendement, d’évaluation, de vérification et de Qualité (ISO 9001) – Une quinzaine d’ETP, dont 5,5 ETP en évaluation • Principales responsabilités de l’équipe : – Supervision des projets d’évaluation • Selon les exigences du Conseil du trésor • Selon les demandes ad hoc – Rédaction du rapport ministériel sur le rendement – Services-conseils en mesure du rendement (annexe E) et en évaluation de projets auprès des bureaux d’affaires Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 7 Contexte de l’évaluation En juin 2001, le Conseil du Trésor approuvait le transfert, B l’agence, du solde du budget de 177,2 M$ du Fonds du Canada pour la création d’emplois (FCCE) pour lui permettre d’intensifier ses interventions en matière d’innovation, avec un effort accru dans les régions qui éprouvent des difficultés à s’adapter au nouveau contexte économique. Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 8 Contexte de l’évaluation • Avant 2001 • Agence intervenait déjà en innovation – Programme IDÉE-PME (1994) : • L’innovation / R-D était l’un des trois axes d’intervention – Programme IRS (1997) : • Accroître la capacité technologique des régions pour favoriser l’utilisation des technologies les plus appropriées et leur adaptation par la PME Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 9 Contexte de l’évaluation • Novembre 2001, – Le secrétaire d’État responsable de l’agence annonce que l’axe innovation du programme IDÉE-PME serait élargi – Inclusion d’un nouvel axe Innovation et productivité dans le but d’améliorer la performance des PME québécoises en matière d’innovation et de productivité – Deux volets • Volet 1 : Innovation – Sous-volet : Essais et expérimentations / ressources naturelles • Volet 2 : Productivité – Sous-volet : Affaires électroniques Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 10 Mandat d’évaluation • L’évaluation doit répondre B deux grandes préoccupations – … une exigence externe : celle du Conseil du Trésor • Le CT dans sa décision du 7 juin 2001 (CT 829053) exige que l’agence « procède à une évaluation des programmes démontrant les résultats des activités liées à l’innovation et à l’économie du savoir financées par les crédits transférés du Fonds du Canada pour la création d’emplois avant juin 2004». Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 11 Mandat d’évaluation – … des préoccupations internes : • L’agence est B l’étape de la planification des travaux entourant : – le renouvellement de sa programmation dont l’échéance est 2005-2006. » L’évaluation, comme fonction de gestion, contribue au cycle de gestion de l’agence en permettant notamment de tirer des enseignements pour l’avenir des interventions réalisées – Le renouvellement des fonds FCCE (juin 2004) Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 12 Étapes de la planification (1) Étapes d’élaboration d’un devis d’évaluation Été 2003 •Consultation des directions sur leurs préoccupations à l’égard de l’évaluation •Revue de la documentation / recension des écrits / données disponibles à l’interne •Rédaction d’un devis d’évaluation Septembre 2003 •Composition du comité d’évaluation •Approbation du devis d’évaluation •Octobre 2003 •Début de la phase de réalisation Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 13 Étapes de planification (1) • Première étape : rédaction d’un devis d’évaluation Description de la logique d’intervention de l’agence en innovation / économie du savoir • Avoir une compréhension commune sur : – les intentions et le rationnel (raison d’être, cibles et objectifs) – l’intervention et ses effets (dynamique interne liée à la gestion et la mise en œuvre des interventions et de leurs effets et répercussions) Étape importante compte tenu de la nature des interventions de l’agence – Diversité des interventions (programmes / types d’intervention / clientèles) • rappel cadre d’intervention stratégique Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 14 Étapes de planification (2) • Défis méthodologiques et organisationnels – Défis méthodologiques: • Comment mesurer les effets pour les entreprises ? – Groupe contrôle / faisabilité ? • Comment mesurer les effets pour les projets «organismes» / les régions ? • Comment faire la démonstration de l’intensification des interventions de l’agence ? Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 15 Étapes de la planification (3) • Défis organisationnels – Nos consultations à l’interne ont permis de dégager certaines préoccupations et aussi identifier certaines réticences à l’égard d’enjeux d’évaluation. Par exemple : • Avoir un «regard» prospectif pas uniquement rétrospectif • Certaines réticences à intégrer l’enjeu de la mise en oeuvre • Contraintes «logistiques» – Échéancier de réalisation (avant juin 2004) – Budget : 100K$ Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 16 Étapes de la planification (3) • Pour la version finale du devis, nous avons tenu compte de certaines des préoccupations et effectué certains choix méthodologiques • Enjeux d’évaluation – Intégration de la dimension prospective – Maintien de l’enjeu de la mise en oeuvre • Respect de l’échéancier – Utilisation de plusieurs firmes pour réaliser en parallèle les différents travaux – Études de cas – organismes / régions • Respect du budget – Travaux réalisés à l’interne Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 17 Enjeux d’évaluation • L’évaluation a porté sur quatre grands enjeux, soit : – Enjeu de la pertinence • A-t-on fait les bonnes choses ? – Enjeu de la mise en œuvre • A-t-on bien fait les choses ? – Enjeu des effets et répercussions • Quels sont les résultats ? – Enjeu des perspectives d’intervention • Comment devrions-nous intervenir ? Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 18 Enjeu – Pertinence de l’intervention (1) • Objectif : – Procéder à l’examen de la logique d’intervention: • le maintien ou non de la pertinence des cibles, des objectifs et de la nature de l’intervention • Les questions s’articulent autour des thPmes suivants : – la conception de l’approche d’intervention – l’adéquation aux besoins – la cohérence de l’approche d’intervention Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 19 Enjeu – Pertinence de l’intervention (2) • Méthodologie : – Revue de la documentation interne – Entrevues auprès des directeurs des bureaux d’affaires (n=14) /Entrevues avec des partenaires fédéraux (protocole d’entente) (n=5) – Enquête intranet auprès des conseillers de l’agence (54 / 95) – Enquête téléphonique auprès des entreprises – Études de cas – régions / organismes Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 20 Enjeu – Mise en oeuvre (1) • Objectif : – Vérifier si la mise en œuvre des interventions s’est déroulée telle que prévue / problèmes rencontrés • Les questions s’articulent autour des thèmes suivants : – La planification de la mise en oeuvre des interventions – l’utilisation des ressources humaines et financières (intrants) – le suivi de la mise en oeuvre – Le bilan des interventions (extrants) – A-t-on intensifié nos interventions depuis juin 2001 ? Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 21 Enjeu – Mise en oeuvre (2) • Méthodologie : – Entrevues auprès des directeurs des bureaux d’affaires (n=14) – Entrevues avec des partenaires fédéraux (protocole d’entente) (n=5) – Enquête intranet auprès des conseillers de l’agence (54 / 95) – Analyse de la base de données HERMÈS (extrants) – Enquête téléphonique auprès des entreprises – Études de cas – régions / organismes Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 22 Enjeu – Effets et répercussions (1) • Objectif : – Déterminer les effets et répercussions des projets en innovation et économie du savoir • Les questions s’articulent autour des thèmes suivants : – les effets immédiats et intermédiaires sur les entreprises – Ex. Commercialisation / transferts de technologies – mais aussi les effets et répercussions sur les milieux régionaux – Système régional d’innovation / capacités technologiques des régions Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 23 Enjeu – Effets et répercussions (2) • Résultats attendus : – Quels sont les résultats «bruts» de nos interventions auprès : • des entreprises – accroissement des ventes / réduction des coûts de production, etc.) • des organismes / régions – Contribution à la mise en place d’un système régional d’innovation Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 24 Enjeu – Effets et répercussions (3) • Méthodologie : – Enquête téléphonique auprès des clients entreprises (404/740) – Études de cas • Organismes (8) • Régions (3) Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 25 Enjeu – Perspectives d’intervention (1) • Objectifs : – Dégager les grandes tendances d’intervention dans le domaine de l’innovation et du développement régional – Décrire comment d’autres organismes interviennent en innovation Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 26 Enjeu – Perspectives d’intervention (2) • Les questions s’articulent autour des thèmes suivants : – Quel est rôle de L’État / des agences en innovation ? – Quels sont les instruments d’intervention les plus efficaces, etc. ? – Quelles sont les approches d’intervention utilisées par d’autres organismes ? Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 27 Enjeu – Perspectives d’intervention (3) • Résultats attendus : – Identification des tendances lourdes d’intervention en innovation, les instruments d’intervention les plus efficaces, etc. – Positionner l’intervention de l’intervention par rapport à d’autres organismes Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 28 Enjeu – Perspectives d’intervention (4) • Méthodologie : – Consultation téléphonique de 14 experts internationaux en innovation / développement régional • Une adaptation de la méthode DELPHI – Étalonnage de 7 organismes qui interviennent en innovation / développement régional • Positionnement de l’intervention de l’agence par rapport à ses organismes Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 29 Sources et méthodes de collecte de données Pertinence Mise en oeuvre Effets et répercussions Les clients ayant reçu une aide financière de l’agence (enquête) Y Y Y Études de cas (organismes / régions) Y Y Y Gestionnaires et conseillers de l’agence (entrevues/enquête) Y Y Partenaires fédéraux (entrevues) Y Y Experts (DELPHI) Y Organismes en innovation / développement régional (Étalonnage) Y Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions Prospectif Y Y Y 30 Étapes de réalisation (1) Octobre 2003 •Constitution des groupes de travail •Octobre 2003 / mars 2004 •Firme A •Enquête téléphonique auprès des clients entreprises •Enquête intranet auprès des conseillers •Entrevues auprès des directeurs / partenaires Janvier 2004 •Firme B •Étalonnage et Delphi •Huit (8) firmes •Études de cas (régions / organismes) Avril/ mai 2004 •Dépôt des rapports préliminaires Juin 2004 Présentation au comité d’évaluation (une journée) Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 31 Étapes de réalisation (2) • Gestion de l’évaluation • Une équipe d’évaluation (3) – 2 personnes responsables du projet – DQE • Élaboration des termes de référence – 1 personne – DGPP - impliquée dans le volet – perspectives d’intervention • Un comité de suivi de l’évaluation – Représentants des différentes directions de l’agence – Deux experts externes en évaluation et en innovation Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 32 Étapes de réalisation (3) • Principales responsabilités du comité d’évaluation /groupes de travail • Approuver : – le devis final d’évaluation (automne 2003) – les différents outils de collecte de données (hiver 2004) – le rapport final • Soutien à l’équipe d’évaluation: – Définir les critères pour la sélection des études de cas – Identifier les experts québécois, canadiens et internationaux (groupe de discussion et enquête DELPHI) – Commenter les différents biens livrables (présentations, rapports intérimaires, rapports finaux, recommandations) Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 33 Étapes de réalisation (4) • Différentes firmes ont été impliquées dans la réalisation des différents travaux en raison de l’échéancier de réalisation – Rédaction d’un rapport par chacune des firmes impliquées – Rapport-synthèse rédigé par la DQE • Les différents rapports deviennent des annexes Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 34 Post mortem (1) • Utilité – Utilisation des rapports préliminaires pour fins de présentation dans le cadre du renouvellement des orientations stratégiques • Comité de gestion ministérielle (juin) • Secteur Planification et politiques (août) • Secteur des opérations (septembre) – Renouvellement du FCCE • Préparation d’une synthèse des principaux résultats pour le Conseil du trésor (novembre) Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 35 Post mortem (2) • Efficacité et efficience du processus – Gestion de l’évaluation • Équipe d’évaluation – Répartition des tâches de supervision entre les membres de l’équipe d’évaluation • Comité d’évaluation / groupes de travail – À améliorer • Méthodologie – Organismes – mesure des effets (enquête ?) – Étalonnage • Synthèse des rapports (en cours) – À partir des enjeux et questions d’évaluation du devis – Plus compliqué pour les études de cas Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 36 Post mortem (3) • Respect du budget • Développer un outil pour évaluer les coûts des études de cas • Travaux réalisés à l’interne – Bilan des interventions / Rapport-synthèse • Respect des échéanciers – Partiellement • Oui, pour le dépôt des rapports préliminaires • Modification de l’échéancier – Changement de gouvernement / élections Utilisation de plusieurs firmes afin de respecter l’échéancier Canada Economic Développement Development économique Canada pour les régions du Québec for Quebec Regions 37