Comment poser un regard critique sur une analyse coût-avantage dans le cadre d’une évaluation? Catherine Mueller 21 février 2013 2 Plan de la présentation Directives de la politique d’évaluation du Secrétariat du Conseil du Trésor du Canada : démonstration de l’économie et analyse coût-avantage La pertinence de l’analyse coût-avantage dans le cadre d’une évaluation Les problématiques de l’analyse coût-avantage dans le cadre d’une évaluation Le rôle des évaluateurs dans la conduite d’une analyse coûtavantage Liste d’essentiels pour une lecture critique d’une analyse coûtavantage Directives de la politique d’évaluation du Secrétariat du Conseil du Trésor du Canada 3 Quelques définitions du Centre d’excellence en évaluation du Secrétariat du Conseil du Trésor du Canada Économie : Il y a économie lorsque le coût des ressources utilisées se rapproche de la quantité minimale de ressources requises pour obtenir les résultats escomptés Efficacité : Mesure dans laquelle un programme produit les résultats escomptés Efficience : Mesure dans laquelle les ressources sont utilisées de manière à produire un plus grand niveau d'extrants avec le même niveau d'intrant, ou le même niveau d'extrant avec un plus faible niveau d'intrant. Les niveaux d'intrants et d'extrants peuvent se traduire par des hausses ou des baisses de qualité, de quantité, ou les deux. 4 Directives de la politique d’évaluation du Secrétariat du Conseil du Trésor du Canada (suite) Les directives de la politique d’évaluation de 2009 : Les questions fondamentales Démonstration de l’économie Optimisation de l’efficacité et de l’efficience Question fondamentale 5 : Évaluation de l’utilisation des ressources relativement à la production des extrants (coûts) et aux progrès réalisés concernant l’atteinte des résultats escomptés (bénéfices/avantages) L’analyse coût-avantage peut être choisie en tant que ligne d’investigation dans le cadre d’une évaluation La pertinence de l’analyse coût-avantage dans le cadre d’une évaluation 5 Un outil d’aide à la prise de décision qui permet d’évaluer l’intérêt pour la société d’un projet, programme ou réglementation L’analyse peut être utilisée pour aider à juger et évaluer différents choix stratégiques en termes de leurs conséquences sur tous les groupes de la société affectés par ces décisions Fournit un cadre pour analyser les données disponibles sous une forme structurée (coûts et bénéfices) La pertinence de l’analyse coût-avantage dans le cadre d’une évaluation (suite) Facilite la concertation entre les différentes parties prenantes en fournissant un cadre structuré Transparence du processus décisionnel : identification et quantification de l’ensemble des éléments en fournissant un cadre structuré pour la prise de décision Investiguer les coûts d’opportunité de l’intervention publique : une mesure de la perte des bénéfices d’une intervention publique auxquelle on renonce en affectant les ressources disponibles à une autre intervention 6 Les problématiques de l’analyse coût-avantage 7 dans le cadre d’une évaluation Lourdeur des études Biais stratégiques Analyse complexe à mettre en œuvre, surtout pour obtenir des données sur certains types d’effets La valeur économique se base sur les préférences individuelles et est mesurée par le biais de sondages Les répondants peuvent répondre de manière stratégique afin d’obtenir un gain des décideurs Précision limitée Parfois l’intangible est difficile à mesurer mais utile dans la prise de décision Les problématiques de l’analyse coût-avantage 8 dans le cadre d’une évaluation (suite) Possibilité d’orienter les analyses Les hypothèses peuvent être orientées pour favoriser un projet ou une décision plus que les autres Type des questions pour l’analyse coût-avantage Est-ce que la proposition fournit un bénéfice net à la société toute entière? Devrait-on mettre en œuvre le projet, programme ou réglementation considéré? Devrait-on poursuivre avec le projet ou programme? Parmi plusieurs projets alternatifs, lequel devrait être sélectionné? 9 Rôle des évaluateurs dans la conduite d’une analyse coût-avantage Mettre en place les prérequis organisationnels 10 Justifier le coût d’une analyse coût-avantage Indépendance dans la conduite de l’étude Reconnaître les critiques ainsi que les limites de l’étude et les inclure dans le rapport final d’évaluation Spécifier les différents scénarios Définir les choix possibles avec les parties prenantes et les experts/consultants Statut quo amélioré versus autres alternatives avec intervention publique Rôle des évaluateurs dans la conduite d’une analyse coût-avantage (suite) Définir la portée de l’analyse 11 Tâche en concertation avec les parties prenantes et les experts/consultants Périmètre de l’analyse : se questionner sur quels groupes vont porter les conséquences qui seront comptabilisées Groupes affectés directement et indirectement par la décision Lister les conséquences et choisir leurs indicateurs de mesure Tâche effectuée par les experts/consultants Mesure des impacts : répertorier tous les impacts du projet Impacts négatifs/coûts et impacts positifs/bénéfices Utilisation de ‘proxy’, variable proche de celle pour laquelle on cherche des données et pour laquelle davantage d’information est disponible Rôle des évaluateurs dans la conduite d’une analyse coût-avantage (suite) Prédire quantitativement les conséquences sur la durée de vie du projet 12 Tâche effectuée par les experts/consultants Chaque scénario de projet aura des effets pendant plusieurs années après sa mise en œuvre Incertitude scientifique : certaines prédictions nécessitent des connaissances scientifiques qui peuvent être incertaines au moment du démarrage du projet Monétiser les conséquences Tâche effectuée par les experts/consultants Consentement à payer pour des biens marchands Rôle des évaluateurs dans la conduite d’une analyse coût-avantage (suite) Actualiser coûts et bénéfices futurs Tâche effectuée par les experts/consultants Taux d’actualisation Valeur nette actualisée Bénéfice net annuel moyen Analyser la robustesse des résultats Tâche effectuée par les experts/consultants L’analyse de l’incertitude Faire une recommandation de décision Tâche effectuée par les évaluateurs Choisir le scénario pour lequel les bénéfices nets sont les plus grands L’analyse coût-avantage recommande de mettre en œuvre le projet qui prévoit le plus grand accroissement du bien-être social 13 Liste d’essentiels pour une lecture critique d’une analyse coût-avantage 14 Les éléments suivants devraient figurer dans le rapport technique de l’analyse coût-avantage Un résumé ou sommaire exécutif présentant les hypothèses critiques, les principaux résultats et recommandations Le contexte de l’étude : pourquoi avoir choisi l’analyse coût-avantage comme ligne d’investigation dans le rapport final d’évaluation Les objectifs du ou des projets, programmes ou activités étudiés Les principaux risques associés aux décisions possibles Une description des scénarios étudiés Le profil temporel d’apparition des coûts, des bénéfices et des bénéfices nets Liste d’essentiels pour une lecture critique d’une analyse coût-avantage (suite) 15 Les éléments suivants devraient figurer dans le rapport technique de l’analyse coût-avantage Les principales hypothèses reliées à l’analyse Le taux d’escompte employé Le calcul de la valeur nette actualisée Une analyse de l’incertitude D’autres informations importantes comme les effets distributionnels, d’autres coûts et bénéfices quantifiés, et les facteurs de la décision qui n’ont pas été quantifiés Une comparaison de l’option préférée à ses alternatives 16 Références MEUNIER, Valérie et Éric Marsden (2009) : L’analyse coût-bénéfices – Guide méthodologique, Les cahiers de la sécurité industrielle, Institut pour une culture de sécurité industrielle, 47 pages Secrétariat du Conseil du Trésor du Canada (2007) : Guide d’analyse coûtsavantages pour le Canada : Propositions de réglementation, Gouvernement du Canada, 52 pages LAMARI, Moktar (2012) : Méthode de mesure de rendement des programmes publics – Introduction - Séance 1, École nationale d’administration publique, 7 septembre, 17 acétates FLORIO, Massimo et Silvia Maffii (2008) : Guide to Cost Benefit Analysis of Investment Projects : Structural Funds, Cohesion Fund and Instrument for PreAccession, Directorate General Regional Policy, European Commission, juillet, 257 pages 17 Pour toutes questions ou commentaires [email protected] crexe.enap.ca Merci de votre attention!