Évaluation du rendement - CREXE

publicité
Comment poser un regard critique sur une
analyse coût-avantage dans
le cadre d’une évaluation?
Catherine Mueller
21 février 2013
2
Plan de la présentation





Directives de la politique d’évaluation du Secrétariat du Conseil
du Trésor du Canada : démonstration de l’économie et analyse
coût-avantage
La pertinence de l’analyse coût-avantage dans le cadre d’une
évaluation
Les problématiques de l’analyse coût-avantage dans le cadre
d’une évaluation
Le rôle des évaluateurs dans la conduite d’une analyse coûtavantage
Liste d’essentiels pour une lecture critique d’une analyse coûtavantage
Directives de la politique d’évaluation du
Secrétariat du Conseil du Trésor du Canada

3
Quelques définitions du Centre d’excellence en évaluation
du Secrétariat du Conseil du Trésor du Canada

Économie : Il y a économie lorsque le coût des ressources utilisées se
rapproche de la quantité minimale de ressources requises pour obtenir
les résultats escomptés

Efficacité : Mesure dans laquelle un programme produit les résultats
escomptés

Efficience : Mesure dans laquelle les ressources sont utilisées de
manière à produire un plus grand niveau d'extrants avec le même
niveau d'intrant, ou le même niveau d'extrant avec un plus faible niveau
d'intrant. Les niveaux d'intrants et d'extrants peuvent se traduire par des
hausses ou des baisses de qualité, de quantité, ou les deux.
4
Directives de la politique d’évaluation du
Secrétariat du Conseil du Trésor du Canada (suite)

Les directives de la politique d’évaluation de 2009 : Les questions
fondamentales

Démonstration de l’économie

Optimisation de l’efficacité et de l’efficience

Question fondamentale 5 : Évaluation de l’utilisation des ressources
relativement à la production des extrants (coûts) et aux progrès
réalisés concernant l’atteinte des résultats escomptés
(bénéfices/avantages)

L’analyse coût-avantage peut être choisie en tant que ligne
d’investigation dans le cadre d’une évaluation
La pertinence de l’analyse coût-avantage
dans le cadre d’une évaluation
5

Un outil d’aide à la prise de décision qui permet d’évaluer
l’intérêt pour la société d’un projet, programme ou
réglementation

L’analyse peut être utilisée pour aider à juger et évaluer
différents choix stratégiques en termes de leurs conséquences
sur tous les groupes de la société affectés par ces décisions

Fournit un cadre pour analyser les données disponibles sous
une forme structurée (coûts et bénéfices)
La pertinence de l’analyse coût-avantage dans
le cadre d’une évaluation (suite)

Facilite la concertation entre les différentes parties
prenantes en fournissant un cadre structuré

Transparence du processus décisionnel : identification et
quantification de l’ensemble des éléments en fournissant
un cadre structuré pour la prise de décision

Investiguer les coûts d’opportunité de l’intervention
publique : une mesure de la perte des bénéfices d’une
intervention publique auxquelle on renonce en affectant les
ressources disponibles à une autre intervention
6
Les problématiques de l’analyse coût-avantage 7
dans le cadre d’une évaluation

Lourdeur des études


Biais stratégiques



Analyse complexe à mettre en œuvre, surtout pour obtenir des
données sur certains types d’effets
La valeur économique se base sur les préférences individuelles et
est mesurée par le biais de sondages
Les répondants peuvent répondre de manière stratégique afin
d’obtenir un gain des décideurs
Précision limitée

Parfois l’intangible est difficile à mesurer mais utile dans la prise de
décision
Les problématiques de l’analyse coût-avantage 8
dans le cadre d’une évaluation (suite)

Possibilité d’orienter les analyses

Les hypothèses peuvent être orientées pour favoriser un projet ou
une décision plus que les autres
Type des questions pour l’analyse
coût-avantage

Est-ce que la proposition fournit un bénéfice net à la
société toute entière?

Devrait-on mettre en œuvre le projet, programme ou
réglementation considéré?

Devrait-on poursuivre avec le projet ou programme?

Parmi plusieurs projets alternatifs, lequel devrait être
sélectionné?
9
Rôle des évaluateurs dans la conduite
d’une analyse coût-avantage

Mettre en place les prérequis organisationnels




10
Justifier le coût d’une analyse coût-avantage
Indépendance dans la conduite de l’étude
Reconnaître les critiques ainsi que les limites de l’étude et les
inclure dans le rapport final d’évaluation
Spécifier les différents scénarios


Définir les choix possibles avec les parties prenantes et les
experts/consultants
Statut quo amélioré versus autres alternatives avec intervention
publique
Rôle des évaluateurs dans la conduite
d’une analyse coût-avantage (suite)

Définir la portée de l’analyse




11
Tâche en concertation avec les parties prenantes et les
experts/consultants
Périmètre de l’analyse : se questionner sur quels groupes vont porter
les conséquences qui seront comptabilisées
Groupes affectés directement et indirectement par la décision
Lister les conséquences et choisir leurs indicateurs de mesure




Tâche effectuée par les experts/consultants
Mesure des impacts : répertorier tous les impacts du projet
Impacts négatifs/coûts et impacts positifs/bénéfices
Utilisation de ‘proxy’, variable proche de celle pour laquelle on
cherche des données et pour laquelle davantage d’information est
disponible
Rôle des évaluateurs dans la conduite
d’une analyse coût-avantage (suite)

Prédire quantitativement les conséquences sur la durée de vie
du projet




12
Tâche effectuée par les experts/consultants
Chaque scénario de projet aura des effets pendant plusieurs années
après sa mise en œuvre
Incertitude scientifique : certaines prédictions nécessitent des
connaissances scientifiques qui peuvent être incertaines au moment
du démarrage du projet
Monétiser les conséquences


Tâche effectuée par les experts/consultants
Consentement à payer pour des biens marchands
Rôle des évaluateurs dans la conduite
d’une analyse coût-avantage (suite)

Actualiser coûts et bénéfices futurs
 Tâche effectuée par les experts/consultants
 Taux d’actualisation
 Valeur nette actualisée
 Bénéfice net annuel moyen

Analyser la robustesse des résultats
 Tâche effectuée par les experts/consultants
 L’analyse de l’incertitude

Faire une recommandation de décision
 Tâche effectuée par les évaluateurs
 Choisir le scénario pour lequel les bénéfices nets sont les plus grands
 L’analyse coût-avantage recommande de mettre en œuvre le projet qui
prévoit le plus grand accroissement du bien-être social
13
Liste d’essentiels pour une lecture critique
d’une analyse coût-avantage

14
Les éléments suivants devraient figurer dans le rapport
technique de l’analyse coût-avantage






Un résumé ou sommaire exécutif présentant les hypothèses
critiques, les principaux résultats et recommandations
Le contexte de l’étude : pourquoi avoir choisi l’analyse coût-avantage
comme ligne d’investigation dans le rapport final d’évaluation
Les objectifs du ou des projets, programmes ou activités étudiés
Les principaux risques associés aux décisions possibles
Une description des scénarios étudiés
Le profil temporel d’apparition des coûts, des bénéfices et des
bénéfices nets
Liste d’essentiels pour une lecture critique
d’une analyse coût-avantage (suite)

15
Les éléments suivants devraient figurer dans le rapport
technique de l’analyse coût-avantage






Les principales hypothèses reliées à l’analyse
Le taux d’escompte employé
Le calcul de la valeur nette actualisée
Une analyse de l’incertitude
D’autres informations importantes comme les effets distributionnels,
d’autres coûts et bénéfices quantifiés, et les facteurs de la décision
qui n’ont pas été quantifiés
Une comparaison de l’option préférée à ses alternatives
16
Références

MEUNIER, Valérie et Éric Marsden (2009) : L’analyse coût-bénéfices – Guide
méthodologique, Les cahiers de la sécurité industrielle, Institut pour une culture de
sécurité industrielle, 47 pages

Secrétariat du Conseil du Trésor du Canada (2007) : Guide d’analyse coûtsavantages pour le Canada : Propositions de réglementation, Gouvernement du
Canada, 52 pages

LAMARI, Moktar (2012) : Méthode de mesure de rendement des programmes
publics – Introduction - Séance 1, École nationale d’administration publique, 7
septembre, 17 acétates

FLORIO, Massimo et Silvia Maffii (2008) : Guide to Cost Benefit Analysis of
Investment Projects : Structural Funds, Cohesion Fund and Instrument for PreAccession, Directorate General Regional Policy, European Commission, juillet, 257
pages
17
Pour toutes questions ou commentaires
[email protected]
crexe.enap.ca
Merci de votre attention!
Téléchargement