évaluation

1
MASTER
ECONOMIE ET GESTION
Mention
« Études du Développement »
Expertise économique en
politiques et projets de
développement
Institut d’Étude du
Développement
08 octobre 2010
Économique et Social
Evaluation des politiques environnementales
Séance 1 : Définition et positionnement de
l’évaluation des politiques publiques
2
 Définition et positionnement de l’évaluation





La place de l’évaluation dans la chaîne de déploiement d’une politique
Définition et registres d’évaluation des politiques publiques
Appréhension de la théorie d’action de la politique publique
Positionnement de l’évaluation par rapport aux genres voisins
Histoire et contexte des démarches d’évaluation
 Différencier évaluation environnementale et évaluation des
politiques de l’environnement
Chaîne de déploiement d’une politique
Besoins
Objectifs
Effets
Ressources
3
Chaîne de déploiement d’une politique
Besoins / Problèmes / Enjeux
Objectifs
stratégiques
Objectifs
spécifiques
Effets
Objectifs
opérationnels
Ressources humaines,
Financières, techniques …
4
Chaîne de déploiement d’une politique
Besoins / Problèmes / Enjeux
Objectifs
stratégiques
Impacts
Objectifs
spécifiques
Résultats
Objectifs
opérationnels
Réalisations
Ressources humaines,
Financières, techniques …
5
Exemple d’une politique
6
Exposition des populations
au risque inondation
Limiter l’exposition
au risque inondation
Les dommages économiques et humains
en cas de crue majeure sont diminués
du fait d’une moindre exposition
•Développer la prise de conscience
auprès des populations
•Déplacer les habitants les plus
exposés dans les zones inondables
• Les habitants ont pris conscience
• Mettre en place des programmes
•Réalisation de diagnostic de
vulnérabilité auprès des populations
• Rachat des habitations exposées
•au risque inondation
de prévention du risque
•Mettre en place une ZAD
pour un quartier inondable
du risque encouru
• Les zones les plus exposées ne sont
•plus habitées
Ressources humaines,
Financières, techniques …
Définitions

Réalisations
: produits de l’activité des
gestionnaires

Résultats
: effets immédiats pour les
destinataires directs

Impacts
: effets durables / globaux pour les
destinataires directs / indirects
7
8
Le rôle des décideurs
Besoins
comprendre
analyser
observer
Objectifs
décider
arbitrer
convaincre
orienter
rendre
compte
contrôler
allouer
agir
Ressources
Effets
piloter
animer
9
Les outils des décideurs
Besoins
prospective
marketing
public …
Objectifs
analyse
stratégique
évaluation
de
politiques
pilotage contrôle
audit de gestion
Ressources
Effets
10
 Définition et positionnement de l’évaluation





La place de l’évaluation dans la chaîne de déploiement d’une politique
Définition et registres d’évaluation des politiques publiques
Appréhension de la théorie d’action de la politique publique
Positionnement de l’évaluation par rapport aux genres voisins
Histoire et contexte des démarches d’évaluation
 Différencier évaluation environnementale et évaluation des
politiques de l’environnement
L’évaluation comme un droit
Besoins
Objectifs
"La société a le
droit de
demander
compte
à tout agent
public de son
administration"
Ressources
Effets
11
L’évaluation comme un besoin ;
la différence avec l’entreprise
Besoins  Demande
Objectifs :
- Rétro-action
automatique
- satisfaction
du client
- résultat
de l’entreprise
- Loi de l’offre
et de la demande
Ressources  Production
Effets :
- vente du
produit
- satisfaction
du client
12
L’évaluation comme un besoin ;
la rétro-action par l’évaluation
Problèmes / Enjeux
Objectifs
Rétro-action
par l’évaluation
Ressources
Effets
13
Définition de l’évaluation d’une
politique publique
 Evaluer n’est pas :
 estimer
 noter
 mesurer
 Evaluer  Valeur
 Evaluer une politique publique, c’est porter un
jugement de valeur argumenté sur cette politique
 argumenté par :
 des données ad hoc
 des critères explicites
14
Les registres d’évaluation
Besoins / Problèmes / Enjeux
pertinence
utilité
Impacts
cohérence
Objectifs
efficacité
Résultats
externe
cohérence
interne
efficience
Ressources
Réalisations
15
Les registres d’évaluation
16
 Pertinence
 Adéquation des objectifs aux besoins / enjeux / problèmes
 Cohérence externe
 Adéquation des objectifs au regard d’autres objectifs
 Cohérence interne
 Adéquation des ressources au regard des objectifs
 Efficacité
 Adéquation des effets au regard des objectifs
 Efficience
 Adéquation des réalisations / résultats au regard des ressources
 Utilité
 Adéquation des effets au regard des besoins / enjeux / problèmes
17
Evaluation et indicateurs
Les indicateurs
mesurent un
changement
L’évaluation porte un jugement
de valeur sur le lien entre le
programme et le changement
Taux d’insertion
des apprentis + z%
programme
Taux réussite
apprentissage + y%
Nombre apprentis
+ x%
?
contexte
18
 Définition et positionnement de l’évaluation





La place de l’évaluation dans la chaîne de déploiement d’une politique
Définition et registres d’évaluation des politiques publiques
Appréhension de la théorie d’action de la politique publique
Positionnement de l’évaluation par rapport aux genres voisins
Histoire et contexte des démarches d’évaluation
 Différencier évaluation environnementale et évaluation des
politiques de l’environnement
Evaluer la politique en évaluant sa
théorie d’action
Besoins
Objectifs
Théorie
d’action
Ressources
Effets
19
La théorie d’action,
principe actif de la politique publique
 Une suite de relations hypothétiques
de cause à effet …
 … dont l’enchaînement doit permettre
 de résoudre ou diminuer le problème
 de répondre aux besoins ou aux enjeux
20
Un exemple de théorie d’action
MISE EN
PLACE DE
RADARS
DIMINUTION DE LA
VITESSE AU VOLANT
Du fait de « la peur du
gendarme »
21
DIMINUTION DU
NOMBRE DE
MORTS SUR LES
ROUTES
Parce qu’une vitesse
atténuée permet une
meilleure maîtrise du
véhicule
La théorie d’action peut être
contredite ou nuancée
Un autre facteur est
toujours nécessaire :
alcool, ceinture, fatigue,
…
DIMINUTION DE LA
VITESSE AU
VOLANT
Parce qu’une vitesse
atténuée permet une
meilleure maîtrise du
véhicule
Un bon conducteur
maîtrise son véhicule,
même à vitesse élevée
DIMINUTION DU
NOMBRE DE
MORTS SUR LES
ROUTES
22
D’autres théories d’actions sont
possibles
EDUCATION
COMMUNICA
-TION
MISE EN
PLACE DE
RADARS
DIMINUTION DE LA
VITESSE AU
VOLANT
BRIDAGE
VEHICULES
LUTTE
CONTRE
L’ALCOOL
FORMATION
PERMIS
MAITRISE DE
SON
VEHICULE
DIMINUTION DU
NOMBRE DE
MORTS SUR LES
ROUTES
23
24
 Définition et positionnement de l’évaluation





La place de l’évaluation dans la chaîne de déploiement d’une politique
Définition et registres d’évaluation des politiques publiques
Appréhension de la théorie d’action de la politique publique
Positionnement de l’évaluation par rapport aux genres voisins
Histoire et contexte des démarches d’évaluation
 Différencier évaluation environnementale et évaluation des
politiques de l’environnement
Positionnement de l’évaluation
25
 Autres démarches





Inspection
Audit
Suivi
Etude
Recherche
(contrôle…)
(audit opérationnel, audit de performance, …)
(contrôle de gestion, pilotage, …)
 Critères de comparaison





Champ
Registres
Mode d’intervention
Utilisateurs
Portée
: interne / externe
: pertinence, efficacité, …
: constant / ponctuel
: élus, direction, extérieur
: orientation, sanction, amélioration, …
26
Démarches / Critères
Champ
Questions
Mode d’
intervention
Evaluation
Suivi
Audit
externe
interne
interne
pertinence économie économie
efficacité
efficacité efficacité
efficience efficience efficience
utilité
ponctuel
Utilisateurs
élus
Portée
orientation
Inspection
Etude
Recherche
interne
nd
nd
régularité
nd
pertinence
efficacité
efficience
utilité
ponctuel
ponctuel
constant
ponctuel
ponctuel
direction
élus
direction
élus
direction
pilotage amélioration
entité
entité
et
et
extérieur extérieur
connaissanction
explication
sance
27
 Définition et positionnement de l’évaluation





La place de l’évaluation dans la chaîne de déploiement d’une politique
Définition et registres d’évaluation des politiques publiques
Appréhension de la théorie d’action de la politique publique
Positionnement de l’évaluation par rapport aux genres voisins
Histoire et contexte des démarches d’évaluation
 Différencier évaluation environnementale et évaluation des
politiques de l’environnement
Déploiement historique de l’évaluation
 La genèse nord-américaine
 La systématisation européenne
 Les avancées et les hésitations françaises





fin 80 / début 90 : impulsion gouvernementale et appui experts
1995 / 2000 : montée de l’évaluation réelle via l’Europe
1999 : création de la SFE (Société Française d’Evaluation)
2000 / 2007 : développement et structuration du paysage
2007-2009 : nouvelle impulsion Gouvernement et Parlement ?
 Les réalisations aujourd’hui
 700 évaluations par an en France ?
 Des évaluations dans tous les champs
 Quelle part des dépenses publiques évaluées ?
28
Le développement des pratiques
Conseils
régionaux
Conseils
généraux
Communes
Interco.
29
Les évolutions de l’évaluation
Évaluation
réglementaire
Évaluation
managériale
Évaluation
politique
30
31
 Définition et positionnement de l’évaluation





La place de l’évaluation dans la chaîne de déploiement d’une politique
Définition et registres d’évaluation des politiques publiques
Appréhension de la théorie d’action de la politique publique
Positionnement de l’évaluation par rapport aux genres voisins
Histoire et contexte des démarches d’évaluation
 Différencier évaluation environnementale et évaluation des
politiques de l’environnement
Clarification des concepts
32
 L’évaluation des politiques environnementales
 L’évaluation environnementale des politiques
publiques
 L’étude d’impact environnementale
 L’évaluation environnementale stratégique
32
33
L’évaluation des politiques
environnementales
 Une évaluation de politique publique classique (qui peut
être ex ante, à mi-parcours ou ex post)
 Le jugement porte sur les effets attendus qui découlent
des objectifs fixés au regard des critères traditionnels de
l’évaluation (efficacité, pertinence, cohérence, …)
 Exemples:
 Amélioration de la qualité de l’eau
 Traitement des sites pollués
 Promotion de l’éducation à l’environnement et au
développement durable
 Favoriser le développement des technologies propres
 …
33
Positionnement des évaluations
environnementales
34
Processus
d’évaluation
environnementale
Définitions
Outils
d’évaluation
Exemples
Participation
citoyenne
Association du public à
la prise de décision
Débat public.
Concertation.
Enquête publique
Tous les projets
susceptibles d’avoir un
impact
environnemental et
social important
Evaluation
environnementale
stratégique
Processus d’évaluation
et d’examen des plans,
programmes,
politiques et textes
législatifs
Rapport sur les
incidences
environnementales
Schémas de service
collectifs. Documents
d’urbanisme. CPER et
Docup
Evaluation des
impact sur
l’environnement des
projets
Identification et analyse
des effets positifs et
négatifs des projets et
programmes de
travaux sur
l’environnement, le
cadre de vie et la santé
Etude d’impact
Tous travaux et projets
d’aménagement
entrepris par une
collectivité publique ou
nécessitant une
autorisation ou une
décision d’approbation
34
L’étude d’impact environnemental
35
 Evaluation des impacts environnementaux associés à
un projet (infrastructure typiquement)
 C’est une évaluation ex ante
 Elle ne se rapporte pas aux objectifs du projet mais à
ses conséquences sur l’environnement
 Les critères de jugement sont rationnels et
scientifiques
 La logique est celle de la minimisation des impacts
environnementaux
35
Ses objectifs
36
 Concevoir un meilleur projet
 Eclairer l’autorité administrative sur la décision à
prendre
 Informer le public et le faire participer à la prise de
décision
36
Contenu de l’étude d’impact
37


Une analyse de l’état initial du site et de son environnement (richesses naturelles,
espaces, …) affecté par le projet
Une analyse des effets directs et indirects, temporaires ou permanents du projet sur
l’environnement:














Faune et flore
Sites et paysages
Sol, eau, air
Climat
Milieux naturels et équilibres biologiques
Protection des biens et du patrimoine culturel
Commodité du voisinage (bruits, vibrations, odeurs, …)
Hygiène
Santé, sécurité, salubrité publique
Présentation des différentes solutions et de celle choisie
Mesures envisagées pour supprimer, réduire et si possible compenser les conséquences
dommageables du projet pour l’environnement et la santé, ainsi sur l’estimation des
dépenses correspondantes
Analyse des méthodes utiliser pour évaluer les effets du projet
Résumé non technique
Pour les infrastructures de transport, calcul des coûts collectifs et évaluation des
consommations énergétiques
37
L’évaluation environnementale stratégique
38
 Evaluation environnementale de programmes ou
politiques
 Evaluation ex ante essentiellement
 Application de la directive 2001/42/CE du 27 juin 2001
sur l’évaluation des incidences sur l’environnement
de différents plans et programmes
 Elle ne se rapporte pas aux objectifs du programme
ou de la politique mais à ses conséquences sur
l’environnement
38
Ses objectifs
39
 Vérifier que la stratégie du programme a bien pris en
compte les enjeux de préservation de
l’environnement, ce qui suppose d’expliciter ces
enjeux
 Analyser comment est déclinée cette prise en compte
des enjeux
 Apprécier la cohérence des programmes au regard de
l’environnement
 Fixer les modalités de suivi
39
40
Contenu de l’évaluation
environnementale stratégique
 Un rapport environnemental détaillant entre autres:
 la teneur du plan ou du programme et ses principaux objectifs ;
 les caractéristiques environnementales de la zone susceptible
d'être affectée par le plan ou le programme ;
 tout problème environnemental existant pertinent pour le plan ou
le programme ;
 les objectifs nationaux, communautaires ou internationaux de
protection environnementale pertinents pour le plan ou le
programme en question ;
 les incidences environnementales susceptibles de découler de la
mise en oeuvre du plan ou du programme ;
 toute mesure envisageable pour éviter, réduire et compenser les
incidences négatives sur l'environnement;
 les mesures de suivi envisagées.
40
41
Comparaison des deux approches à partir
d’un exemple
Evaluation stratégique
environnementale
Etude d’impact des projets
Niveau
Politique de transport
Projet d’infrastructure
Finalités
Repérer les enjeux
environnementaux à long
terme
Evaluer les effets temporaires et
permanents, directs et indirects
sur l’environnement local
Objectifs Comparer des scénarios
alternatifs au plan de
l’intermodalité
Orienter la décision politique
vers l’option modale la plus
favorable au développement
durable et à l’environnement
Favoriser la transparence et le
débat préalable sur les finalités
Orienter la décision vers le tracé
le plus favorable à
l’environnement et appliquer les
mesures d’atténuation des
impacts environnementaux
Favoriser la transparence et la
concertation au niveau local
41