Synthèse - economie.gouv

Rencontres
économiques
Évaluer les politiques
économiques, un enjeu
pour l’économie et
la société françaises ?
17 juin 2014
Synthèse

Rencontreséconomiques–Evaluerlespolitiqueséconomiques,unenjeupourl’économieetlasociétéfrançaises?–
11avril2014
2
Sommaire
Sommaire........................................................................................................................2
Evaluerlespolitiqueséconomiques,unenjeupourl’économieetlasociétéfrançaises?.3
Elaborationetenjeuxdel’évaluation........................................................................................................3
AntoineBOZIO.................................................................................................................................................................3
Qu’est‐cequel’évaluation?..........................................................................................................3
Lesméthodesd’évaluation...........................................................................................................4
Lesinstitutions.............................................................................................................................5
Regardinternationalsurl’évaluationdespolitiquespubliques..................................................................7
Jean‐ClaudeBARBIER.......................................................................................................................................................7
Lecadrecomparatif......................................................................................................................7
L’évaluationdespolitiquespubliques,variétéetunitéspécifique..................................................9
Illustration:casnationauxetautres.............................................................................................9
L’émergenced’uneculturedel’évaluation,réussitesetlimitesdel’exercice...........................................11
StéphanieOLTRA‐ORO...................................................................................................................................................11
L’implicitedel’évaluation...........................................................................................................11
Lesacteurschargésdel’évaluation.............................................................................................11
Lesbienfaitsattendusdesévaluations........................................................................................13
Commentaméliorerlespratiques?.............................................................................................13
Echangesaveclasalle..............................................................................................................................14
L’indépendancedel’évaluateur..................................................................................................14
Intérêtdesenquêtescomparatives:l’exempledel’enquêtePISA................................................15
Conclusion:l’enjeudel’évaluation.........................................................................................................16
Sigles.............................................................................................................................17

Rencontres économiques – Evaluer les politiques économiques, un enjeu pour l’économie et la société françaises ? –
11 avril 2014
3
Evaluer les politiques
économiques, un enjeu pour
l’économie et la société
françaises ?
Elaboration et enjeux de l’évaluation
Antoine BOZIO
Directeur de l'Institut des politiques publiques, membre du Conseil d’analyse économique (CAE)
Cette présentation propose une réflexion sur les objectifs, les enjeux et les méthodes
utilisées pour évaluer les politiques publiques, dans une approche universitaire de ce qu’est
l’évaluation. D’autres approches existent toutefois.
Qu’est-ce que l’évaluation ?
« Evaluation », un mot-valise
L’évaluation n’est pas un substitut aux choix politiques. Elle ne dit pas « ce qu’il faut faire »
mais elle compare différents instruments, dispositifs, etc. au vu d’objectifs variés. Il reste à
savoir lesquels de ces instruments, dispositifs, sont les plus à même de permettre d’atteindre
ces objectifs.
L’évaluation n’est pas non plus du contrôle de gestion. Elle ne cherche pas à déterminer
comment mieux utiliser l’argent public dans le cadre de la mise en place d’un dispositif. Il ne
s’agit pas non plus d’essayer de réduire la dépense publique. Au contraire, l’évaluation est là
pour discriminer, parmi différents dispositifs, lequel est le plus efficace et doit être
maintenu.
Enfin, l’évaluation n’est pas forcément « le diktat du chiffre ». L’évaluation est plus large. Elle
vise à mesurer l’impact d’un dispositif dans une vision plus générale, de bien -être de la
société.
Une définition de l’évaluation
L’évaluation est tout d’abord la reconnaissance de notre ignorance. Evaluer, c’est admettre
que l’on ne connaît pas l’impact d’une politique avant sa mise en œuvre. En cela, la relation
entre l’évaluation et le discours politique est difficile, car ce dernier repose justement sur
l’annonce de mesures dont le politique dit savoir qu’elles seront efficaces.
L’objectif fondamental de l’évaluation est d’approfondir nos connaissances : développer la
recherche universitaire, mesurer les impacts des politiques publiques, comprendre les
mécanismes en jeu, et réfléchir à l’architecture optimale à mettre en place. L’évaluation doit
permettre de comprendre tout type de mécanismes qui font la mise en œuvre des politiques
pour ensuite imaginer des politiques plus efficaces. Il faut aussi chercher à comprendre les
interactions entre les politiques.
Le problème essentiel de l’évaluation, qui est en même temps son but, est de parvenir à
mesurer l’impact causal des politiques publiques. Il s’agit de savoir ce qu’il se serait passé si
la politique évaluée n’avait pas été mise en place, ou si une autre politique avait été mise en
place. Pour ce faire, il faut construire un scénario contrefactuel convaincant, ce qui n’est

Rencontres économiques – Evaluer les politiques économiques, un enjeu pour l’économie et la société françaises ? –
11 avril 2014
4
pas facile, puisqu’il ne suffit pas de comparer la situation avant et après la mise en œuvre
du dispositif évalué.
Les méthodes d’évaluation
Les méthodes d’évaluation peuvent être classées en trois types de techniques permettant de
construire un scénario contrefactuel. L’évaluation ex ante est réalisée avant la mise en
œuvre de la politique et cherche à estimer quel en sera l’impact. L’évaluation ex post,
réalisée après la mise en œuvre de la politique, cherche à en mesurer les effets. L’analyse
économique, plus générale, essaie de mesurer un impact, de le relier au coût de la politique
et d’imaginer l’architecture optimale de cette dernière.
L’évaluation ex ante
L’évaluation ex ante consiste à modéliser la mise en œuvre d’une politique, à en estimer les
comportements induits et les effets attendus. Elle nécessite toutefois de connaître l’impact
théorique d’une politique. L’évaluation ex ante consiste notamment en la réalisation de
micro-simulations (simulation de la mise en œuvre d’un dispositif sur un échantillon
représentatif de la population par exemple). Cette technique est très utile pour évaluer,
notamment, le système socio-fiscal ou le système de retraite. Elle permet d’estimer l’impact
de la modification d’un paramètre du dispositif. En revanche, avec cette méthode, il est
difficile de prendre en compte les réactions comportementales (par exemple, la réaction des
salariés à une modification du système de retraite).
Il est possible toutefois d’approfondir ce travail par une approche structurelle, c'est-à-dire
d’essayer, à partir d’un modèle de comportements, d’estimer l’ensemble des impacts, les
marges de réaction de l’économie, etc. Le jour où l’on aura suffisamment de connaissances
sur le fonctionnement de l’économie et les réactions de s acteurs, cette démarche sera très
pertinente.
Toutes les évaluations ex ante reposent sur des évaluations ex post précédentes pour
connaître le type d’impacts possible.
L’évaluation d’impact ex post
Parmi les évaluations ex post, la plus couramment utilisée est l’expérimentation aléatoire
issue des techniques de recherche médicale. Elle consiste à comparer un groupe traité, pris
au hasard, avec un groupe témoin pour identifier l’impact causal du dispositif. Cette
méthode est très puissante, mais elle n’est pas toujours applicable. Il serait difficile, par
exemple, de rendre aléatoire le taux marginal d’impôt sur le revenu. Dans le même temps,
certains dispositifs ne peuvent être évalués efficacement que grâce à cette méthode.
Les expériences naturelles consistent en l’expérimentation aléatoire mais sans avoir à la
réaliser. Involontairement, le législateur nous offre de nombreuses possibilités
d’expérimentation. En effet, lorsqu’il fixe un périmètre d’application d’un dispositif, il
détermine des frontières entre les groupes qui y seront soumis et ceux qui en seront
exemptés un peu par hasard. Cette variation peut être utilisée pour estimer l’impact causal
du dispositif. Différentes méthodes relèvent de cette catégorie : la différence en différences
(comparaison de deux groupes, l’un traité et l’autre témoin, et réflexion autour de
l’hypothèse selon laquelle ils auraient évolué de façon similaire sans le dispositif pour
estimer l’impact de ce dernier), et la régression de discontinuité (comparaison de d eux
groupes très semblables séparés par un plafond, par exemple une limite d’âge, qui détermine
l’application ou la non-application du dispositif). La limite de ces méthodes est qu’elles ne
peuvent s’appliquer qu’à des dispositifs introduisant une disconti nuité et le résultat ne peut
être que local.

Rencontres économiques – Evaluer les politiques économiques, un enjeu pour l’économie et la société françaises ? –
11 avril 2014
5
Les techniques de matching
1
Les techniques de matching consistent à reconstruire, à partir de données, des groupes de
contrôle et des groupes de traitement constitués d’individus aux caractéristiques similaires
(sexe, âge, niveau de salaire, etc.). Il s’agit ensuite de comparer ces deux groupes. Cette
méthode peut être appliquée à la plupart des types de politiques, à condition d’avoir des
données suffisamment précises. En revanche, elle n’est pas pertinente si ce qui a un effet sur
la qualité de la politique évaluée n’est pas observable.
L’analyse économique
L’analyse coût-bénéfice vise à rapporter la valorisation du coût de la politique aux bénéfices
de celle-ci. Ces bénéfices peuvent être d’ordre financier ou non-financier.
Toutes les politiques ne sont pas évaluables. Les politiques macroéconomiques notamment
sont particulièrement difficiles à évaluer : la construction d’un scénario contrefactuel est ici
très délicate parce qu’elle repose sur une modélisation du fonctionnement de l’économie,
c'est-à-dire une modélisation très fragile par nature.
Les institutions
Panorama
Quelles sont les institutions capables de réaliser de bonnes évaluations des politiques
publiques ? L’expérience technique ne suffit pas. Globalement, dans le monde, on distingue
deux natures d’évaluation :
- l’évaluation « au service du Prince » : elle vise à apporter au décideur public des
informations sur les politiques à mettre en place
- l’évaluation comme outil démocratique : elle est partie intégrante de l’information des
citoyens.
Par tradition, la France s’inscrit plutôt dans le premier modèle. Les grands corps de contrôle,
les services statistiques au sein des ministères, la Cour des comptes, etc. réalisent des
évaluations au service du politique, de l’Etat.
Au Royaume-Uni, l’évaluation est liée au monde universitaire et financée par l’ Economic and
Social Research Council
2
. Elle est réalisée par l’Institut for Fiscal Studies, des sociétés privées,
des ONG, etc. dans un objectif d’acquisition de connaissances sur la société britannique.
Aux Pays-Bas, l’évaluation est confiée au Centraal Planbureau
3
. Cette structure, bien que
composée de fonctionnaires, reste très indépendante des ministères et de la mise en place
des politiques.
Aux Etats-Unis, elle est réalisée par le Congressional Budget Office, lié quant à lui au
législateur.
Les principes pour réussir l’évaluation
Il n’existe pas une bonne approche de l’évaluation mais différents principes à appliquer :
- l’expertise : il faut un accès aux données (cette partie peut prendre du temps), une maîtrise
des méthodes d’évaluation et un protocole d’évaluation le plus en amont possible .
L’évaluation doit être pensée dès la conception de la politique publique que l’on veut
évaluer. Une bonne évaluation demande au moins un an de travail. La contrainte temporelle
est plus importante que la contrainte financière, c'est -à-dire le coût d’une évaluation qui, au
vu des enjeux, reste minime.
1
Ou techniques d’appariement
2
Voir : http://www.esrc.ac.uk/ et http://www.ifs.org.uk/
3
Voir : http://www.cbo.gov/