Diapos du chapitre 1

Méthodologie de l’évaluation
économique
Philippe De Vreyer, Anne-Sophie Robilliard
Université Paris Dauphine
Février-Mars 2011
Chapitre 1: Introduction
Les activités publiques consistent à transformer les
ressources (les moyens) en produits (les services rendus)
qui induisent des résultats socio-économiques, c’est-à-dire
une transformation de l’environnement économique et
social. Les résultats socio-économiques comprennent des
résultats imputables à une activité ou à un programme
donné et des résultats finaux auxquels contribuent plusieurs
programmes et plusieurs politiques (Tommasi, 2010).
22/04/2017
3
• Evaluer les politiques publiques c’est évaluer leurs
performances: que coûte la politique ? Qui en sont
les bénéficiaires ? Sont-ils ceux que l’on visait au
départ ? Quel montant de bénéfices en ont-ils
retiré ? Moins d’argent aurait-il pu être dépensé ?
Une autre politique aurait-elle été préférable ?
• Etc.
22/04/2017
4
Les trois dimensions de la performance
de l’activité publique
• L’efficience de la gestion consiste, pour un même
niveau de ressources, à accroître les produits des
activités publiques ou, pour un même niveau
d’activité, à nécessiter moins de moyens.
• La qualité du service rendu.
• L’efficacité, c’est-à-dire la capacité à atteindre des
objectifs socio-économiques préalablement fixés.
22/04/2017
5
Des approches complémentaires
– Approche comptable: l’argent est-il bien dépensé là où il doit l’être
? Au bon moment ? Selon des règles transparentes ? Tout l’argent
a-t-il été dépensé ? Quelle proportion parvient-elle aux
bénéficiaires ?
– Analyse coût-bénéfice: Les sommes dépensées ont-elles conduit à
des bénéfices au moins égaux aux frais engagés ? Quelle est la
rentabilité du projet (privée – sociale) ? Combien de personnes ontelles bénéficié de la politique testée ?
22/04/2017
6
Approche comptable
Approche coût-bénéfice
22/04/2017
7
• Un certain nombre d’indicateurs sont employés pour
évaluer la performance de l’activité publique:
– les indicateurs de moyens décrivent le volume (unités physiques) ou la
valeur des moyens mis en oeuvre ; la disponibilité du personnel (nombre
de médecins, d’infirmiers, etc.), des locaux, les quantités ou les valeurs
des intrants (livres scolaires distribués) ;
– les indicateurs de produits (ou services rendus) décrivent les productions
d’une administration ou d’un service (nombre de dossiers traités, nombre
de formations dispensées, nombre d’heures d’enseignement, nombre de
personnes accueillies, nombre de contrôles effectués, enquêtes réalisées,
textes réglementaires élaborés, etc.).
Diapo réalisée à partir de Tommasi (2010)
22/04/2017
8
• L’efficience dans la conduite des activités est mesurée en comparant le
rapport entre indicateurs de moyens et de produits, aux objectifs
d’efficience du programme ou à une situation de référence.
• Les indicateurs de qualité spécifient la qualité attendue de la
prestation rendue à l'usager. Par exemple, un indicateur de qualité de
service associé à un éventuel programme « justice judiciaire » serait : «
réduction du délai de réponse judiciaire de 10 jours ».
• L’efficacité d’un programme est mesurée en comparant les indicateurs
de résultats socioéconomiques aux objectifs socio-économiques du
programme. Ces résultats doivent être imputables au programme
(l’évolution du taux d’utilisation de la ceinture de sécurité peut être
imputée à un programme de sensibilisation sur cette utilisation, en
revanche l’évolution du taux de mortalité sur les routes peut dépendre
de plusieurs programmes).
Diapo réalisée à partir de Tommasi (2010)
22/04/2017
9
Objectifs du cours
• Le cours porte sur la dernière étape de
l’évaluation, celle de l’efficacité des politiques.
• Plus généralement, nous introduirons aux
méthodes qui permettent de quantifier ex-post
et/ou ex-ante les conséquences économiques et
sociales, macro et microéconomiques, des
politiques publiques et de comparer ces
conséquences avec les résultats attendus.
22/04/2017
10
• Difficultés:
– Identification des objectifs: que cherche à faire
la politique évaluée ? Que faut-il mesurer ?
– Identification d’une base de comparaison: que
se serait-il passé en l’absence de l’activité
publique ?
22/04/2017
11
• Pour évaluer les effets prévus ou avérés de
politiques économiques l'idéal serait de
pouvoir réaliser des expériences contrôlées.
• Exemple: expérimentations bio-médicales
sur des êtres humains.
Principe
- tirage aléatoire de deux groupes d'individus
dans une population;
- un groupe reçoit le "traitement" et l'autre non;
- les individus ignorent à quel groupe ils
appartiennent, de même que les personnes
chargées de délivrer le traitement (expérience
en double aveugle)
- on compare ensuite les résultats moyens
obtenus avec chacun des deux groupes : il
suffit alors de faire la différence entre les
moyennes:
T
C
x x
• Cependant, comme il peut y avoir des différences
non contrôlées entre le groupe des traités et le
groupe de contrôle, on préfère souvent employer
l’estimateur de la différence de différences (ou
double différence). Si l’on observe la variable X
avant l’application du traitement (date 0) et après
son application (date 1), l’estimateur de la
différence de différences est alors:
( x1  x 0 )  ( x1  x 0 )
T
22/04/2017
T
C
C
14
Les expériences contrôlées sont difficilement
réalisables en économie pour de multiples
raisons:
• En macro-économie, comment peut-on
définir le groupe de contrôle ?
Une solution peut être de prendre d'autres pays ou d'autres Etats, lorsqu'il
s'agit de fédérations, comme base de comparaison pour mener
l'évaluation.
Par exemple, aux USA, le niveau du salaire minimum est fixé à la fois au
niveau fédéral et par les Etats. Card et Krueger (1996) étudient l'effet de
l'augmentation du niveau du salaire minimum sur l'emploi des jeunes en
utilisant des données d'emploi recueillies dans les restaurants rapides de
deux Etats voisins, le New-Jersey et la Pennsylvanie, au moment où l'Etat
du New Jersey augmentait le salaire minimum.
La proximité des deux Etats ; le fait que les jeunes en question travaillent
dans une même chaîne de restaurant, avec des conditions de travail
identiques et, enfin, le fait que l’augmentation du salaire minimum soit
décidée de façon exogène, permet d’attribuer les effets observés sur
l’emploi aux variations du salaire.
En micro-économie, la réalisation d'expériences
contrôlées pose des problèmes de nature juridique,
financière et pratique:
- Juridique: le cadre permettant de telles expériences n'existe pas dans tous
les pays et il est difficile d'exclure les individus de la liste des bénéficiaires de
telle ou telle politique ;
- Financière: la réalisation de telles expériences coûte cher et les
responsables politiques sont réticents à employer des sommes importantes
pour mener des expérimentations de politiques qui peuvent ne pas être
efficaces ou qu’ils ne pourront pas mettre en œuvre eux-mêmes ;
- Pratique: il est difficile d'éliminer totalement l'effet "Placebo", qui résulte
du fait que les individus modifient leur comportement du fait même de leur
participation à l'expérience. A la différence de l'expérimentation biomédicale, les individus savent qu'il appartiennent, ou n'appartiennent pas, au
groupe de traitement. Ils peuvent modifier leur comportement et de ce fait
changer la valeur de la variable d'intérêt par un effet de motivation (exemple:
Effet Hawthorne - productivité et luminosité dans un établissement industriel
américain).
Méthodes d'évaluation.
Lorsque l'on ne dispose pas des résultats d'expériences contrôlées et lorsqu'il
est impossible d'en réaliser, il faut recourir à d'autres méthodes faisant appel
à des données non expérimentales et/ou à l'emploi de modèles économiques
et économétriques pour réaliser des simulations (évaluation ex-ante) ou des
estimations des effets avérés de la politique à laquelle on s'intéresse
(évaluation ex-post).
Difficultés liées à l'emploi de
données non expérimentales.
Les données non expérimentales sont toutes les données que l'on peut
recueillir soit dans les comptes nationaux, soit à partir d'enquêtes plus ou
moins générales telles que les enquêtes budget-consommation, les
enquêtes emploi, les enquêtes démographiques et de santé ou encore à
partir de sources administratives (pour la France données DADS, données
de Pôle Emploi etc.) L'utilisation de ces données pour évaluer les
politiques publiques pose des difficultés de plusieurs ordres:
- En macro-économie, les données disponibles reflètent toujours le passé.
Dans quelle mesure peuvent-elles être utilisées pour "prédire" l'avenir
(critique de Lucas) ?
- En macro-économie, il est parfois difficile de déterminer l'ordre de
causalité des variables: l'augmentation de la vitesse de croissance de la
masse monétaire en t est-elle responsable d'un accroissement du PIB en
t+1, ou bien les autorités monétaires ont-elles anticipé l'accroissement du
PIB et ajusté la politique monétaire en conséquence (problème de la
causalité en séries temporelles) ?
En micro-économie, les principales difficultés proviennent de l'autosélection des individus parmi les bénéficiaires de mesures ciblées (exemple
de toutes les mesures actives d'aide à l'emploi: contrats jeunes, contrats
emploi-solidarité, contrats de qualification etc.)
De façon générale, l'emploi de données non expérimentales oblige à
spécifier un modèle économique structurel et sa traduction économétrique,
de façon à identifier les effets de la politique évaluée toutes choses égales
par ailleurs.
L'objectif de cet exercice est alors de déterminer les variables exogènes au
modèle et les variables endogènes de façon à guider l'estimation
économétrique du modèle.
L'exemple suivant, emprunté à N. Cartwright (1995) illustre l'apport du
modèle théorique à l'interprétation du modèle économétrique.
Soit le modèle:
M v
P  d  a.M  
où, pour fixer les idées, M est la masse monétaire et P le niveau
des prix. La question à laquelle on désire répondre est: est-ce que
la masse monétaire a un effet sur le niveau des prix ? Dans cet
exemple, la variable M est exogène et la variable P est endogène.
Supposons que v et ζ soient corrélés. Deux cas peuvent se présenter:
v détermine une des composante s de  : ζ  λ.v  μ
 détermine une des composante s de v : v     .
Dans le premier cas, l'équation pour P s'écrit simplement:
P  (a   ).v    d
et l'effet de v sur P peut être déterminé simplement par
régression linéaire (en fait, cette écriture est déjà implicite dans
ce qui précède, puisque l'on peut identifier a≡a+λ et ζ≡μ).
Dans le second cas, la question "Quel est l'effet de M sur P ?"
est mal posée, car tout dépend si la modification de M est due à
celle de φ ou de ζ.
La condition pour identifier l'effet de M sur P est donc que les
termes v et ζ soient non corrélés. Mais ce n'est pas suffisant pour
établir que M cause P. En effet, si v et ζ sont non corrélés et de
moyenne nulle, le modèle précédent peut être écrit sous la forme
suivante:
P 
M  b.P    k
avec δ=av+ζ+d, ω=-ζ/a-k-d/a, k=-E(ζ²)/ad-d/a, b=1/a tout en
respectant les conditions: E(ζ.v)=E(δ.ω)=0, de sorte que
nous obtenons deux modèles qui tous deux respectent les
conditions probabilistes nécessaires à l'identification de la
relation de causalité entre M et P et qui pourtant sont
parfaitement contradictoires.
Comment s'en sortir ? En fait pour déterminer que M cause P, et non pas le
contraire, il faut non seulement que E(ζ.v)=0, mais en plus savoir que:
- (1) v cause M,
- (2) ζ représente toutes les causes de P autres que celles qui opèrent à
travers M,
- (3) que v ne cause pas ζ, ni l'inverse et que v et ζ n'ont pas de cause
commune.
On peut montrer (voir Cartwright 1995) que ces conditions ne peuvent être
simultanément remplies pour les deux écritures alternatives du modèle. Mais
pour pouvoir établir (1), (2) et (3); l'économétrie n'est d'aucun secours. Seul
le raisonnement économique apporte l'information supplémentaire qui
permet de choisir entre les deux modèles.
• Même lorsque les conditions de
l’expérimentation sont réunies, il est
difficile de faire l’économie d’un modèle.
– Si la politique est un succès (évaluation
positive), pour quelle raison ? Est-il possible
d’étendre les conclusions obtenues à partir de
l’expérimentation à l’ensemble de la population
? Sous quelles conditions ?
– Si c’est un échec, qu’est-ce qui ne marche pas ?
Que peut-on améliorer ?
22/04/2017
30
Méthodes d'évaluation à
partir de données non
expérimentales.
Méthodes d'évaluation des politiques
macroéconomiques
Plusieurs types de modèles sont rencontrés dans la littérature, selon
les hypothèses que l'on privilégie (l'offre détermine-t-elle la
demande ou bien est-ce la demande qui détermine l'offre ? La
monnaie est-elle neutre ? Les prix sont-ils flexibles ? De quelle
nature sont les anticipations ?) et le degré de précision de ces
hypothèses. Ainsi, dans la littérature appliquée trouve-t-on toutes
sortes de modélisations que l'on peut ranger dans les catégories
suivantes:
• Modèles macro-économétriques d'inspiration keynésienne
• Modèles d'équilibre général calculable d'inspiration néo-classique
• Modèles VAR
• Modèles de cycles réels
• « Calculs de coin de table »
• Modèles de micro-simulation
Les modèles macro-économétriques ont été développés les
premiers, à partir des années 40, sous l'impulsion de Lawrence Klein
et d'Arthur Goldberger. Leur point commun est d'être d'inspiration
keynésienne: c'est la demande anticipée par les entreprises qui
détermine leur offre productive et l'équilibre s'obtient à prix et salaires
nominaux fixés par un ajustement des quantités. L'équilibre
comptable sur le marché des biens et services est toujours réalisé
(grâce aux variations de stocks) mais celui-ci ne coïncide pas
forcément avec l'équilibre sur le marché du travail, de sorte que le
chômage est une possibilité. Au schéma de base du modèle IS/LM est
ajouté la courbe de Phillips, qui décrit la relation entre la variation des
salaires et le niveau du chômage. Une boucle prix-salaire permet alors
d'expliquer les variations du niveau des prix.
Ces modèles ont été soumis à des critiques croissantes à partir de la fin des
années 60 en raison de leur impuissance à prévoir les effets des chocs
pétroliers. Friedman (1968) et Phelps (1967) sauvent momentanément la mise
en introduisant l'hypothèse des anticipations adaptatives et en remplaçant la
courbe de Phillips traditionnelle par une courbe de Phillips dite "augmentée
des anticipations". Mais Lucas et Rapping (1969), dès la fin des années 60,
critiquent la mauvaise prise en compte des mécanismes de l'équilibre général
dans ces modèles et jettent les premières bases de la modélisation en équilibre
général (voir Hoover 1995). Puis Lucas (1972, 1976) reprenant l'hypothèse
des anticipations rationnelles de J. Muth (1961) montre l'inefficacité, au
moins théorique, de toute politique économique annoncée et l'incapacité des
modèles économétriques non totalement spécifiés à prévoir l'effet de toute
politique économique qui induirait un changement de comportement des
agents (critique de Lucas).
Les modèles d'équilibre général calculable ont pour architecture de base le
modèle d'équilibre général de Léon Walras. A la différence des modèles
keynésiens, l'équilibre est réalisé par l'ajustement des prix et des salaires qui
sont supposés totalement flexibles, de sorte qu'il n'y a pas de chômage. Les
agents sont supposés agir de façon à maximiser une fonction spécifique (utilité,
profit) sous une contrainte spécifique (budgétaire, technique). Arrow et Debreu,
au début des années 50, donnent la démonstration de l'existence de l'équilibre.
Le problème du passage du modèle théorique au modèle appliqué n'est pas
résolu pour autant. La difficulté de l'entreprise provient de ce que tous les
comportements sont interdépendants et simultanés. Les premiers travaux
résolvent cette difficulté en adoptant une méthode de linéarisation autour de
l'équilibre. Puis Scarf (1967) donne un algorithme de résolution directe des
modèles d'équilibre général calculable qui évite l'étape de linéarisation. Dès
lors, la modélisation en équilibre général, encouragée par la remise en question
croissante des modèles macro-économétriques prend son essor. Ces modèles
intègrent aujourd'hui des modes de fixation des prix et salaires qui, tout en étant
basés sur des hypothèses d'anticipations rationnelles, permettent d'autoriser
certaines imperfections du marché (en particulier le chômage).
Les modèles VAR ont été développés à fin des années 70, par Christopher
Sims (1980) pour qui il est illusoire de vouloir estimer des relations
structurelles et parce que les modèles macro-économétriques comporteraient
un grand nombre d'hypothèses non justifiées. Il préconise donc une macroéconométrie sans modèle, a-théorique, dans laquelle chaque variable d'intérêt
est régressée sur ses propres valeurs retardées et sur les valeurs retardées des
autres variables sans qu'aucune restriction ne soit imposée.
Les modèles de cycles réels à l'équilibre (ou modèles RBC) sont une
extension des modèles EGC, dans laquelle - au moins pour ce qui
concerne les premiers modèles - la monnaie est supposée neutre et
l'économie est en permanence soumise à des chocs exogènes qui
n'agissent que sur les grandeurs réelles (chocs techniques). Leur ambition
est de reproduire les fluctuations observées de l'économie.
Les modèles de micro-simulation sont une variante élaborée des
modèles d’équilibre général calculable apparue relativement récemment
dans la littérature.
Ce sont des modèles d’équilibre général calculable dans lesquels les
classes de ménages sont désagrégées en exploitant les données issues
d’enquêtes auprès des ménages et en modélisant certains
comportements de ces ménages à l’aide de modèles micro-économiques.
Ces modèles permettent d’obtenir des résultats plus précis sur les
impacts redistributifs des politiques évaluées.
Les simulations réalisées à l'aide de ces modèles suivent toutes le même
protocole. Une simulation de "base" est d'abord réalisée. Puis la politique est
simulée en modifiant les valeurs des variables appropriées et l'on compare les
résultats obtenus avec la simulation de base.
Les "calculs de coin de table" concernent les modélisations partielles de
l'économie développées pour répondre à certaines questions particulières, comme
par exemple l'effet des baisses de cotisations sociales sur l'emploi non qualifié.
L'opposition modèles macroéconométriques, modèles en
équilibre général.
A la base il y a deux différences essentielles entre les deux approches:
∙ Dans le schéma keynésien, c'est la demande effective, somme de la
consommation anticipée des ménages, de la demande d'investissement anticipée
des entreprises et de la demande anticipée d'exportations qui détermine l'offre des
entreprises. Dans le schéma néo-classique, c'est l'offre des entreprises qui, par
les revenus qu'elle génère, permet de solvabiliser la demande et ainsi assure
l'équilibre sur les marchés des biens et services et du travail.
∙ Le modèle keynésien de base propose une détermination de l'équilibre macroéconomique pour un niveau donné des prix et des salaires. Dans le schéma néoclassique, prix et salaires sont supposés flexibles.
La conséquence immédiate de ces hypothèses de base est que les politiques qui
stimulent la demande (augmentation des dépenses publiques, réduction des
impôts par exemple) auront un effet a priori plus fort dans un modèle
d'inspiration keynésienne que dans un modèle d'inspiration néo-classique.
Synthèse: quelle approche favoriser ?
Pour certains économistes les modèles macro-économétriques ne sont que des
usines à gaz et souffrent irrémédiablement de leur absence de fondements
structurels.
Pour d'autres, la modélisation en équilibre général n'est qu'une représentation
stylisée de l'économie, séduisante de part sa cohérence théorique mais trop
éloignée de la réalité.
Le point de vue des défenseurs des modèles macro-économétriques peut être
résumé par cette opinion de Lawrence Klein (1986):
« Econometric models are based on theories and estimates of the way people do
behave, not on the way they ought to behave under the conditions of some
hypothesized decision making rules. »
Le fait est qu'en dépit des attaques auxquelles ils ont été soumis les modèles
macroéconométriques sont encore un des outils privilégiés des prévisionnistes.
En fait la nature de la modélisation à employer dépend étroitement de celle du
problème étudié. Les outils sont plus complémentaires que concurrents.
Les modèles macro-économétriques reposent sur des hypothèses de rigidité à court
terme. Ils sont donc particulièrement appropriés pour étudier les effets à court terme
d'une politique donnée.
Les modèles d'équilibre général calculable, de part l'hypothèse de flexibilité des prix,
sont utiles pour étudier les effets à long terme d'une politique, lorsque les prix et les
salaires se sont ajustés aux déséquilibres sur les différents marchés.
Les modèles VAR sont un outil à la fois concurrent et complémentaire aux modèles
macro-économétriques.
• Pour ce qui concerne les pays en développement,
les modèles de type EGC et les modèles de
microsimulation sont souvent préférés pour des
raisons pratiques:
– Les modèles macroéconométriques comportent un
grand nombre d’équations et demandent à être
« maintenus » par des équipes;
– Les modèles VAR sont beaucoup plus légers, mais pour
être estimés requièrent des séries temporelles assez
longues, ce qui n’existe pas dans de nombreux pays;
– Les modèles EGC et de microsimulation peuvent être
développés par des chercheurs isolés et ne demandent
pas de séries temporelles pour être calibrés.
22/04/2017
46