08/06/2017 Évaluation des politiques publiques et légitimation des réformes de protection sociale en France, un paysage en profonde transformation (1987-2007) Communication pour les journées du réseau RT6 Politiques sociales, solidarités, protection sociale, de l’Association française de sociologie et du laboratoire PACTE, Grenoble, 17-18 janvier 2008 Version provisoire Ne pas citer sans autorisation Jean-Claude Barbier directeur de recherche CNRS Université Paris I Panthéon Sorbonne CNRS Centre d'économie de la Sorbonne - Matisse 106-112 Boulevard de l'Hôpital 75647 Paris Cedex 13 - FRANCE tel 33(0) 1 44 07 81 56 fax 33(0) 144 07 83 36 [email protected] http://ces.univ-paris1.fr/membre/barbier/barbier.html 1 08/06/2017 Introduction Les « forums de politiques sociales » en France connaissent de profondes transformations (Barbier, 2007a). Ce mouvement donne de plus en plus de place à une représentation économique des politiques publiques et des conduites professionnelles qu’on attend de leurs « bénéficiaires ». B. Jobert et B. Théret ont identifié les modalités de l’installation en France d’un nouveau référentiel chez les élites politico-administratives françaises, à partir des années 1980, référentiel que Jobert a qualifié de « néo-libéralisme gestionnaire ». La transformation des conceptions s’est cependant diffusée de façon inégale selon les secteurs. Dans celui de la protection sociale, de l’aide sociale, et des diverses interventions de politique sociale, il a pris plus de temps que dans celui des politiques économiques. Depuis la fin des années 1990, on assiste pourtant à une marginalisation des anciennes façons de penser « le social » et ses politiques, et à une domination de la représentation économique des problèmes, domination liée aux milieux qui sont actifs dans l’État pour promouvoir les réformes (tout particulièrement les économistes d’État). Ce mouvement n’est évidemment pas sans lien avec la transformation des forums internationaux. L’analyse empirique proposée ici relie la transformation des forums à l’importance prise par une activité spécialisée, encore relativement nouvelle en France, à savoir l’évaluation des politiques et des programmes publics (par simplification, on dira évaluation ou EPP dans le texte qui suit, sauf précision spécifique), une activité dont les caractéristiques particulières ont été peu étudiées en sociologie. Il faut d’abord préciser des repères essentiels d’une sociologie politique de l’évaluation qui reste, pour l’essentiel, à faire. Par comparaison avec d’autres pays européens, et, surtout avec le cas américain, l’apparition de l’évaluation en France est tardive : dans les années 80 et 90, elle s’incarne pour la première fois dans des institutions formelles de l’État (central et local) ; parallèlement, les prolégomènes de la naissance d’une identité professionnelle d’ « évaluateur », certes fragile, apparaissent ; un marché de l’évaluation se constitue, dont les produits (ce sont évidemment des services professionnels complexes1) ne sont pas tout à fait distincts d’autres, l’expertise, l’étude, l’audit, le contrôle, etc.. L’influence de la problématique introduite dans le débat public par la référence de l’EPP varie selon les secteurs de politiques publiques. Il est cependant logique que ce soit dans le domaine des « politiques sociales2 » que cette influence soit la plus évidente. Toutefois, au cours de la décennie 1990 et dans les premières années 2000, les formes prises par l’évaluation évoluent : un premier type d’opérations d’évaluation continue d’être commandité par les financeurs publics, qui s’apparente à un suivi des programmes et à leur analyse en termes de systèmes d’acteurs et de management public ; un second type prend de l’ampleur, qui mobilise la micro-économie néo-classique et qui tend à être privilégié par les commanditaires du gouvernement. Comment caractériser les effets de l’introduction de l’EPP en matière de légitimation des politiques ? Il s’agit, pour l’essentiel, de comprendre à plusieurs égards sa place dans la production de connaissances qui sont utilisées dans l’activité politique. Nous en soulignerons 1 Pour la définition de ce type de service, voir Gadrey (1994). Dans le vocabulaire de l’anglais américain, on parle, dans la littérature spécialisée de « social intervention programs ». L’un des manuels couramment utilisés par les évaluateurs professionnels, définit ainsi l’évaluation : « L’évaluation, ou la recherche évaluative (evaluation research), c’est l’application systématique des méthodes des sciences sociales (social research procedures) pour juger la conception, la construction, la mise en œuvre et l’utilité des programmes sociaux (social intervention programs) » (Rossi and Freeman, 1993, p.5). 2 2 08/06/2017 deux : d’abord la manière dont l’EPP informe, nourrit la construction des référentiels des politiques sociales, participant ainsi à leur légitimation. Ensuite, la façon dont l’EPP, de ce point de vue, se marie ou ne se marie pas avec les disciplines des sciences sociales (celles qui sont, principalement concernées ici sont la sociologie, la science politique et l’économie), dans les forums de communautés de politique publique, à l’entrecroisement des forums scientifiques et de la communication politique, pour reprendre les concepts de B. Jobert (1994 ; 1998). Les hommes politiques recherchent la légitimation par la science. Une brève histoire de l’évaluation des politiques publiques (EPP) en France Au cours des années 90, un nombre croissant d’acteurs français divers (hauts fonctionnaires, experts, consultants, universitaires, ..) ont entrepris de faire référence à l’évaluation des politiques et des programmes pour qualifier certaines de leurs activités. Progressivement, bien que de manière très inégale selon les secteurs, et selon les lieux, l’EPP a commencé d’être repérable parmi les activités spécialisées liées à la mise en œuvre et à la conception des politiques, à côté d’autres, comme le contrôle, l’audit, l’étude, etc.. Un marché a émergé. Cela s’est traduit par un processus d’institutionnalisation3, visible dans le fait que des administrations de l’État l’ont eue en charge plus ou moins formellement. Dans le secteur social, qui nous occupe ici, plusieurs usages de l’évaluation ont pris place, qui montrent des inflexions significatives dans les pratiques. L’« institutionnalisation » de l’évaluation4 en France Au milieu de controverses, l’EPP s’est progressivement installée dans le paysage politique français au début des années 1990 (formellement sous l’incitation de la circulaire de 1989 du premier ministre Rocard). Bien loin d’une installation simple, cette période connaît plutôt un ensemble assez disparate d’initiatives (dont certaines étatiques) menées par une pluralité d’acteurs. À l’origine, une controverse latente et parfois explicite opposa les tenants d’une évaluation « démocratique » à une « évaluation managériale », nous y reviendrons. L’activité d’évaluation, bénéficiant alors d’une reconnaissance auprès du premier ministre (Conseil scientifique de l’évaluation, notamment) se répand. Elle connaît une visibilité importante dans l’évaluation de la loi expérimentale du RMI (1988-1992). Cette « tradition » d’évaluation est mélangée, du point de vue des disciplines, des méthodes d’évaluation, des commanditaires, des pratiques professionnelles et des acteurs. La reconnaissance par l’État central et le rôle des régions En 1990 et dans les années immédiates qui ont suivi, il semblait aux acteurs qu’un pas décisif avait été franchi dans l’institutionnalisation de l’évaluation en France, avec la création du Conseil scientifique de l’évaluation (CSE). Dans son activité de surveillance et de suivi des E. Monnier (1992, p. 63) relate « la voie française de l’institutionnalisation ». S. Jacob (2005) a étudié l’institutionnalisation de l’évaluation dans quatre pays. Pour lui, c’est un « processus par lequel les dispositifs institutionnels sont créés, modifiés voire supprimés », de façon à chaque fois spécifique. 4 Les données empiriques sur lesquelles se fonde la présente analyse ressortissent à une observation participative (ou participante) de l’auteur sur une longue période. En effet, celui-ci a occupé, depuis 1988 et l’évaluation du RMI, à peu près constamment des positions de chargé d’évaluation, de commanditaire, de membre d’instances d’évaluation. Il a également contribué à la fondation de la société française de l’évaluation (SFE) en 1999, société dont il est toujours un membre actif en 2007. Il a, en particulier, réalisé une série d’entretiens avec des consultants dans plusieurs cabinets offreurs de prestations d’évaluation. 3 3 08/06/2017 évaluations commanditées par les grands ministères, le CSE contribua à produire les principes d’une doctrine. Bien qu’il n’ait jamais réuni les ressources adéquates pour asseoir une influence exclusive, le CSE n’en constitua pas moins un référent majeur. Aussi paradoxal que cela puisse paraître d’un point de vue comparatif, la France, qui n’avait pas d’organisation professionnelle de l’évaluation (ni enseignement supérieur, ni organismes professionnels) disposa, via cette doctrine, d’une série de « standards de qualité » qui furent effectivement utilisés pour juger les produits des évaluations coordonnées sous son égide (Barbier, 2002a). Mais, depuis cette époque, le CSE est d’abord tombé en désuétude, puis a été remplacé, en 1999, par une instance différente (le Conseil national de l’évaluation, CNE). La visibilité institutionnelle de l’organisme central de référence en matière d’évaluation en est ressortie amoindrie. Pendant que, de son côté et sans coordination de fait, le marché se développait, en particulier à travers les commandes croissantes des collectivités régionales, le CNE tomba finalement lui aussi en sommeil puis ne fut jamais renouvelé. A partir de 2002, une autre dynamique de la « modernisation » de l’État lui succéda, nous allons y revenir. Mais auparavant, il faut entrer plus précisément dans les origines de l’installation de l’EPP en France5. Pour schématiser les choses, l’activité baptisée EPP en français dans les années 1990 puise son inspiration dans la pratique américaine de program evaluation6, particulièrement florissante au moment des programmes sociaux sous les présidences Kennedy et, surtout, Johnson. Elle plonge ses racines intellectuelles aux USA et ailleurs, bien plus anciennes, dans les pratiques de « social engineering » des débuts du 20è siècle, en particulier dans les expérimentations pratiquées dans le domaine de l’éducation. En France, une longue tradition d’ingénieurs statisticiens peut également être raccrochée à la généalogie de l’évaluation telle qu’elle se présente à la fin des années 60, sous un avatar dit « rationalisation des choix budgétaires » (RCB) (Monnier, 1992 ; Spenlehauer, 1998). Cette initiative pilotée par le ministère des finances se rattache à l’EPP en ce qu’elle se fixe comme objectif de « rationaliser » les politiques par le moyen de leur fixer des objectifs chiffrables et quantifiables, dans l’attente de résultats escomptés, le tout étant relié à la procédure budgétaire. Des correspondants RCB furent installés dans tous les ministères et des documents nouveaux créés. Pourtant l’expérience échoua, et la RCB fut abandonnée en 1983 (CSE 1993; Monnier 1992). Après cette première expérience, une nouvelle étape du processus d’acclimatation de l’évaluation en France fut marquée par la publication, en 1986, d’un rapport du Commissariat général du Plan, dit « rapport Deleau », du nom de l’un de ses auteurs. Ce texte s’inscrivait dans la réflexion internationale de l’époque en termes de « crise de l’État-providence », ou de « limites du welfare state » (Duran et al. 1995, p. 47) ; son orientation centrale défendait la nécessité d’évaluer les politiques françaises du point de vue de l’efficacité ou de l’efficience vis-à-vis des coûts (cost-efficiency). L’impulsion donnée par le gouvernement de gauche, sous le premier ministre Rocard, en 1989 fut différente7. L’évaluation des politiques publiques y était vue comme l’un des éléments de la « modernisation de l’État », à côté de la transformation de la gestion du personnel et la mise en place de centres de responsabilité, incitant à s’inspirer des pratiques de management privé (CSE 1993). Fontaine et Monnier (1999, p.18) ont montré que cette introduction légale de l’évaluation prit place à l’occasion de l’ouverture d’une fenêtre d’opportunité exceptionnelle permise par l’arrivée au pouvoir de M. Rocard, conseillé par des 5 Voir, sur ce point Monnier (1992) et Spenlehauer (1998). En anglais programme evaluation, en américain program evaluation. Evaluation research est aussi le nom parfois utilisé pour la réflexion sur l’activité (Rossi and Freeman 1993). 7 Circulaire du 23 février 1989. 6 4 08/06/2017 partisans de l’évaluation (en particulier, par P. Viveret, auteur d’un rapport commandité par le premier ministre). Alors que la pratique et la légitimité de l’introduction de l’EPP restaient marginales en France, le CSE fut installé, auprès du premier ministre et de son Commissariat du plan. En théorie, le CSE fonctionnait comme auxiliaire scientifique du comité interministériel de l’évaluation (CIME), créé par le même décret de 1990, à la suite du rapport Viveret8. Le CIME n’était, dès le départ, pas en charge de l’ensemble des évaluations de politiques conduites : certaines politiques furent considérées par cet organe comme particulièrement dignes d’intérêt pour être évaluées selon une procédure particulière, soumise au contrôle méthodologique du CSE. Pour autant, des activités qualifiées ici ou là d’évaluation n’en continuèrent pas moins à se développer, à la frontière d’autres activités plus traditionnellement établies (audit, contrôle, étude) et sous l’égide d’un grand nombre de commanditaires non affectés directement par l’installation d’une « autorité centrale » de l’évaluation qui, faute de ressources et de statut, ne pouvait pas en devenir une, à la différence d’agences comme le Government Accountability Office (GAO) américain. Du point de vue de la sociologie de l’administration, le CSE fut, dans un premier temps, considéré comme un enjeu relativement important par la haute fonction publique. Sa composition initiale en fait foi : des hauts fonctionnaires des grands corps d’inspection et de l’INSEE, de la Cour des comptes côtoyaient, en nombre à peu près équivalent, des universitaires et experts, et un seul représentant du secteur privé au départ. Le Conseil fut présidé par Jean Leca, professeur internationalement renommé de science politique. Cette composition peut être interprétée comme le signe que la haute fonction publique chargée du contrôle, des études et de l’inspection s’intéressait à l’évaluation en tant que source potentielle d’activités concurrentes. En fait, après des débuts actifs, la procédure de sélection de projets par le CIME s’embourba et il n’y eut plus, à partir de 1995, de nouveaux projets sélectionnés ; dans le même temps, les membres du CSE qui le quittaient ne furent pas remplacés par les autorités compétentes. Au total, pendant la période 1990-1996, le dispositif CSE-CIME n’aura choisi et suivi qu’une vingtaine d’évaluations, dont la plupart étaient certes de grande envergure et pleines de leçons (Barbier 2002a), mais qui ne représentaient qu’une petite partie de l’activité existant sous l’étiquette évaluation en France à l’époque. En effet, dans le même temps, le rôle des Conseils régionaux comme commanditaires d’évaluations se renforçait, sous l’impulsion du cofinancement, par la Commission européenne, des actions relevant des fonds structurels (notamment le FSE et le FEDER). Une condition obligatoire du financement européen étant l’existence d’évaluation, les régions y trouvèrent une puissante incitation à s’y convertir. Dans un premier temps, et, selon les régions, par la suite aussi, une part de ces évaluations qu’il est difficile d’estimer, faute de données empiriques précises, correspondait à des évaluations à caractère rituel ou formel9. Par la suite, une autre source d’opérations évaluatives fut fournie par la création, en 1993, de l’évaluation obligatoire des « contrats de plan État-régions10 ». En dépit de leur importance à de nombreux égards, on a pu considérer que, du point de vue d’ensemble de la position de l’EPP en France, ces opérations restaient modestes (Spenlehauer et Warin 2000). Les préconisations du rapport Viveret, en 1989, incitaient à s’inspirer de l’exemple américain en créant une autorité indépendante, mais l’arbitrage gouvernemental ne les suivit pas. 9 Sans que cette information soit représentative, nos entretiens à la Commission européenne nous ont convaincu que les spécialistes de l’évaluation localisés dans la direction du Budget portent un regard très critique sur la qualité des évaluations conduites par les États membres dans le cadre des financements des fonds structurels, par comparaison avec les standards qu’ils appliquent aux politiques « internes ». 10 Circulaire (9 Décembre 1993) « relative à la mise en œuvre de la démarche d’évaluation dans les procédures contractuelles (contrats de plan – contrats de ville) ». 8 5 08/06/2017 Un Conseil national de l’évaluation, le CNE, remplaça le dispositif de 1999. Il a fait conduire, sous son autorité, une nouvelle série d’évaluations, relativement nombreuses 11, dont les résultats ne furent pas tous publiés. Mais, depuis 2002, le gouvernement n’ayant pas renouvelé le Conseil, l’État n’a plus disposé d’instance centrale. Au lieu de cela, il a favorisé des démarches qu’on peut considérer comme « voisines » de l’EPP, qui ont en quelque sorte « remplacé » l’évaluation. Nous ne les évoquons ici que pour mémoire : tout d’abord, les gouvernements ont conduit, dans les différents départements ministériels, des « stratégies ministérielles de réforme », à partir de 200312. Ensuite, la procédure budgétaire a été entièrement refondue sous l’impulsion de l’adoption (en août 2001) puis de la mise en œuvre systématique depuis, de la loi organique relative aux lois de finances (LOLF) : cette réforme a conduit à transformer la vision des politiques publiques en une série de missions (composées de programmes et d’actions), axées autour d’objectifs et devant produire des résultats, mesurés à l’aide d’un petit nombre d’indicateurs. Ses premiers initiateurs laissaient entendre que la LOLF allait satisfaire le besoin d’une EPP, ce qui n’a pas été le cas, comme le prouve, en particulier, la persistance structurelle du financement d’opérations d’évaluations sectorielles dans de nombreux départements ministériels. Enfin, de manière plus conjoncturelle, le gouvernement nommé par le nouveau président de la République, en 2007, comprend un secrétaire d’État dont l’attribution comporte explicitement « l’évaluation des politiques publiques », mais le président a aussi lancé une opération ponctuelle, qu’il dit inspirée de la pratique canadienne, et qu’il a nommée « révision générale des politiques publiques – RGPP ». Cette dernière utilise le vocabulaire de l’évaluation tout en se distinguant fortement, par ses méthodes et ses objectifs, des opérations menées jusqu’alors sous cette étiquette. Notons enfin qu’en 1999 le « monde » français de l’évaluation s’enrichit d’un nouvel acteur, la « Société française de l’évaluation (SFE) », dont l’article 3 des statuts fixe la mission de « contribuer au développement de l’évaluation et de promouvoir son utilisation dans les organisations publiques et privées. Elle se fixe notamment pour objectifs de faire progresser les techniques et méthodes et de favoriser le respect de règles éthiques et procédurales propres à garantir la qualité des évaluations ainsi qu’un usage approprié de leurs résultats. » Cette société a regroupé, au cours des dernières années, entre deux et trois cents adhérents, y compris des collectivités locales et des organismes divers. Face à la diversification et la croissance du marché de l’évaluation, la SFE n’a pas, pour l’instant, réussi à représenter l’ensemble des acteurs sociaux concernés par l’EPP : c’est le cas notamment parce que certains secteurs de « politique sociale », qui pratiquent l’évaluation n’y sont pas ou marginalement représentés (ainsi, la politique d’éducation, de santé) ; mais la situation de représentativité limitée s’explique aussi par le fait que certains acteurs en sont absents ou y sont sous-représentés (par exemple les universitaires, mais aussi les grands cabinets de consultants internationaux, etc.). La SFE a, en 2003, adopté une « Charte de l’évaluation des politiques publiques et des programmes publics », actualisée en 2006, qui a pour ambition de constituer l’énoncé de lignes directrices professionnelles et éthiques pour les participants des opérations d’évaluation en France13. La SFE est le correspondant français d’un vaste réseau de sociétés dans les différents États européens, mais aussi en Amérique et en Afrique. Au cours des dernières années enfin, des formations supérieures à l’évaluation sont apparues dans Au total, environ une vingtaine d’opérations. Ont été publiées, par exemple, l'évaluation du programme « nouveaux services - emplois jeunes » dans le champ jeunesse et sports (novembre 2001) et l'évaluation des mesures d'aide aux emplois du secteur non marchand (janvier 2002), l’évaluation de l’externalisation des services par l’ANPE (rapport « Balmary » en 2004). 12 Circulaire du 25 juin 2003 du premier ministre relative aux stratégies ministérielles de réforme. 13 L’auteur de ces lignes a contribué à sa rédaction. Il a également animé, puis co-animé son groupe de travail « Standards de qualité et déontologie ». 11 6 08/06/2017 plusieurs masters professionnels, dont un cursus spécifiquement centré sur l’EPP à l’institut d’études politiques de Lyon et une formation « finances-évaluation » à l’université de Rennes. Cette trop brève histoire illustre bien la présence ambigüe et mal reconnue des activités dites d’évaluation en France. Dans d’autres pays, où les controverses ne sont évidemment pas absentes, la situation est cependant souvent différente, parce que des pratiques et des références professionnelles existent, qui donnent crédibilité à une existence séparée de l’activité d’EPP, appuyée sur des communautés professionnelles relativement identifiables. L’installation de la LOLF, d’une part, des stratégies de réformes ministérielles parfois accompagnées d’audits de performance, de l’autre, de même que le lancement conjoncturel de la RGPP en 2007 sont autant de confirmations de la difficulté d’une institutionnalisation relativement cohérente de l’activité évaluative dans ce pays. On peut proposer plusieurs explications à cette situation qui singularise la France par rapport à la Grande-Bretagne, à l’Allemagne et aux pays scandinaves en particulier. Les activités sous l’étiquette de l’évaluation face au système politico-administratif français Sans envisager ici une histoire approfondie de l’idée et des pratiques d’évaluation en France (voir la contribution à cet égard de Spenlehauer 1998), on peut souligner quelques traits qui expliquent cette situation. Aux caractéristiques du système politique français, il faut ajouter des facteurs tenant aux formes de l’administration française. On ne pourra qu’en conclure qu’il n’y a, pour l’instant, jamais existé assez d’acteurs en France pour construire une « advocacy coalition » au sens de Sabatier (1998) en faveur de l’EPP. Une autre façon de le dire consiste à constater que le « référentiel » de l’évaluation, qui, au fond, est une façon, parmi d’autres, de construire une « représentation simplifiée des conséquences des politiques publiques pour en tirer des prescriptions politiques», n’a pas trouvé de défenseurs suffisamment puissants pour imposer cette façon de voir. Au titre des caractéristiques du système politique français, il faut d’abord signaler la faiblesse du Parlement face à l’exécutif (depuis l958), ce qui explique son investissement marginal dans les questions de l’évaluation, malgré l’existence d’organes spécialisés14. On peut aussi ajouter la question du cumul des mandats pour les hommes et femmes politiques, qui aboutit à ce que l’investissement politicien dans les arènes autres que nationales soit toujours partiel et relatif, les hommes et femmes politiques d’importance étant tous visibles dans l’arène nationale : l’opposition, par exemple, entre élus régionaux et État central est toujours relative et la décentralisation reste inachevée, ce qui diminue la demande d’évaluations contradictoires entre niveaux de gouvernement légitimes. Cet état de choses se trouve en cohérence avec l’organisation et l’histoire de l’administration française, qui, structurellement, présente une tendance à exclure, comme d’autres activités d’étude ou d’expertise, l’évaluation, au bénéfice du contrôle et de l’expertise d’État, lesquels aiment à se légitimer, dans une tradition centralisatrice et jacobine, comme les porteurs exclusifs de l’intérêt général. Comme l’a montré un rapport rédigé par des sénateurs (Bourdin, 200115) qui comparait les situations américaine et française, on est en présence en France d’un quasi-monopole des systèmes statistiques, des études et de l’expertise : s’il ne s’agit d’un quasi-monopole de production que dans le cas des services de l’INSEE, l’expertise Il existe auprès du parlement français plusieurs « offices parlementaires d’évaluation » spécialisés. Ceux-ci ont noté qu’il n’existait en France à l’époque que quatre petites organisations indépendantes productrices d’expertise (dont l’OFCE est la plus connue) (Bourdin, 2001, p. 18-25). En Allemagne par exemple une grande variété de fondations contribue à la production d’une expertise pluraliste. 14 15 7 08/06/2017 ou l’évaluation ont beau être confiées à des consultants ou des universitaires16, elles ne se font qu’exceptionnellement dans un cadre de commande indépendante (Jobert 1994). Pour les raisons indiquées précédemment, le poids des régions et autres collectivités territoriales n’est pas en mesure de contrebalancer ce quasi-monopole. La thématique de “l’intérêt général” permet d’illustrer la situation française par comparaison avec les autres pays développés. Dans ces derniers, par exemple au RoyaumeUni et dans le monde anglo-saxon ou scandinave, le système politique est évalué, au moins au niveau de la rhétorique, au regard de son « accountability », c’est-à-dire de la façon dont il se soumet à la reddition des comptes de son action au nom de l’intérêt public. Significativement, l’organisme indépendant américain, détenant une grande puissance légale et légitime à la fois– y compris celle de contraindre le président – s’appelle désormais Government Accountability Office (GAO17). Qu’il soit très difficile de traduire le terme d’accountability en français (Perret in CSE 1993, p. 72) s’explique par le contexte politico-administratif. Dans la tradition républicaine pluriséculaire, les agents de l’État doivent certes rendre des comptes aux citoyens, comme le précise l’article 15 de la Déclaration des droits de l’homme et du citoyen de 1789 : « La société a le droit de demander compte à tout agent public de son administration ». Mais le système français se caractérise par le rôle éminent joué par les « grands corps18 » de l’État dans les tâches d’inspection, d’expertise et de contrôle. Une telle organisation, fondée sur l’expertise étatique (comme celle des inspecteurs des finances ou des administrateurs de l’INSEE) est étrangère à la construction d’une connaissance partagée avec la société civile, puisque les agents du contrôle y représentent des incarnations de l’intérêt général (Jobert 1992). Il était ainsi logique que, dans les années 1990, ces grands corps jouent un rôle stratégique dans l’EPP, comme on l’a vu pour la création du CSE. Pour ce qui concerne la reconnaissance de l’EPP, aux côtés des disciplines « installées » (contrôle, audit, etc..) les grands corps détiennent inévitablement un pouvoir de contrôle (de gate-keeper) assis sur des ressources institutionnelles et sociales ancrées dans le système politico-administratif. Pour que l’évaluation se développe en tant que champ particulier d’une profession, concurrente et complémentaire à la fois du contrôle ou de l’audit, avec des standards indépendants, il faudrait donc que ces acteurs traditionnels y trouvent un intérêt, ou que la dynamique d’un changement soit impulsée « de l’extérieur », par exemple par la concurrence du secteur privé. L’expérience française montre qu’aucune de ces conditions n’a été encore réunie. Du côté des grands corps, l’idée d’une spécificité de l’évaluation reste pratiquement ignorée quand elle n’est pas combattue. E. Audebrand (1999) a par exemple noté que lors de l’élaboration du nouveau décret créant le CNE, en 1999, alors que certains membres de la Cour des Comptes entendaient participer, à leur façon, à l’évaluation, des membres du Conseil d’État défendaient la thèse selon laquelle « on ne savait pas ce qu’était l’évaluation ». L’ignorance de l’évaluation est aussi incorporée dans l’éthos traditionnel des agents de l’INSEE. Ainsi, lorsque les syndicats de l’institut organisèrent un colloque en 2001 sur le thème « Statistique publique, évaluation et démocratie », la question de l’évaluation ne fut évoquée qu’à la dernière table ronde du colloque. Un intervenant, administrateur de la DARES, fut contesté par des représentants syndicaux quand il souligna qu’il fallait « être 16 On ne souligne pas assez que les universitaires français sont aussi des « hauts » fonctionnaires. L’ancienne appellation était General Accounting Office (jusqu’en 2004). 18 Duran et al. (1995, p. 54) ont justement noté : « The French state has always relied simultaneously upon the figure of the engineer and the legal scholar in order to ‘produce’ a society in the name of public authority. Historically, this has legitimised the state’s superiority over civil society, which at the same time is assumed to be outside state’s control (..) In this manner, actual or potential policy evaluation structures find themselves closely linked to the civil servants who have traditionally been in charge of administrative control”. 17 8 08/06/2017 trois » pour l’évaluation, c’est à dire le pouvoir exécutif, ses services techniques, et la société civile (CGT, CFDT, 2001, p. 73). Dans un colloque qui rassemblait un échantillon probablement représentatif des chargés d’études et de statistiques du niveau central produisant des données utilisables pour l’évaluation des politiques sociales, la question de l’évaluation avait été uniquement considérée comme celle de l’indépendance des services techniques de l’État vis à vis de l’exécutif. Ces exemples sont typiques du fonctionnement des grands corps. On peut aussi ajouter que les universitaires – on y reviendra en seconde partie – n’ont pas plus d’autonomie dans ce jeu stratégique : soit, comme c’est le cas des économistes, ils sont inévitablement alliés aux ingénieurs de l’État (Barbier 2007a) ; soit comme les sociologues ou politistes, leur participation éventuelle à des opérations d’évaluation les met « sur le marché » comme les autres consultants privés. A cet égard, la structuration d’un milieu professionnel spécifique n’a pas non plus (encore ?) résulté en France de l’influence du secteur privé. En effet, de ce côté, l’offre de conseil, sérieusement segmentée, n’est pas centrée sur l’EPP, un produit qui reste marginal pour elle. Les grands cabinets internationaux de conseil en management, comptabilité et audit ont certes accru leur présence sur les marchés publics au niveau central et territorial. Mais ce phénomène a concerné surtout le management public, l’audit, l’organisation, à la faveur, comme en d’autres pays, de l’influence du new public management. En matière d’évaluation, ces grands cabinets, trouvant le marché public incertain et d’une rentabilité inférieure, y ont participé inégalement et diversement selon la conjoncture du marché privé. De l’autre côté, les offreurs de produits d’évaluation en France se divisent en cabinets moyens et petits qui réalisent des études à visée évaluative dans le prolongement de leurs niches sectorielles construites à partir d’activités d’étude19, de contrôle de gestion ou de conseil. En outre, contrairement à ce qui se passe par exemple aux États-Unis, les cabinets moyens ou petits exclusivement spécialisés dans la vente de services d’évaluation sont restés marginaux, et fortement dépendants des financements européens (à l’échelon de l’Union européenne, un « état de l’art » de l’évaluation internationale définit assez strictement les produits attendus ainsi que les normes et règles déontologiques). Certains acteurs professionnels de l’évaluation en France ont pensé que l’européanisation allait entraîner une assimilation des pratiques de l’évaluation en France (Fontaine et Monnier, 1999 ; Toulemonde, 2000). Mais, jusqu’à présent, le marché de l’évaluation, que l’Union européenne impulse il est vrai de façon décisive, a pu se développer sans que, pour autant, des coalitions d’acteurs suffisantes se forment pour introduire, au sein du système politico-administratif relativement hostile qu’on a décrit, des conceptions professionnelles qui ont largement cours dans de nombreux autres pays de l’Union20. Le processus européen n’est, en tous les cas, pas celui d’une simple convergence vers l’utilisation progressive de l’évaluation, par apprentissage, qui ferait passer tous les pays d’un état de refus de l’évaluation à un état, envisagé comme idéal par certains évaluateurs, de son usage pour le débat démocratique. Dans ce dernier cas, que l’on identifie dans certaines pratiques en vigueur dans les pays scandinaves, les rapports de l’EPP et de la légitimité des politiques sociales, sur lesquels nous viendrons en deuxième partie, se posent de façon très différente de ce qui se passe en France. 19 Nos entretiens réalisés au début des années 2000 dans les cabinets moyens nous ont montré que les conceptions de l’évaluation étaient très diverses. En 2001, un responsable d’un des principaux cabinets moyens intervenant dans l’EPP était à la fois incapable de définir l’évaluation et de dire quelle était la proportion du chiffre d’affaires réalisé dans ce domaine. 20 Les cas espagnols et italiens sont assez proches du cas français, sous l’angle de leur réticence à instaurer des systèmes d’évaluation. 9 08/06/2017 La dimension politique de la controverse et l’évaluation dite « pluraliste » Depuis les années 90, de nombreux acteurs de l’évaluation ont regretté son développement incertain (par exemple, Martin 2001 ; Perret, 2001, p. 85-93). Si l’on se place du point de vue de la sociologie de l’évaluation, il est important de considérer cette situation de la façon la plus « neutre » possible. C’est ce que fait P. A. Sabatier, quand il souligne que le cœur de la question relève de la possibilité (ou de l’impossibilité) de la construction, dans une communauté d’évaluateurs, de standards professionnels, autour desquels les différents groupes se trouvent contraints de contester les conceptions de leurs adversaires, et de se mettre d’accord sur des conceptions communes de l’évaluation, scientifiques et professionnelles21. Cet auteur rejoignait l’analyse de Jean Leca, ex-président du CSE (Leca, in CSE 1992, p 2)22. Il s’ensuit qu’aujourd’hui, de facto, le champ des activités et acteurs se réclamant de l’EPP est, malgré plus d’une décennie d’histoire, marqué en France par une grande variété de conceptions, de méthodes et de points de référence ; cet éclectisme fait que la question des frontières entre l’EPP et d’autres activités, présente dès les années 1990 (CSE, 1992, p. 13)23 a été sans cesse remise sur le métier, jusqu’en 200724. Toutefois, l’éclectisme et la variété ne s’expliquent pas uniquement en termes de champs professionnels plus ou moins différenciés. Par comparaison, là aussi, avec d’autres pays étrangers, la situation française est marquée par des divergences politiques qui, tout en évoquant des controverses comparables à l’étranger, se présentent sous des formes spécifiques. La controverse politique fut initialement définie par certains de ses protagonistes comme une opposition entre une conception « démocratique » de l’évaluation, s’opposant à une conception dite « managériale ». L’exemple des réformes introduites aux États-Unis sous la présidence de R. Reagan montre que l’orientation partisane joue partout un rôle dans le recours à l’évaluation des politiques : sous sa présidence en effet, le style d’évaluation fut réorienté vers des études centrées sur les économies budgétaires, par opposition à l’orientation de « social engineering » de l’administration du président Johnson (Perret 2001, p. 62). Une tension fonctionnellement analogue explique l’opposition thématisée en France entre « management » et « démocratie » dans les années 1990. En termes analytiques, il est impossible de préciser la nature exacte d’évaluations qu’on pourrait dire « managériales » (ou aidant à la décision) par rapport à d’autres qui seraient « démocratiques » (ou visant à favoriser la démocratie participative). Chacun de leur côté, leurs partisans considèrent qu’il s’agit pourtant de la meilleure forme d’évaluation possible. L’opposition en dit plus cependant sur la culture politique française qui tend à penser le « management » ou la gestion comme par principe étrangers à une mission supérieure de la politique qui ne saurait s’embarrasser de questions prosaïques, parce qu’elle tire sa valeur d’une orientation à laquelle des hommes et femmes politiques se réfèrent, dans le vocabulaire français, comme « volontariste ». D’innombrables citations de tous bords pourraient être convoquées ici ; une, typique, suffira, celle de R. Forni, alors président de l’Assemblée nationale, écrivant dans Le Monde (6 juin 21 « Given that most policy evaluators will be members of different coalitions, the goal should be to develop institutions that force them to confront their adversaries in forums dominated by professional/scientific norms » (Sabatier, 1998, p. 143). 22 « Tant que d’autres acteurs sociaux n’ont pas manifesté suffisamment d’intérêt pour que l’évaluation devienne partie intégrante de la vie publique, le gouvernement a une responsabilité particulière ». 23 “En l’absence de milieu professionnel les ayant intégrées, la diversité des traditions disciplinaires mobilisées par l’évaluation produit un éclectisme de fait, qui conduit à admettre que pour un même type de question, on puisse utiliser une pluralité d’approches sans tenter de les confronter, de les articuler, ou de les référer précisément à des finalités différentes de l’évaluation”. 24 En décembre 2007, la société française de l’évaluation a pris l’initiative d’organiser une réunion publique sur « L’évaluation et les activités voisines ». 10 08/06/2017 2001) : « Faire de la politique, même dans l’opposition, ne saurait se résumer à mettre en doute des chiffres et des circuits de financement, à se transformer en une petite chambre des comptes ». Dans les termes de la polémique politique, l’évaluation « managériale » est de droite, alors qu’elle s’appelle « aide à la décision » à l’autre bord, et l’évaluation « démocratique » est inévitablement de gauche pour ses partisans, alors que ses adversaires tiennent que la véritable évaluation démocratique serait celle qui informe l’électeur sur l’efficience et les coûts des politiques. L’approche de l’évaluation dite « pluraliste25 » est également un objet de contestation politique. Sa définition a fait l’objet d’une élaboration progressive à laquelle ont participé plusieurs auteurs et institutions. E. Monnier en est l’un des premiers partisans, qui y consacre de longs développements dans son ouvrage pionnier (1992) : sa définition combine le constat analytique selon lequel le déploiement d’une politique publique est toujours le résultat d’interactions multiples entre des acteurs sociaux, avec l’appréciation normative selon laquelle la meilleure évaluation est pluraliste, car, négociée et associant les partenaires pertinents d’une politique publique, celle-ci permettrait une meilleure efficacité et légitimité des opérations d’évaluation (id. p. 123-124). De manière moins explicite, c’est également le choix privilégié le plus souvent par l’ex-CSE qui a vu, dans l’installation d’une instance pluraliste, représentant les divers points de vue pertinents à propos d’une politique, la meilleure stratégie cognitive (CSE, 1992, p. 14)26. Une telle instance est porteuse de légitimation pour l’évaluation, ont remarqué des sociologues, d’un point de vue à la fois politique et scientifique (Lascoumes et Setbon, 1996, p.10-11)27. Cette idée est reprise à son compte par B. Perret (2001, p. 13-15 ; 99-100). La SFE a également, après de longs débats en son sein, repris cette préférence pour l’évaluation pluraliste, jusqu’à faire de la « pluralité » le premier principe de sa charte, adoptée en 200328. Années 2000, un tournant ? Il est difficile de juger les mouvements qui affectent actuellement les milieux et acteurs qui se réclament de l’évaluation en France, en les replaçant dans le vaste domaine des Présentée à des lecteurs internationaux, elle a été qualifiée d’évaluation « à la française » par Duran et al., (1995) ; voir aussi Toulemonde (2000, p. 356). 26 « Pour toutes les évaluations qui concernent des politiques complexes ou sensibles, et qui comportent l’utilisation d’informations et de résultats d’études de nature hétérogène, le Conseil scientifique préconise la mise en place d’une instance d’évaluation. Son rôle est de préciser le questionnement, de piloter les études, d’intégrer leurs résultats et de formuler des conclusions et des recommandations éventuelles qui peuvent être tirées de ces résultats. Sa composition doit tenir compte de la pluralité des points de vue légitimes sur les questions posées, pour des raisons qui tiennent plus à un souci d’efficacité que d’une exigence formelle de représentativité (..). Les formes de ce pluralisme sont à inventer dans chaque situation, compte tenu de la nécessité de faire de l’instance une véritable structure de travail » (p.14). 27 Perret (CSE, 1993, p 67) note “Pour que ce travail aboutisse à des conclusions crédibles aux yeux du commanditaire politique de l’évaluation, il doit être mené selon des règles qui lui confèrent une double légitimité, scientifique et politique (..) Dans le contexte de l’évaluation de programme, l’évaluateur professionnel assume souvent seul le poids de cette légitimation, à charge pour lui de mobiliser une information et de mettre en œuvre des méthodes crédibles aux yeux des utilisateurs de l’évaluation. Dans le cas des évaluations de politiques publiques telles qu’elles sont pratiquées en France, cette double légitimité est assurée par une instance d’évaluation qui précise le questionnement évaluatif, pilote les études, synthétise et interprète leurs résultats”. 28 Qui s’énonce ainsi : « L’évaluation s’inscrit dans la triple logique du management public, de la démocratie et du débat scientifique. Elle prend en compte de façon raisonnée les différents intérêts en présence et recueille la diversité des points de vue pertinents sur l’action évaluée, qu’ils émanent d’acteurs, d’experts, ou de toute autre personne concernée. Cette prise en compte de la pluralité des points de vue se traduit -chaque fois que possiblepar l'association des différentes parties prenantes concernées par l’action publique ou par tout autre moyen approprié ». 25 11 08/06/2017 « études et du conseil », un secteur particulièrement sensible aux variations du marché, mais aussi au phénomène de la mode managériale. En revanche, dans le secteur social qui nous intéresse ici, une évolution se présente relativement clairement, contrastant fortement l’État central et les collectivités régionales. En schématisant de façon forte : la tendance de l’État central des années 2000 semble le recours systématique à des démarches d’audit, pour la gestion des divers départements ministériels et leur « modernisation », pendant qu’à ce niveau, pour les politiques sociales, le gouvernement se tourne de façon croissante vers l’évaluation économique. Au niveau régional, comme aux autres niveaux territoriaux, les démarches de management public n’écartent pas le recours à des travaux d’évaluation plus sociologiques, inspirés fortement de la sociologie des organisations. Nous insisterons brièvement sur le rôle croissant des économistes dans l’évaluation des politiques sociales. Depuis la fin des années 1990, si l’évaluation des politiques publiques a en effet continué de se banaliser, on a assisté à une diffusion rapide de l’application de l’économie dominante (mainstream) à un éventail croissant de politiques et de réformes (contrat de travail, prime pour l’emploi, services de l’emploi, incitations au travail, revenus minimum…), à des fins de conseil du gouvernement. La prééminence du raisonnement économique dans les opérations d’évaluation est évidemment liée, à ce niveau central, à des acteurs privilégiés (économistes d’État de l’INSEE et économistes des universités). Le changement majeur paraît tenir dans la conjonction d’un traitement différent du débat à propos du « social » dans les média (qui participent, pour employer les catégories de B. Jobert, au forum de la communication politique) d’une part, et, de l’autre, de la tenace progression des travaux d’économistes qui se sont saisis, au fur et à mesure, d’objets qui n’étaient, il y a vingt ans, que marginalement traités par cette discipline (forum scientifique). Ainsi, le langage et le champ de la recherche appliquée à propos du social ont été profondément altérés. Dans ce processus, le recours à l’EPP joue un rôle généralement mésestimé. Le changement tient aussi dans l’importance prise, au cours de la période considérée, par la dimension comparative, européenne et internationale des débats dans les divers forums ; ces derniers sont marqués par l’influence croissante des institutions internationales, qui mélangent inextricablement discours politique et discours économique alimenté par l’évaluation de « bonnes pratiques » décontextualisées (Barbier, 2005 ; Théret, 2005 ; Merrien et al., 2005). Cette transformation aboutit, dans les débats à propos du social et de sa réforme, dans la majorité des cas, à faire circuler une denrée intellectuelle composite, qui joue un rôle important dans la légitimation des politiques. Cette denrée combine indistinctement connaissance scientifique, information, description journalistique, discours politique, prises de positions normatives. Progressivement, les économistes appartenant à l’école dominante, ingénieurs économistes d’État ou universitaires, se sont en effet intéressés au « social », en particulier à la relation entre protection sociale et marché du travail. Utilisant la micro-économétrie, leur approche, bien réduite par rapport à celle préconisée à la fin des années 1980 par le Commissariat du Plan ou le CSE, offre l’avantage de simplifier les problèmes de jugement complexe sur l’efficacité et l’efficience des mesures prises. L’apport propre d’autres disciplines s’en trouve marginalisé, et la sociologie ou la science politique elles-mêmes se laissent parfois séduire par les sirènes de l’évaluation micro-économique, en tant qu’utilisatrices de matériau secondaire. Pour l’économie orthodoxe, cette situation ne pose pas de problème majeur, parce qu’elle est spontanément normative. Pour les autres sciences sociales, celles que J.C. Passeron (2006) qualifie de « sciences historiques », qui entendent travailler empiriquement sur le « social », le forum scientifique semble de plus en plus incapable de réunir les conditions d’un fonctionnement autonome. Dans le domaine qui nous occupe ici, cela a de nombreuses conséquences. Ainsi, pour ne prendre qu’un exemple, l’analyse des politiques visant à contrecarrer la pauvreté a été 12 08/06/2017 bouleversée. À la suite du discours international prescriptif de l’économie standard, le pauvre a eu tendance à être désormais considéré comme un homo oeconomicus qu’il faut inciter à travailler car « le travail paie » (work pays). C’est ce que F. Dubet et A. Vérétout ont pointé en mettant en cause la réduction de la rationalité de l’acteur (Dubet et Vérétout 2001). Le point de vue dominant à l’époque de l’invention et de l’évaluation du RMI, en 1992, est aujourd’hui marginalisé : le pauvre était un citoyen qu’il convenait d’aider à s’intégrer dans la société car il était la victime de circonstances défavorables (Morel 2000). L’évaluation microéconométrique offre des réponses « réduites » et simplifiées à de nombreuses interrogations des responsables politiques et elle est désormais devenue, au moins pour un temps, une des techniques privilégiées de la légitimation des politiques sociales. Dans la presse et dans les débats politiques, les citoyens se voient, par des canaux divers, proposer des « politiques qui marchent », pendant que les organisations internationales produisent des discours de légitimation décontextualisés, promouvant des types de politiques censés réussir dans tous les pays. Définir analytiquement l’EPP à côté d’activités voisines Le bref passage en revue de quelques caractéristiques sociologiques essentielles de l’EPP en France permet, en définitive, quelques conclusions analytiques, avant d’aborder plus précisément ses rapports avec les différentes disciplines de la recherche. Pour les présenter, il faut se placer dans une position aussi neutre que possible, à l’écart des différentes conceptions normatives en présence : ceci n’interdit nullement aux chercheurs d’afficher par ailleurs, dans un autre moment que celui de l’analyse, leurs préférences politiques. Trois éléments nous semblent essentiels : (1) le champ des acteurs et pratiques se réclamant en France de l’EPP est habité de controverses irréductibles, qui empêchent son unification comme champ professionnel ; dans ce champ, les économistes utilisateurs de la micro-économétrie ont pris une importance récente ; (2) la conception privilégiée par l’ex-CSE, occupe en France une place particulière par rapport à ses homologues étrangères, dans la mesure où elle a joué un rôle historique de construction d’une doctrine « à la française » ; (3) compte tenu de cette variété méthodologique et théorique, normative et politique, il n’est pas facile situer l’EPP parmi d’autres activités qui concourent à la fabrication et à la mise en œuvre, ainsi qu’à la légitimation des politiques publiques. Sur le premier point, les développements précédents ont apporté suffisamment de lumière : marché segmenté du côté de l’offre comme de la demande, diversité des disciplines de référence, obstacle structurel constitué par l’organisation administrative et le système politique français, absence de références professionnelles partagées par un nombre suffisant d’acteurs, tous ces éléments laissent penser que, dans un proche avenir, la variété continuera de prévaloir, pour ne pas dire « l’éclectisme29 ». Le second point concerne l’influence durable, quoique minoritaire, de ce qu’on peut appeler la « doctrine du CSE » dans la situation française. Le rôle de J. Leca dans sa création a été vraisemblablement déterminant, et il n’est pas inutile de rappeler le point principal qu’il a systématiquement argumenté. Il nous semble que celui-ci tient dans un postulat. Pour lui, Voir ici l’appréciation portée en 1992 dans le rapport du CSE : « En l’absence de milieu professionnel les ayant intégrées, la diversité des traditions disciplinaires mobilisées par l’évaluation produit un éclectisme de fait, qui conduit à admettre que pour un même type de question, on puisse utiliser une pluralité d’approches sans tenter de les confronter, de les articuler, ou de les référer précisément à des finalités différentes de l’évaluation » (CSE 1992, p. 13). G. Martin (2001) a parlé à ce propos d’auberge espagnole (rappelons qu’en français, il s’agit d’un lieu dans lequel on ne trouve que ce qu’on a apporté). 29 13 08/06/2017 parce que l’information est un instrument à caractère stratégique, « l’évaluation doit être conçue comme une zone d’autonomie par rapport aux acteurs (y compris l’État) auxquelles elle apporte de l’information. Sinon, elle devient, dans son déroulement même (et non pas seulement dans ses usages ultérieurs), un élément même de la manipulation de l’information que les stratèges ne peuvent que pratiquer » (1993, p. 189-190) ; au sein de la zone d’autonomie, il serait possible ainsi de « neutraliser un temps l’énonciation polémique dans le processus d’évaluation et de faire de ce dernier un processus de connaissance partagée par ceux qui prennent la responsabilité de ses conclusions, afin que cette connaissance puisse être, ultérieurement ou en même temps, appropriée ou utilisée par l’ensemble des protagonistes qui peuvent parfaitement rester opposés sur telle ou telle interprétation ou telle mesure à prendre » (ibid., p. 192-193). L’essentiel semble donc reposer, dans la conception de J. Leca, sur la possibilité de la construction de cette zone d’autonomie, à l’écart, nous dit-il, du système « politico-administratif 30». Or, cette possibilité n’est pas donnée et, c’est le moins qu’on puisse dire, elle est difficile à construire par des acteurs qui ont bien d’autres intérêts à défendre que cette orientation civique de renonciation, ne fût-ce que pour un temps, à la « polémique » et à la manipulation de l’information. Il n’est pas rare que des instances pluralistes aient fonctionné, dans la réalité, différemment, comme des forums de représentation des intérêts. Plus généralement, s’il est observé constamment que l’évaluation, comme le disent Spenlehauer et Warin (2000, p. 251), « ne peut exister que si elle est perçue comme étant fondamentalement d’une nature autre que politique », cela n’entraîne pas qu’elle parvienne effectivement à l’autonomie vis-à-vis de la politique. On peut voir dans la conception d’une « zone d’autonomie » un écho de la discussion wébérienne à propos de la « neutralité axiologique », même si la connaissance que l’évaluation, dans cette conception, cherche à construire et partager, reste toujours relative à ce que décident « des protagonistes » participant à la zone d’autonomie (imposant des limites à la connaissance en raison de la situation de commandite et de l’obligation finale de porter un jugement de valeur). Quoi qu’il en soit, cette vision particulière de l’évaluation n’a pas, semble-t-il, trouvé suffisamment de défenseurs et de continuateurs de la « doctrine du CSE ». Sans doute est-ce au sein de la SFE que cette tendance trouve, aujourd’hui, une expression privilégiée parmi d’autres portées par une variété d’adhérents. Elle informe en tous les cas certains principes de la charte de cette organisation, dont celui de « pluralité », dont on a déjà parlé plus haut. En définitive, il est possible de situer l’EPP parmi d’autres activités susceptibles de concourir, plus ou moins directement, à l’action publique. Outre celles qui sont contrôlées en France par des corps professionnels clairement constitués (inspection, audit, contrôle), on peut distinguer, a minima, les activités suivantes : (1) au plus loin, la recherche scientifique (appliquée et plus ou moins comparative et internationalisée) publiée dans les supports académiques et évaluée par les pairs de chaque discipline ; (2) l’étude/recherche finalisée est évidemment plus proche (dans le cas de la sociologie, on l’a dit « caméraliste »31) à destination d’un ou plusieurs financeurs intervenant plus ou moins dans la commande et dans l’étude elle-même et qui, en général, constitue une étape intermédiaire (un terrain) pour des publications classiquement académiques ; (3) la production d’évaluations multidisciplinaires de politiques sous l’égide d’instances relativement autonomes, comme les commissions d’évaluation mises en place par l’ex-CSE ou le Commissariat du Plan ; (4) le conseil direct et « Dans la mesure où ‘l’évaluation de politique’ n’est pas le même type de système et de jeu que ‘l’évaluation politique’, elle peut (et doit) être conçue comme une ‘zone d’autonomie’ par rapport aux autres systèmes (politique et politico-administratif) auxquels elle apporte de l’information. Sinon, elle devient dans son fonctionnement même (et non pas dans ses usages ultérieurs) partie de l’évaluation politique et des manipulations propres à celle-ci que ses stratèges ne peuvent que pratiquer, quelles que soient leur moralité et leur bonne volonté » (Leca, 1997, p.15). 31 Pour reprendre la formule de R. Boudon (2003), également utilisée par de nombreux chercheurs allemands (Zimmermann, 2004). 30 14 08/06/2017 la production d’évaluations économiques (ou sociologiques) à destination d’un commanditaire, sur une base contractuelle. Selon cette typologie inévitablement simplificatrice, il existerait au moins deux formes différentes d’EPP : soit elles ont un commanditaire, soit elles mettent en jeu plusieurs commanditaires (que cela soit explicite ou de fait). Entrent dans cette dernière catégorie, bien sûr, celles qui parviennent à construire la « zone d’autonomie » dont parle J. Leca, même si elles restent probablement très minoritaires. La présence de plusieurs commanditaires (de participants ayant voix au chapitre au cours de l’évaluation et, partant, dans le partage effectif des connaissances produites) autorise à ne pas assimiler évaluation et contrôle, évaluation et inspection, évaluation et audit. D’un point de vue analytique, au contraire, une évaluation qui se déroule dans la relation fermée d’un commanditaire et de l’évaluateur est difficile en revanche à distinguer de l’étude classique, voire de la recherche appliquée ou des activités d’inspection. Il n’en reste pas moins qu’une étude reste, pour ses responsables, à visée évaluative, se distinguant ainsi d’une étude en général, si son ou ses commanditaires la considèrent comme telle, sous réserve qu’une profession vienne apporter la preuve professionnelle contraire. Enfin, on ne peut manquer de souligner qu’en général, et tout particulièrement dans les références internationales utilisées par une « communauté internationale » d’évaluateurs, il est très rare que le questionnement évaluatif échappe à la nécessité de rechercher des liens de causalité entre le déploiement des politiques et leurs « effets » ou « résultats » : en ce sens, l’EPP peut être considérée comme l’instrumentation particulière et explicite des sciences sociales, dans le but de construire une représentation de leurs effets, à des fins politiques ultérieures. En termes de la construction de référentiels, au sens de Jobert et Muller, l’EPP ainsi entendue prend très au sérieux l’étude des « algorithmes » des politiques publiques. Cette dernière dimension est importante à prendre en considération quand on compare, comme on va le faire, l’intervention de la sociologie et de l’économie dans les opérations concrètes d’EPP, sous l’angle de la légitimité des politiques publiques. Évaluation, recherche, légitimité des politiques Puisque l’EPP est relativement récente en France et peu affirmée dans ses références, on pourrait penser qu’elle n’a qu’une importance marginale dans le débat à propos des politiques sociales. Pourtant, malgré, ou peut-être même à cause de son « éclectisme », elle a acquis, au contraire une place importante dans le processus de légitimation des politiques : dans la communication politique, le mot évaluation est très positivement connoté. Pour le dire de façon simplifiée, l’argumentation publique visant à promouvoir, défendre ou, au contraire, dénoncer telle ou telle politique sociale a eu tendance à utiliser l’EPP de manière croissante. Les hommes et femmes politiques français, s’ils prennent des positions extrêmement diverses quant à l’EPP, n’en attribuent pas moins, de manière consensuelle, des connotations positives au terme évaluation. La majorité de ces usages correspond à des fonctions classiquement rhétoriques ou stratégiques. Il n’en reste pas moins que, au sein des forums de la communication politique, les arguments présentés au nom de l’évaluation sont utilisés pour aider à la légitimation (ou la dé-légitimation) des politiques et programmes publics. Cette question est directement importante, en conséquence, pour la sociologie des politiques et de l’action publique. Si toutes les disciplines scientifiques partagent une éthique commune, leur position vis-à-vis de l’activité politique est cependant loin d’être uniforme. Le rapport à l’évaluation des politiques publiques, ou au conseil fourni par les chercheurs en science sociale aux hommes et femmes politiques, aux gouvernements, montre des situations diverses au sein de la sociologie, mais encore plus entre sociologie et économie. 15 08/06/2017 Usages de l’évaluation par la sociologie : des précautions inégalement appliquées La position « caméraliste » évoquée plus haut est couramment occupée par des sociologues de spécialités très diverses, dès lors qu’ils travaillent sur des objets qui donnent lieu à des contrats et conventions avec des financeurs de recherche finalisée voire d’évaluation. Dans ce cas, il va généralement de soi que la publication de leurs recherches, dans les supports académiques, diffère considérablement des rapports de la littérature grise qu’ils livrent à leurs financeurs. De ce point de vue, des résultats d’évaluations ne constituent jamais, a priori, des matériaux que le sociologue pourrait utiliser de façon non critique. C’est pourtant ce qui arrive assez souvent depuis que l’EPP s’est installée dans le domaine des politiques sociales. Il n’est pas question, faute de place, de présenter une analyse systématique de la production sociologique récente sous cet angle. On se contentera d’un cas qui paraît très significatif, celui du revenu minimum d’insertion (RMI) et le lien qui s’est établi, au début des années 1990, entre cette politique et le débat sur la « fin du travail ». La façon dont l’évaluation perturbe l’analyse sociologique a une histoire en effet déjà ancienne. Au cours de ces années, nombre de travaux sociologiques ont pour ainsi dire pris « au comptant » les résultats d’opérations d’évaluation de programmes sociaux. Un consensus implicite s’est formé dans une partie de ces travaux autour de deux points : d’une part, l’insertion des titulaires de la prestation de RMI était un échec ; de l’autre, l’attente de la création d’emploi était un leurre pour l’avenir et le plein-emploi était une réalité du passé. Le premier constat découlait directement d’une interprétation des études d’évaluation conduites par le ministère du travail et des affaires sociales 32 : à l’époque bien plus qu’en 200733, ces études étaient strictement et, répétitivement, centrées sur le repérage ponctuel du statut d’emploi des personnes en question. La conclusion en était généralement que l’accès à l’emploi était très difficile pour les titulaires de RMI les moins qualifiés, mais jamais négligeable : la part prise dans cette insertion professionnelle par les contrats spéciaux financés par le ministère du travail (contrats aidés du type des Contrats emploi-solidarité) était toujours importante, et parfois majoritaire. Ces éléments, établis par les enquêtes rudimentaires des services statistiques du ministère n’auraient pas dû satisfaire des sociologues quand il s’agissait de comprendre la complexité sociologique du RMI ou des politiques de l’emploi [par contraste, voir les travaux de D. Demazière (1995) ainsi que la synthèse méthodologique de Bouder, Cadet et Demazière, 1994]. Pourtant l’évaluation emportait souvent une légitimité point questionnée (au demeurant partagée par une partie non négligeable de la classe politique hostile au RMI). Une minorité de sociologues ajoutaient en outre que les conditions de la perception du RMI étaient uniquement humiliantes et qu’il convenait de sortir de ce contrôle social par l’instauration d’une allocation universelle. On pense ici par exemple au travail d’A. Caillé, qui, en 1994, écrivait que « ce qui se profile, c’est peut-être une catastrophe sociale majeure », parce que « moins de dix pour cent des nouveaux salariés ont été embauchés dans le cadre de contrats de travail à durée déterminée » et que « tous les nouveaux emplois se caractérisent par leur plus ou moins grande précarité » (Caillé, 1994, p. 9-11). Le même auteur dénonçait « un travail de contrôle d’ordre quasiment Quoiqu’en tirant des conséquences fort différentes, d’autres auteurs se fondaient également de façon systématique sur ces travaux d’évaluation pour conclure à l’échec des politiques d’insertion : c’était par exemple le cas de S. Wuhl (1996, notamment, p. 108-113), qui écrivait : « Les différents rapports d’évaluation portant sur l’efficacité des dispositifs d’insertion vis-à-vis de l’accès à l’emploi, travaux issus du ministère du travail, révèleront la faiblesse des performances des procédures d’insertion organisées en marge du système productif » (p. 108). 33 Les services ministériels disposent désormais de techniques longitudinales plus sophistiquées, en particulier. 32 16 08/06/2017 religieux – une sorte de confession obligée – auquel les travailleurs sociaux sont obligés de se livrer » (ibid., p. 19-21) pour appeler à la création d’un revenu minimum de citoyenneté, inconditionnel, irrévocable et cumulable ». Dans le même temps, cependant, comme l’illustrent bien les travaux de S. Paugam (1993) et de R. Castel (1995), B. Eme (1997), une analyse sociologique approfondie permettait de mettre en lumière la complexité de la notion d’insertion et des rapports sociaux construits autour du RMI et des pratiques de l’insertion. Il est vrai que l’utilisation des évaluations pour légitimer des projets de réforme n’est en rien spécifique à la France. A ce style d’opération se rattache la célèbre intervention de Charles Murray, aux Etats-Unis qui, sur la base de comparaisons statistiques rudimentaires, dans son fameux Losing Ground critiqua la « Great society » de l’ère Johnson qui avait vu l’expansion de l’EPP dans ce pays (Rothstein 1998, p. 60). D’un autre côté, une bonne part de travaux d’évaluation financés en France trouve leur inspiration dans la sociologie des organisations (l’analyse stratégique de M. Crozier et E. Friedberg). Comme dans les entreprises, ce style sociologique se marie en effet aisément avec le conseil (Rothstein 1998, p. 66-69). Pour la sociologie politique, il encourt toujours cependant les critiques de ses limites, telles qu’elles ont été formulées par J. Leca et B. Jobert (1980) critiquant l’Acteur et le système. Il ignore ou néglige la « spécificité du politique » ; l’inspiration trouvée chez Crozier et ses disciples étant souvent réduite à une « sociologie des acteurs » descriptive, c’est-à-dire à un relevé localisé, dans un système donné d’action, (construit à propos d’une politique ou d’un programme) des stratégies, intérêts et alliances, oppositions et luttes pour la maîtrise stratégique des ressources. Dans une telle perspective, des caractéristiques de l’action publique et de la politique, comme ordre différent des activités sociales, sont sous-estimées et les processus particuliers de la légitimation restent absents de l’analyse. Le sociologue qui participe à des travaux de ce type doit accepter de ne pas poser ce genre de questions, au cours de l’évaluation elle-même34. Qu’elle reprenne à son compte de manière non critique les résultats d’études rudimentaires et instrumentales d’évaluations, ou qu’elle se fonde dans des démarches plus proches du conseil ou de la simple description de systèmes d’acteurs, la sociologie abandonne alors au moins une part de sa spécificité, de ses méthodes et de son recul critique. Dans les deux cas illustrés ici, le matériau d’évaluation ne peut être utilisé que comme l’une des sources empiriques, à retravailler dans la perspective du travail de recherche. C’est sur ce point qu’une différence majeure sépare la sociologie de l’économie non institutionnaliste, nous allons le voir. Recherche et évaluation : le rapport à la politique Une question essentielle se pose en effet aux disciplines qui se confrontent à l’évaluation, à savoir le degré d’extériorité qu’elles préservent vis-à-vis du processus politique dont l’évaluation est un aspect ou une étape : en effet, si l’on suit volontiers J. Leca quand il dit que l’évaluateur « ne fait pas de politique », on sait aussi avec C.H. Weiss que l’EPP est irréductiblement liée à la politique (Weiss 1993). Dans une perspective uniquement « interne », l’auteur de l’étude évaluative est dans une position d’expert qui concourt à la mise en œuvre d’une politique : il est « dans l’action politique35 ». Il est tenu de répondre à des 34 Nous connaissons bien cette limitation pour avoir, en particulier de 1993 à 1999, participé à des opérations d’évaluation commanditées par le ministère du travail. 35 Cf J. Leca (1993, p. 191) : « [l’évaluation] est toujours vue « à partir de quelque part », précisément à partir du « dedans » de l’action publique. Elle est orientée vers l’action et non vers le savoir purement académique ». 17 08/06/2017 questionnements limités, formulés par le ou les commanditaires. C’est l’un des critères (très généralement admis) de la spécificité de la démarche d’EPP, que de se placer dans le cadre contraint de questions du type : la politique évaluée a-t-elle été efficace ? A-t-elle été efficiente ? pertinente ? cohérente ? La réponse à de telles questions est contractuelle : l’évaluateur ne peut s’y soustraire. On ne lui pose jamais la question de savoir si la politique a été légitime. Dans une seconde perspective (externe), la recherche classique en sciences sociales intègre les connaissances issues des études évaluatives dans un cadre plus large et libre. L’objet de la recherche ne relève alors que de la définition par le chercheur et ne vaut que par la problématique indépendante qu’il pose, qui n’a pas à se préoccuper de répondre aux questions d’un commanditaire, intéressé par la conduite de la politique ou du programme (y compris, comme c’est souvent le cas, quand il mène sa recherche sur convention36). Du point de vue de cette première distinction, les diverses disciplines sont logées très différemment : d’un côté, l’économie, de l’autre la sociologie et les autres sciences historiques (Passeron 2006). En effet, l’étude économique, (micro-économie appliquée), avec son traitement de données [par exemple du marché du travail], sa problématique théorique [par exemple, une théorie de l’incitation à prendre un travail] s’intègre parfaitement avec la politique évaluée. Le modèle, en effet, est, par construction, une réduction stylisée de la réalité (agents, comportements, etc.) qui est étudiée en tant que représentation réduite. Un exercice empirique d’évaluation économétrique se transforme, sous réserve d’une adaptation formelle, en une production publiable dans une revue économique à comité de lecture. Jérôme Gautié (2002) a fait remarquer que les évaluations économiques se distinguaient selon qu’elles sont purement « instrumentales » ou nourries de théorie. Il parle d’évaluation « systémiques » quand la politique ou la « mesure » est « resituée dans son contexte », mais cette mise en contexte n’est généralement pas praticable en micro-économie d’évaluation37. Quoiqu’il en soit, qu’elle soit commandée par un décideur politique, un commanditaire administratif, ou une instance d’évaluation pluraliste, une étude économique à visée évaluative, revêt, simultanément, une double nature : d’un côté, elle est application de certaines théories économiques, de l’autre elle est une étude évaluative entrant dans le processus de la politique. L’économiste, dans le cas général, se satisfait de l’énoncé précis de son cadre théorique de départ (basé sur des hypothèses et des théorisations réputées non normatives38). Cette position semble donc, pour lui, compatible avec une extériorité maintenue vis-à-vis du processus politique. En effet, sa perspective n’a pas à systématiquement se préoccuper de questions comme les suivantes : qu’est ce qu’une politique, une « mesure » ? À quelles conditions sociales, politiques et épistémologiques peuton établir des « liens de causalité », des « causes » et des « résultats » ? À cause de la réduction à quoi procède l’économie, il existe comme une homologie entre le questionnement du décideur politique ou administratif d’une part, et le modèle de l’économiste. Tous les deux La convention autorise, par principe, la liberté quant à la problématique, ce qu’exclut le contrat de chargé d’évaluation. 37 De nombreux économistes sont, tout à fait au fait des limites de la discipline, et de l’éclairage complémentaire et différent qu’elle peut apporter aux côtés des sciences historiques (Gurgand 2002 ; Gautié 2007). 38 L’absence de normativité est réduite à néant par la critique d’A. Sen : “In the 1930s when Lionel Robbins in his influential book An Essay on the Nature and Significance of Economic Science, argued that ’it does not seem logically possible to associate the two studies [ethics and economics] in any form but mere juxtaposition’, he was taking a position that was quite unfashionable then, though extremely fashionable now” (1988, p. 2). Voir aussi sur la question de la normativité des hypothèses économiques Dubet et Vérétout (2001), Gurgand (2002) et Gautié (2007). 36 18 08/06/2017 ont une conception « balistique » de la politique39. Le premier (le décideur) suppose résolue la question de la causalité qui relie l’action (le programme qu’il met en œuvre) et des « résultats », qu’il présuppose observables de toutes façons. Par principe, comme il est souvent observé, le décideur politique ou administratif « veut des chiffres »40 ; souvent, en outre, il est à la recherche de légitimation scientifique. Peu importe que ses interrogations d’ordre cognitif soient authentiques ou intéressées et stratégiques, il veut des réponses aux questions qu’il se pose. Quant au second, l’économiste, il opère à l’aide de données et de lois dont il circonscrit ex-ante la validité et il réfère les résultats qu’il obtient à ces conditions initialement posées. Il sait qu’il existe une politique, qu’il admet de réduire à des données particulières (par exemple la distribution de revenus sous la forme d’un impôt négatif) et, en fonction des données (soit de simulation ex-ante, soit de données de revenus fiscaux), il peut analyser par exemple des effets redistributifs ou incitatifs (par exemple, dans le cas de la prime pour l’emploi). Au total, il y a ce constat essentiel : vis-à-vis de l’évaluation, l’économiste peut rester en même temps cohérent avec sa position de savant (revendiquant sa neutralité41) et agir comme expert. Le sociologue n’a pas cette possibilité parce qu’il n’a pas, professionnellement, la possibilité de réduire la réalité comme le fait l’économie. Le double rapport du chercheur à la politique : personnel et professionnel Certes, économistes et sociologues sont logés à la même enseigne sur un point important : chacun des deux doit prendre une décision personnelle quand il s’engage dans l’évaluation et, implicitement ou non, cela signifie qu’il considère la politique qu’il évalue comme légitime42. Même s’il ne prend pas partie de façon partisane pour la politique en question. Nous savons cela depuis que C. H. Weiss (1973) a clarifié l’engagement politique de l’EPP. Ils peuvent même devenir des militants de la politique considérée, comme tous les autres citoyens, mais il n’est plus question alors de travail scientifique, ni d’EPP. Or, le caractère inévitable d’une telle décision est souvent occulté. Le comportement du chercheur est politique aussi dans l’appréciation, faite avant de s’engager dans l’action d’évaluer, sur les conséquences de la diffusion du « produit43 » de l’évaluation (à laquelle il aura participé) : sont-elles raisonnablement prévisibles et, selon cette prévision, acceptables, dans les termes des choix normatifs et politiques propres à chaque chercheur44 ? Une conduite responsable L’expression est utilisée par J. Leca (1997, p. 5). Bo Rothstein (1998) critique systématiquement cette façon de voir la « mise en œuvre ». 40 Soit un exemple de consultation d’évaluation par la Région Nord Pas de Calais, en 1996, pour l’évaluation de sa politique contre le chômage. Du point de vue de l’EPP, les conditions n’étaient pas réunies pour attribuer sérieusement un chiffre d’emplois créés à la politique menée par la Région. Un éminent conseiller régional PS a tenu à souligner que ce constat était radicalement inacceptable et qu’il n’y avait pas de sens à évaluer cette politique (dont il n’était pas le décideur politique principal) si on ne trouvait pas un chiffre d’emplois. Il s’agit là d’un exemple banal. 41 Voir, comme illustration, J. Pisani-Ferry (2000), dans son rapport du CAE sur le plein emploi : p. 128 : « aucune réflexion sur le sous-emploi ne peut ignorer que si en dix ans, le RMI a beaucoup fait pour atténuer la misère, il a aussi créé des « trappes à inactivité » dont l’existence est maintenant bien documentée. Le constat des Rmistes sur l’intérêt pécuniaire du travail recoupe celui des économistes ». 42 C’est incontestablement ici, entre autres, qu’intervient, dans l’analyse de Max Weber, l’influence pour le savant de son rapport personnel aux valeurs, de ses choix normatifs propres. 43 Le produit peut être un rapport, mais aussi bien d’autres choses. 44 Comme l’a souligné Max Weber (1919) dans Le savant et le politique, le propre de l’homme politique est d’être responsable des conséquences prévisibles de ces actes. Pour les chargés d’évaluation, c’est un des points délicats, qui fait l’objet, dans la plupart des pays de règles déontologiques professionnelles. 39 19 08/06/2017 suppose en effet d’anticiper les usages sociaux de ses productions (un principe qui vaut aussi bien pour les évaluateurs que pour les chercheurs dans leur activité de recherche). Pour le sociologue ou le politiste, cette décision personnelle se double d’une décision professionnelle : contrairement à l’économiste, leur recherche n’est non seulement pas censée servir des buts normatifs et prescriptifs, mais elle porte sur l’analyse même de la politique, y compris sur eux-mêmes s’ils sont, en tant qu’évaluateurs, acteurs dans le processus politique. Professionnellement, le sociologue, en effet, ne peut pas ignorer que l’évaluation est une forme, un élément, parmi d’autres, que prend la politique ou le programme qu’on lui demande d’évaluer. En sociologie politique, l’évaluation est le nom que certains acteurs politiques donnent, à un moment donné, à une activité intégralement insérée dans le processus de déploiement de la politique. Les études évaluatives, de quelque discipline qu’elles relèvent, sont constamment mobilisables et mobilisées, pour des intérêts stratégiques et partisans de légitimation/délégitimation45. Il n’y a que dans les schémas réducteurs et dépassés du début des analyses américaines de politiques publiques (Mény et Thoenig, 1989, Monnier, 1992), que l’évaluation est contrastée comme une « phase » qui s’oppose à la mise en œuvre, à la conception, etc. La conception « séquentielle » des politiques publiques, ou « balistique » a, depuis belle lurette, été critiquée dans la littérature internationale. En conséquence, quand le sociologue s’engage dans une opération d’évaluation, il admet, par construction, de renoncer à des pans essentiels et constitutifs de son objet : il n’aura pas à étudier la légitimité de la politique ; ni à considérer comme objet d’analyse les intérêts de son (ses) commanditaires et leurs stratégies vis-à-vis de l’évaluation46, qu’il doit, par construction encore, considérer, pour le théâtre de son analyse, comme « neutralisés » ; ni encore à considérer la genèse sociale des conceptions et des « référentiels » des politiques47. Ce sont les éléments de la recherche que le sociologue politique abandonne officiellement à la porte de l’évaluation, même s’il les conserve in petto. Par ce mouvement, en outre, le chargé d’évaluation sociologue ou politiste perd sa neutralité axiologique, incapable qu’il est, contrairement à son confrère économiste, de « réduire » la réalité. En tant que chargés d’évaluation, le sociologue ou le politiste ne sont plus des savants, mais des acteurs de la politique ou du programme qu’ils évaluent : ceci est évident par le simple fait qu’ils se trouvent les co-producteurs, et souvent dans une place éminente – de documents et d’analyses. Sociologie politique et point de vue « interne » de l’évaluation sont donc incompatibles, sauf sur le mode du « terrain » qui suppose ensuite (ou, à côté, ce qui revient au même) l’analyse externe proprement sociologique. Au contraire, économie et évaluation interne semblent, à l’intérieur de l’économie, compatibles. Les contraintes du travail sociologique sont rendues encore plus difficiles par l’importance croissante prise par les forums de communication politique (y compris le rôle des média) et 45 La discipline importe peu ici. Quand nos collègues économistes P. Cahuc et S. Carcillo (2006) évaluèrent le Contrat nouvelle embauche, leur évaluation servit à délégitimer/légitimer la politique en question. Quand nous coordonnions les évaluations du FSE en France (Barbier 2002b), ces études servaient directement à légitimer/délégitimer le cofinancement des programmes français. 46 En revanche il doit les considérer comme contraintes de l’action à laquelle il participe, et comme contraintes de l’exercice de sa propre responsabilité professionnelle, et éthique. 47 C’est pourquoi, a priori, une position sociologique inspirée de Bourdieu est incompatible avec l’occupation d’une position d’évaluateur. C’est ainsi que l’analyse des politiques d’insertion, pour un sociologue comme G. Mauger, aboutit au constat que le principal « effet » des politiques d’insertion est « d’insérer les inséreurs » (2001, p. 9) [une conclusion, qui, on voudra bien l’admettre, a peu de chances de ressortir des conclusions des évaluations de l’insertion à la française]. Il est tout à fait significatif, du point de vue de l’évaluation, que G. Mauger (2001, p.14) précise, à la fin de son article et en note : « décrire ces dispositifs d’insertion comme dispositifs d’inculcation ou de conversion d’habitus ne préjuge en rien de leur efficacité ni des usages qui en sont faits par les intéressés ». Si nous ne rejoignons pas les adeptes d’une telle position, nous partageons avec eux le constat qu’une analyse sociologique est incompatible avec l’acceptation du cadre imposé pour l’évaluation. On ne saurait faire les deux en même temps. 20 08/06/2017 leur interférence elle aussi accrue dans les forums scientifiques (Barbier 2007a). Dans la communication politique, l’évaluation est, au demeurant, directement instrumentalisée, voire dénaturée, comme nous l’avons montré sur de nombreux exemples (Barbier 2006 ; 2007b). Les conditions rigoureuses d’un usage de l’évaluation complémentaire par les économistes et les sociologues Au total, comment peut-on juger l’activité qualifiée, au demeurant d’une façon contestée, d’évaluation, vis-à-vis de la légitimation des politiques sociales ? L’EPP s’est introduite timidement en France, et tardivement, par rapport à son insertion dans les processus politiques et administratifs dans d’autres pays. La forme d’EPP qui correspond à un état de l’art à l’étranger entre en contradiction nette avec les caractéristiques du système politique et de l’organisation administrative en France. L’obstacle majeur à son développement est la centralisation étatique de l’expertise. L’EPP se trouve donc dans un imbroglio politique et professionnel : elle n’a trouvé, depuis 1990, qu’une audience limitée ; ses références professionnelles sont éparses et contestées. Dans le même temps, l’offre et la demande d’évaluation se développent, en situation d’éclectisme de fait. Depuis la fin des années 1990, et, surtout le début des années 2000, les forums de politique publique centrés sur les politiques sociales ont cependant connu une transformation notable : l’évaluation économique des programmes a tendu à devenir prépondérante quand il s’agit de fonder et légitimer des réformes sociales. Cela n’empêche nullement qu’une évaluation plus proche du conseil et de la sociologie des organisations se maintienne et remplisse une demande de l’État, mais surtout des collectivités territoriales, d’aide à la décision et au management des politiques publiques. L’EPP est le vecteur privilégié par lequel transite l’instrumentalisation des sciences sociales, dans le but de légitimer les réformes. Mais toutes les formes de l’EPP ne se prêtent pas également à cet usage. Plusieurs acteurs sociaux, dans la lignée de l’expérience du Conseil scientifique de l’évaluation, ont tenté d’en faire un moyen de construction, d’apprentissage et de partage de connaissances utiles au débat public. C’est ainsi que des évaluations qui comportent plusieurs commanditaires aux intérêts divergents, se sont révélées, sous réserve de conditions institutionnelles, à même de nourrir le débat démocratique à propos des réformes sociales. Mais cette situation est très rare, dans un pays qui, structurellement, a tendance à exclure ce débat puisque l’expertise d’État est censée détenir les clefs des meilleures réformes. Les économistes qui s’inspirent de la conception dominante dans leur discipline ont récemment entrepris de penser les réformes sociales, eux aussi, alors que dans les années 1970 et 1980, leur discipline s’en désintéressait. C’est l’évaluation microéconomique qui est leur principale méthode pour entrer dans le domaine. Leur approche se révèle, par la réduction qu’elle opère de la réalité, très commode à utiliser par les hommes et femmes politiques, qui, eux aussi, possèdent une vision « balistique » des politiques publiques, censées produire des effets faciles à objectiver par des méthodes scientifiques. Économistes et hommes politiques sont donc relativement facilement en phase dans l’utilisation de l’EPP, dans le domaine des politiques sociales. Leur coopération les induit facilement à utiliser l’évaluation comme moyen de légitimation des réformes. Les économistes disent souvent qu’ils entendent rester 21 08/06/2017 « neutres » dans l’opération, mais il arrive parfois qu’ils agissent comme des militants de la réforme. Toute autre est la situation de la sociologie. Comme les autres disciplines, elle est cependant directement affectée par l’extension de l’évaluation. Non seulement, elle est amenée à se poser des questions sur une activité qui, on l’a vu, n’a pas de références bien établies, et qui, à la fois, joue un rôle croissant dans la légitimation des politiques. Mais, en outre, elle est aussi parfois tentée elle-même par la reprise à son compte de résultats d’évaluation qui, pourtant, ne peuvent jamais passer pour une denrée strictement scientifique. Les sociologues participent eux-mêmes directement à des évaluations. D’éminents spécialistes de l’EPP ont bien montré toute la différence qu’il y a entre connaissance scientifique et connaissance partagée par les acteurs sociaux dans les opérations d’évaluation (Leca 1993). Il n’en reste pas moins qu’il appartient à la nature des acteurs politiques de se servir stratégiquement de l’évaluation. Ils y recherchent la caution de la science sociale pour leurs réformes. Ils l’utilisent sans barguigner dans leur activité de communication politique. Le plus préoccupant dans l’évolution contemporaine tient dans une tendance croissante des forums, classiquement séparés, à se mélanger : forums scientifiques et forums de la communication politique. Pour éviter les inconvénients dirimants qui s’attachent à cette confusion, la sociologie n’a qu’un seul recours, la pratique et la défense de ses procédures scientifiques rigoureuses. Comme l’a fort pertinemment fait remarquer Marc Gurgand (2002), économie et sociologie sont complémentaires et peuvent fort bien coopérer dans un usage rigoureux de leur travaux respectifs, malgré leur position épistémologique différente vis-à-vis de l’évaluation, ce que confirmaient Dubet et Vérétout (2002) dans la réponse qu’ils lui faisaient. Références Audebrand E., 1999, “L’évaluation en réforme: la relance du dispositif national d’évaluation des politiques publiques”, mémoire de DEA, dir. JC Thoenig, ENS Cachan, 128p. Barbier J.-C., 2002a, « Devising and Using Evaluation Standards : The French Paradox », in Schwartz R., Mayne J., Toulemonde J., dir., Assessing Evaluative Information, Transaction Books, forthcoming. Barbier J.C. dir., 2002b, “La mise en œuvre du programme Objectif 3 du Fonds social européen, contribution aux réalisations, aux résultats et à l’impact du programme en France », Rapport de recherche, Centre d’études de l’emploi, n° 04, Juin, 130 p. Barbier J.-C., 2005, « Remettre la comparaison sur l’ouvrage et dans ses mots » in J.C. Barbier et M.-T. Letablier, dir., Politiques sociales/Social Policies: Enjeux méthodologiques et épistémologiques des comparaisons internationales/Epistemological and methodological issues in Cross National Comparison, Brussels: PIE Pieter Lang, p. 17-43. Barbier J.-C., 2006, « Evaluation and Political Communication in the French Public Employment Service », in J. Breul and P. Dahler-Larsen, “Bringing Evaluation into Public Life”, Transaction Publishers, Rutgers, New Jersey. Barbier J.-C., 2007a, « La transformation des forums de politique sociale en France depuis les années 1990 », in O. Giraud, P. Muller et P. Warin, Politiques publiques et démocratie, Paris, La Découverte, à paraître. Barbier J.-C., 2007b, « La gestion et l'évaluation du service public de l'emploi en France dans la décennie 1990. Matériaux pour une réflexion comparative internationale », Document de travail du Centre d’économie de la Sorbonne, 2007-1. Paris, CES Université Paris 1- Panthéon Sorbonne CNRS. 22 08/06/2017 Bouder A., Cadet J.P., Demazière D., 1994, “Évaluer les effets des dispositifs d’insertion pour les jeunes et les chômeurs de longue durée. Un bilan méthodologique », Documents Synthèse CEREQ, n° 98. Boudon R., 2003, Existe-t-il encore une sociologie ?, Paris, Odile Jacob. Bourdin J., 2001, “Rapport d’information fait au nom de la délégation du Sénat pour la planification sur l’information économique aux Etats Unis”, Sénat, Session 2000-2001, n°326, Paris, 382p. Cahuc P. et Carcillo S., 2006, « Que peut-on attendre des Contrats nouvelle Embauche et Première Embauche? », Université Paris 1, Centre d’Économie de la Sorbonne, miméo, 37p. Caillé A., 1994, Temps choisi et revenu de citoyenneté, au-delà du salariat universel, Démosthène/Mauss, Paris. Castel R., 1995, Les métamorphoses de la question sociale, une chronique du salariat, Paris, Fayard. CGT, CFDT, Statistique publique, évaluation et démocratie, Actes du colloque du 21 mars 2001, miméo, Paris. CSE (Conseil scientifique de l’évaluation), 1992, L’évaluation, de l’expertise à la responsabilité, La Documentation française, Paris. CSE (Conseil scientifique de l’évaluation), 1993, L’évaluation en développement, La Documentation française, Paris. CSE (Conseil scientifique de l’évaluation), 1994, L’évaluation en développement 1993, La Documentation française, Paris. Demazière D., 1995, La sociologie du chômage, La Découverte, Repères, Paris. Dubet F. et Vérétout A., 2001, « Une ‘réduction’ de la rationalité de l’acteur. Pourquoi sortir du RMI ? », Revue française de sociologie, 42-3, p.407-436. Duran P., Monnier E., Smith A., 1995, “Evaluation a la française, Towards a New Relationship between Social Science and Public Action”, Evaluation, vol 1 (1): 45-63. Eme B., (1997), « Aux frontières de l’économie : politiques et pratiques d’insertion », Sociologies économiques, volume CIII, p. 313-333. Fontaine C. and Monnier E., 1999, “Evaluation in France”, The evaluation atlas, Inteval, mimeo Gadrey J., 1994, « La modernisation des services professionnels, rationalisation industrielle ou rationalisation professionnelle », Revue française de sociologie, XXXV, p. 163-195. Gautié J., 2002, « Note (très) succincte sur la complémentarité des méthodes à partir de l’exemple des évaluations des politiques de l’emploi », Centre d’études de l’emploi, 27 mars. Gautié J. , 2007, « L’économie à ses frontières (sociologie, psychologie), quelques pistes », Revue économique, 58 (4), p. 927-939. Gurgand M., 2002, “Commentaire de l’article de François Dubet et Antoine Vérétout, “une « réduction » de la rationalité de l’acteur. Pourquoi sortir du RMI ? », Revue française de sociologie, 43-4, p. 765-769 et réponse des auteurs, p. 771-773. Jacob S., 2005, « Institutionnaliser l’évaluation des politiques publiques, étude comparé des dispositifs en Belgique, en France, en Suisse et aux Pays-Bas », Bruxelles : PIE Peter Lang. Jobert B., 1992, “Représentations sociales, controverses et débats dans la conduite des politiques publiques”, Revue française de science politique, n°2, vol 42, p. 219-234. Jobert B., ed, 1994, Le tournant néo-libéral en Europe, L’Harmattan, Paris. 23 08/06/2017 Jobert B., 1998, « La régulation politique : le point de vue d’un politiste », in Commaille J. et B. Jobert, Les métamorphoses de la régulation politique, Paris, LGDJ, p.119144. Lascoumes, P., Setbon, M. 1996. “L’évaluation pluraliste des politiques publiques: enjeux, pratiques, produits”, Note pour le Commissariat Général du Plan, miméo, Paris, 17p. Leca J., 1993, “Sur le rôle de la connaissance dans la modernisation de l’Etat et le statut de l’évaluation”, Revue Française d’Administration Publique, 66, avril-juin, p. 185196. Leca J., 1997, “L’évaluation comme intervention, sciences sociales et pratiques administratives et politiques”, in Actes du colloque ‘L’évaluation des politiques publiques, GAPP-CNRS-ENS Cachan des 5 et 6 février, miméo, 19p. Leca J. et Jobert B., 1980, "Le dépérissement de l'État, à propos de 'L'acteur et le système' de Michel Crozier et Ehrard Friedberg", Revue française de science politique, Vol. 30, n°6, décembre, p. 1125-1170. Martin G., 2001, « Évaluation, organisations sociales et politiques sociales, clarifier les termes, repositionner les fonctions et les rôles de chacun et s’interroger sur les limites de l’exercice », 9p. (Actes du colloque de la SFE, juin 2001). Mauger G., 2001, « Les politiques d’insertion, une contribution paradoxale à la déstabilisation du marché du travail », Actes de la recherche en sciences sociales, 136-137, mars, p.5-14. Mény Y. & Thoenig J.C., 1989, Politiques publiques, Paris, PUF. Merrien F.- X., Parchet R. et Kernen A., 2005, L’État social, une perspective internationale, Armand Colin, collection U, Paris. Monnier E., 1992, Évaluations de l'action des pouvoirs publics, Economica, 2è ed, Paris. Morel S., 2000, Les logiques de la réciprocité, les transformations de la relation d’assistance aux Etats Unis et en France, Paris: PUF. Passeron J.-C., 2006 (1991), Le raisonnement sociologique, un espace non poppérien de l’argumentation, Paris : Albin Michel, 2è ed revue et augmentée. Paugam S., 1993, La société française et ses pauvres, Paris, PUF. Perret B., 2001, L’évaluation des politiques publiques, Paris, La Découverte (Repères). Pisani-Ferry J., 2000, Plein emploi, rapport pour le Conseil d’analyse économique (CAE), Documentation française, Paris. Rossi P.H. and Freeman H.E., 1993, Evaluation, a systematic approach, Newbury Park: Sage. Rothstein B., 1998, Just institutions matter, the moral and political logic of the universal welfare state, Cambridge: Cambridge University Press. Sabatier P.A., 1998, “The Political Context of Evaluation Research, an Advocacy Coalition Perspective”, in Kessler M.C., Lascoumes P., Setbon M., Thoenig J.C., dir., Evaluation des politiques publiques, L’Harmattan, Paris, p. 129-146. Sen A., 1988, On Ethics and Economics, Oxford: Blackwell Publishing. Spenlehauer V., 1998, L’évaluation des politiques publiques, avatar de la planification, Thèse de doctorat de science politique, Grenoble, 586 p. Spenlehauer V., et Warin P., 2000, « L’évaluation au service des conseils régionaux », Sociologie du travail, n°2, avril-juin, p. 245-262. Toulemonde J., 2000, « Evaluation culture(s) in Europe : Differences and Convergence between National Policies », Vierteljahrshefte Zur Wissenschaftforschung, 3, p. 350-357. 24 08/06/2017 Théret B. (2005), « Comparaison internationale, la place de la dimension politique », in Barbier J.-C. et Letablier M.-T., Politiques sociales/Social Policies: Enjeux méthodologiques et épistémologiques des comparaisons internationales/Epistemological and methodological issues in Cross National Comparison, Brussels: PIE Pieter Lang, p. 71-96. Weber M., 1963 (1919), Le savant et le politique, traduction par Julien Freund, préface de Raymond Aron, Paris : UGE (Plon). Weiss C.H., 1993 (1973), « Where Politics and Evaluation Research Meet », Evaluation Practice, 14 (1), p. 93-106. Wuhl S., (1996), Insertion, les politiques en crise, Paris, PUF, Sociologies d’aujourd’hui. Zimmermann B., 2004, dir., Les sciences sociales à l’épreuve de l’action, le savant, le politique et l’Europe, Paris, éditions de la MSH. 25