L'évaluation de l'économie sociale Une perspective critique et internationale " Economie et Solidarités Économie et Solidarités est publiée par le ORIEC-Canada, section canadienne du Centre international de recherches et d'information sur l'économie publique, sociale et coopérative (CIRIEC international), établi à Liège en Belgique, Depuis 1998, la Revue est abritée par l'Université du Québec en Outaouais, PARTENAIRES FINANCIERS Universités Université Fondation du Québec en Outaouais Mercure, HEC Montréal Entreprises Fédération des Caisses Desjardins du Québec REVUE DU CIRIEC-CANADA Fondateur de la revue Feu George Davidovic, Université Concordia Comité exécutif Rédacteur: Guy Chiasson, Université du Québec en Outaouais, CRDT Rédacteurs adjoints: Jacques 1. Boucher, Université du Québec en Outaouais, CRISES; Thibault Martin, Université du Québec en Outaouais, CI~DT Directrice: Louise Briand, Université du Québec en Outaouais, CRISES Responsable des traductions en espagnol: Mirta Vuotto, Universidad de Buenos Aires, Argentine Responsable de la promotion en Amérique latine et collaboratrice pour les traductions: Solange van Kemenade, Analyste de la recherche, Santé Canada, chercheure associée à la CRDC Correspondant pour l'Europe: Laurent Fraisse, Centre de recherche et d'information sur la démocratie et l'autonomie (CRIDA), Paris Correspondante pour l'Afrique du Nord: Rajaa Mejjati Alarni, Université de Fès Comité de rédaction Yao Assogba, Université du Québec en Outaouais Marie J, Bouchard, Université du Québec à Montréal Jacques 1. Boucher, Université du Québec en Outaouais Jacques Caillouetle, Université de Sherbrooke Guy Chiasson, Université du Québec en Outaouais Omer Chouinard, Université de Moncton Yvan Cerneau, Université Laval Brett Fairbairn, Université of Saskatchewan Louis Favreau, Université du Québec en Outaouais André Leclerc, Université de Moncton Denis Martel, Université du Québec en Abitibi- Témiscamingue Marguerite Mcndcll, Université Concordia Renaud Paquet, Université du Québec en Outaouais Michelle Rhéaume-Champagne, HEC Montréal Daniel Tremblay, Université du Québec en Outaouais Marie-France Turcotte, Université du Québec à Montréal Martine Vézina, HEC Montréal Secrétaires à la rédaction: Dominique Marchessault et Magali Zimmer; Université du Québec en Outaouais; téléphone: (819) 595-3900, poste 2383; télécopieur: (819) 595-2384; courricl : «rcvue.ciricoôuqo.ca>. Site Internet <www.ciriec.uqam.ca/pages / revuepresentation. php ?sujct=revue_presentation>, " Economie et S o 1-d 1 arret"e Revue du CIRIEC-Canada (Centre interdisciplinaire de recherche et d'information sur les entreprises collectives) Volume 39, numéro i, 2008 L'évaluation de l'économie sociale: une perspective critique et internationale Marie J. Bouchard et Nadine Richez-Batiesii, responsables 2010 "1 Presses de l'Université du Québec Le Delta l, 2875, bou!. Laurier, bur, 450 Québec (Québec) Canada G1V 2M2 Conseil international de rédaction Oscar O. Batisdas-Delgada, Universidad Central de Venezuela, Centre de estudios de la participaciôn, la autogestion y el coopcrativismo, Venezuela Jacques Defourny, Université de Liège, Département d'économie, Belgique Brett Fairbairn, Centre for the Study 01 Co-operatives, University 01 Saskatchewan, Canada Abdou Salam l'ail, Université de Dakar, Sénégal Daniel lIicrnaux-Nicolas. Universidad Autonorna Metropolitana Xochimilco, Departamento de Tcoria y Anàlisis, Mexique Jean-Louis Laville, Centre de recherche et d'inlormation sur la démocratie ct l'autonomie (CRIDA), Paris David Laycock, Simon Fraser University, Colombie-Britannique, Canada Johannes Michelsen, University 01 South Jutland, Danemark José Luis Monzon Campos, CIRIFC-Espagne Humberto Orliz, Universidad San Marcos, Lima, Pérou Charles Rock, Rollins College, Floride, Étnts-Unis Roger Spear, Open University, Co-operatives Research Unit, Milton Keynes, Grande-Bretagne Lecteurs externes La revue du CI RIEC lient à remercier ses nombreux lecteurs externes pour leur travail d'évaluation des textes soumis, en vue de la sélection des articles à paraître: Manon Boulianne, Sylvain Charlcbois, Omer Chouinard, Guy Chiasson, Serge Gagnon, Christiane Gagnon, Laurent Cardin, France I-Iuntzinger, Catherine Lcvinten-Rcid, Sybille Mertens, Martha Nissiens, Francesca Petre lia, Damien Rousselière, Daniel Thomas, Pierre-André Tremblay. Correctrice: Conception Cislaine Barrette graphique et mise en pages: C!RIEC-CANADA Fondateur du CIRIEC-Canada: Conseil Arthur Presses de l'Université Lermer, Université du Québec Concordia d'administration Exécutif Président: Léopold Beaulieu, président-directeur général, FondAclioJ/ (CSN) Vice-présidente - affaires internationales: Marie J. Bouchard, Université du Québec à Montréal Vice-présidente - affaires avec les entreprises: Chantal Malo, Société générale de financement du Québec Vice-président - affaires universitaires: Luc Bernier, École nationale d'administration publique Trésorier: Claude Carbonneau, Investissement Québec Secrétaire: Martine Vézina, HEC Montréal (SCF) Observateurs à l'exécutif Observatrice à l'exécutif: Louise Briand, Université du Québec en Outaouais Observateur à l'exécutif: Guy Chiasson, Université du Québec en Outaouais Président du Conseil scientifique international du C!RIEC-Canada: Benoît Lévesque, UQAM et I~NAP Administrateurs Louis Côté, École nationale d'administration publique; Marie-Lise Côté, Direction régionale des Régions, Ministère des Affaires municipales, des Régions et de l'Occupation du territoire; Claude Dorion, MCE Conseils; Jean-Marc Fontan, Université du Québec à Montréal; Yves Galipeau, Hydra-Québec; René Hamel, SSQ Groupe financier; Lou Harnmond Ketilson, University 01 Saskatchewan; Juan-Luis Klein, Université du Québec à Montréal; Marcellin Hudon, Association des groupes de ressources techniques du Québec; Armand Lajeunosse, CDR Montréal-Laval; André Lacroix, Université de Sherbrooke; Yvan I.aurin, Vice-président, Fédération des caisses Desjardins du Québec; Joël Lebossé. Filaction; André Leclerc, Université de Moncton; Denis Martel, Université du Québec en Abitibi-Térniscamingue , Luc Meunier, Commission de la santé et de la sécurité du travail (CSST); Nancy Neamtan, RFSO et Chantier de l'économie sociale; Paul Ouellet, Caisse d'économie solidaire Desjardins; Pierre Patry, Confédération des syndicats nationaux (CSN); Carol Saucier, Université du Québec à Rimouski; Michel Séguin, Université du Québec à Montréal; Hélène Simard, Conseil québécois de la coopération et de la mutualité. Les articles Les articles de données et comptes rendus publiés dans Économie el Sa/inarills sont la responsabilité exclusive des auteurs. publiés dans Économie fi Solidarités sont indexés dans Repère, Sociological Abslrads et dans la base FRANCIS. La rédaction de la revue tient à mentionner que ce numéro a été produit grâce au soutien financier du Conseil de recherche en sciences humaines du Canada (CRSH). Canada ISSN 0712-2748/ Nous reconnaissons l'aide financière du gouvernement du Canada, par l'entremise du Programme d'aide aux publications (PAP), pour nos dépenses d'envoi postal. ISBN 978-2-7605-2461-3 Tous droits de reproduction, de traduction et d'adaptation résen,és © 2009 Presses de l'Université du Québec Dépôt légal - 3' trimestre 2009 Bibliothèque nationale du Québec / Bibliothèque Imprimé au Canada nationale du Canada Économie ct Solidarités, uolume 39, 71u11Iéro 1, 2008 Table des matières ÉCONOMIE ET SOLIDARITÉS Volume 39, numéro l, 2008 l'ÉVALUATION DE L'ÉCONOMIE SOCIALE: UNE PERSPECTIVE CRITIQUE ET INTERNATIONALE Marie J. Bouchard et Nadine Richez-Battesti, responsables Mot de Baprésidence du CaRIEC-Canada Mot de la rédaction PRÉSENTATION L'évaluation de l'économie sociale et solidaire: une perspective critique et internationale Marie J. Bouchard et Nadine Richez-Baftesti DOSSIER Fondements normatifs des organisations d'économie sociale et solidaire et évaluation du point de vue des politiques publiques 14 Bernard Enjolras Misères et grandeurs de l'évaluation de l'économie sociale et solidaire: pour un paradigme de l'évaluation communicationnelle Bernard Eme Évaluer l'économie sociale et solidaire en France: bilan sociétal, utilité sociale et épreuve identitaire Nadine Richez-Batiesti, Hélène Trouvé, François Rousseau, Bernard Eme et Laurent Fraisse L'évaluation de l'économie sociale au Québec, entre parties prenantes, mission et identité organisationnelle Marie]. Bouchard 73 Évaluation de l'économie sociale au Brésil: une analyse des pratiques dans certaines ONG lvuiuricio Seroa, Carolina Am/ion, Lucila Campos et Erika Cnozato Économie ct Solidarités, oolume 39, I1!II71éro 1, 2008 88 Table des matières HORS THÈME Sémantique de l'approche alimentaire et rapports aux territoires: l'évolution des politiques publiques agricoles dans les pays du Sud Boubacar Ba La géographie de l'économie sociale au Bas-Saint-Laurent: une analyse sous l'angle des disparités territoriales UI Majella Simard POUR EN SAVOUR PLUS Évaluer l'économie sociale: l'enjeu de la lisibilité d'une rationalité complexe B49 Bernard Perret L'évaluation des évaluateurs: les revues prises pour cibles Magali Ztmmer Les définitions de la notion d'utilité sociale 164 Diane Rodei LUX'09: Vers la construction d'un mouvement intercontinental de l'économie sociale et solidaire 174 Eric Laoillun ière el Nancy Neamian Les enjeux des Jardins collectifs à Montréal Entrevue réalisée par Magali Zimmer avec Kelly Krauier et Nel Etoanè Comptes rendus Groupe Polanyi (2008) La multijonctionnalité de l'agriculture. Une dialectique entre marché et identité Clutniale Doucet Christian Hoarau et Jean-Louis Laville (dir.) (2008) La gouvernance des associations. Économie, sociologie, gestion Magali ZiJ11111er Christian Jetté (2008) Les organismes communautaires et la transformation de l'Étatprovidence. Trois décennies de coconstruciion des politiques publiques dans le domaine de la santé et des services sociaux Caroline Paisias Michel Lallement (2009) Le travail de l'utopie. Godin et le Familistère de Guise. Biographie 208 Yvon Leclerc Yvan Corneau (2009) Réalités et dynamiques régionales de l'économie sociale. La Capitale-Nationale et Chaudière-Appalaches Magali Zimmer Économie et Solidarités, toiume 39, 1111111érO 1, 2nnfi Mot de la présidence du CIRlee .. Canada Il nous fait immensément plaisir de signaler à nos lecteurs que la revue Économie et Solidarités opérera, à compter du prochain numéro, un passage au mode électronique. Il sera désormais possible de consulter directement sur le Web les articles et les rubriques de la revue. Il s'agit d'un saut qualitatif important qui permettra de rendre la revue accessible à un plus grand nombre de lecteurs. Il s'agit aussi d'un geste responsable puisqu'il réduira l'empreinte écologique de la revue. C'est donc bien en ligne avec les valeurs promues par le CIRIEC-Canada que nous invitons nos lecteurs à nous suivre dans ce virage vert. Pour souligner cet événement, le CIRIEC-Canada offrira l'accès gratuit à la revue au cours de la prochaine année. Nous espérons ainsi contribuer à démocratiser l'accès aux connaissances et favoriser la plus grande diffusion possible des réflexions qui concernent les entreprises collectives. Au nom du conseil d'administration comité exécutif du CIRlEC-Canada, Léopold Beaulieu, président et du Mot de la rédaction Avec le présent numéro, Économie et Solidarités met un terme non seulement à sa version papier mais également à son association avec les Presses de l'Université du Québec (PUQ). Ce n'est pas sans un certain regret que la rédaction termine ce partenariat fructueux avec le personnel des PUQ. Nous tenons ainsi à les remercier très sincèrement. Nous voyons tout de même le passage à j'édition électronique comme un pas en avant et un défi des plus stimulants. De façon assez symbolique, le premier numéro sous ce nouveau format portera sur la question des générations en économie sociale. C'est sur la plateforme électronique Érudit que le lecteur trouvera les prochains numéros de la Revue. Nous espérons que ce nouveau médium permettra de rejoindre les habitués d'Économie et Solidarités mais aussi un nouveau lectorat au Canada ou ailleurs dans le monde. La revue Économie et Solidarités avait consacré en 2006 un numéro au thème de l'évaluation à la suite du colloque du CIRIEC-Canada organisé à l'ACFAS par Carol Saucier à l'Université du Québec à Rimouski sur le thème «Critères de mesure de la richesse et de l'utilité sociales produites par les entreprises collectives ». Cet ouvrage avait permis de faire le point sur des notions telles que la rentabilité sociale et l'utilité sociale ainsi que sur la redéfinition ou l'élargissement du concept de productivité. Ce second numéro, coordonné par Marie J. Bouchard et Nadine Richez-Battesti, porte cette fois sur une initiative de comparaison internationale des méthodes et indicateurs d'évaluation de l'économie sociale et tente de voir comment l'évaluation de l'économie sociale peut être révélatrice des attentes qui sont nourries à son endroit. Le dossier présenté dans ce numéro de la revue a été préparé par des membres du CIRIEC international (Centre international de recherche et d'information sur l'économie publique, sociale et coopérative). Les auteurs ont participé à un groupe de travail portant sur «Les méthodes et les indicateurs d'évaluation de l'économie sociale et coopérative», sous la coordination de Marie J. Bouchard. Ces chercheurs, après s'être réunis à diverses reprises entre 2005 et 2007, ont observé les pratiques d'évaluation en cours dans différents pays et y ont posé un regard critique. Les textes présentés dans ce numéro font partie des contributions à ce groupe de travail, dont les travaux complets sont publiés en anglais par le CIRIEC international chez PIE Peter Lang Publishers dans un ouvrage intitulé The Worth of the Social Economu : An International Perspective. La publication de ce numéro d'Économie et solidarités est parrainée par la Chaire de recherche du Canada en économie sociale de l'UQAM et le CIRIEC-France que nous remercions pour leur soutien. L'équipe de rédaction Bibliographie BOUCHARD, Marie J. (dir.) (2010).The Worth of f he Social Econ0111y: An lnternational Bruxelles, CmlEC and PIE Peter Lang Publishers, Perspective, SAUCIER, Carol et Marie J. BOUCHARD (dir.) (2006). « Économie sociale et indicateurs de développement», Économie et Solidarités, vol. 36, n° 1, 192 p. Économie et Solidarités, oolume 39, numéro I , 2008 Présentation L'évaluation de l'économie sociale et solidaire: une perspective critique et internationale L'économie sociale constitue une forme d'économie distincte de l'économie capitaliste et de l'économie publique. Elle est reconnue pour sa capacité à répondre aux besoins émergents et aux nouvelles attentes sociales, notamment dans les contextes de crises marquées par des transformations socioéconomiques. Depuis une trentaine d'années, les composantes à dominante non marchande de l'économie sociale (organismes à but non lucratif et coopératives ne distribuant pas de ristournes) ont pris une place importante dans la production de services publics, alors que ses composantes à dominante marchande (coopératives et mutuelles) ont eu à articuler les économies locales aux marchés mondialisés. De plus en plus, l'économie sociale occupe une place significative, avec le marché et l'État, au sein d'une nouvelle économie plurielle en émergence. L'économie sociale n'est plus un phénomène résiduel mais bien un pôle institutionnel de l'économie, et elle se développe en interface avec les institutions publiques et les entreprises à finalité lucrative. Dans ce contexte, l'évaluation prend une importance nouvelle. En effet, des demandes sont formulées, tant par les pouvoirs publics que par les acteurs, pour que soit évaluée la contribution de ce secteur. Toutefois, l'économie sociale est un phénomène encore relativement peu documenté et qui demeure sous-théorisé, notamment en ce qui concerne sa contribution aux dynamiques de développement. L'absence de méthodologies et d'indicateurs propres MARIE J. BOUCHARD Professeure École des sciences de la gestion Chaire de recherche du Canada en économie sociale Centre de recherche sur les innovations sociales Université du Québec à Montréal bouchard. marie@uqam_ca NADINE RICHEZ-BAITESTI Mettre de conférences en économie Faculté des sciences économiques et de gestion Laboratoire d'économie et de sociologie du travail- CNRS Université de la Méditerranée nadine. [email protected] à l'économie sociale fragilise son positionnement de même que sa capacité à participer aux grands débats de société. La complexification des modalités de prise en charge de l'intérêt général, engageant une pluralité d'acteurs socioéconomiques (publics, privés et d'économie sociale), implique la complexification des critères légitimes d'évaluation des activités susceptibles d'y contribuer. En raison de la multiplicité des parties prenantes de l'évaluation (staJceholders), ilest difficile de s'accorder sur ce qu'il faut évaluer et sur la manière dont il faut le faire. La variété des champs de l'économie sociale, leur degré d'ancrage dans les politiques publiques et leur inscription inégale dans le marché posent de redoutables défis à la lisibilité de ce qui fait la cohérence de sa contribution spécifique. Faute d'indicateurs appropriés, les gouvernements tendent à évaluer l'économie sociale exclusivement en termes d'emplois créés (Eme et Laville, 1994; Laville, 1999; Vivet et Thiry, 2000). Par conséquent, l'une de ses compétences particulières, soit combiner l'économique et le social dans une visée d'intérêt général, demeure peu valorisée par les outils existants (Bouchard, Bourque et Lévesque, 2001). De plus, on observe une «concurrence» sur la spécificité de l'économie sociale faite par les discours et les pra tiques de responsabilité sociale et environnementale des entreprises capitalistes (Zadek, Pruzan et Evans, 1997; Bouchard et Rondeau, 2003), entraînant un risque de banalisation de l'économie sociale. Or, seules les organisations d'économie sociale intègrent le social à l'économique au plan institutionnel (lois, règles, conventions) (Demoustier, 2001; Vienney, 1980), au lieu d'offrir une simple réponse organisationnelle et discrétionnaire (donc variable et instable) (Gendron, 2000). D'où l'intérêt de chercher à mieux comprendre la manière dont l'économie sociale performe et se distingue des autres formes d'économie. Sur la recommandation de la Commission scientifique «Économie sociale et coopérative» du CIRlEC international, le Conseil scientifique international a créé en 2005 le Groupe de travail sur les méthodes et indicateurs d'évaluation de l'économie sociale, coordonné par Marie J. Bouchard. Le but poursuivi était de faire le point sur les pratiques d'évaluation qui permettent de cerner la contribution spécifique de l'économie sociale. Nous nous sommes efforcés de poser un regard critique sur les enjeux contemporains de l'économie sociale, parmi lesquels l'évaluation semble constituer l'un des révélateurs les plus significatifs. À terme, nous cherchons à voir en quoi les pratiques d'évaluation participent à la construction même du champ de l'économie sociale. Pour mener cette étude, le Groupe s'est doté d'un cadre commun de réflexion. Nous en présentons ici les grandes lignes. CADRIE COMMUN DIE RÉFLÉXION La réflexion menée par le Groupe de travail s'appuie sur deux postulats. Le premier est que l'évaluation n'est jamais neutre. Ainsi, différentes approches et méthodologies d'évaluation révèlent des enjeux contrastés pour l'économie Économie et Sotidariiés, volume 39, numéro 1, 2008 sociale. L'évaluation doit jouer sur ces deux registres, celui des bailleurs de fonds et celui des populations concernées par les impacts de l'économie sociale (Zùniga, 2001). Elle peut servir d'instrument de contrôle et de rationalisation, ce qui soulève les questions du monitorage et de l'information concernant le citoyen, ainsi que de la normalisation de l'activité des organisations. Cela ranime aussi tout le débat sur la décentralisation sans ressources, qui permet davantage de délester l'État que de renforcer les collectivités locales. Intégrée et instrumentée par les acteurs de l'économie sociale, l'évaluation peut aussi se situer comme une démarche de négociation avec l'État et la société civile à propos du rôle qu'elle joue et de la place qu'elle occupe. Le second postulat est que l'évaluation de l'économie sociale renvoie au modèle de développement et à ses transformations, ainsi qu'au rôle qu'y joue l'économie sociale. En ce sens, J'évaluation renvoie au type de jugement posé sur la performance et aux formes de justification employées pour l'analyser (Boltanski et Thévenot, 1991). Selon la vision adoptée, le rôle de l'économie sociale peut se voir réduit à la fourniture de biens et de services auxquels ne pourvoient pas le secteur privé et le secteur public, l'économie sociale compensant certaines failles de développement. Ce rôle peut au contraire être perçu comme celui d'une entité intermédiaire entre la sphère publique et la sphère privée (Evers et Laville, 2004), suggérant une nouvelle dynamique de l'espace public (Oacheux, 2003). L'économie sociale est alors considérée comme un mouvement de prise en charge, de redéfinition de la notion du bien commun ou de l'intérêt général (Monnier et Thiry, 1997). De ce fait, elle s'inscrit dans le champ politique comme entité collective d'un espace conflictuel (Lévesque, Bourque et Forgues, 2001) et peut avoir un effet institutionnalisant des pratiques alternatives par le biais de réformes institutionnelles. L'évaluation devient alors partie prenante d'une stratégie politique. Concernant les méthodes, l'évaluation peut se traduire dans la comptabilité nationale (macro), le portrait sectoriel ou régional (méso), l'analyse de programmes (objectifs, processus, résultats, impacts), le bilan et le fonctionnement organisationnel (micro). Nous avons fait le choix de nous situer dans une perspective organisationnelle (micro) ou sectorielle (méso): les travaux portent sur l'évaluation des entreprises et organisations d'économie sociale (EOÉS) et leurs secteurs d'activité. L'évaluation peut viser la standardisation des normes (audit, certification, ISO), la conformité au programme (évaluation sommative) ou l'amélioration des pratiques (évaluation formative). Elle peut se baser sur de l'information quantitative ou qualitative, ou combiner les deux. Les outils peuvent relever des approches typiques des première, deuxième et troisième générations d'évaluation qui visent respectivement à mesurer, expliquer et contextualiser les résultats obtenus au vu des objectifs visés. L'évaluation peut aussi être réalisée de manière participative et négociée entre l'évaluateur externe et les acteurs concernés (Cuba et Lincoln, 1989; Bouchard et Oumais, 2001; Rondot et Bouchard, 2003). Économie et Solidarités, uolunie 39, numéro l , 2008 Concernant les indicateurs, les retombées sociales et économiques sont difficilement séparables du mode de fonctionnement des entreprises d'économie sociale. On peut relever trois dimensions, distinctes mais complémentaires, sur lesquelles faire reposer l'évaluation de l'économie sociale: la dimension organisationnelle, la dimension d'utilité sociale et la dimension institutionnelle (Bouchard, 2004). La dimension organisationnelle touche la performance des entreprises d'économie sociale en termes de qualité, d'efficacité, de productivité, etc. La dimension d'utilité sociale concerne les impacts qui ont une valeur ajoutée caractéristique de l'économie sociale: la réd uction des inégalités ou de l'exclusion sociales, les effets structurants sur les secteurs et les territoires, la mobilisation du milieu, les partenariats avec les autres acteurs sociaux, les effets de redistribution, etc. (Gadrey, 2004; Nogues, 2003). La dimension institutionnelle renvoie aux innovations sociales eu égard à la gouvernance des activités économiques, tant au plan territorial qu'au plan sectoriel, à l'émergence de nouvelles règles du jeu, aux interfaces entre l'économie sociale et l'économie publique et marchande (Richez-Battesti, 2006), etc. L'évaluation «imbriquée» de ces trois dimensions permet une analyse du système d'intervention dans lequel s'insère l'organisation évaluée (Fontan, 2001). Il existe enfin plusieurs définitions de l'économie sociale, qui insistent soit sur ses composantes certaines et incertaines (Desroche, 1983), ses règles de fonctionnement (Vienney, 1980), sa dynamique réciprocitaire et solidaire (Erne et Laville, 1994), ses logiques d'action (Enjolras, 1994), son inscription dans une économie plurielle (Evers et Laville, 2004), son caractère sans but lucratif (Ben-Ner et Van Hoomissen, 1991; Anheier et Ben-Ner, 2003) ou entrepreneurial (Dees, 1998; Borzaga et Defourny, 2004; Nyssens, 2006), etc. En outre, les pratiques d'économie sociale varient selon qu'elles émergent pour répondre à des nécessités ou à des aspirations, que les activités sont à dominante marchande ou non marchande (Lévesque, 2002), qu'elles sont de nature mutualiste ou altruiste (Gui, 1992), que leurs revenus sont principalement de source marchande, gouvernementale ou philanthropique (Salamon, Sokolowsi et List, 2003), etc. Ces typologies peuvent aider à formuler des hypothèses au sujet des critères de performance et d'impacts sociaux qui s'appliquent à divers types d'organisations et d'activités ou à différents contextes institutionnels. Bien entendu, ces réalités seront variables d'un pays à l'autre. PRÉSENTATION DU NUMÉRO Les textes réunis dans ce dossier sont quelques-unes des contributions des membres de ce groupe, dont les travaux complets paraissent en anglais dans un ouvrage intitulé The Worth of the Social Econ0111y:An International Perspective publié chez PIE Peter Lang Publishers. La liste exhaustive des contributions à cet ouvrage est présentée en annexe. Nous avons choisi six des contributions Économie cf Solidarités, volume 39, numéro l., 2008 du groupe de travail, soit trois essais et trois portraits nationaux. Les textes qui sont présentés ici sont largement inspirés des chapitres du livre mais ils ont été adaptés en tenant compte du format et du thème de ce numéro de la revue. Les deux premiers textes portent sur la nature du processus évaluatif et sur celle de l'économie sociale. Dans son article, Bernard Enjolras questionne les fondements normatifs de l'économie sociale ainsi que ceux des politiques publiques afin d'expliquer Je caractère souvent paradoxal de l'évaluation des organisations d'économie sociale. Les différents paradigmes utilisés pour qualifier l'économie sociale (échecs du marché et échecs du gouvernement; économie sociale; économie solidaire et société civile) peuvent être synthétisés dans trois fonctions des organisations de l'économie sociale: fonction de solidarité, fonction démocratique et fonction productive. La confrontation entre les fondements normatifs de ces organisations (ce qu'elles devraient être idéalement) et ceux des politiques publiques (ce qu'elles visent) révèle les paradoxes de l'évaluation des résultats et des impacts des organisations d'économie sociale. Bernard Erne s'intéresse aux bases axiologiques et normatives de l'évaluation. Selon lui, les processus évaluatifs devraient continuellement questionner les valeurs et les normes qui sont à leur fondement. L'évaluation visant à rendre compte de la qualité des organisations devrait révéler une pluralité de mondes ou jugements de valeurs qui sous-tendent l'économie sociale et solidaire. Ainsi, l'évaluation est un outil processuel pour une démocratie délibérative, dans le respect des controverses au sujet des valeurs, du sens et des principes de justification de l'économie sociale et solidaire. Or cela nécessite un changement des modes de régulation normatifs de la sphère publique et des politiques, qui ne sont guère enclins, selon l'auteur, à entrer dans des arènes délibératives en laissant une parole égale et légitime à tous les acteurs. Les trois textes suivants proposent une réflexion sur l'évaluation de J'économie sociale dans trois contextes nationaux, en France, au Québec et au Brésil. La contribution française est cosignée par Nadine Richez-Battesti, Hélène Trouvé, François Rousseau, Bernard Eme et Laurent Fraisse. Ces auteurs caractérisent deux tendances de l'évaluation de l'économie sociale et solidaire en France, soit l'utilité sociale et le bilan sociétal. Ces deux modalités d'évaluation ont été choisies non pas pour leur large diffusion dans les entreprises de l'économie sociale et solidaire françaises mais parce qu'elles font l'objet de débats entre les différents acteurs depuis une quinzaine d'années. Il se dégage de cette analyse que ce qui est en jeu avec l'évaluation, c'est aussi et surtout la définition et le champ de l'économie sociale et solidaire ainsi que ses modes de régulation. La situation du Québec est présentée par Marie J. Bouchard. L'observation des outils d'évaluation employés dans 18 secteurs de l'économie sociale montre que différents types d'évaluation peuvent être associés à des variables qui carac- Économie et Solidarités, uolume 39, numéro I, 2008 térisent les organisations et les secteurs. Les pratiques d'évaluation révèlent aussi différentes attentes envers l'économie sociale suivant qu'elle est destinée à pallier les failles de développement, compléter l'action publique et le marché ou répondre à de nouvelles attentes sociétales comme réalité distinctive, ce qui exige de nouveaux référentiels d'interprétation de la performance. Cette analyse illustre l'influence relative des parties prenantes, de la mission et de la nature de l'économie sociale sur les outils d'évaluation. La contribution du Brésil est cosignée par Mauricio Serva, Carolina Andion, Lucila Campos et Erika Onozato. Dans la mesure où les organisations non gouvernementales (ONG) sont de plus en plus actives dans la gestion et la prestation de services publics, leur évaluation concerne principalement les questions de contrôle, de reddition de comptes et de transparence. Ces modèles témoignent d'une subordination hiérarchique de l'économie sociale à l'État et d'une conception fonctionnelle de son rôle dans l'exécution des politiques publiques. L'analyse révèle aussi la faible imputabilité des acteurs. Selon les auteurs, celle-ci ne peut être efficacement renforcée sans y impliquer davantage les diverses parties prenantes, notamment les gestionnaires, membres et utilisateurs des organisations. Cela pourrait avoir à l'avenir un effet de renforcement institutionnel du domaine et des organisations de l'économie sociale au Brésil. Une dernière contribution est un essai signé par Bernard Perret, placée dans la section Pour en savoir plus de ce numéro. Ce texte fait suite à une conférence donnée par B. Perret, à notre invitation, à l'occasion d'un des séminaires du Groupe de travail du CIRIEC international. L'auteur met ici en évidence la rationalité complexe qui sous-tend l'économie sociale et qui doit être prise en compte dans son évaluation. Selon Perret, la reconnaissance de rationalités non standards comme celles qui animent les entreprises de l'économie sociale doit passer par une meilleure lisibilité du social. Montrant combien la variété des indicateurs sociaux est révélatrice de la diversité des concepts qui les soustendent, il appelle à une mise au débat des cadres d'analyse et des critères de jugement dans un cadre institutionnel adéquat pour fonder leur légitimité. Ainsi, le développement d'outils et de pratiques susceptibles de rendre la société plus lisible à elle-même constitue l'une des conditions d'une meilleure reconnaissance de l'économie sociale. Annexe Plan de l'ouvrage CIRIEC (dir.) sous la direction de Marie J. Bouchard (20'10), The Worth of the Social Economy: An International Perspective, Bruxelles, PIE Peter Lang, coll. "Économie sociale et Économie publique», vol. 2,276 p. Direction de collection: Le Centre international de recherches et d'information sur l'économie publique, sociale et coopérative (CIRIEC) ISBN 978-90-520'1 -580-4 pb. Économie ei Solidarités, volume 39, numéro 1, 2008 Introduction, M.J. Bouchard Part 1- Conceptual background 1. Methods and indicators for evaluating the social and co-operative economy, M.J. Bouchard 2. Evaluating the social economy: clarifying complex rationality, B. Perret 3. The public policy paradox. Normative foundations of social economy and public policies: which consequences for evaluation strategies ?, B. Enjolras 4. Miseries and worth of the evaluation of the social and solidarity-based economy: for a paradigm of communicational evaluation, B. Eme Part Il - The evaluation of the social economy in different national contexts 5. Evaluating the social and solidarity based economy in France. Societal balance-sheet, social utility and identity trial, N. Richez-Battesti, H. Trouvé, F. Rousseau, B. Eme and L. Fraisse 6. Evaluation of the social economy in Quebec, between stakeholders, mission and organizational identity, M.J. Bouchard 7. Social accounting and social audit in the United Kingdom, R. Spear 8. Evaluation in the United States Welfare State regime, C. Rock 9. Evaluation of the Social Economy in Brazil: an analysis of the practices in some NGOs, M. Serva, C. Andion, L. Campos and E. Onozato 10. The evaluation of the social economy in the Portuguese context. An overview on the social solidarity organizations, A. Simaens and 1.Nicolau 11. Evaluation Kurimoto of cooperative performances and specificities in Japan, A. 12. Conclusions, M.J. Bouchard and N. Richez-Battesti Bibliographie ANHEIER, Helmut K. et Avner BEN-NER (dir.) (2003). Advi111C!'S in Theories of the Nonproflt Secior, New York, Kluwer/Plenum. BEN-NER, Avner et Theresa Van HOOMISSEN (1991).«Non Profit Organization in the Mixed Economy », Annois of Public and Cooperative Economies, vol. 62, n" 4, p. 519-550. BOLTANSKI, Luc et Laurent THÉVENOT (1991).De la justification. Paris, Gallimard. Les économies de la grandeur, BORZAGA, Carlo et Jacques DEFOURNY (dir.) (2004). The Emergence Londres, Routledge. of Social Enterprise, BOUCHARD, Marie J. (2004). «Vers une évaluation multidimensionnelle l'économie sociale », RECMA, n'' 292, mai, p. 59-74. et négociée de BOUCHARD, Marie J. et Julie RONDEAU (2003). «Le financement de l'économie sociale, à la croisée des intérêts privés et publics. Le cas du Réseau d'investissement du Québec », Économie et solidarités, vol. 34, nO 1, p. 123-135. BOUCHARD, Marie J. et Lucie DUM!\IS (2001). Rapport sm les enjeux métnodologiques de t'éocluation de t'économie sociale et solidaire, Site du projet de coopération France-Québec sur l'économie sociale et solidaire. En ligne: <www.unites.uqam.ca/cconos/index.htm> Économie et Solidarités, uolunie 39, numéro 1, 200S BOUCHARD, Marie J., Cilles L. BOURQUE et Benoît LÉVESQUE (2001). «L'évaluation de l'économie sociale dans la perspective des nouvelles formes de régulation socio-économique de l'intérêt général», Cahiers de recherche sociologique, mars, p. 31-53. DACHEUX, Éric (2003). «Un nouveau regard sur l'espace public et la crise démocratique », Hermès, nO36, p. 195-204. DEES, J. Gregory p.54-67. (1998). «Enterprizing Nonprofits », Harvard Business Reoieui, vol. 76, nO 1, Jacques et Jose Luis MONZ6N CAMPOS (dir.) (1992). Économie sociale: entre économie capitaliste et économie publique/The Third Secior: Cooperative, Mutual and Nonprofit Organizations, Bruxelles, CIRJEC et De Boeck-Wesmael. DEFOURNY, DEMOUSTIER, Danièle ment, Paris, Syros. (2001). L'économie sociale et solidaire. S'associer pour entreprendre Henri (1983). four un traité d'économie sociale, Paris, ClEM. DESROCHE, EME, Bernard et Jean-Louis de Brouwer. LAVILLE (dir.) (1994). Cohésion sociale et emploi, Paris, Desclée ENJOLRAS, Bernard (1994). «Vers une théorie socio-économiquc de la théorie des conventions», RECMA, nO48, p. 93-106. EVERS, Adalbert FONTAN, autre- et Jean-Louis Jean-Marc de l'association: l'apport LAVILLE (2004). The Third Secior in Europe, Cheltenham. (2001). «L'évaluation de cinquième génération », Elgar. Cahiers de recherche sociologique, mars, p. 7-14. GADREY, Jean (2004). L'utilité sociale des organisations de l'économie sociale et solidaire. Une mise en perspeciioe sur la base de travaux récents, Rapport synthèse pour la DIES et la MIRE, Lille, Université de Lille i. CLERSE-IFRESI, février. CENDRON, Corinne (2000). Le questionnement éthique et social de l'entreprise UQAM, Cahiers du CRISES, nO0004. dans la littérature managériale, Montréal, GUBA, Egon et Yvonna LINCOLN (1989). Fourth Generation CUI, Benedetto économique (1992). «Fondement LAVILLE, Jean-Louis Evaluation, du Tiers Secteur », Newbury Park, Sage. RECMA, n° 247, p. 160-173. (1999). Une troisième voie pour l'emploi, Paris, Desclée de Brouwer. Benoît (2002). Les entreprises d'économie sociale, plus porteuses d'innovation que les autres i, Montréal, UQAM, Cahiers du CRISES, n? R0205. LÉVESQUE, LÉVESQUE, Benoît, Cilles L. BOURQUE et Éric FORGUES Paris, Desclée de Brouwer. sociale (2001). La nouueïte sociologie économique, Lionel et Bernard THIRY (1997). Mutations siruciureiies et intérêt général. Vers quels nouveaux paradigmes pour l'économie publique, sociale et coopératioei, Bruxelles, De Boeck. MONNIER, NOGUES, Henri (2003). « l3conomie sociale et solidaire, l'utilité sociale ». RECMA, n" 290, p. 27-40. NYSSENS, Marthe (dir.) (2006). Social Enierptise, Londres, quelques réflexions à propos de Routledge. RICHEZ-BATTESTI, Nadine (2006). «Évaluer la production associative par les pouvoirs publics: du contrôle à la coproduction de critères », in Xavier ENGELS, Mathieu HELY, Aurélie PEYRIN et Hélène TROUVÉ (dir.), De l'intérêt général à l'utilité sociale: la l'l'configuration de l'action publique entre État, associations et participation citoyenne, Paris, L'Harmattan, p. 115-128. RONDOT, Sylvie et Marie J. BOUCHARD (2003). l.éoaluniion ARUC-ÉS, nO R-03-2003. de l'économie sociale. Petit aide- mémoire, Montréal, Économie et Solidarités, volume 39, numéro 1, 2008 SALAMON, Lester M., Helmut K. ANHEIER, Regina LIS1~Stephen TOEPLER et S. Wojciech SOKOLOWSKI (1999). Global Civil Society: Dimensions of the Nonprofit Secior, Baltimore, The Johns Hopkins University, Centre for Civil Society Studies. SALAMON, Lester M., S. Wojciech SOKOLOWSKI et Regina LIST (2003).Global Civil Society, an Ooeroieio, Baltimore, The John Hopkins University, Center for Civil Society Studies. VIENNEY, Claude (1980). Socio-éconotnie des organisations coopératives, Paris, CIEM. VIVET, David et Bernard THIRY (2000). «Champ de l'étude, importance quantitative et acceptions nationales », in CIRIEC (dir.), Les entreprises et les organieaiions du troisième système. Un enjeu stratégique pOlir l'emploi, Liège, CIRlEC, p. 11-32. ZADEK, Simon, Peter PRUZAN et Richard EVANS (1997). Building C07'p07'ate Accountabilitv, Londres, Earthscan Publications Limited. ZUNIGA, Ricardo (2001).« L'évaluation sur la place publique: science, éthique et politique», Cahiers de recherche sociologioue, n? 35, p. 15-30. Économie ct Solidarités, uolunte 39, numéro 1, 2008 DOSSIER Fondements normatifs des organisations d'économie sociale et solidaire et évaluation du point de vue des politiques publiques BERNARD ENJOLRAS Directeur de recherche Institut! for samfunnsforskning (Institut pour la recherche sociale) Oslo, Norvège [email protected] RÉSUMÉ .. Les organisations d'économie sociale et solidaire sont, bien souvent, impliquées dans la mise en œuvre des politiques publiques dans des champs variés de politique publique (services sociaux, santé, éducation, environnement, emploi, etc.). L'évaluation menée par les pouvoirs publics, si elle ne constitue pas la seule perspective d'évaluation de l'économie sociale et solidaire, est une perspective décisive pour ces organisations, conditionnant leur accès aux ressources critiques ainsi que leur légitimité. Cet article met en relation deux perspectives normatives, d'une part, celle des politiques publiques et, d'autre part, celle du discours normatif sur l'économie sociale et solidaire afin de mettre en évidence le caractère souvent paradoxal de l'évaluation des organisations d'économie sociale et solidaire du point de vue des politiques publiques. ABSTRACT • Organizations from the social economy are often involved in implementing public policics in various policy fields (social services, health, education, environment, employment, etc.). If evaluation conducted or ordered by public authorities is not the only perspective from which social economy organizations can be assessed, it constitutes a decisive type of evaluation since it conditions their access to cri tical resources and influences their legitimacy. This article sets in relations two normative perspectives that are at play when social economy organizations are evaluated from the viewpoint of a public policy, on the one hand, the public policy normative perspective and, on the other hand, the normative discourse on the social economy. The often paradoxical character of public policy evaluation of social economy organizations will appear as a result of this confrontation. RESUMEN • Las organizaciones de economia social y solidaria estén frccuentemente involucradas en la aplicaciôn de polîticas pûblicas en diverses ambitos (servicios sociales, salud, educacion. medio ambiente, empleo, etc.). Aunque la evaluacion realizada pOl' los poderes publiees, no constituye la unica instancia de evaluaciôn, se trata de una perspectiva decisiva para estas organizaciones ya que condiciona su acceso a los recursos criticos y confiere legitimidad. En este artïculo se vinculan dos perspcctivas norrnativas: las polîticas pûblicas, por una parte, y el discurso normative de la economia social, por otra, con la finalidad de poner de manifiesto el caracter, a menudo paradôjico, de la evaluaciôn de las organizaciones de la economfa social desde la perspectiva de las polîticas publicas. - .. - INTRODUCTION Évaluer consiste à déterminer la valeur des choses. Mais en matière de valeurs comme en matière de distance, établir une mesure suppose de disposer d'un instrument de mesure, d'un étalon permettant de fixer respectivement la valeur et la distance de ce qu'on cherche à mesurer. Pour pouvoir évaluer, il est donc nécessaire de disposer d'une référence permettant de construire une échelle de valeurs. En matière d'évaluation des organisations d'économie sociale et solidaire, cette référence, c'est l'hypothèse de cet article, nous est donnée par ce qui est qualifié de «fondements normatifs» de ces organisations, c'est-à-dire par les spécificités qui idéalement différencient ces organisations des autres types d'organisations de type lucratif ou public. Cet article s'attache donc dans un premier temps à mettre en évidence ces fondements normatifs à partir d'une discussion des principaux « paradigmes» qui servent à définir ces organisations. Ces paradigmes sont des construits qui résultent d'une interaction entre les conceptions qu'ont les acteurs de ces organisations et les efforts de théorisation entrepris par le monde académique, paradigmes qui se retrouvent de façon plus ou moins articulée dans tous les discours portant sur ces organisations et qui fixent l'horizon du souhaitable quant à ces organisations. En d'autres termes, ces paradigmes contribuent à construire une vision idéale et normative de ces organisations. La synthèse de ces paradigmes permet en conséquence de définir une référence normative pour l'évaluation de ces organisations autour de trois fonctions: solidaire, démocratique, productive. Historiquement, l'évaluation s'inscrit dans une tradition (depuis Aristote conseillant Philippe de Macédoine) où le savoir et la raison ont été mis au service du Prince. Si l'évaluation peut servir d'autres acteurs que les autorités publiques, notamment les citoyens, les acteurs eux-mêmes (autoévaluation), il reste que le plus souvent l'évaluation est commanditée par les autorités publiques et reflète leurs préoccupations. C'est la raison pour laquelle l'article confronte dans un second temps les modalités d'action et d'évaluation des politiques publiques (recourant aux organisations d'économie sociale et solidaire comme agent de ces politiques) avec les fondements normatifs de ces organisations. Cette confrontation met en évidence un paradoxe, alors que la Économie et Solidarités, va/lime 39, numéro 1, 2008 contribution sociale de ces organisations est liée à leurs fondements (leurs spécificités), les formes de l'intervention et de l'évaluation contribuent à saper ces fondements. FONDEMENTS normatifs publique NORMATIFS La caractérisation des qualités spécifiques des organisations d'économie sociale et solidaire diffère suivant la nature des paradigmes d'analyse utilisés: échec du marché, économie sociale, économie solidaire, société civile. Ces paradigmes d'analyse informent à la fois les objectifs des politiques publiques, les modalités de justification de «l'utilité» de ces organisations, ainsi que les conceptions inhérentes aux acteurs eux-mêmes. La synthèse de ces paradigmes d'analyse met en évidence trois fonctions sociales propres à ces organisations: fonction solidaire, fonction démocratique et fonction productive. Paradigmes d'analyse É.checs du marché et échec: du gouvernement Pour les tenants du paradigme de l'échec du marché et du gouvernement, la principale caractéristique des organisations non lucratives ne consiste pas à ne pas réaliser de profit mais à ne pas distribuer de profit. Cette caractéristique est qualifiée de «contrainte de non-distribution », Les profits, s'ils existent, doivent être réinvestis dans l'organisation non lucrative alors qu'ils sont distribués aux propriétaires lorsqu'il s'agit d'une organisation lucrative ou reversés au Trésor lorsqu'il s'agit d'une organisation publique. À partir de ce constat, l'existence d'organisations non lucratives dans une économie de marché s'explique soit par l'échec des organisations lucratives, soit par l'échec des organisations publiques (ou une combinaison des deux). L'approche en termes d'échec du gouvernement (Weisbrod, 1977) considère une économie où existent deux types de biens: les biens privés et les biens collectifs ou publics. Dans une telle économie, le niveau de consommation de biens collectifs est déterminé par le gouvernement et résulte d'un processus politique. Le fait que le niveau de consommation de biens collectifs soit fixé pour satisfaire l'électeur médian conduit à laisser de nombreux consommateurs sur-satisfaits ou sous-satisfaits. Le degré d'insatisfaction sera d'autant plus élevé que la population sera hétérogène en termes de goûts, de revenu ... Les consommateurs sous-satisfaits ont la possibilité parmi d'autres (migrer, recourir aux organisations lucratives ... ) de créer des organisations non lucratives afin d'accroître l'offre de biens collectifs. L'approche en termes d'échecs du marché, quant à elle, met l'accent sur les situations «d'asymétrie informationnelle» (Hansmann, 1980). Dans ce cas de figure, le producteur possède une information privilégiée sur la qualité du Économie et Solidarités, volume 39, numéro 1, 2008 produit que le consommateur ne possède pas. Hansmann avance l'hypothèse que la contrainte de non-distribution réduit l'incitation qu'aurait une organisation non lucrative à tirer parti de l'asymétrie d'information. L'organisation non lucrative va inspirer confiance au consommateur, y compris dans les situations où la qualité est inobservable, comme dans les services sociaux, culturels ou éducatifs. C'est parce que les organisations non lucratives disposeraient d'un avantage comparatif chaque fois qu'un fort degré de confiance est nécessaire pour que la transaction ait lieu et qu'elles se développeraient plus particulièrement sur certains créneaux d'activité. Le paradigme de l'échec du privilèges fiscaux et les subventions ves du fait de «l'utilité sociale» de organisations produisent des biens le marché ni la puissance publique Économie marché et du gouvernement justifie les accordées aux organisations non lucratices organisations. En d'autres termes, ces et services, en quantité ou qualité, que ni sont à même d'offrir. sociale Le paradigme de l'économie sociale met l'accent sur les règles qui caractérisent le fonctionnement des organisations d'économie sociale (Vienney, 1994; Dernoustier, 2001). L'économie est conçue comme une sphère d'activité régie par des règles sociales relatives à la distribution des droits de propriété, aux mécanismes de distribution du surplus ainsi qu'aux mécanismes d'allocation et de (re)distribution des ressources. De ce point de vue, l'économie est divisée en trois sous-secteur, économie capitaliste, économie publique, économie sociale, chacun des sous-secteurs étant caractérisé par des règles particulières. L'économie sociale se caractérise donc de ce point de vue par i) l'égalité des associés indépendamment de leur participation au financement et à l'activité de l'organisation; ii) la propriété collective du surplus réinvesti; lorsqu'il est admis, le partage des excédents entre les associés s'effectue sur la base de leur participation à l'activité de l'organisation. Fondé sur des origines idéologiques de nature différente (socialisme, christianisme, solidarisme, républicanisme), le paradigme de l'économie sociale justifie les organisations d'économie sociale en termes d'alternative à l'économie capitaliste (Gueslin, 1998). L'économie sociale se justifie également du point de vue de sa contribution à la répartition des richesses sociales (compléments à l'État providence), suivant en cela l'approche initiée par Léon Walras (Dockès, 1996). Économie solidaire Le paradigme de l'économie solidaire (Erne et Laville, 1994; Laville, 1994) considère les organisations qui hybrident trois des principes économiques relevés par Polanyi: marché, redistribution et réciprocité. Trois dimensions caractéristiques de ces organisations sont identifiées: elles constituent des espaces publics de proximité où les liens de solidarité peuvent se nouer, elles offrent des services Économie el Solidarités, uolumc 39, numéro 1,2008 dont les modalités résultent d'une construction conjointe de l'offre et de la demande et elles hybrident trois types d'économies, l'économie marchande (vente des services), l'économie de la redistribution (financement public) et l'économie de la réciprocité (bénévolat). La dimension de la réciprocité, qui recouvre l'action bénévole et la participation active des usagers à la production des services, confère le caractère solidaire de ces organisations. La justification des organisations d'économie solidaire s'effectue sur le plan de l'utilité sociale ou encore de la contribution de ces organisations à la solution de problèmes macrosociaux. En mettant la solidarité au coeur de leur fonctionnement, ces organisations sont réputées pour contribuer à la régénération du lien social, de la cohésion sociale tout en étant créatrices d'emplois. De plus, elles sont considérées comme contribuant à développer une sphère intermédiaire entre le marché et l'État qui atténue, en promouvant une économie plurielle, les déséquilibres de la régulation fordiste. Société civile Le paradigme de la société civile met l'accent sur le rôle politique des associations civiles qui n'appartiennent ni à la sphère de l'État, ni à celle du marché. Le concept de société civile est un concept polysémique qui recouvre des dimensions différentes chez des auteurs aussi différents que Ferguson (1995), Kant (1991), Hegel (1967),Tocqueville (1955),Arendt (1958) ou Habermas (1996). Il est cependant possible de mettre en évidence trois dimensions de la société civile: la sphère de la moralité, l'élément constitutif de la sphère publique et le fondement de la communauté civique. En effet, pour Ferguson, dans la tradition de Hobbes et de Locke, la société civile, c'est la société sans l'État. La question étant de savoir comment les conflits d'intérêts entre individus ainsi que l'exercice d'un pouvoir arbitraire peuvent être limités et régulés. La réponse de Ferguson est la moralité, les sentiments moraux. La question de la société civile est associée à celle de la moralité: contre Hobbes, Locke et Humes, Ferguson, Kant et Hegel affirment la place prééminente de la moralité par opposition à celle de l'intérêt, comme fondement de la vie commune et de la société civile. La dimension de la sphère publique mise en avant par Kant, Arendt et Habermas se fonde sur la distinction des anciens Grecs entre la sphère privée (la famille, le ménage), qui est aussi la sphère de la nécessité, et la sphère publique (la polis), qui est la sphère de la liberté publique et où l'opinion publique se forme. La dernière dimension, celle de la communauté civique, soulignée par Tocqueville et Putnam (1993; 1995a; 1995b; 2000), considère la société civile comme une sphère de médiation entre les individus et l'État permettant l'union des intérêts individuels et du bien commun. Les associations constitutives de la société civile sont les lieux où l'esprit public, le civisme, la confiance, la coopération et le capital social se constituent et qui rendent possible l'émergence d'un bien commun, d'une communauté civique au-delà des intérêts particuliers. Économie et Solidarités, volume 39, numéro 1, 2008 Le paradigme de la société civile justifie par conséquent les organisations de la société civile en raison du rôle qu'elles jouent dans le fonctionnement de la démocratie (espace public, lieux d'intermédiation) et comme agent et espace de moralité autorisant le dépassement des intérêts particuliers et la constitution d'un bien commun. Tableau 1 Paradigmes d'analyse des organisations d'économie sociale et solidaire Paradigmes d'analyse Identités instituées Objectifs des politiques publiques Justification Échecs du marché et échecs de l'intervention publique. Tiers secteur, philanthropie. Services collectifs d'initiative privée. Utilité sociale justifiant exemption de taxes et financements publics. Socicéconornie des organisations, économie comme système de règles. Économie sociale. Complément à l'État providence, démocratisation de l'économie. Alternative au capitalisme, organisations démocratiques. Économie plurielle, solidaire. Économie solidaire. Créations d'emplois, lutte contre l'exclusion, création de nouveaux services, développement local, environnement. Innovation sociale, intégration sociale, utilité sociale, démocratie. Société civile, mouvements sociaux. Secteur bénévole, mouvements sociaux. Démocratie, intégration sociale, espaces publics. Capital social, démocratie, porte-parole. les foru::tions de l'économie sociale et solidaires Il est possible de synthétiser ces différents paradigmes afin de mettre en évidence les principales caractéristiques des organisations d'économie sociale et solidaire et, par conséquent, d'établir un référent normatif pour leur évaluation autour de trois fonctions: solidaire, démocratique et productive. Fonction solidaire La notion de solidarité a une origine juridique et économique: les débiteurs solidaires sont considérés comme faisant un par les créanciers. En d'autres termes, les individus sont unis par un lien et constituent un tout. Les organisations d'économie sociale et solidaire' remplissent une fonction solidaire dans Économie et Sotiâariiée, uolume 39, numéro 1, 2008 la mesure où elles constituent un espace où, contrairement à ce qui caractérise les institutions de la famille, du marché et de l'État, les individus sont à même d'appartenir à une communauté immédiate volontaire. En effet, la solidarité au sein de la famille est dans la plupart des cas une solidarité involontaire, assignée, tandis que la solidarité qui lie les acteurs sur le marché (la division du travail) est une solidarité médiatisée tout comme la solidarité qui résulte des droits de la citoyenneté ou des droits sociaux. La solidarité au sein des organisations d'économie sociale et solidaire met en œuvre des relations de face à face et des échanges fondés sur la réciprocité (même si d'autres modalités sont aussi à l'œuvre). Cette solidarité s'appuie sur des intérêts communs mais aussi, dans la plupart des cas, sur des valeurs communes qui garantissent la cohésion des individus associés. Contrairement à la solidarité mise en œuvre par la société capitaliste (S.A.), la solidarité associative qui unit les membres des organisations d'économie sociale et solidaire garantit l'égalité des voix (un homme, une voix) indépendamment de la participation au capital (pour les coopératives) et du montant de l'adhésion ou cotisation (pour les associations et mutuelles). À côté de la solidarité interne, c'est-à-dire la solidarité entre membres, les organisations d'économie sociale et solidaire sont aussi susceptibles, lorsque leur activité s'adresse partiellement ou totalement aux non-membres, d'engendrer une solidarité externe. Fonction démocratique Les gouvernements démocratiques modernes, contrairement à ce qui caractérisait la démocratie antique, ne sont pas des démocraties directes ou participatives mais des démocraties représentatives où le peuple participe à la politique par le biais de ses représentants. Cette caractéristique des démocraties modernes fait des organisations de la société civile, dont les organisations d'économie sociale et solidaire constituent un sous-ensemble significatif, des acteurs privilégiés des processus démocratiques. Une première raison étant que, du fait du caractère représentatif des institutions démocratiques, les organisations d'économie sociale et solidaire? sont des espaces où la démocratie participative peut s'exercer, où les membres s'autogouvernent selon des principes démocratiques. Les possibilités de participation aux décisions au sein de ces organisations en font des «écoles de démocratie» où les membres peuvent développer des compétences politiques et des vertus civiques. Les modalités de fonctionnement démocratique peuvent se concevoir le long d'un continuum avec, d'un côté, la démocratie comprise comme conflit d'intérêts et les institutions démocratiques, comme méthode d'agrégation des préférences, et, de l'autre, la démocratie comprise comme recherche du bien commun et les institutions démocratiques, comme mécanismes de délibération visant la transformation des préférences et le consensus. Dans la pratique, les institutions démocratiques mettent en œuvre ces deux dimensions de la politique. Les organisations de la société civile sont des acteurs importants des processus démocratiques parce gue, d'une part, elles Économie et Solidarités, volume 39, numéro 1, 2008 permettent l'expression et la représentation d'intérêts divergents et parce que, d'autre part, elles constituent des espaces publics et des espaces de délibération où les conceptions du bien commun peuvent s'élaborer et s'exprimer. Fonction productive La fonction productive des organisations d'économie sociale et solidaire leur est propre et se différencie par conséquent de celle des organisations publiques et lucratives. Cinq dimensions de cette fonction productive peuvent être relevées: inputs, processus de mutualisation, outputs, mécanismes d'allocation et mécanismes de distribution des surplus. Toutes les organisations ne présentent pas tous les traits énoncés ici, mais toutes les organisations présentent au moins une des dimensions caractéristiques. Inputs. Les organisations d'économie sociale et solidaire se différencient par les inputs ou ressources qu'elles mobilisent. Alors que les organisations lucratives tirent leurs ressources des marchés sur lesquels elles opèrent, les organisations d'économie sociale et solidaire' sont susceptibles de mobiliser des ressources provenant du bénévolat, des donations, de la vente de biens et de services sur le marché, des cotisations des membres, des subventions des autorités publiques ou de contrats de service passés avec les autorités publiques. En d'autres termes, les ressources de ces organisations sont constituées dans la plupart des cas d'une combinaison de différentes ressources incluant les financements publics. Processus de mutualisation. Les organisations d'économie sociale et solidaire mettent en œuvre des processus de production fondés sur la mutualisation des ressources (Horch, 1994). Les membres ayant des valeurs et intérêts semblables s'associent et mettent en commun des ressources afin de réaliser des projets selon ces valeurs et intérêts. Même lorsque ces organisations opèrent sur des marchés et reçoivent des financements publics, elles se distinguent des organisations lucratives et publiques par le fait qu'elles associent des membres et mutualisent des ressources selon un principe non capitaliste, c'est-à-dire non fondé sur la propriété du capital social de l'organisation'. De plus, ces organisations rendent possible la participation des usagers (membres ou non) à la gestion de l'organisation et à la production des services (Ben-Ner et Van Hoomissen, 1993). Outputs. Les biens et services produits par ces organisations sont souvent des biens collectifs ou tout au moins comportent une dimension collective". Dans le cas de biens collectifs mutualisés, le principe d'exclusion du bénéfice des biens n'est pas fondé sur le mécanisme du prix. La contribution d'un membre confère un bénéfice à l'ensemble des bénéficiaires et pas seulement au contributeur. Les biens collectifs offerts par ces organisations peuvent aussi, à côté de la mutualisation, recourir à un financement par une tierce partie, généralement les autorités publiques (Salamon, 1987). Parallèlement, lorsque l'asy- Économie cf Solidarités, oolume 39, 1I1l111éro1, 2008 métrie d'information, notamment concernant la qualité des services, caractérise l'output, d'une part, ces organisations ont, bien que dans une moindre mesure que les organisations lucratives, une incitation à tirer parti de leur avantage informationnel (Hansmann, 1980) et, d'autre part, la participation des membres et usagers à la gestion de l'organisation réduit les possibilités d'exploitation de cet avantage (Ben-Ner et Van Hoomissen, 1993). Ces caractéristiques expliquent que les organisations d'économie sociale et solidaire sont très présentes dans les champs d'activité où il existe une forte asymétrie informationnelle entre offreur et demandeur relativement à la qualité du service (santé, services sociaux, éducation etc.). Mécanismes d'allocation. Les biens et services qui sont non rivaux mais en partie exclusifs (il est possible et non coûteux d'exclure certains individus de leur bénéfice) génèrent des effets externes. Dans ce cas, la production ou la consommation de tels biens et services affecte d'autres producteurs ou consommateurs. Dans le cas des services de santé ou d'éducation, par exemple, la consommation de ces services n'affecte pas seulement les consommateurs, mais l'ensemble de la population. Ainsi, l'amélioration de l'état de santé ou du niveau d'éducation d'une partie de la population profite à l'ensemble d'une communauté. La présence d'externalité requiert quelques formes de mécanismes institutionnels autres que celui du marché afin que l'externalité soit internalisée, c'est-à-dire que les coûts ou les bénéfices soient incorporés dans les décisions des agents. Un mécanisme institutionnel possible est celui de l'action collective mobilisée au sein d'une organisation d'économie sociale et solidaire. N'ayant pas pour objectif premier la maximisation du profit, mais agissant souvent dans la perspective d'actualisation de valeurs, ces organisations sont susceptibles d'intégrer dans leurs plans d'action non seulement les bénéfices retirés par les membres ou usagers, mais aussi les bénéfices d'une collectivité plus large. Mécanismes d'affectation du surplus. Les organisations d'économie sociale et solidaire, tout comme les organisations lucratives, sont susceptibles de réaliser des profits, mais à la différence de ces dernières elles ne les répartissent pas selon un principe capitalistes. Suivant leurs statuts, elles les affectent totalement ou partiellement aux réserves de l'organisation et, dans certains cas, les distribuent aux membres non pas en raison de leur part de capital mais en raison de leur activité. Les modalités d'organisation (association des membres, un homme = une voix) ainsi que les principes socioéconomiques (mutualisation des ressources, bénévolat, affectation du surplus) régissant les organisations d'économie sociale et solidaire, en d'autres termes les fondements normatifs de ces organisations, les différencient des organisations publiques et des entreprises lucratives. Ces principes sont au fondement de la contribution sociale de ces organisations en termes de solidarité, de démocratie et de production de biens et services. Lorsque ces organisations sont impliquées dans la mise en œuvre de politiques Économie et Solidarités, volume 39, numéro 1, 2008 publiques, leurs modalités d'organisations ainsi que leurs principes socioéconomiques fondateurs ne sont pas, comme on va le voir, inclus ni dans les objectifs des politiques publiques ni dans les procédures d'évaluation. fONDEMENTS NORMATIfS ET INSTRUMENTS DES POLITIQUES PUBLIQUES Les politiques publiques qui utilisent les organisations d'économie sociale et solidaire pour réaliser leurs objectifs se fondent sur des modalités d'action et d'évaluation qui mettent en œuvre la rationalité instrumentale. Ces politiques publiques recourent à des instruments incitatifs ou coercitifs qui ne sont pas neutres quant à la façon dont ils affectent les organisations d'économie sociale et solidaire. La confrontation des fondements normatifs des organisations d'économie sociale et solidaire et de ceux des politiques publiques révèle les paradoxes de l'évaluation de ces organisations par les politiques publiques. Modèle rationnel et hiérarchique des politiques publiques et principes d'évaluation Mise en œuvre hiérarchique des politiques publiques Les politiques publiques prennent dans la plupart des cas une forme hiérarchique (voir la figure 1) où les autorités publiques définissent les standards, objectifs et ressources. Les organisations d'économie sociale sont susceptibles d'avoir été impliquées dans la définition de ces standards et objectifs par le biais de leur participation au sein de réseaux de politiques publiques (Rhodes, 1997) ou de coalitions tribuniciennes (Sabatier, 1998). Cependant, une fois la politique adoptée, les autorités publiques la mettent en œuvre en s'axant sur l'atteinte des objectifs. Figure 1 Le modèle de mise en œuvre des politiques de van Meter et van Horn (1975, p. 463)* Standards, objectifs Caractéristiques des autorités de mise en œuvre Dispositions des acteurs de première ligne Communication organisationnelle Ressources Conditions économiques, politiques et socioculturelles * Modifié/simplifié / pal' Kjellberg et Reitan (1995, p. Î 43). Économie et Solidarités, tiolume 39, ml/Héra l, 2008 _. Résultats Dans le processus de mise en œuvre des politiques publiques illustré par la figure l, les effets et résultats sont déterminés par les conditions et dispositions caractérisant les acteurs qui mettent en œuvre les politiques, c'est-à-dire les organisations d'économie sociale pour ce qui nous concerne. Si les organisations d'économie sociale sont susceptibles, comme nous le verrons, de disposer d'une autonomie relative dans la mise en œuvre des politiques publiques, la nature des outils de politiques publiques utilisés est susceptible d'affecter leurs comportements et, par conséquent, leurs modes de fonctionnement. Les outils de gouvernement Le terme «outils de gouvernement» est employé ici pour décrire les instruments que les autorités publiques utilisent pour atteindre leurs objectifs; ces outils sont en général des instruments de nature financière, régulatrice ou informative. L'usage d'un outil particulier a pour objet de réaliser un objectif de politique publique et influe sur la pratique de l'autorité de mise en œuvre. Pour Salamon (2002), les incitations, la coercition et l'information constituent les principaux types d'outils de gouvernement. Au plan intermédiaire, les outils de gouvernement qui sont pertinents pour notre propos peuvent être spécifiés de la façon suivante. Tableau 2 Outils de gouvernement Outil Produit /activité Véhicule Système de mise en œuvre Régulation sociale Prohibition Règle Agence publique Contrat Biens ou services Contrat et paiements monétaires Entreprises lucratives Économie sociale Subvention Biens ou services Paiements monétaires Agence publique Économie sociale Crédit / garantie de crédit Cash Crédits Banque, Économie sociale Exemptions fiscales Cash, incitations Impôts Système fiscal Entreprises publiques Biens ou services Production directe Agence quasi publique Le tableau ci-dessus illustre le fait que différents outils sont transformés en différents produits ou activités qui, à leur tour, sont mis en action par le biais de certains «véhicules» qui fonctionnent grâce à certains systèmes de mise en œuvre. Un point important à noter ici est que les différents systèmes de mise en œuvre ont leurs logiques propres, ce qui affecte la distribution de biens et Économie et Solidarités, oohtme 39, numéro 1, 2008 de services. L'étude de la relation entre objectifs publics et systèmes de mise en œuvre non publics constitue une dimension importante de l'analyse. Dans le sillage de Salamon (2002), nous faisons l'hypothèse que lorsque les organisations d'économie sociale sont utilisées comme système de mise en œuvre, différents outils produiront différents effets dans trois directions. Du point de vue des agences publiques, les outils seront i) plus ou moins dirigeables (ils sont susceptibles de demander des compétences de direction, leurs effets sont plus ou moins visibles et mesurables), ii) ils sont susceptibles d'être plus ou moins efficaces et iii) de demander plus ou moins de soutien politique. Du point de vue des acteurs de l'économie sociale, différents outils peuvent avoir des conséquences intentionnelles et non intentionnelles à la fois sur le plan structurel et eu égard à l'atteinte des objectifs. Le lien entre outils et effets Les relations entre les outils, leur usage et les effets produits sur les organisations d'économie sociale peuvent être schématisées de la façon suivante (figure 2). Figure 2 Liens entre outils et effets Objectifs __. Outils Effets/ Résultats __. __. Intentionel Nonintcntionnel Variables contextuelles Les outils de gouvernement produisent à la fois des effets intentionnels et non intentionnels à travers le lien entre outils et effets. L'analyse d'impacts a pour objectif non seulement d'évaluer les effets mais aussi d'identifier les liens par le biais desquels les outils fonctionnent. Le concept de lien dans cette figure désigne les mécanismes sociaux qui relient les outils de gouvernement et leurs effets sur les organisations d'économie sociale. Ces mécanismes sociaux, c'est-à-dire la manière dont les outils de gouvernement influencent les comportements des acteurs, doivent être explicités pour chaque type d'outil. Suivant Salamon (2002), on considère chaque outil comme un panier qui contient différents éléments, incluant le type de bien ou activité, le système de mise en œuvre (ensembles d'organisations impliquées dans la mise en œuvre et l'offre d'un bien ou activité) et un ensemble de règles, formelles ou informelles, qui définissent les relations entre acteurs au sein du système de mise en œuvre. Certains éléments des mécanismes qui réalisent le lien entre outils et effets sont incorporés aux outils, comme les incitations et contraintes qui sont associées Économie et Solidarités, oolunie 39, numéro 1, 2008 à un outil ainsi que le contexte institutionnel (système de mise en œuvre) au sein duquel l'outil opère. D'autres éléments, comme les comportements des acteurs en réponse aux incitations et contraintes ou les processus institutionnels caractérisant les relations entre acteurs et environnement institutionnel y compris le système de mise en œuvre, doivent être explicités afin d'établir les processus de liaison. Les moyens d'action Une façon de classer les outils de gouvernement consiste à relever les éléments de la fonction productive de service sur lesquels ils agissent ainsi que leurs moyens d'action. Une classification usuelle des moyens d'action différencie mécanismes coercitifs et incitatifs. Les outils sont susceptibles d'agir sur différentes dimensions de la fonction de production de services: inputs, outputs, processus de production et mécanismes d'allocation. En combinant les moyens d'action et les cibles d'action, on obtient la typologie suivante des outils de gouvernement. Tableau 3 Outils de gouvernement classés selon leurs moyens d'action et leurs cibles d'action Outputs Coercitif Incitatif Contrat Contrat Régulation Inputs Contrat Subvention Régulation Exemptions fiscales Titres préaffectés (vouchers) Processus de production Contrat Régulation Mécanismes d'allocation Régulation Appels d'offres Instruments de politiqu.es publiques et Beurs effets sur les organisations d'économie sociale et solidaire La façon dont les organisations faisant partie du système de mise en œuvre répondront aux contraintes et incitations incorporées dans les outils de gouvernement dépendra des déterminants de leurs comportements. Le fait de considérer les principales conceptions des relations entre comportement organisationnel et pressions environnementales développées par les théoriciens des organisations nous permet de faire quelques conjectures sur les possibles réponses comportementales. Économie et Solidarités, oolume 39, numéro 1, 200S Déplacement des objectifs contre réalisation des objectifs Un dilemme bien connu des théoriciens des organisations est celui du « modèle rationnel contre le modèle naturel de l'organisation» (Panebianco, 1982). Dans l'approche en termes de modèle rationnel, les organisations sont les instruments de la réalisation de leurs objectifs spécifiques, tandis que dans l'approche en termes de modèle naturel, l'organisation est vue comme une structure qui répond et s'adapte à une multitude de demandes émanant de différentes parties prenantes et qui tente d'établir un équilibre en réconciliant ces demandes. Du point de vue du modèle naturel, les objectifs formels de l'organisation constituent une façade derrière laquelle l'objectif réel de l'organisation, soit sa survie et celle de ses dirigeants, est caché. Les objectifs formels de l'organisation ne peuvent cependant pas être réduits à une façade dans la mesure où ils sont une partie intégrante d'une idéologie nécessaire au maintien de l'identité de l'organisation aux yeux de ses soutiens (membres, finance urs, donateurs). Dans le même temps, les organisations tendent à développer des tendances à l'autopréservatlon et à la diversification de leurs objectifs sous les pressions de leurs environnements. L'une de ces pressions environnementales est exercée par les autorités publiques qui mettent en œuvre différents outils de gouvernement. Un impact possible de l'activité des autorités publiques sur les organisations d'économie sociale est le déplacement de leurs objectifs, les objectifs officiels étant remplacés par les objectifs imposés par les pressions extérieures. Dépendance en termes de ressources et effets d'éviction Aucune organisation n'est autosuffisante et, par conséquent, les organisations doivent prendre part à des échanges avec leurs environnements comme une condition de leur survie (Pfeffer et Salancik, 1978). La nécessité d'acquérir des ressources crée des dépendances entre l'organisation et des acteurs externes. Le degré d'importance et de rareté des ressources détermine de ce point de vue la nature et l'étendue de la dépendance organisationnelle. Comme les organisations d'économie sociale ont des ressources de natures différentes (donations monétaires, bénévolat, financements publics, cotisations des membres, ventes de biens et services, revenus d'activités annexes), la relation entre chaque type de ressource et leur éventuel effet d'éviction (Steinberg, 1991; Kingma, 1995) sont susceptibles d'être affectés par l'activité des autorités publiques. Isomorphisme Un autre effet possible de l'activité des autorités publiques sur les organisations d'économie sociale est l'isomorphisme institutionnel (DiMaggio et Powell, 1983). Les organisations peuvent être conçues comme étant en concur- Économie ct Solidarités, volume 39, numéro 1, 2008 renee non seulement pour l'acquisition de ressources et de clients mais aussi pour l'acquisition de pouvoir politique et de légitimité institutionnelle. Ainsi, l'environnement organisationnel peut être défini en termes de champ institutionnel, c'est-à-dire un espace reconnu de la vie institutionnelle, composé des fournisseurs de l'organisation, de ses consommateurs, de ses membres, de ses finance urs, de ses compétiteurs, des agences régulatrices, ainsi que des organisations qui lui sont similaires. L'action des autorités publiques sur les organisations d'économie sociale est susceptible de produire des pressions homogénéisatrices du champ institutionnel (isomorphisme). Trois types d'isomorphisme institutionnel ont été relevés par DiMaggio et Powell (1983): l'isomorphisme coercitif, qui est lié à l'influence politique et au problème de légitimité (régulation publique, environnement légal, régulations fiscales); l'isomorphisme mimétique, qui résulte de réponses standardisées à l'incertitude (standardisation des processus d'innovation et des techniques de management); l'isomorphisme normatif, qui est associé à la professionnalisation (éducation formelle et légitimation par les universités, développement de réseaux de professionnels). Oligarchie contre démocratie Selon Michels (1949), la plupart des organisations démocratiques sont caractérisées par la «loi d'airain de l'oligarchie», c'est-à-dire le contrôle de l'organisation par ceux qui sont au sommet de l'organisation et la restriction de l'influence des membres. Les organisations de grande taille ont tendance à développer une structure bureaucratique, c'est-à-dire un système de gouvernance organisé rationnellement et hiérarchiquement. Le prix de la bureaucratie est la concentration du pouvoir au sommet de la hiérarchie. En contrôlant les ressources (savoirs, moyens de communication et compétences politiques), les dirigeants sont susceptibles d'acquérir un avantage sur les membres qui n'ont ni le temps ni les ressources pour les concurrencer pour la conquête des positions de pouvoir. Les activités des autorités publiques, en accroissant le rôle de la bureaucratie, sont susceptibles d'influencer les processus démocratiques au sein des organisations d'économie sociale et de favoriser le développement d'une direction oligarchique. Impacts organisationnels potentiels des outils de gouvernement sur les organisations d'économie sociale Compte tenu des moyens d'action et des cibles d'action de chacun des outils de gouvernement, ilest possible d'anticiper les impacts potentiels des outils de gouvernement sur les organisations d'économie sociale suivants. Économie et Solidarités, volume 39, numéro 1, 2008 Tableau 4 Impacts potentiels des outils de gouvernement Déplacement des objectifs Effet d'éviction Isomorphisme Oligarchie Modéré Faible Élevé Faible Contrat Élevé Élevé Élevé Modéré Subvention Faible Modéré Faible Faible Exonérations fiscales Élevé Élevé Élevé Élevé Vouchers Élevé Élevé Élevé Élevé Appel d'offres Faible Élevé Élevé Élevé Régulation Les instruments de régulation imposent une contrainte sur les organisations. En effet, ils peuvent les conduire à déplacer leurs objectifs, en particulier lorsque les contraintes sont en contradiction avec les objectifs de l'organisation. La potentialité que ce type d'outil entraîne des effets d'éviction est faible du moins tant que ce type d'outil n'influence pas la disponibilité des ressources. Le caractère coercitif de ce type d'outil est susceptible de créer des tendances à l'isomorphisme au sein d'un champ donné. Enfin, ce type d'outil est susceptible d'avoir un impact faible sur le fonctionnement démocratique, car il n'a pas d'influence directe sur l'équilibre interne des pouvoirs. Les contrats avec la puissance publique comportent à la fois une dimension incitative et une dimension coercitive. La partie conditionnelle du contrat exerce une pression coercitive sur l'agent (l'agent est lié par le contrat, doit l'exécuter) tandis que la partie monétaire (la rémunération) représente une incitation pour l'agent. Par conséquent, les éléments coercitifs et incitatifs du contrat induisent tous deux un changement du comportement de l'agent. La probabilité que les contrats publics conduisent à un déplacement d'objectifs de l'organisation, à un effet d'éviction de ses ressources bénévoles et induise des tendances à l'isomorphisme est élevée. De plus, la gestion des relations contractuelles suppose des compétences professionnelles, cc qui peut renforcer des tendances oligarchiques. Les subventions publiques, contrairement aux contrats, n'exercent pas de pressions coercitives sur l'agent. Elles comportent cependant des incitations qui peuvent se traduire par des effets d'éviction au détriment des ressources volontaires. Les exemptions fiscales et les VOL/chersont pour effet de transformer l'activité de l'organisation en direction d'une offre marchande de services. Ils sont susceptibles d'entraîner des déplacements d'objectifs, des effets d'éviction et d'être propices à l'isomorphisme. Ils contribuent aussi à transformer les membres de l'organisation en clients, ce qui favorise le désengagement des membres et les tendances oligarchiques. Économie et Solidarités, oolume 39, numéro I, 2008 Les appel d'offres supposent, outre les relations contractuelles qu'ils impliquent, la concurrence entre les fournisseurs potentiels. La combinaison d'éléments concurrentiels et contractuels est susceptible d'induire un degré élevé de tendances à l'isomorphisme, oligarchiques, au déplacement des objectifs et aux effets d'éviction. CONCLUSION: CONSÉQUENCES POUR l'ÉVALUATION II existe différents modèles d'évaluation (Vedung, 2000) en termes d'atteinte des objectifs, d'effets non désirés et d'effets latéraux, d'évaluation compréhensive, d'évaluation par les parties prenantes, etc. Cependant, dans la plupart des cas, l'évaluation publique est fondée sur le modèle de l'atteinte des objectifs. De ce point de vue, l'évaluation se concentre sur la question de savoir dans quelle mesure une intervention publique a atteint les objectifs qui lui étaient assignés. Un tel modèle d'évaluation est critiquable sur deux terrains: i) il ignore le pouvoir discrétionnaire des acteurs de la mise en œuvre et ii) il ne prend pas en considération les effets non désirés et latéraux de l'intervention. En dépit de ses limites, ce modèle d'évaluation est couramment utilisé avec les politiques publiques pour une raison principale: les politiciens et les concepteurs de politiques publiques doivent rendre des comptes sur les résultats de leurs actions et sont demandeurs d'évaluations qui montrent les résultats de leurs politiques. Cependant, les outils de gouvernement mobilisés par les politiques publiques, comme l'analyse précédente en a esquissé les contours, sont susceptibles d'affecter les comportements et les caractéristiques organisationnelles des agents de la mise en œuvre et, dans notre cas, ceux des organisations d'économie sociale engagées dans la mise en œuvre des politiques publiques. Il est clair que les effets des outils de gouvernement sur les organisations d'économie sociale ne sont pas mécaniques. Tout d'abord, les agents de la mise en œuvre disposent de marges d'autonomie (suivant la nature de leurs ressources et leur pouvoir) dans l'application d'une politique; ensuite, ils ont souvent la latitude de réinterpréter et d'accommoder localement les objectifs des politiques publiques; enfin, ils sont capables d'utiliser stratégiquement, par exemple afin d'accroître leur légitimité, les outils de gouvernement. Cependant, malgré ces marges d'autonomie, les politiques publiques et les outils de gouvernement ont un effet structurant sur les champs organisationnels et sur les pratiques organisationnelles en raison des phénomènes de dépendance aux ressources et d'isomorphisme coercitif, mimétique et normatif. La mise en relation, d'une part, du modèle rationnel d'élaboration et d'évaluation des politiques publiques et, d'autre part, des instruments de politique publique conduit à la mise au jour de ce que l'on peut qualifier de paradoxe de l'intervention publique lorsqu'il s'agit des organisations d'économie sociale. En effet, d'une part, la contribution sociale des organisations d'économie sociale (solidarité, démocratie, production) est liée à leurs modalités Économie et Solidarités, volume 39, numéro 1, 2008 de fonctionnement et d'organisation (leurs fondements normatifs), alors que, d'autre part, leur évaluation par les politiques publiques s'effectue en termes de résultats et non pas en termes de modalités de fonctionnement. En d'autres mots, en maximisant les résultats, les politiques publiques qui recourent aux organisations d'économie sociale comme agents de ces politiques et qui mettent en œuvre des instruments de politiques publiques qui ne prennent pas en considération les spécificités de ces organisations mettent en péril les fondements normatifs de ces organisations et, de ce fait, leur contribution sociale. L'analyse menée ici a pris pour point de départ les différents paradigmes de compréhension des organisations d'économie sociale, paradigmes qui résultent d'une interaction entre les analyses académiques et l'autocompréhension des acteurs. À partir de ces différents paradigmes, il a été possible de mettre en évidence trois fonctions (solidaire, démocratique, productive) de ces organisations qui renvoient à la fois à leurs spécificités, à leurs fondements normatifs et à leur contribution sociale. La confrontation de ces éléments avec les logiques de mise en œuvre et d'évaluation des politiques publiques illustrées par le modèle rationnel d'intervention publique éclaire le paradoxe caractérisant l'intervention publique en direction des organisations d'économie sociale. Cette analyse conduit à énoncer deux recommandations normatives eu égard à l'évaluation des organisations d'économie sociale. Tout d'abord, ces organisations étant caractérisées par la pluridimensionnalité de leurs fondements normatifs, toute évaluation devrait prendre pour point de départ cette pluridimensionnalité. Plus particulièrement, l'autoévaluation de ces organisations devrait prendre comme base ces spécificités et fondements normatifs. Ensuite, l'évaluation des politiques publiques où les organisations d'économie sociale interviennent comme agents devraient non seulement porter sur les résultats obtenus, mais aussi sur les effets induits par les instruments de politiques publiques sur les organisations. De fait, les stratégies d'évaluation devraient se concentrer sur le degré d'atteinte des objectifs des politiques publiques et chercher à savoir comment les politiques publiques affectent la contribution sociale et sociétale des organisations d'économie sociale. Évidemment, une telle stratégie d'évaluation requiert une compréhension partagée de la contribution sociale et sociétale de l'économie sociale. Malheureusement, une telle compréhension partagée est loin d'être réalisée et les concepts d'économie sociale de même que ceux d'organisations non lucratives, d'organisations volontaires, d'associations, de tiers secteur, de société civile, d'économie solidaire, sont des concepts qui mènent à des compréhensions normatives contestées et à des stratégies d'évaluation également contestées. De ce point de vue, l'incapacité des acteurs de l'économie sociale et solidaire de s'entendre sur un référentiel commun des éléments constitutifs des «spécificités méritoires» de l'économie sociale et solidaire constitue un obstacle à l'émergence d'une compréhension partagée entre acteurs de l'économie sociale et solidaire et acteurs des politiques publiques. Économie et Solidarités, va/ume 39, numéro 1, 2008 Notes 1 C'est le cas par exemple des associations de membres. 2 Les associations, les coopératives et les mutuelles sont statutairement démocratiques, c'est-à-dire l'assemblée générale des sociétaires (associés, coopérateurs ou mutualistes) élit et contrôle les dirigeants administrateurs de l'organisation. 3 Une association de services aux personnes dépendantes peut, par exemple, développer son activité en combinant mobilisation de bénévoles, vente de prestations aux usagers et subventions publiques. 4 Une mutuelle de santé peut, par exemple, mutualiser les risques, c'est-à-dire ne pas appliquer de tarifs différenciés en fonction de l'appartenance de l'assuré à une classe de risque. De même, une crèche parentale coopérative mutualise les apports en capital des coopérateurs pour démarrer son activité. 5 Les associations, coopératives et mutuelles qui opèrent dans les secteurs de l'éducation, de la santé et des services sociaux offrent le plus souvent des biens quasi collectifs présentant des effets externes et où l'asymétrie informationnelle est forte. 6 Les associations ne sont pas autorisées à distribuer leurs excédents. Les excédents ne sont pas non plus partagés entre les mutualistes mais utilisés pour financer des oeuvres sociales ou pour réduire les cotisations. Dans les coopératives, la fraction distribuée des excédents est partagée proportionnellement à la participation à l'activité. Certaines législations ouvrent cependant la possibilité de distribution des excédents à des" associés non participants". Bibliographie ALMOND, G. et S. VERBA (1963).The Civic Culture: Poliiical Attitudes Nations, Boston, Little, Brown and Company. and Democracu in Five ARENDT, H. (1958).The Human Condition, Chicago, Chicago University Press. BEN-NER, A. et T. VAN HOOMISSEN (1993). «Nonprofit Organizations in the Mixed Economy ». in A. BEN-NER ct T. VAN HOOMISSEN (dir.), The Nonprofit Sector in the Mixed Economu, Ann Arbor, The University of Michigan Press. DEMOUSTIER, D. (2001).L'économie sociale et solidaire, Paris, Syros. DI MAGGIO, Pl ct w.w. POWEL (1983).«The Iron Cage Revisited: Institutional Isomorphism and Collective Rationality in Organisational Fields ». American Sociologicai Review, vol. 48, n" 4, p. 147-160. DOCKÈS, P. (1996). La société n'est pas un pique-nique. Economica. Léon Walras et l'économie sociale, Paris, EME, B. et J.-L. LAVILLE (dir.) (1994).Cohésion sociale ct emploi, Paris, Desclée de Brouwer. ENJOLI~AS,B. (1995).Le marché providence, Paris, Desclée de Brouwer. ETZIONI, A. (1993).The Spirit ofCommunity. New York, Crown Publishers. Rights, Responsibilities and the Communiiarion Agenda, ETZIONI, A. (1996). Society The New Golden Rule: C0111111Ll71ity and MoraIify in a Democratie Society, New York, Basic Books. FERGUSON, A. (1995).An Essay on the His tory of Civil Society, Nouveau-Brunswick, Transaction Publishers. GIDDENS, A. (2000). The Third Way and Its Criiics, Londres, Polit y Press. GUESLIN, A. (1998).L'invention de l'économie sociale, Paris, Economica. GUI, B. (2000). «Beyond Transactions, on the Interpersonal Dimension of Economie Reality Annois of Public and Cooperative Economice, vol. 71, n'' 2, p. 139-169. », HABERMAS, J. (1996).Beitoeen Facis and Nor111s, Cambridge, MIT Press. Économie et Solidarités, oolume 39, numéro 1, 2008 HANSMANN, H. (1980), «The Role of Non Profit Enterprise p.835-898. HEGEL, GW.F. (1967). The Philosophy of Rights, Oxford, (1983). The Tools of Gooernment, HOOD, CC Londres, HORCH, H.D. (1994). «On the Socio-economics n" 2, p. 219-230. KANT, 1. (1991). Poliiical Writings, sity Press. 2" édition, », Yale Law Journal, vol. 89, n° 2, Oxford University The Macmillan of Voluntary Press. Associations éd. H.s. Reiss, Cambridge, KINGMA, B.R (1995). « Do Profits Crowd Out Donation and Leadership, vol. 6, n? 1, p. 21-38. Press. or Vice Versa? », votuntas, vol. 5, Cambridge », Nonprofit Univer- Management KJ ELLBERG, F. et M. REITAN (1995). Studiet av offentlig politikk [The study of public policy], Oslo, Tano. LAVILLE, J.-L. (dir.) (1994). L'Économie solidaire, Paris, Desclée de Brouwer. MAJONE, G. (1997). < From the Positive to the Regulatory State: Causes and Consequences of Change in the Mode of Governance », Journal of Public Poliey, vol. 17, n" 2, p. 139-167. MICHELS, R (1949,1962). Poliilcal Parties, New York, The Free Press. PANEBIANCO, University A. (1982). Political Parties: Orgonization Press. PARSONS, W. (1995). Public Poliey, Northampton, PELCZYNSKI, Press. and Power, Cambridge, Edward Elgar Publishing. Z.A. (dir.) (1984). The State and Civil Society, Cambridge, PETERS, B.e. et F.K.M. VAN NISPEN (1998). P1lblie Poliey Instruments, Elgar. Cambridge K. (1957). The Great Transformation, PUTNAM, RD. (1993). Making Edward A Resource Depen- Beacon Hill, Beacon Press. Democracu Work, Princeton, RD. (1995a). < Bowling Alone: Arnerica's Democracu, vol. 6, n" 1, p. 65-79. PUTNAM, Princeton Declining University Social Capital PUTNAM, RD. (1995b). < Tuning In, Tuning Out: The Strange Disappearance in America », Poiiticaï Science & Poliiics, vol. 4, p. 664-683. PUTNAM, University Cheltenham, PFEFFER, J. et G.R SALANCIK (1978). The External Control of Organisations. denee Perspective, New York, Harper & Row, Publisher. POLANYI, Cambridge Press. », ïournn! of of Social Capital RD. (2000). Bowling Alone, New York, Touchstone. REISS, H. (dir.) (1991). Ktnu's Politien! Writings, RHODES, RA.W. (1997). Unâerstnnding Cambridge, Cambridge Gooernance, Buckingham, University Press. Open University SABATIER, PA. (1998). < The Advocacy Coalition Framework: Revisions Europe », Iournal of European Pubiic Poliey, vol. 5, n'' 1, p. 98-130. Press. and Relevance for SABATIER, PA. et H.C JENKINS-SMITH (1999). « The Advocacy Coalition Framework : An Assessment », in PA. SABATlER (dir.), Theories of tlie Policy Process, Boulder, Westview Press, p. 117-166. SALAMON, L.M. (1987). « Partners in Public Service: The Scope and Theory of Government-Nonprofit Relations», in W. W. POWELL (dir.), The Nonprofit Secior, Yale, Yale University Press. SALAMON, L.M. (dir.) (2002). The Toois of Gooennneni, Économie ci Soîidariiés, volume 39, numéro 1, 2008 New York, Oxford University Press. STEINBERG, R. (1991). «Does Government Spending Crowd Out Donations ?», Annale of Public and Cooperative Economv, vol. 62, na 4, p. 591-617. SUGDEN, R. (1984).«Reciprocity: The Supply of Public Goods Through Voluntary Contribution», The Economie lournai, vol. 94, na 376, p. 772-787. TOCQUEVILLE, A. (1955).Democracu in America, New York, Vintage Books. VAN METER, D.S. et C.E. VAN HORN (1975). «The Polie y Implementation Administration & Society, vol. 6, n° 4, p. 445-488. VEDUNG, E. (2000). Public Policy and Progratn Evaluation, Nouveau-Brunswick, Publishers. Process », Transaction VIENNEY, C. (1994).L'économie sociale, Paris, La Découverte. WALSH, K. (1995).Public Services and Market Mechanis111s, Londres, Macmillan. WALZER, M. (1992). «The Civil Society Argument», Radical Democracu, Londres, Verso. WEISBROD, B.A. (1977). The Voluntary Nonprofit in C. MOUFFE (dir.), Dimensions of Secior, Lexington, MA, D.C Heath. WEISBROD, B.A. (1998).To Prcfit or not to Prcfi! : The Commercial Transformation Sector, Cambridge, Cambridge University Press. of the NOl1pmfit WILLIAMSON, O.E. (1975).Markets and Hierarchies, New York, The Free Press. Économie et Solidarités, volume 39, numéro 1, 2008 Misères et grandeurs de l'évaluation de l'économie sociale et solidaire: pour un paradigme de l'évaluation communicationnelle RÉSUMÉ • Un positivisme, instrumental et technique, de plus en plus affirmé, impose des mesures de la valeur des êtres (évaluation) selon ses présupposés normatifs plus ou moins cachés. Dans son extension grandissante, l'évaluation deviendrait ainsi l'un des nouveaux outils de gouvernement des hommes. Dans une perspective critique et pragmatique, la contribution présente voudrait suggérer qu'une problématisation de l'évaluation ne peut se contenter de l'appréhender sous ses aspects techniques et instrumentaux ou de produire une typologie de ses méthodes; elle vise à interroger les soubassements axiologiques et normatifs des procédures d'évaluation. L'évaluation est un champ de bataille argumeniaiij où les procédures scientifiques se fondent sur des choix sociaux préalables et alimentent, sans cesse, la société sur ces visées politiques en fournissant ressources et arguments pour construire des controverses démocratiques sur le bien-fondé de celles-ci. ABSTRACT • An instrumental and technical positivism, increasingly pronounced, requires that the value of beings be rneasured (evaluation) according to its more or less hidden normative presuppositions. ln its growing extension, evaluation becomes thus one of the new tools of a govemance of people. In a critical and pragmatic perspective, the present text aims to suggest that an analysis of evaluation cannot seule for or make do with apprehending evaluation from the technical or instrumental points of view, or by producing a typology of its methods. lt aims to question the axiological and normative basis of evaluation processes. Evaluation is an argumeniaiioe battlefie/d, where scientific processes are based on preliminary social choices and continuously feed a society on these political aims by providing resources and arguments to build democratie controversies on the legitimacy of the aims. BERNARD EME Professeur des universités Centre lillois d'études et de recherches sociologiques et économiques (Clersé) Institut fédératif de recherche sur les économies et les sociétés industrielles (IFRÉSI) Université de Lille 1 [email protected] RESUMEN • Un positivismo instrumental y técnico, cada vez mas afianzado, impone mcdidas de valor de los seres (evaluacion) de acuerdo con supuestos normativos mas 0 menos ocultos. En su extension creciente, la evaluacién se converti ria en uno de los nuevos instrumentos de gobierno de los hombres. En una perspectiva critica y pragmatica, este artïculo sugiere que la problematizaciôn de la evaluacion no puede contentarse con aprehenderla en sus aspectes técnicos c instrumentales 0 con producir una tipologîa de sus métodos, ya que su objetivo consiste en cuestionar los fundamentos axiolôgicos y normativos de los procedimientos de cvaluacion, La evaluacién es un campo de batalla argumenta 1en que los procedimientos cientîficos se basan en elecciones sociales previas y aliment an de manera constante la sociedad sobre los alcances polîticos, proveyendo recursos y argumentos para construir controversias democraticas sobre su pertinencia. _e_ INTRODUCTION En première approximation, il n'est guère nécessaire de s'attarder sur le fait que toute démarche d'évaluation est, le plus souvent, une mise en tensionparfois exacerbée - entre approche quantitative et procédure de qualification. Initialement, l'évaluation renvoie à value, soit la valeur ou le prix d'une persoill1e ou d'une chose (XVIe siècle) estimée par des acteurs ou des institutions selon une échelle quantitative qui suppose un étalon - toujours arbitraire et à référer à un contexte. Mais l'évaluation cherche aussi à estimer les qualités d'une personne (fin XVIIIe siècle); ce processus social ou institutionnel de qualification sociale attribue ou non de la considération selon des normes et valeurs qui, en retour, induit estime de soi, qualités des êtres et des actes, reconnaissance selon des critères qui hiérarchisent modes de reconnaissance et légitimités'. Ne pas s'attarder n'oblige nullement à laisser de côté cette ambivalence première de l'évaluation. D'un côté, la quantification évaluative se réfère à un horizon axiologique universel-le calcul et son équivalent général; de l'autre, la qualification serait davantage respectueuse de la pluralité des mondes d'existence des choses et des êtres ainsi que de leurs reconnaissances socioculturelles. Cette première source de conflit de légitimité quant à l'évaluation vient animer les paysages politico-administratif et scientifique. D'autant plus si l'on admet l'hypothèse que l'économie sociale et solidaire (ÉSS) est en elle-même une pluralité de mondes au regard d'autres mondes dont les valeurs sont en confrontation constante. En deuxième approximation, ce conflit de légitimité n'est pas sans rapport avec l'origine du mot «évaluer» qui invite à la vigilance d'esprit. Cette origine indique en effet un fondement dogmatique - religieux puis juridique. Évaluer renvoyait à une «formule religieuse ayant force de loi» (le « serment religieux»). Plus tardivement, ce mot s'inscrira dans une perspective juridique (le « droit»). L'acte d'évaluer supposait donc des institutions dogmatiques qui, dans un cas, fondaient une croyance avec ses rituels ct, dans un autre cas, une fiction avec ses Économie et Solidarités, volume 39, numéro 1, 2008 appareils de ju ridiction et ses comportements codifiés", Le jugement de valeur s'instituait ainsi au regard d'une vérité garantie par l'institution dogmatique visant l'universalité. Or, cette position d'universalité ne serait-elle pas encore de mise? Ne se serait-elle pas déplacée de manière souterraine dans un scientisme positiviste, instrumental et technique dont l'évaluation porterait la lourde charge - charge de plus en en plus affirmée et suscitée par les exigences et injonctions des puissances publiques (Union européenne, État, collectivités territoriales) dans «la mesure des effets d'une action» ? Ces instances exigent d'allier «esprit gestionnaire» (Ogien, 1995) et «culture du résultat» selon des indicateurs et des critères trop peu débattus et importés de sphères d'expertise soustraites à toute sphère publique d'argumentation. Cette rationalité a d'ailleurs pris désormais une nouvelle figure impériale, la «rationalité politique néolibérale » (Brown, 2007, p. 50 sq.3) dont les agents évaluatifs seraient les bons petits soldats. C'est que l'ensemble de la vie ordinaire et les citoyens devraient se conformer à cette rationalité dont l'État devient à la fois prescripteur et acteur en instaurant une nouvelle forme de gouvernement des êtres (Foucault, 2004). Cette rationalité impose des mesures de la valeur des êtres (évaluation) selon des présupposés normatifs et axiologiques plus ou moins dérobés à toute controverse publique. Que l'on songe par exemple à l'être «entrepreneur de soi» «sur la base d'un calcul d'utilité, d'intérêt et de satisfaction», ou encore à l'identification de «la responsabilité morale à l'action rationnelle» (Brown, 2007, p. 51 et 54). De même, une objectivation utilitariste et rationnelle devrait s'étendre à tous les aspects de la vie sociale et économique'. Dans son extension grandissante, l'évaluation devient l'un des outils de ce gouvernement des hommes". Une hypothèse peut être formulée: si, toujours davantage, l'évaluation tend à devenir cet instrument de gouvernementabilité, elle s'institue encore plus qu'auparavant comme un enjeu de savoir - d'un savoir spécifique - mais aussi de pouvoir où se jouent de nouveaux rapports de domination. Et l'évaluation comme procédure d'expertise se substitue à toute démarche réflexive, critique et contradictoire au sein d'arènes publiques. Ainsi, la possible pluralité de mondes et de modes d'existence de l'ÉSS devient un enjeu politique au regard d'une rationalité évaluative «unidimensionnelle» et instrumentale. Dans cette perspective, une problématisation de l'évaluation ne peut se contenter d'appréhender celle-ci sous ses aspects techniques, instrumentaux et rationnels ou encore de produire une typologie raffinée de ses méthodes. Elle vise d'abord et avant tout à questionner radicalement les fondements axiologiques et normatifs des procédures d'évaluation. En retour, ces procédures elles-mêmes devraient sans cesse soumettre au tribunal d'une raison multiple les valeurs et les normes qui les sous-tendent le plus souvent implicitement. Celles-ci renvoient à un éventail de biens COmlTLUnS disponibles et désirables qui font l'objet de délibérations et qui fondent les présupposés de toute évaluation. Économie et Soliâaritée, volume 39, numéro 1, 2008 Cette contribution suggère donc que l'évaluation construit des champs de bataille argumentative qui alimentent en controverses les espaces publics où peut vivre une démocratie délibérative. Un mode de gouvernement des hommes s'y déploie en tension avec les autres modes de gouvernement, en particulier celui qui se fonde sur une approche néolibérale du monde. Nos hypothèses de travail supposent des choix entre des mondes désirables, choix dont l'évaluation doit déblayer les présupposés. Si choix il ya, le principe d'une pluralité de mondes en est la condition de possibilité, théorique et pratique, et permet de penser des évaluations pertinentes de l'ÉSS. Ce principe passe sans aucun doute pal' l'élaboration pragmatique de mondes plus «petits» que ceux qui sont définis et dont on fait usage (Boltanski et Thévenot, 1991; Boltanski et Chiapello, 1999) (1). Mais, loin d'être des lieux socioéconomiques apaisés, les organisations d'économie sociale et solidaire sont aussi le siège de tensions, parfois vives, qui font fluctuer leurs trajectoires: à la rationalité gestionnaire et instrumentale se confrontent des pratiques civiques visant l'exercice d'une démocratie ordinaire (II). Cependant, la production de valeurs nouvelles, comme celles inscrites dans l'utilité sociale, suggère une inventivité «pal' le bas» de l'ÉSS qui n'est pas réductible à une rationalité gestionnaire. Dès lors, ce sont les l'apports incertains de proximité avec la puissance publique qui conduisent à questionner le principe - désirable, mais contingent - d'autonomie de ces organisations ainsi que de leur évaluation. On pose que l'ÉSS n'est pas évaluée au regard de ses finalités ou de ses inventivités propres, mais par rapport à des valeurs qui sont celles de la puissance publique. Actions et inventivités des organisations d'économie sociale et solidaire deviennent l'objet d'une mesure de l'écart à la norme, telle qu'elle est définie pal' la puissance publique (III). Finalement, au-delà de sa technicité, l'évaluation, dans ses l'apports à la vie quotidienne de la cité, n'a-t-elle pas pour tâche de produire des champs de controverses? Son exercice n'a-t-il pas pour visée de les soustraire à l'obscurité des coulisses techniciennes et instrumentales et de contribuer à animer les espaces publics délibératifs où le désirable est en jeu? Ces questionnements supposent de ne pas isoler les objets à évaluer, mais plutôt de les comprendre dans leurs tensions avec l'ensemble des acteurs et objets concernés ainsi que les contextes dans leurs multiples facettes - sociale, culturelle, économique et politique (IV). Un dernier mot introductif: ces questionnements concernent un champ d'investigation déterminé, celui couvert pal' cette contribution qui s'inscrit dans le contexte de l'État français, décentralisé depuis les années 1982-1983, mais dont, faute de place, on avancera que les collectivités territoriales miment le fonctionnement de l'État: la décentralisation fut une décentralisation du fonctionnement centralisé, ce qui peut permettre de comprendre l'arrière-plan des analyses produites. Cependant, les approches évaluatives de la Communauté européenne et de ses instances sont aussi prises en considération, élargissant ainsi le champ de l'analyse. Économie et Solidarités, volume 39, numéro 1, 2008 UNE PLURALITÉ DE MONDES ET DE JUGEMENTS DE VALEUR La vision pragmatique d'une pluralité (possible) de mondes se trouve posée lorsqu'on aborde la distinction et la spécificité d'un champ, celui de l'ÉSS. De même se pose la pertinence d'évaluations et de jugements de valeurs propres à ces mondes. En effet sans tomber dans un relativisme postmoderne, ne faut-il pas être attentif à une pluralité de mondes socioéconomiques et culturels qui possèdent leurs propres grammaires et leurs façons « de spécifier le bien commun» légitime? (Boltanski et Thévenot, 1991, p. 28.) Si des controverses entre ces mondes sont possibles et souhaitables dans des sociétés dites démocratiques-. il faut cependant être attentif aux situations où des jugements, propres à un monde, dépassent celui-ci et sa sphère de pertinence pour porter sur d'autres mondes. La cohérence de « grands mondes» multiples Malgré leurs perspectives différentes, nombre d'ouvrages (Boltanski et Thévenot, 1991; Salais et Storper, 1997; Walzer, 1997; Boltanski et Chiapello, 1999) suggèrent une pluralité de mondes (ou de sphères d'existence) qui ne relève pas d'une Weltanschauung universelle. Quels que soient les débats quant au nombre de cités et leur pertinence, l'économie de la grandeur montre que chaque cité - industrielle, marchande, inspirée, domestique, de l'opinion, civique, de projet - renvoie à des principes et des valeurs spécifiques. Par des actes d'évaluation et de justification, de tels principes et valeurs rendent ainsi « grands» ou «petits» les êtres et les choses de manière différenciée selon chaque cité (Boltanski et Thévenot, 1991; Boltanski et Chiapello, 1999). La grandeur du paternalisme patronal dans la cité domestique n'est que petitesse pour l'épreuve marchande ou l'efficacité industrielle. Cette dernière dans la stabilité de ses postes de travail hiérarchisés est disqualifiée ou rendue naine - épreuve d'un changement de valeurs au regard de la cité par projet qui suppose mobilité, réactivité, réseau, nomadisme et animation non hiérarchique. L'échelle des grandeurs - des valeurs légitimes - ou des petitesses - des invalidations ou disqualifications - est spécifique à chaque cité ou monde. Elle suppose des axiologies évaluatives différenciées et comparées. Selon une autre perspective, Michael Walzer (1997) suggère la production d'injustice l'acte évaluatif est aussi acte de justice ou d'injustice -lorsqu'on applique de manière inconsidérée les valeurs d'une sphère à une autre (l'argent et les marchandises à la parenté ou l'amour, ou encore l'appartenance communautaire à la politique, etc.) et que l'on juge l'un de ces domaines à partir des fondements axiologiques des autres et non selon «certains critères et dispositifs [... ] appropriés» à chaque sphère (Walzel~ 1997, p. 32). Chaque sphère vise « des formes du bien commun légitimes» (les « grandeurs») qui se distinguent des valeurs illégiti- Économie et Solidarités, oolume 39, numéro L, 2008 mes (Boltanski et Thévenot, 1991). Mais, on le sait, chaque sphère peut aussi se combiner à une ou deux autres sphères pour former un monde composite qui devient légitime (industriel-civique, marchand-civique, domestique-civique, etc.). Sociologie économique pragmatique et pluralité de « mondes petits» Cet arrière-plan de la pluralité de mondes et de leur confrontation représente le soubassement axiologique de l'évaluation de telle ou telle organisation. N'est-il pas dès lors la condition de possibilité de penser l'ÉSS elle-même et de son évaluation? Peut-on dès lors déterminer de manière assurée le ou les mondes - et leurs valeurs - auxquels appartiennent les organisations d'économie sociale et solidaire (OÉSS)? Rien n'est moins sûr. Objet d'investigation en soi, une telle perspective demanderait un programme de recherche propre. Peut-on cependant avancer quelques pistes? Un premier fait, assez banal, doit être constaté. L'ÉSS en France, ainsi que dans beaucoup d'autres pays, est comparable à une nébuleuse - «objet céleste présentant un aspect diffus et nuageux». Et ses problématisations théoriques constellées ne sont qu'un reflet de cet « amas flou, diffus », Cette remarque vaut d'autant plus au plan international si l'on considère les multiples soubassements idéologiques de l'ÉSS, la construction particulière de leurs rapports distinctifs à des États sociaux et régulateurs, eux-mêmes spécifiques. Ses référents axiologiques principaux divergent et éclatent tant sur le plan des pratiques ordinaires que dans leurs diverses formes de théorisation". D'ailleurs, aucune typologie produite des organisations, des associations ou des secteurs d'activité concernés n'a jamais pu s'imposer de manière incontestable, tout ordonnancement raisonné et théorique s'est révélé introuvables. Quelles lignes directrices seraient mobilisables? Si l'on parle de mondes «petits», c'est qu'il faut prendre au sérieux les critiques qui sont adressées à l'ÉSS de la part d'autres mondes. Sa participation à un bien commun y est mise en question, voire délégitimée sous diverses qualifications: monde de la philanthropie domestique, monde économique subalterne - transitoire - couvrant des besoins non satisfaits par le marché ou l'État (<<tiers secteur »), monde de la domesticité (Gorz, 1988; Castel, 1995, p. 446), monde «social-local» de la précarisation salariale ou de la pauvreté responsabilisée, monde du «bricolage» «en Off» d'éminents politiques. Rendus à une petitesse qui serait celle de leur monde, les acteurs de l'ÉSS ont besoin de justifier leur existence sans pouvoir se mesurer aux cités dont la grandeur est assurée par des figures incontestables (l'ancêtre, le performant, l'enrichi, le réputé, le représentant civique ... ). Leurs modes de justification renvoient à des mondes composites qui, selon les acteurs, hybrident plusieurs mondes selon les situations et les contextes, mais dans des sens spécifiques qui se dégagent Économie et Solidarités, volume 39, 11 uméro 1, 2008 de l'état de grand -les valeurs des cités - tel qu'il est défini par Luc Boltanski et Laurent Thévenot. En ce sens, on émet l'hypothèse que l'axiomatique susceptible de rendre compte de la construction de ces mondes de l'ÉSS renvoie à une pluralisation même des cités et de leurs biens supérieurs communs; en particulier, le civique, le domestique, le projet qui en constituent les principales ressources prennent des sens différents pour les acteurs sans jamais pouvoir accéder à une montée en généralité suffisamment pertinente pour faire accord entre tous les acteurs de l'ÉSS. En pluralisant les cités en de petits mondes, on peut sans doute rendre compte des controverses des acteurs ordinaires ainsi que des chercheurs quant à l'ÉSS. S'il ne fait guère de doute qu'une partie des actions de l'ÉSS relève d'un monde composite du familier domestique localisé et d'engagements civiques visant une volonté générale par délégation, bien d'autres actions sont bien moins nettes et engagent d'autres valeurs. Dans la cité domestique, le familier suppose des hiérarchies et des supériorités impliquant des déférences; or nombre d'acteurs déploient des modes d'engagements réciproques beaucoup plus horizontaux et moins asymétriques. Un petit monde de la familiarité égalitaire s'hybride ainsi avec du civique ou du projet. Mais, là encore, ce civique et ce projet demandent à être pluralisés en de petits mondes. De même, l'engagement civique renvoie chez Boltanski et Thévenot à l'effacement des individualités au profit de l'attachement aux personnes collectives. Celles-ci représentent la volonté commune et l'intérêt général alors que l'individualité représente un « état de petitesse et de déchéance de la cité civique». Or, n'est-ce pas là un civique qui se remodèle? On ne peut que constater l'émergence au sein de l'ÉSS de nouveaux engagements, « plus distanciés» (Ion, 1997) et personnalisés. Ils mettent en avant le je au détriment du nous et s'inscrivent dans une action immédiate et localisée, sans grande référence à un intérêt général ou à un récit collectif. Ces engagements deviennent méfiants à l'égard des anciennes formes de délégation qui représentaient l'ordre de grandeur de la cité civique (Ion, Franguiadakis et Viot, 2005). Ils promeuvent davantage un civique délibératif, sans hiérarchie, ou, encore, un civique de coordination en réseau sur des problèmes ad hoc. De même, de nouvelles actions se refusent à toute structure formelle engageant des relations hiérarchiques ou de délégation. Qui plus est, un autre « petit» monde s'institue dans les pratiques. Individualisés, les engagements varient sans cesse en fonction de la trajectoire de vie des personnes. Sans aucun doute, le projet prend une dimension de plus en plus grande dans les engagements des personnes au sein de l'ESS, tant sous la contrainte des politiques publiques que sous celle des nouvelles aspirations des individus. Cependant, là encore, il faut différencier de multiples engagements qui renvoient à une pluralisation de la cité par projet. L'enracinement localisé, la sédentarité peuvent s'articuler avec la mise en lien ou en réseau, la Économie et Solidarités, oolume 39, numéro L, 2008 -411 production d'une multiplicité de projets. En définitive, on retiendra le principe de l'élaboration de cités moins générales, assises à partir d'une sociologie pragmatique plus fine. UNE TENSION DE l.'DNSTRUMENTAl. ET DE l.A POLITIQUE Si l'on rétrécit la focale sur les OÉSS, celles-ci se dévoilent l'objet constant de tensions, parfois vives, qui, sans sous-estimer leurs effets, conduisent à approfondir le propos. l.e pD"odu,u:tifet le dvique En un mot, les organisations de l'ÉSS sont tendues, au quotidien, entre deux pôles, l'instrumental productif et le sociopolitique. Mais cette polarité se traduit dans des pratiques et des fonctionnements très divers, fait qu'il importe de ne pas sous-estimer. Des visées démocratiques qui tentent d'en donner le sens (Vienney, 1980, 1982; Eme, 2001) se heurtent à des rationalités organisationnelles et gestionnaires dans un équilibre toujours précaire. Par conséquent, ilexiste une tension permanente entre une rationalité instrumentale et gestionnaire du productif - qui prend des formes différentes - et un pôle sociopolitique. Mais, ce dernier est lui-même l'objet d'un écartèlement de l'ÉSS entre la politique comme «construction d'institutions désirables» et le politique « garant institué du monopole des significations légitimes dans la société considérée» (Castoriadis, 1996, p. 224). On peut parler de la tension, toujours incertaine, entre l'organisation, comme sphère de règles renvoyant à de multiples mondes de coordination des acteurs, et l'institution, elle-même en tension entre une visée démocratique de changement désirable et un maintien stratégique d'un ordre d'existence en commun. L'ÉSS - et ses rapports divers à la puissance publique l'expriment - se situe tout à la fois du côté de la transformation et du conservatisme sociopolitique. Tableau 1 la polarité des organisations sociales et solidaires Rapports soclopolltlques Rapports socloéconornlques Tension Tension Rapports à visée démocratique Rapports sociaux et stratégiques de pouvoir Logiques gestionnaires Logiques de réciprocité Rationalité en valeurs Rationalité instrumentale Rationalité instrumentale Rationalité du lien social Logiques institutionnelles du et de la politique Procédures de l'organisation Économie et Solidarif ét; volume 39, ml1l1P)'Q 1, 2008 Ce tableau, certes simpliste et idéal-typique, montre sous une autre perspective les petits mondes dont on a parlé. Il s'ensuit que l'évaluation peut se déployer sur l'une ou l'autre polarité selon des inflexions qui modifient le regard porté sur le fonctionnement des OÉSS. Quelle polarité est privilégiée? En réalité, celle qui est mise en relief dans les évaluations est de plus en plus la rationalité gestionnaire, coûts/bénéfices, sans souci du bien commun politique toujours à débattre. Ce bien commun peut être évalué, par exemple, en fonction des inégalités. L'ÉSS ne participe-t-elle pas, de manière involontaire, à un accroissement de ces inégalités en produisant une précarité salariale dans de multiples domaines d'activité? (Castel, 1995; Eme, 2006b9.) Ainsi, il a pu être montré que les organisations d'insertion, financées pour partie par l'État, allaient à l'encontre de leurs propres objectifs affichés: elles déplacent la question sociale en la reproduisant sous la forme de la précarisation salariale. Sans conduire à des emplois stables, cette précarisation ne cesse de s'étendre à tous les secteurs de l'économie, elle engendre une extension des modes d'existence précaires, incertains, sans que les individus aient la possibilité de se projeter dans l'avenir (Erne, 2006b10). Si la multiplication quantitative des contrats de travail à durée déterminée ou de contrats d'insertion augmente les chiffres de l'emploi, l'accroissement du nombre de ce type de contrats est-il, en soi, un bon indicateur d'évaluation? Cette question des modes d'existence souhaitables passe à la trappe dans ces évaluations quantitatives. Par ailleurs, la sphère des rapports socioéconomiques de l'ÉSS peut devenir l'objet d'une rationalité évaluative qui s'attache à une « bonne gestion» néo libérale de l'économie, imposée par les instances publiques. Réalisée de manière intraéconomique, l'évaluation évacue les autres logiques qui construisent les mondes composites de l'ÉSS. Elle se réduit à mesurer les rapports d'efficacité (moyens-objectifs) ou d'efficience (moyens-résultats) selon un questionnement étroit et standardisé propre à la « cité industrielle» ; ou, encore, elle s'oblige à mesurer l'impact de ces rapports selon des critères organisationnels et économiques qui répondent aux attentes - implicites ou explicites - des commanditaires publics. D'abord outil de finalités sociopolitiques, la rationalité économique des OÉSS devient la finalité de ces organisations (efficacité, rendement, optimisation du travail). Dans une perspective complémentaire, les procédures évaluatives évacuent très souvent la question de l'exercice démocratique des OÉSS, de leurs tensions avec les formes stratégiques de pouvoir internes à ces organisations. La polarité des OÉSS entre visée démocratique et stratégie devient parfois un théâtre d'ombres plutôt qu'une scène d'acteurs faisant l'exercice quotidien - et difficile - de la démocratie!'. Elle n'est que peu mise en lumière sous les feux de la rampe évaluative. Sans que ce fait soit l'objet de débat par l'évaluation, la Économie et Solidarités, uolunie 39, numéro 1,2008 gouvernance gestionnaire prend le pas sur la gouvernance démocratique en produisant une cité de la « bureaucratie professionnelle» qui articule les légitimités de la règle organisationnelle et de la profession (Haeringer et Traversaz, 2002). L'invention de nouvelles valeurs Sans aucun doute est-il nécessaire de nuancer le propos. L'acte évaluatif se trouve sans cesse référé à de nouvelles valeurs sociétales. Celles-ci suggèrent l'Invention de nouveaux mondes composites où sont prises en compte certaines des normes de l'ÉSS. Le registre instrumental des évaluations ne peut manquer de renvoyer parfois à un horizon sociétal de valeurs promu par des institutions (les rapports OÉSS / société) ou les systèmes politico-administratifs dont les OÉSS s'approprient en tout ou en partie les indicateurs dits sociaux (Sainsaulieu, 1990). Les jugements portés sur l'organisation productive des OÉSS se font en fonction de finalités qui portent le nom d'utilité sociale des activités (Richez-Battesti, 2006; Gadrey, 2005,2006), de responsabilité sociale des organisations et de développement durable, ou encore, de capital social (Bevort et Lallement, 2006). Ces conceptions mettent en jeu des valeurs qui, en partie, proviennent des OÉSS. Dans les dynamiques évaluatives, les paliers de 1'«organisation» et de 1'«institution» d'ÉSS doivent donc être réarticulées en ne s'en tenant pas aux discours normatifs sur la solidarité, mais en se penchant sur ses pratiques quotidiennes. De même, l'exercice ordinaire de la démocratie dans les OÉSS ne relève pas non plus d'une évidence programmatique qu'il suffirait de mentionner: l'évaluation devrait aussi porter un regard incisif sur les pratiques de démocratie routinière, consensuelle, manipulatrice, d'un côté, et consentante, de l'autre. Solidarité et démocratie ne sont pas des vêtements sacramentels des OÉSS qui iraient de soi, elles supposent d'aller voir dans les cuisines, les coulisses, les caves ct les couloirs pour savoir ce qu'il en retourne exactement. On plaide ici pour une évaluation qui doit se faire anthropologie des profondeurs et sc préoccuper de la nature de ces «pratiques démocratiques» et de ces modes de gestion propres de l'ÉSS. PUISSANCE PUBLIQUE, SOCIÉTÉ CIVILE OU LA CONFUSION DES REGISTRES Il ne faut pas se leurrer, on n'est pas au bout de nos peines, loin s'en faut. Ne faut-il pas porter également un regard interrogateur sur les rapports entre l'ÉSS et la puissance publique qui, le plus souvent, en finance les actions et en commande les évaluations? Se trouve ainsi posée la question fondamentale de l'autonomie de l'ÉSS à l'égard de la puissance publique sous le regard de la loi, autonomie qui demeure l'un de ses principes normatifs", mais à propos de laquelle on peut émettre de sérieuses réserves (Eme, 2006a). Économie et Solidarités, uoiume 39, numéro 1, 200S L'hétéronomisation et solidaire évatuattve de l'économie sociale Premièrement, les évaluations ne se réfèrent pas tant aux finalités internes des OÉSS qu'à celles des programmes publics qu'elles mettent en œuvre. Ainsi ne sont pas prises simultanément en compte les valeurs publiques à atteindre et les valeurs spécifiques des üÉSS qui tiennent à leurs mondes de référence; de même, l'évaluation de leur degré de compatibilité n'est guère prise en compte. Les commanditaires de nombre d'évaluations, le plus souvent publics, entretiennent un brouillage entre les mondes publics (civique-industriel ou civique-marchand ou encore «socio-Iocal » de proximité familière) (Thévenot, 1994, p. 252 sq.) et les «petits» mondes de l'ÉSS, eux-mêmes très diversifiés. Par conséquent, les évaluations confondent les OÉSS, instruments des politiques publiques, et les OÉSS, acteurs de la société civile. Pourtant, la distinction entre ces deux positions politiques des OÉSS est essentielle à la construction et à l'approfondissement d'une société démocratique (Lefort, 1983). Les OÉSS n'en sont-elles pas des rouages microsociaux, mais aussi des tentatives d'apprentissage ou d'expérimentation de démocratie économique qu'il faut évaluer selon cette perspective politique? Deuxièmement, les procédures d'évaluation ne questionnent guère l'autonomie revendiquée par les üÉSS. Cette autonomie est pourtant consubstantielle à l'exercice d'une démocratie: l'État n'est pas la société et la puissance publique elle-même n'est pas davantage la société civile. Dès le départ, les postures évaluatives ne conçoivent l'ÉSS que comme un monde hétéronome qui est dépendant des valeurs promulguées par la puissance publique. Loin d'être interrogées comme un supplément autonome susceptible de produire des apports spécifiques au bien commun, les évaluations la conçoivent comme un complément hétéronome. S'il est d'abord technique, ce biais de l'évaluation des OÉSS se révèle aussi préjudiciable à tout débat politique: s'y trouvent occultées des dimensions propres à l'ÉSS (exercice de la démocratie, création d'utilité sociale et de capital social, apprentissages d'individuation des individus sur les plans entremêlés du collectif et du personnel) (Simondon, 2005). Ces travers supposent de déceler la confusion entre deux registres d'évaluation que donne à voir une belle définition de Jean Ardoino : «l'évaluation est une forme de questionnement complexe portant: tantôt, sur la cohérence, la compatibilité, la conformité, l'identité entre une norme, un gabarit, un modèle et un objet, un phénomène ou un événement que l'on y compare, ou encore, à défaut, la mesure des écarts enregistrés [... ]; tantôt, sur le sens et les significations, comme sur la valeur, que cet objet, ce phénomène, cet événement, peuvent revêtir pour nous, en fonction d'un projet, lui-même explicitement reconnu comme temporel [... ]» (Ardoino, 1990). Économie et Solidarités, tolume 39, numéro 1, 2008 Se centrer sur l'écart à la norme suppose de le mesurer soit sous l'angle de la conformité aux normes publiques, soit par rapport aux normes propres des OÉSS, ce qui n'est pas tout à fait la même chose. Mais, dans les pratiques évaluatives les plus courantes, les normes propres de l'ÉSS ne sont-elles pas le plus fréquemment conçues comme dérivées des normes publiques qui seraient les seules légitimes? L'écart ne se mesure-t-il pas dès lors par rapport à ces dernières et non à partir des mondes normatifs des OÉSS dont on délaisse la spécificité? La pertinence du jugement s'en trouve interrogée quand elle se réalise à partir des valeurs d'autres mondes, ceux de la puissance publique. Si l'on tient compte maintenant de la seconde dimension de l'évaluation, celle-ci change de regard et se confronte à l'inventivité sociale, économique ou politique des OÉSS. Qui dit inventivité, dit transgression des normes propres aux OÉSS ou des normes publiques. C'est cette inventivité qui devient l'objet de l'évaluation où l'on cherche à mesurer les apports de sens et de valeurs à la société des üÉSS. Toutefois, au lieu de considérer l'ensemble des caractéristiques inventives et singulières de l'ESS, les évaluations se penchent plutôt sur la mesure de l'écart à une normativité publique. C'est une des raisons qui font que les pratiques d'évaluation se penchent principalement sur la rationalité gestionnaire des OÉSS à partir de modèles ou de standards inadéquats. Au lieu de produire des controverses fécondes à partir de ces pratiques qui sont toujours écarts à la norme'>, les évaluations effacent cette inventivité sociale, économique et politique. La mesure de l'écart à la norme (la qualification d'une action par rapport à un modèle) et la mesure de l' «innovation ordinaire» (Alter, 2000), qui est toujours transgression d'un modèle normatif, sont deux démarches antagonistes. Mais les évaluations se centrent sur la première en occultant la richesse de la seconde. ÉVALUATION ET ACTEUR RÉSEAU Le fondement d'évaluations propres à l'ÉSS ne serait-il pas d'être le soutien à des controverses qui alimenteraient la production et la visibilité de valeurs et de normes dans les espaces publics? Par des argumentations dans ces espaces publics, ces évaluations contribueraient alors à l'institutionnalisation de controverses entre sciences et société. Un tel enjeu suppose l'édification d'institutions évaluatives légitimes, construites à la fois par la puissance publique et les acteurs de la société civile. L'articulation entre les biens publics généraux (la sphère politique) et des biens communs spécifiques, tels ceux visés par l'ESS, serait ainsi débattue au sein d'arènes publiques. Dans cette perspective, l'évaluation serait l'un des outils d'un débat démocratique qui poserait la légitimité des biens désirables et indésirables par rapport à de multiples sphères de valeurs. Économie et Solidarités, volume 39, 1l11111éro 1, 2008 Un enjeu s'en dégage, celui de la construction de nouveaux rapports entre le sociétal (poli tique et scientifique), le «socio-Iocal » (espace légitime de réalisation des actions) et les OÉSS. L'évaluation n'est plus restreinte à un objet circonscrit (une action, une organisation ou encore un dispositif), elle porte sur un système d'interactions d'acteurs, lui-même pris dans de multiples tensions avec d'autres niveaux territoriaux de régulation. Pourtant tel n'est pas souvent le cas. La plupart des évaluations portent sur un objet clos sur lui-même, souvent sous la contrainte d'un commanditaire. Il s'agit là tout compte fait d'une justification commode pour le commanditaire et l'évalué. L'action, l'organisation, le programme sont évalués selon une vision positiviste, elle-même fermée sur son objet, même si le contexte ou l'environnement (évaluation systémique) ne sont pris que secondairement en compte. Il en est ainsi le plus souvent pour les OÉSS qui sont l'objet de procédures évaluatives standardisées. Selon le modèle du monde industriel (Boltanski et Thévenot, 1991), ces procédures mesurent principalement l'efficacité, la fonctionnalité, la normalisation d'un objet spécifique!'. Peut-on en être satisfait pour autant? Comment le monde de la standardisation industrielle évaluative peut-il prendre en compte de manière adéquate les petits mondes composites de l'ÉSS? Là encore se fait jour la non-pertinence de jugements portés à partir des valeurs d'un monde qui a peu à voir avec que ceux de l'ÉSS, surtout lorsqu'ils portent sur des objets où les contraintes politico-administratives ou de la sphère marchande sur les OÉSS sont neutralisées de manière non scientifique. C'est ce que l'on peut appeler le symptôme de l' « objet-bulle» standardisable. Par hypothèse, on tient au contraire qu'aucune clôture d'objet n'est valide au regard de l'évaluation: tout objet (un acteur, une organisation, une institution) n'a de mode d'existence qu'à travers les autres objets auxquels il est lié grâce à des médiateurs (discours, règles, énonciations, valeurs, normes, appareils techniques, objets naturels, etc.); ceux-ci le transforment et l'introduisent à une constellation d'objets réseaux qui peuvent aller jusqu'à une généralité sociétale (Latour, 2006). L'évaluation ne serait-elle pas une démarche procédurale étendue à un système socio-institutionnellocal? Il s'ensuit donc une évaluation procédurale et démocratique des biens communs ou spécifiques créés ct non une rationalité instrumentale réduite à une mesure de l'efficacité, de l'efficience ou de l'impact. la pluralité des espaces pubUcs Dans cette perspective, c'est l'exercice de la pluralité démocratique qui, dans les espaces locaux, se trouve enjeu de l'évaluation. Celle-ci ne serait-elle pas dès lors un outil procédural de la démocratie? Au-delà de ses fondements épistémologiques, elle serait un instrument qui permet «de veiller à ce que les décisions prises par les acteurs individuels ou collectifs aient été prises au terme Économie et Solidarités, volume 39, numéro 1, 2008 de procédures qui traduisent le respect, dans un contexte donné, des contraintes estimées indispensables à une justification rationnelle» (Lenoble, 1994, p. 18). Soit le respect de la définition collective de la procédure et le respect de la parole de l'ensemble des acteurs qui sont les parties prenantes locales; soit le respect des controverses qui doivent être épuisées selon des délibérations légitimées par les acteurs ainsi que le respect du processus de sortie des controverses par des formes argumentatives admises par tous. Dans cette optique, l'évaluation serait un soutien de l'exercice de la démocratie. Évaluer les espaces locaux, c'est comprendre la redistribution locale des forces globales. De fait, le local n'est jamais seulement du local. Il est toujours autre dans la puissance d'acteurs supra-locaux qui savent produire du local. Évaluer les espaces locaux, c'est également entrevoir que le local peut être global. Des acteurs locaux diffusent du savoir, des savoir-faire et des capacités dans l'espace sociétal. Entre le local et le global, une tension découle de leur transformation réciproque. Cette tension qu'il faut évaluer suppose une multiplicité d'espaces publics délibératifs. Ceux-ci énoncent les termes de l'évaluation au regard d'une politique des biens communs. Or, une telle perspective demande un changement de la sphère politico-administrative dont les acteurs ne sont guère enclins à entrer dans des arènes délibératives, en laissant une parole égale et légitime à tous les acteurs (Erne, 2005). CONCLUSION Une dernière hypothèse peut être énoncée sous la forme de deux interrogations. Premièrement, les pratiques évaluatives de l'ÉSS ne doivent-elles pas se fonder sur un agir communicationnel qui renvoie lui-même au principe d'une démocratie délibérative? Deuxièmement, loin de mesurer des «écarts de conduite» en tenant compte de grandeurs affirmées, ces pratiques évaluatives ne sont-elles pas le suivi d'une suite d'expérimentations? Dans cette perspective, l'évaluation serait l'une des pratiques concrètes où pourrait se déployer la problématique de la société, selon les enseignements de Jürgen Habermas. Cette problématique est entendue comme tension entre la rationalité instrumentale visant l'efficacité technique ou stratégique et la rationalité communicationnelle. Cette dernière fixe elle-même «les critères de rationalité en fonction des procédures argumentatives qui visent à honorer, directement ou indirectement, les prétentions à la vérité propositionnelle, à la justesse normative, à la sincérité subjective et enfin à la cohérence esthétique» (Habermas, 1988, p. 372). Quoi qu'en pense Jürgen Habermas (1987), cette rationalité communicationnelle, si exigeante, ne serait peut-être pas celle de la cité ordinaire, mais plutôt celle de la cité scientifique où argumentent les acteurs scientifiques entre eux, puis avec les citoyens. L'évaluation serait en son principe ÉCOl1 0111 ie et Solidarités, 7!011l1111' 39, 1111111P7'O 1, 2008 communicationnelle, qu'il s'agisse de l'élaboration de ses méthodes ou de la construction de ses indicateurs jusqu'à ses restitutions publiques. Quelques remarques s'en déduisent. D'une part, les procédures d'évaluation ne devraientelles pas relever d'arènes scientifiques et sociopolitiques instituées? Au sein de celles-ci, ces procédures seraient mises en débat par rapport aux multiples mondes de l'ÉSS. D'autre part, ces arènes s'ouvriraient à la confrontation avec la société ainsi qu'avec ses acteurs et les associations dans des «espaces publics de proximité» (Eme, 1993) ou des «forums hybrides» (Callon, Lascourmes et Barthe, 2001). Contrecarrant évaluatives seraient nelles scientifiques publique. Revenant les logiques instrumentales de l'évaluation, ces procédures les points de rencontre entre des actions communicationet les délibérations entre la société civile et la puissance à la question de la source des jugements de valeur, des tribunaux évalua tifs en seraient sans doute le meilleur fondement pluraliste. Ils auraient effectivement la légitimité requise pour reconnaître la valeur des êtres, des choses ou des actions au regard de la variété des sphères de valeurs et de justice sociale. Ces tribunaux, constitués en quelque sorte en arènes publiques, seraient eux-mêmes régis par des règles d'égalité. Ils pourraient dès lors associer les citoyens, les üÉSS, les acteurs politiques et administratifs et les scientifiques dans l'exercice du choix entre les possibles biens communs. Notes Dans le prolongement de la pensée d'Axel Honneth, on peut voir dans les batailles scientifico-politiques sur l'évaluation des luttes pour la reconnaissance d'êtres et de choses (HONNETH, 2000). 2 On se réfère aux travaux sur le droit comme fiction paternelle qui" institue la vie", court-circuité par les technicismes de tous ordres, en particulier les ouvrages de Pierre LEGENDRE (1999) et l'approche d'Alain SUPIOT (2005). 3 Le cours de Michel Foucault de 1978-1979 aborde cette question de la gouvernementabilité et l'analyse du néolibéralisme comme mode de gouvernement (FOUCAULT, 2004). 4 Un exemple parmi des milliers d'autres: les textes de la Commission européenne qui concernent la garde de la petite enfance ne légitiment celle-ci en dernière instance ainsi que ses coûts nécessaires qu'au regard des bénéfices futurs pour le marché du travail. Les évaluations devront définir les" bonnes pratiques" qui accroîtront ces bénéfices. Cette notion de "bonnes pratiques" renvoie à une pensée unilatérale que doivent conforter les évaluations. 5 Par des déplacements de sens successifs, le secteur de l'insertion par un travail aidé a fini par se conformer à cette gouvernementabilité dans une imputation de responsabilité personnelle, une injonction à se faire entrepreneur de son projet sous contrainte d'un contrat avec la société, une production individualisée de son parcours d'insertion qui a coupé court aux anciennes modalités d'insertion collectives ou communautaires (EME, 2006b). 6 Enjeu pourtant crucial et qui relève de la sociologie politique, on ne peut s'appesantir dans le cadre restreint de cette contribution sur les limites de l'usage ou de l'exercice des pratiques démocratiques lorsque celles-ci relèvent de mondes civiques différents (représentatif, délibératif, participatif, radical ... ). 7 Malgré un positionnement théorique ancien (EME, 1991) qui demanderait des rectifications tenant compte de l'évolution des contextes, on ne peut prendre en considération dans ce texte, faute de place, les multiples désignations, controversées, de ce champ dans le contexte français et plus encore à l'international. En France, on pense en particulier à l'institutionnalisation prononcée de l'ÉSS à partir de la fin des années 1990 qui, en perdant de son sens critique, devient un outil des politiques publiques des régions ou des communes. Or, les désignations dont il est question renvoient à des Économie et Solidarités, volume 39, numéro 1,2008 libérale approches théoriques concurrentes: économie sociale ou solidaire (EME et LAVILLE, 1994), tiers secteur (DELORS et GAUDIN, 1979; LlPIETZ, 1990), tiers secteur d'économie sociale et solidaire (LiPIETZ, 2001 ; MARÉCHAL, 1995), mais aussi secteur quaternaire (FERRY, 1995; SUE, 1997) ou sphère d'inconditionnalité (GORZ, 1988). Que les rapports de pouvoir dans les champs scientifique et pratique n'en soient pas absents relève de l'évidence. On se contentera de noter que l'ÉSS relève de référents pratiques et théoriques multiples. Ces derniers en font d'ailleurs un champ de controverses, propre à une tâche évaluative de leurs désignations et explicitations. 8 Le programme" Léconomie sociale et solidaire en régions", sous l'égide de la Délégation interministérielle à l'innovation, à l'expérimentation sociale et à l'économie sociale et de la MiRe (Mission Recherche du ministère de l'Emploi, du Travail et de la Cohésion sociale), a permis la production de plus de 35 rapports de recherche. Il a produit des avancées, parfois décisives, sur la visibilité scientifique de l'ÉSS, mais pour ce qui concerne la mise en forme de cette pluralité des mondes de l'ÉSS il est resté en retrait (CHOPART, NEYRET et RAULT, 2006). 9 Dans une perspective plus économique, on peut se reporter à FRIOT, 1998. 10 Malgré une idéalisation de l'intérêt général représenté par l'État qui amoindrit le propos, on peut se reporter à Hély (2008) pour une critique sévère, mais opportune du point de vue d'une sociologie du travail de l'ÉSS. 11 Cette question de la démocratie ordinaire et quotidienne des OÉSS demeure l'un des trous noirs des évaluations, comme s'il ne fallait pas y regarder de plus près ou comme si l'affichage normatif de la démocratie suffisait. 12 La Charte européenne de l'économie sociale énonce comme une de ses caractéristiques principales "l'autonomie de gestion et l'indépendance par rapport aux pouvoirs publics". 13 Les normes sont faites pour être détournées par l'action des individus qui ne cessent de produire des écarts dans leur vie à la norme. C'est revenir à Canguilhem, le si rigoureux philosophe/médecin du "normal et du pathologique" (CANGUILHEM, 1975) pour qui" [... ] une norme ne vaut que par les écarts qu'elle institue. t'écart, loin de s'opposer à la norme, en règle donc le cours. Cette capacité à s'écarter - capacité normative - ne présuppose-t-elle pas une conception de la vie comme normativité, c'est-à-dire comme puissance de renverser les normes existantes et d'en instituer de nouvelles?" (LE BLANC, 2007a, p. 39-40). Voir aussi LE BLANC, 2007b. 14 On fait ainsi référence aux évaluations commanditées par le Fonds social européen, mais aussi à celles de l'État français ou des collectivités territoriales. Bibliographie ALTER, Norbert (2000). L'innouoiion colL « Sociologies », ordinaire, Paris, Presses universitaires ARDOINO, Jacques (1990). Encyclopédie philosophique universelle: Tome l, Paris, Presses universitaires de France. de France, Les notions philosophiques, BEVORT,Antoine et Michel LALLEMENT (dir.) (2006).Le capital social: Performance, réciprocité, Paris, La Découverte, coll. « Mauss». BOLTANSKI, Luc et Ève CHIAPELLO (1999).Le nouvel esprit du capitalisme, BOLTANSKI, Luc et Laurent THÉVENOT (1991).De la justification, équité et Paris, Gallimard. Paris, Gallimard. BROWN, Wendy (2007). Les habits neufs de la poliïioue mondiale: Néolibéralisme tiS111C,Paris, Les Prairies ordinaires, colL « Penser/croiser». et néoconseroa- CALLON, Michel, Pierre LASCOUMES et Yannick BARTHE (2001).Agir dans un 1110ndeincertain: Essai sur la démocratie tecnnique, Paris, Seuil, colL « La couleur des idées », CANGUILHEM, Georges (1975).Le normal ct le pathologique, France, colL « Galien ». CASTEL, Robert (1995). Les métamorphoses Paris, Fayard. de la question Paris, Presses universitaires de sociale: Une chronique Économie et Solidarités, du salariat, volume 39, numéro L, 2008 CASTORIADIS, Cornelius Paris, Seuil. CHOPART, Jean-Noël, (1996). La montée de l'insignifiance: Les carrefours du labyrinthe Guy NEYRET et Daniel RAULT (2006). Les dynamiques coll. «Recherches ». 111, de l'économie sociale et solidaire, Paris, La Découverte, DELORS, Jacques et Jocelyne GAUDIN (1979). Pour la création d'un troisième secteur, C0711111ent créer des emplois, Paris, Centre de recherche Travail et société, Université de Paris IX Dauphine, mars. EME, Bernard lniormations sociales, na 13, août-septembre. (1991). «Les services de proximité», EME, Bernard matique», (1993). «Économie Travail, octobre. solidaire et changement social: Jalons pour une problé- EME, Bernard (2001). «Les associations ou les tourments de l'ambivalence», LAVILLE, Alain CAILLÉ, Philippe CHANIAL, Éric DACHEUX, Bernard LATOUCHE, Association, démocratie et société civile, Paris, La Découverte. EME, Bernard solidaire», (2005). «Gouvernance RECMA, p. 42-55. territoriale et mouvements in Jean-Louis EME et Serge d'économie sociale et EME, Bernard (2006a). «La question de l'autonomie de l'économie sociale et solidaire par rapport à la sphère publique», in Jean-Noël CHOPART, Guy NEY RET et Daniel RAULT, Les dyna111iques de l'économie sociale et solidaire, Paris, La Découverte, coll. « Recherches». EME, Bernard (2006b). Généalogie de l'appartenance déliée. Insettions et société, d'habilitation à diriger des recherches, Université Paris Dauphine. EME, Bernard et Jean-Louis de Brouwer. LAVILLE (1994). Cohésion Mémoire sociale et emploi, Paris, Desclée ENJOLRAS, Bernard (1998). «Économie sociale et transformation des services aux personnes âgées», RECMA, n" 269. de l'État-providence: le cas EV ERS, Adalbert (2000). «Les dimensions sociopolitiques du tiers secteur. Les contributions théoriques européennes sur la protection sociale et l'économie plurielles», Sociologie du travail, vol. 42, n" 4, octobre-décembre, p. 567-585. FERRY, Jean-Marc (1995). L'allocation universelle: FOUCAULT, Michel (2004). Naissance Études». FRIOT, Bernard (1998). Puissance La Dispute. Pour un revenu de citoyenneté, de la biopoiitique. Paris, Seuil/Gallimard, du salariat: Emploi et protection Paris, Cerf. coll. «Hautes sociale à la [rançaiee, Paris, GADREY, Jean (2005). «L'utilité sociale», in Jean-Louis LAVILLE et Antonio Dictionnaire de l'autre économie, Paris, Desclée de Brouwer. David CATTANI, GADREY, Jean (2006). «L'utilité sociale en question: à la recherche de conventions, de critères et de méthodes d'évaluation», in Jean-Noël CHOPART, Guy NEY RET et Daniel RAUL1~ Les dynamiques de l'économie sociale et solidaire, Paris, La Découverte, coll. «Recherches». GORZ, André (1988). Métamorphoses Paris, Galilée. du travail. Quête du sens. Critique de la raison économique, HABERMAS, Jürgen (1987). Théorie de l'ag il' communicationnet, HABERMAS, Jürgen (1988). Le discours philosophique HAERINGER, Joseph et Fabrice TRAVERSAZ (2002). Conduire le cuangeiuent da ns les associations Paris, Dunod. 2 tomes, Paris, Fayard. de la modernité, Paris, Gallimard. d'action sociale et ntédico-sociale, HÉLY, Matthieu Il février. (2008). «L'économie sociale Économie et Solidarités, volume 39, numéro 1, 2008 et solidaire n'existe pas», Lauieâesiâées.fr, HONNETH, Axel (2000). La lutte pour la reconnaissance, Paris, Cerf, coll. «Passages». ION, Jacques (1997). La fin des miliiants i. Paris, Les Éditions société». de l'Atelier, colL «Enjeux ION, Jacques, Spyros FRANGUIADAKIS et Pascal VIOl' (2005). Militer aujourd'hui, Autrement, coll. «Cevipof Autrement». de Paris, LATOUR, Bruno (2006). Changer de société: Refaire de la sociologie, Paris, La Découverte. LE BLANC, Guillaume des idées». (2007a). Vies ordinaires, vies précaires, Paris, Seuil, colL «La couleur LE BLANC, Guillaume étrangère ». (2007b). Les maladies de l'homme normal, Paris, Vrin, colL (1983). L'invention LEFORT, Claude LEGENDRE, démocratique, Paris, Fayard, coll. «Biblio-essais Pierre (1999). Sur la question dogmatique LENOBLE, Jacques (1994). Droit et communication, LIPIETZ, Alain (1990). «Après-fordisme « Matière », en Occident, Paris, Fayard. Paris, Cerf. et démocratie», Les temps modernes, n? 524, mars. LIPIETZ, Alain (2001). Pour le tiers secteur: l'économie sociale et solidaire, Paris, La Découverte. MARÉCHAL, Jean-Paul (1995). «Secteur nO35, septembre-octobre. tertiaire ou secteur quaternaire ?», Transversales, OGIEN, Albert (1995). L'esprit gestionnaire: Une analyse de l'air du temps, Paris, Éditions l'École des hautes études en sciences sociales. de RICHEZ-BATTESTI, Nadine (2006). «Évaluer la production associative par les pouvoirs publics: du contrôle à la coproduction des critères ?», in Xavier ENGELS, Matthieu HÉLY, Aurélie PEYRIN et Hélène TI{OUVÉ (dir.), De l'intérêt général à l'utilité sociale. La reconfiguraiion de l'action publique entre État, associations et participation citoyenne, Paris, L'Harmattan, coll. «Logiques sociales». SAINSAULIEU, Renaud (dir.) (1990). L'entreprise, une affaire de société, PFNSP. STORPER (1997). Les mondes de production. Enquête sur l'identité économique de la France, Paris, Éditions de l'École des hautes études en sciences sociales. SALAIS, Robert et Michael SIMONDON, Georges (2005). L'individuation à la lumière des notions de formes et d'information, Grenoble, Editions Jérome Million (<< Krisis »). SUE, Roger (1997). La richesse des hommes: SUPIOT, Alain (2005). Homo juridicus. coll. «La couleur des idées». Vers l'économie ouaternnire, Paris, Odile Jacob. Essai sur lafonction anthropologique du Droit, Paris, Seuil, THÉVENOT, Laurent (1994). «Nouvelles figures du compromis», in Bernard EME et Jean-Louis LAVILLE (dir.), Cohésion sociale et emploi, Paris, Desclée de Brouwer, coll. «Sociologie économique ». THÉVENOT, Laurent La Découverte. VIENNEY, Claude CIEM. (2006). L'action au pluriel: (1980, 1982). Socio-économie Sociologie des régimes d'engagement, des organisations Paris, coopératives, 2 tomes, Paris, WALZER, Michael (1997). Sphères de justice: Une défense du pluralisme et de Tégalité, Paris, Seuil, coll. «La couleur des idées », WEBER, Max (1995). Économie (Plon, 1971). et société. Tome 1: les catégories de la sociologie, Paris, Pocket Économie et Solidarités, volume 39, numéro 1, 200S .. Evaluer l'économie sociale et solidaire en France: bilan sociétal, utilité sociale et épreuve identitaire! RÉSUMÉ • L'évaluation de l'ÉSS en France a fait l'objet d'un regain d'intérêt dans les 10 dernières années et suscité de nombreux débats, notamment autour du bilan sociétal et de l'utilité sociale. Dans cet article, nous nous efforcerons de répondre à la question suivante: les pl:occssus d'évaluation contribuent-ils à la légitimation de l'ESS ou sont-ils une instrument de régulation publique des activités présageant la normalisation des pratiques? ABSTRACT • Evaluation of social economy in France was the object of a renewal of interest in the last 10 years and generated numerous debates, in particular around societal balance sheet and around social utility. In this papel~ we try to answer the following question: do the processes of evaluation contribute to the legitimization of the SSE or are they an instrument of public regulation of the activities foreshadowed standardization of the practices ? RESUMEN • La evaluacion de la Economïa Social y Solidaria en Francia ha sido objeto de un renovado in terés en los ultimes 10 anos y ha generado numerosos debates, especialmente en torne del balance social y de la utilidad social. En este artïculo vamos a tratar de responder el siguiente interrogante :i_Contribuyen los procesos de evaluaciôn a legitimar la ESS 0 se trata de instrument os de regulaciôn de las actividades que anticipan la normalizacion de las prâcticas ? NADINE RICHEZ-BATIESTI Mettre de conférences en économie Faculté des sciences économiques et de gestion LEST-Université de la Méditerranée nadine. [email protected] HÉLÈNE TROUVÉ Ingénieure de recherche Centre d'économie de la Sorbonne - Matisse Université Paris 1Panthéon-Sorbonne helene. [email protected] FRANÇOIS ROUSSEAU Chercheur associé Centre de recherche en gestion École polytechnique [email protected] BERNARD EME Professeur des universités Centre lillois d'études et de recherches sociologiques et économiques (Clersé) Institut fédératif de recherche sur les économies et les sociétés industrielles (IFRÉSI) Université de Lille 1 _0_ bernard. [email protected] LAURENT FRAISSE Chargé de recherche Laboratoire interdisciplinaire pour la sociologie économique (LISE) - Paris laurent. [email protected] INTRODUCTION En référence aux travaux de Perret (2001, 2009), nous considérons l'évaluation comme un processus de formation de jugements de valeurs sur une organisation, un programme ou une activité dans une perspective opérationnelle: rendre des comptes, se mobiliser, apprendre collectivement, aider à la prise de décisions ... En France, l'intérêt pour l'évaluation se développe dans un contexte caractérisé par un changement progressif du mode de régulation et du mode de gouvernance des politiques publiques et des entreprises, selon des configurations qui apparaissent encore non stabilisées. Après l'abandon brutal en 1984 de la rationalisation des choix budgétaires (RCB) instituée en 1970 comme une forme d'évaluation ex ante des politiques publiques, les pratiques évaluatives réapparaissent au début des années 1990 en contribuant à la généralisation de l'évaluation ex post et se développent. L'accélération du processus de décentralisation, les transformations des politiques publiques et l'extension des procédures marchandes dans une conception étroite de la concurrence, l'inscription de la responsabilité sociale des entreprises (RSE) dans la loi-, sont autant de facteurs qui viennent percuter la question de l'évaluation de l'économie sociale et solidaire (ÉSS3).Bien qu'encore immatures et dans l'attente de leur déploiement, ces transformations, opérées depuis plus de 20 ans, ne doivent pas être sous-estimées dans un pays dont l'histoire centra liste et étatique garantissait les anciennes formes d'évaluation (Erne, 2005a). Dans le champ de l'ÉSS, nous avons privilégié l'étude des processus d'évaluation tels qu'ils émergent des débats qui ont eu lieu entre les différents acteurs au cours des 15 dernières années et qui expriment les dynamiques à l'œuvre dans le renouvellement des formes de l'évaluation, ce qui nous conduit à ignorer le bilan social obligatoire dans les entreprises de plus de 50 salariés ou la révision coopérative, dispositif obligatoire applicable aux coopératives. Nous retenons deux entrées, à caractère encore expérimental. Pour les coopératives et les mutuelles, dont les activités s'inscrivent dans le marché, nous faisons le choix du bilan sociétal. C'est un instrument construit, entretenu et promu par le Centre des jeunes dirigeants de l'économie sociale (qDES) depuis le courant des années 1990. Cet outil participatif d'évaluation vise l'amélioration des pratiques. Pour les associations, les débats se développent autour de la notion d'utilité sociale, le plus souvent en lien avec le développement d'activités non marchandes. Ils ont été soutenus à l'origine par le Conseil national de la vie associative (CNVA) en écho aux prises de positions de l'administration publique et s'étendent aujourd'hui aux acteurs locaux, associations et élus. Notre objectif est d'apporter un éclairage analytique sur l' opérationnalisation des notions de bilan sociétal et d'utilité sociale et sur leurs usages sémantiques et stratégiques. La question de la finalité de l'évaluation de l'ÉSS est mobilisée dans cette perspective, car elle semble au cœur des polémiques. Économie et Solidarités, volume 39, numéro 1, 2008 L'objectif de ces évaluations consiste-t-il à construire un instrument lisation visant la légitimation des pratiques d'ÉSS ou de régulation des activités présageant la normalisation des pratiques? de signapublique La méthodologie de recueil de données est prioritairement documentaire et multimodale. Elle s'appuie sur les rapports et études ayant trait à l'évaluation de l'ÉSS en France ainsi que sur les données d'enquêtes spécifiques à chacun des rédacteurs de ce travail sur l'évaluation et l'utilité sociale dans les dernières années': notamment le programme Dynamiques solidaires impulsé par la Délégation interministérielle à l'économie solidaire (DIES) de 2002 qui a contribué au financement de 36 rapports de recherches, dont un volet a été consacré à J'utilité sociale à travers un groupe de travail animé par Gadrey (2003), les différents travaux du CRTDA-LlSE ainsi qu'un doctorat (Trouvé, 2007). L'action de nouveaux organismes, inscrits dans le champ des politiques publiques tels que l'Agence pour la valorisation des initiatives socio-économiques (AVISE, 2003; Rousseau, 2007; Duclos, 2007) ou des ouvrages grand public (Alternatives Économiques, 2003) ont également été analysés. Nous retenons une grille d'analyse du bilan sociétal et de l'utilité sociale où nous distinguons neuf thèmes: la demande d'évaluation, l'exécution de l'évaluation, la participation des acteurs évalués, le niveau de l'évaluation, l'objet de l'évaluation, les méthodes et outils de l'évaluation, les types d'indicateurs, les critères d'évaluation et la temporalité. Dans cet article, nous caractérisons tout d'abord le contexte français marqué par des préoccupations sociétales et par un double mouvement d'élargissement des indicateurs d'évaluation et de renforcement de la concurrence dans la production de biens et services traditionnellement abrités. Puis nous identifions les principales tendances de l'évaluation en en soulignant les enjeux. Enfin, nous tentons d'aborder les incidences complexes et parfois contradictoires des pratiques d'évaluation sur l'évolution de l'ÉSS, notamment quant à la définition de l'ÉSS, à son champ et à ses modes de régulation. L'évaluation n'est-elle pas dès lors au cœur de l'épreuve identitaire? UN CONTEXTE MARQUÉ PAR LA TRANSfORMATION DES MODES DE RÉGULATION ET L'AffIRMATION DE PRÉOCCUPATIONS SOC.ÉTALES La question de l'évaluation des organisations de l'ÉSS ne peut être abordée indépendamment des transformations de l'action publique qui débouchent à la fois sur des reconfigurations des régulations publiques (Trouvé et al., 2006; Trouvé, 2005, Fraisse, 2006) et sur l'érnergence de nouvelles modalités de gouvernance (Enjolras. 2008) dont les échelles territoriales sont diversifiées: les communes et leurs nouvelles formes de groupements, les contrats de développements territoriaux, etc. (Eme, 2005a; Richez-Battesti et al., 2005; Trouvé, Écollomie ct Solidarités, volume 39, numéro 1, 2008 2004). Elle est enfin directement liée aux transformations de l'État providence, en lien avec la «nouvelle question sociale» et les justifications du financement public (Richez-Battesti, 2006). Ce renouvellement de l'action publique s'est accompagné de la création et de l'extension de dispositifs d'évaluation des politiques publiques à la fin des années 1980. L'inscription de l'obligation évaluative dans les textes législatifs et réglementaires s'est développée rapidement, et a conduit, par extension, à l'évaluation de l'action des partenaires de l'action publique et particulièrement des associations. De façon complémentaire aux dispositions publiques déjà existantes en matière de contrôle d'utilisation des fonds publics, l'évaluation des activités associatives est entrée dans des textes d'origine législative ou réglementaire, confirmant ainsi une lente évolution qui tend à assortir le régime juridique de la subvention de contreparties de plus en plus précises (Rousseau, 2007; Rousseau et Richez-Battesti, 2008). Dans le même temps, la «Charte des engagements réciproques», signée entre les associations et le gouvernement en 2001, indique que le rôle de l'évaluation consiste «à distinguer clairement dans les rapports entre l'État et les associations ce qui relève de l'évaluation de l'action partenariale de ce qui relève du contrôle de l'application des lois et règlements », En matière d'action partenarialc, l'accent est mis sur la nécessité de mettre en place des évaluations elles aussi partenariales adaptées à chaque cas et contextualisées, c'est-à-dire inscrites dans les particularités juridicoadministratives, socioéconomiques, territoriales et sectorielles, etc., qui conditionnent la mise en œuvre et la réalisation des activités associatives financées. Mais, dans les faits, ces pratiques évaluatives principalement qualitatives ne sont pas utilisées. Le contexte est marqué ainsi par la persistance d'une forte tension entre les pratiques tutélaires de la puissance publique et les pratiques partenariales rénovées, souhaitées par les acteurs associatifs. Les dirigeants associatifs, conscients de la place croissante qu'occupe l'évaluation comme critère de jugement pour l'obtention de ressources publiques, s'efforcent d'acquérir un argumentaire et des outils comme autant de compétences leur permettant de s'adapter à ce nouvel environnement. Mais, dans le même temps, les attentes de l'État et des collectivités territoriales d'un côté et des associations de l'autre, quant au contenu de l'évaluation, apparaissent souvent mal compatibles et, de fait, l'évaluation est perçue comme une menace pour les associations. Cette inquiétude est renforcée par l'inégalité des moyens et de maturité de chaque catégorie d'acteurs quant à l'évaluation (Rousseau, 2007). Les débats autour de la RSE forment un autre élément de contexte susceptible de constituer un nouvel horizon normatif, encore instable, dont dépendent les procédures évaluatives. La RSE est définie comme une forme avancée de prise en charge par l'entreprise de préoccupations sociales, sociétales et environnementales liées à son activité (Capron et Quairel-Lanoizclée, 2004). Présentée comme une démarche volontaire, elle est en fait largement impulsée Économie el Solidarités, volume 39, numéro 1, 2008 par des décisions réglementaires, d'une part (Cendron,2002), notamment celles imposées par les États, et par des pressions concurrentielles en lien avec les stratégies des grands investisseurs internationaux, d'autre part. La recherche d'une évaluation élargie n'est donc pas uniquement le fait de formes d'entrepreneuriat collectif qui, par leur finalité sociale et leur mode d'organisation mobilisant les principes de coopération, de participation et de solidarité, produisent des biens et services différemment des entreprises de capitaux et des administrations publiques. Elle ne résulte pas non plus seulement de la recherche d'efficacité dans un contexte de régulation marchande renforcée et d'intensification de la concurrence dans l'accès aux financements publics. Au-delà de la reconfiguration des politiques publiques françaises, on voit que la réflexion sur l'évaluation de l'ÉSS s'inscrit dans un mouvement international plus large qui recherche l'application aux organisations productives du concept de développement durable (Rapport Bruntland, 1987) et qui vise à repenser d'un point de vue macroéconomique les indicateurs de richesse (Lipietz, 2001; Viveret, 2001). Comment dès lors ne pas rattacher l'ÉSS à l'ensemble des mouvements socioéconomiques qui, articulant production de biens et services, interpellation politique et expertise économique, visent à réintroduire du débat public et des régulations démocratiques sur les normes dominantes de production, de consommation et d'épargne? (Fraisse, 2007) En ce sens, la question de l'évaluation renvoie à la double fonction, socioéconomique et sociopolitique des organisations de l'ÉSS qui, en France, ont souvent l'ambition d'être productrices de biens et services tout en participant, par les demandes et innovations sociales qu'elles révèlent, à la construction de l'intérêt général. Elle est concomitante de l'émergence de préoccupations éthique, solidaire et écologique dans les actes quotidiens de consommation (consommer équitable, épargner solidaire, s'alimenter biologique, se déplacer, s'éclairer et se chauffer de manière plus durable ... ) qui interroge les effets sociaux et écologiques de la grande distribution et concourt à l'élaboration de labels, certifications et normes pour qualifier le caractère équitable ou biologique des biens et services. Elle prend toute son acuité dans la question de la perméabilité des frontières de son champ institutionnel. Enfin, elle est difficilement séparable de l'affirmation progressive d'une société civile organisée sur la scène mondiale qui, à travers les grandes campagnes internationales (annulation de la dette), la critique des politiques des institutions multilatérales (OMC, FMI, Banque mondiale) jugées trop libérales, les rassemblements altermondialistes (Forums sociaux), conteste aux universitaires, gouvernements et entreprises le monopole de l'expertise économique légitime. En dépit d'un faible poids économique, les organisations non gouvernementales (ONG), fondations, mouvements contestataires ont cependant la prétention d'être des porteurs d'analyses et de réalités économiques prises en compte de façon croissante par l'agenda international. Économie et Solidarités, vol lime 39, numéro 1, 2008 LES TENDANCES: UN INTÉRÊT RENOUVELÉ POUR UNE CONCEPTION ÉLARGIE DE L'ÉVALUATION RSE, bilan sociétal et utilité sociale s'inscrivent dans une double perspective d'élargissement des critères d'évaluation des organisations ou des dispositifs en intégrant une dimension sociale et environnementale, d'une part, et d'élaboration d'outils d'évaluation empiriques originaux, d'autre part. N'est-on pas en présence à la fois d'un effort de légitimation des modes d'organisation et d'action qui spécifient l'ÉSS et d'une tentative de contribution à la constitution d'une vision de l'intérêt général ou du moins du bien commun au sens de la théorie des conventions, articulant une pluralité de logiques (marchandes, industrielles, civiques ... ) et différents types de compromis entre ces logiques? Sans doute parce qu'historiquement l'évaluation fut souvent assimilée au contrôle en France, on observe un décalage entre la vision des demandeurs d'évaluation et celle des acteurs qui en font (sont) l'objet. En lien avec une insuffisance de dialogue et d'échange sur les objectifs de l'évaluation et avec la prédominance d'une perspective instrumentale de rationalisation de l'organisation ou de visée performative dans la relation de service, l'évaluation ne peine-t-elle pas à s'inscrire en tant que pratique démocratique et ne débouchet-elle pas sur des tensions? Nous abordons successivement le bilan sociétal plutôt dédié aux organisations marchandes de l'ÉSS et l'utilité sociale propre au secteur associatif pour souligner ensuite l'hétérogénéité des pratiques et l'enjeu de l'émergence d'un acteur d'interface permettant à l'évaluation de se déployer. Coopératives, mueueltes et bilan sodétal: combiner dimensions enerepreneurtete et seetéeate % Loin d'être aboutis et stabilisés, le corpus théorique, le contenu, les référentiels et les implications sociétales et organisationnelles des démarches de RSE suscitent débats et controverses (Wood, 1991; Gendron, 2002), tandis que le bilan sociétal reste encore relativement confidentiel. Au plan de l'entreprise, le processus de mise en œuvre de la RSE est progressif. Ils'agit d'abord de réaliser un diagnostic social et environnemental, puis de définir les orientations et fixer les objectifs, enfin de mettre en œuvre un programme d'action pour faire évoluer les pratiques et construire des outils spécifiques de reporiing, c'est-à-dire un système d'information extra-financier pouvant déboucher sur une notation sociale et environnementale. Six grandes familles de critères sont retenues dans les rapports internationaux (p. ex. CCE, 2001): l'environnement.Ies ressources humaines, le gouvernement d'entreprise, les pratiques commerciales, l'impact local et la citoyenneté. Toutefois, la plupart des entreprises se contentent de réaliser un diagnostic social et environnemental, sans pour autant faire évoluer leurs pratiques ou transformer leurs stratégies (Alberola et Richez-Battesti, 2005). Économie el Solidarités, volume 39, numéro l, 2008 D'une façon distincte, le bilan sociétal a été élaboré" en lien avec ses adhérents (des organisations de l'ÉSS). Destiné à l'origine aux organisations marchandes de l'ÉSS, il est cependant applicable à l'ensemble des sociétés, d'une part, puis de façon plus récente et simplifiée aux associations (bilan sociétal associatif testé en Bretagne auprès d'associations d'employeurs depuis 2005), de l'autre. Instrument dautoévaluation, d'autodiagnostic et d'aide à la décision et à la concertation entre les partenaires de l'organisation, il permet de vérifier la responsabilité d'une organisation sur son territoire, l'adéquation entre les valeurs affichées ct la réalité des pratiques, et de conduire une réflexion stratégique. Il est construit autour de 450 questions articulées en neuf domaines. Tableau 1 Le bilan soclétal (source CJDES) Trois piliers du développement durable Neuf domaines du bilan sociétal Activité économique - produits-services et relations clients, - gestion économique, - anticipation innovation prospective, Travail et relations sociales - organisation du travail et de la production, - gestion des ressources humaines, - acteurs internes de l'entreprise, Environnement - environnement humain, social et institutionnel de l'entreprise, - environnement biophysique, - finalités-valeurs-éthique. Trois phases: - le recueil d'informations - l'analyse et le diagnostic qualifié par le CJDES ; sur les neuf domaines par l'organisation; réalisés par un auditeur externe (analyste sociétal) - la définition des objectifs d'évolution par l'organisation en lien avec l'ensemble des parties prenantes dans le cadre d'une démarche participative, avec évaluation ultérieure lors d'un nouveau bilan sociétal. Au contraire de la RSE qui donne lieu le plus souvent à un discours positif des dirigeants en omettant de mentionner les aspects négatifs que la mise en œuvre du diagnostic révèle (Attarça et Jacquot, 20056), le bilan sociétal vise explicitement à peser sur le système de décision de l'entreprise, à modifier les comportements des parties prenantes (salariés et adhérents notamment) et à évaluer les résultats ou les progrès accomplis. Ce sont principalement les mutuelles et les coopératives qui ont fait le choix volontaire du bilan sociétal. Ainsi, la Confédération française des coopératives agricoles propose depuis 2004 son propre modèle à ses adhérents, Économie et Soiidarités, volume 39, numéro 1, 2008 tandis que la MAIF et la MACIF, deux mutuelles d'assurance françaises, se sont engagées dans une réflexion en interne sur l'adaptation de la démarche. Certaines de ces organisations, notamment la MAC IF, se sont aussi orientées vers un audit de responsabilité sociale par une agence spécialisée, plus à même de faciliter les comparaisons avec les entreprises de capitaux du même secteur d'activité. Invariablement, ces démarches stimulent un questionnement complémentaire sur le management du sociétariat, sa place institutionnelle et son rôle dans la production des biens ou services. Cependant, compte tenu du peu d'ancienneté des démarches engagées, il est difficile de saisir les évolutions qu'elles ont permises puisque la réévaluation des objectifs prévue par le bilan sociétal au terme de trois ans n'a pas encore été pratiquée. Action pu.blique et évaluation de l'utilité sociale L'utilité sociale est l'autre facette d'une prise en compte élargie des critères d'évaluation, corrélée à l'action publique et aux associations. Les représentants du monde associatif s'en sont saisis autour de l'enjeu de la reconnaissance des associations qui concourent au développement de l'intérêt général, et pour contrecarrer la doctrine fiscale établie depuis les années 1970, considérée comme inadaptée aux activités économiques des associations. L'histoire de l'utilité sociale est celle de la tension entre une dimension principalement organisationnelle et de marché portée par les pouvoirs publics, d'un côté, et une conception plus identitaire portée par les acteurs associatifs, de l'autre? En effet, du point de vue des pouvoirs publics, l'utilité sociale sert à justifier les avantages fiscaux et la limitation de la concurrence. Elle se définit par la non-lucrativité, la gestion désintéressée et un prix inférieur au prix du marché, ou une absence de production. Ainsi, la définition opposable est celle de l'administration fiscale: «est d'utilité sociale l'activité qui tend à satisfaire un besoin qui n'est pas pris en compte par le marché ou qui l'est de façon peu satisfaisantes». Plus récemment, l'utilité sociale a aussi été invoquée pour justifier des dispositifs d'emplois aidés et d'insertion dans le cadre de nouvelles activités, sur des secteurs spécifiques (l'environnement par exemple) ou en direction de publics en difficulté (jeunes, allocataires de minima sociaux, chômeurs de longue durée ... ). Les associations et leurs représentants font de l'utilité sociale le soutien de la reconnaissance de leurs spécificités et de leur identité, tant du point de vue de leur modèle organisationnel que de leurs finalités. Elles introduisent des critères complémentaires dont notamment la primauté du projet sur l'activité, l'apport social, le fonctionnement démocratique et l'existence d'agrément. Les débats actuels autour de l'évaluation de l'utilité sociale, tels qu'ils ressortent notamment de l'expérimentation menée par l'AVISE, soulignent que l'enjeu posé aux acteurs de l'ÉSS est de faire valoir une utilité sociale qui leur Économie et Solidarités, volume 39, numéro 1, 2008 soit propre, qui fasse référence et aboutisse éventuellement à une convention sociale mieux établie autour de laquelle le partenariat associations-pouvoirs publics serait construit et équilibré (Rousseau et Richez-Battesti, 2008). Ces débats, en lien avec des approches développées dès le début des années 2000 par Culture et Promotion, association d'étude et de conseil, et par les recherches financées par la DIES, débouchent sur des forums hybrides et sur la production de référentiels (voir notamment Duclos, 2007) appropriables par les associations de façon volontaire. Cela nous amène donc à distinguer les associations qui s'inscrivent de façon volontariste dans une démarche d'évaluation (de leur utilité sociale), de celles qui la subissent dans le cadre d'un processus le plus souvent initié par les financeurs. Ces débats s'accompagnent aussi, dans certaines régions notamment en Provence-Alpes-Côte d'Azur, de la construction conjointe de référentiels d'utilité sociale mobilisés par les financeurs ensuite dans leur politique d'appui au secteur associatif. Ils sont alimentés enfin par des réflexions sur les externalités volontaires positives produites par les üÉSS pour lesquelles la prise en compte du degré d'intentionnalité de l'output (la production immédiate) serait un moyen de différenciation effectif (Fraisse, 2006). Hétérogénéité des pratiques, tiers intervenant et parth:::ipation Les résultats des études et des observations de terrain auxquels nous aboutissons sont synthétisés dans le tableau de la page suivante. Nous relevons une diversité dans les procédures et référentiels d'évaluation qui ne se limite pas aux outils et à leur mise en œuvre. Elle affecte aussi les représentations que les prescripteurs d'évaluation, lorsqu'ils sont externes, ont de I' organisation, de l'activité ou de l'action mise en œuvre. Le fait que ces démarches d'évaluation apparaissent peu imposées de l'extérieur ne signifie pas l'absence de tensions dans leur mise en œuvre, notamment parce qu'elles réinterrogent le projet et le mode d'association des parties prenantes. En effet, que les üÉSS inscrivent l'évaluation dans une perspective de bilan sociétal ou d'utilité sociale, elles ont en commun d'en saisir l'opportunité pour retravailler le projet qui les fonde et en font un outil de mobilisation en interne. Ces pratiques évaluatives amènent à (rejconsidérer le projet initial et invitent les dirigeants à veiller à une meilleure organisation interne selon une démarche de recherche d'un compromis acceptable entre rationalisation des ressources et prééminence du projet social. Les outils principalement qualitatifs qui accompagnent toute démarche d'évaluation viennent enrichir l'outillage gestionnaire traditionnel (plus quantitatif) considéré comme un piètre descripteur du projet. L'évaluation relève alors d'une ingénierie complexe qui suppose des apprentissages nouveaux qui pourront être diffusés au sein de l'organisation pour renforcer son identité, tout en permettant de mieux rendre compte aux parties prenantes de l'utilité de son projet (Rousseau, 2007). Économie et Solidarités, oolinne 39, numéro 1, 2008 ID C "Q) ë ë C Q) o .~ .~ o, 'u '';::; (f) 'Q) "- CCl C CCl a.. .~ n'l~ (f):::l (f) Q) -Q)Ciî ..... "- ....... CCl.~ a..c Q)'E C"o Q; CCl ëif5 C:;:: WQ) E!> (f) Q) ....... .0 C ru CCl C ~ Q) a..c (f).Q Q) ....... ._ CCl 1:::::l E E ~ 0) g_~ eo, ~Q) Q) ,CCl (f) _l Q) _l Ci) ~ (f) "0 CCl C CCl ~ (f) (f) (f)"': 'Q) :::l ï::: CCl';::: Q) n'l$ (f)X (f) Q) _Q?t ..... Q) CCl a.. a.. X Q) Q) C C "- :::l $(ij .~ o, C :::l Wo 'Cil E ai ,ai _.;::: ü ai Ciî :::l.9- - O ~ 'e 'Q) (f) CCl o, :sQ)..c @ C "i= Q) E E Q) ....... ü ü,_ CCl CCl ~ 0) 0 a.."- (f)E Q)'Q) Q) _l"O _l (f) Q) § o C Q) ui "oQ) 25 3, CC Q) 0 (f),~ .QI.... <Ca.. m o "0 c:: o :;::::; c:: CCl O..:!CCl .- -> :::l'Q) (J. 'm- x m W'U c:: m.!2 "0- :::lCCl CCl..:! (1) CCl c:: c m'';:; "0 CCl E~ m :::l -CCl .... - 00_CCl 0::... 0:0 :::l m CCl > > ._> .- 'm ..c 'm Z::... ..c: ,0:; e :;::::;> :::l'm Économie ef Solidarités, va/ume 39, numéro 1, 2008 Toutefois, l'ancrage dans le projet est d'autant plus fort que la démarche participative a constitué une pièce maîtresse du dispositif d'évaluation. Or cette démarche participative se développe le plus souvent en lien avec l'émergence ou la présence d'un tiers intervenant extérieur à l'organisation. Celui-ci peut être un consultant ou un organisme qui appuie sa crédibilité sur son expertise en matière d'évaluation participative. Il apparaît à la fois comme facilitateur et réducteur de risque, sécurisateur du parcours d'évaluation, permettant aux tensions de s'exprimer sans pour autant bloquer le processus d'évaluation: ilfacilite l'introduction d'une méthode d'évaluation, la mobilisation et l'enrôlement des parties prenantes et la production de critères; il favorise de ce fait des apprentissages collectifs coopératifs et l'appropriation de savoir-faire. Dans les échanges qui se nouent ou s'intensifient à l'occasion de l'évaluation émerge ou se capitalise une culture partagée, à fort contenu identitaire, susceptible de déboucher sur la constitution d'un bien commun ancré dans la proximité et peu perceptible au premier abord, mais dont les effets territoriaux à terme sont importants. Cet acteur d'interface se caractérise par sa capacité à sensibiliser les personnes à l'évaluation et à encadrer les conflits imputables à la confrontation des logiques d'action entre parties prenantes hétérogènes ainsi qu'au sentiment d'insécurité qu'engendre le processus d'évaluation. Du point de vue des offreurs et des demandeurs d'évaluation, le rôle de ce tiers semble substantiel. Dans le contexte français, ce tiers intervenant ne peut cependant être l'émanation directe du financeur, notamment dans le cas d'associations dont une partie ou la totalité du financement provient de la puissance publique, au risque que l'évaluation reprenne sa dimension de contrôle. Aussi les pouvoirs publics peuvent parfois contribuer à la constitution de guides d'évaluation ayant pour objectif d'en faciliter la mise en œuvre, directement ainsi qu'a pu le faire la DIES, ou indirectement à travers l'action mise en œuvre par des agences telles que l'AVISE. Mais l'asymétrie des rapports a comme conséquence que les demandes d'évaluation des pouvoirs publics apparaissent généralement décalées par rapport à l'activité menée par ces organisations, avec des attentes spécifiques pour chacun des financeurs, souvent limitées à des indicateurs quantitatifs en lien avec les publics accueillis, supposés plus faciles à fournir mais peu représentatifs de l'engagement de l'association et de ses modalités d'action. L'évaluation est vécue comme un passage obligé auquel il faut se plier, un outil de soumission plus que de dialogue, instrument de domination et d'encadrement des pouvoirs publics sur le tissu associatif. ANALYSE: DE lA COMBINAISON DE REGISTRES À l'ÉMERGENCE D'UN BUEN COMMUN t Comment dès lors caractériser les incidences des pratiques d'évaluation sur le développement et sur la définition et la reconnaissance de l'ÉSS: observe-t-on un renforcement de l'ancrage identitaire ou au contraire de l'isomorphisme? Économie et Solidarités, va/lime 39, numéro 1, 2008 Bien que la perspective stratégique ou les registres sémantiques soient applicables aussi bien au bilan sociétal qu'à l'utilité sociale, nous avons fait le choix de les aborder séparément. Nous mettons en avant l'importance du registre identitaire dans le bilan sociétal et la prédominance de l'ancrage en termes de gouvernance dans une perspective stratégique. Puis nous analysons la combinaison des registres sémantiques que rendent possible la notion d'utilité sociale et sa contribution à l'émergence d'un bien commun. Enfin, nous identifions les forces de tensions qui sont au cœur de l'épreuve identitaire. Le bilan sociétal comme instrument de gouvernance coopérative Le bilan sociétal reste majoritairement orienté vers la recherche de l'adéquation entre valeurs, organisation et pratiques, en lien avec une quête identitaire. Il constitue une opportunité de dialogue entre parties prenantes dans le cadre d'une autoévaluation située. Cette démarche volontaire est donc plus conçue pour affecter le management et la gouvernance, à travers des dynamiques plus participatives, qu'en tant que signalement de qualité ou instrument d'accroissement de la crédibilité en direction des partenaires extérieurs. Elle vise à introduire des changements de comportements. Elle dépasse les obligations légales et contractuelles imposées par la puissance publique et les instances de régulation et de contrôle et ne repose à aucun moment sur une norme préconçue de comportement en lien avec un faisceau de bonnes pratiques, pas plus qu'elle ne débouche sur une grille de notation. Le bilan sociétal est enfin un élément d'intégration de l'organisation au territoire à travers la mobilisation et l'intensification des interactions entre les parties prenantes. Il combine ainsi une dimension interne et externe de gouvernance. Il en résulte des effets d'apprentissage organisationnel, qui renforcent le questionnement sur le projet et sa mise en œuvre, et les relations de proximité avec les parties prenantes. Les registres de l'utilité sociale comme ancrage identitaire Au regard de nos observations, l'évaluation de l'ÉSS s'inscrit dans trois registres - institutionnel, identitaire, axiologique - distincts, bien que parfois partiellement superposés (Trouvé et al., 2006). Le registre institutionnel est mobilisé dans le rapport aux normes, principalement administratives, dans le cadre de politiques publiques. La notion d'utilité sociale est souvent désignée comme une injonction par les acteurs publics et les cadres légaux. Ce champ sémantique est marqué par des expressions comme programme, dispositif et procédure, associées aux textes de Thoenig et Duran (1996), Lascoumes (2003) et Rosanvallon (2004). Étant donné que la demande d'évaluation émane le plus souvent du financeur dans l'objectif de rendre des comptes, c'est généralement le programme financé qui est évalué et non l'organisation. Les résultats immédiats et les effets directs, voire les rendements, Ù0110I11Îe et Solidarités, volume 39, numéro I, 2008 sont évalués à travers des critères quantitatifs remplis annuellement en interne par les salariés (dès le moment où l'association est employeur), en général les cadres. Dans certains cas (financement européen, dispositif local d'accompagnement ou DLA, par exemple), une partie de l'évaluation doit être réalisée par un expert extérieur. Dans cette logique administrative, pour une même activité, les indicateurs peuvent varier d'une année à l'autre pour répondre au mieux à la commande publique, et la démarche participative d'évaluation au sein de l'organisation associative est peu pratiquée. On observe des écarts selon que l'évaluation s'adresse directement et exclusivement, ou pas, à un financeur. Que les financeurs, et notamment l'État et les collectivités territoriales, soient sensibilisés au «bon usage des fonds publics» et à une affectation efficace des ressources est essentiel. Pour autant, comment est définie la norme d'efficacité retenue et sur quelles procédures reposent son élaboration et son ajustement? On repère ainsi des écarts entre une évaluation obligée, contrepartie obligatoire d'un financement public, et une évaluation volontaire comme moyen de donner du sens et instrument de débat, voire d'éventuelles convergences des représentation. C'est dans cette seconde perspective que le registre ideniiiaire prend racine. L'utilité sociale est mobilisée par des acteurs collectifs comme mode de légitimation d'un secteur d'activité socioéconomique à travers un champ sémantique construit autour d'expressions telles que légitimité, reconnaissance et économie solidaire, associées aux travaux de Laville (1994), Gadrey (2003) et Viveret (2001). La demande d'évaluation est plus souvent interne à l'organisation, portée par les salariés et les administrateurs. L'évaluation sort d'une logique strictement administrative: le programme et l'organisation sont évalués conjointement. Elle est généralement réalisée en interne par les salariés et les administrateurs, dans le cadre d'une démarche coproduite mettant en avant la performance sociale de l'organisation dans une visée stratégique. Les outils et les méthodes d'évaluation y sont diversifiés: observation participante, entrevues, groupes de discussion, etc.; et les indicateurs sont plus qualitatifs relevant d'un bilan social, de la mesure des biens publics, des externalités positives, ou encore d'impacts intangibles, tels que la démocratie ou le lien social. Ces dimensions sociales des activités économiques font plus difficilement l'objet d'un consensus et supposent une réflexion sur les valeurs et les principes qui fondent l'action. On observe enfin la mobilisation du registre axiologique. Il désigne des actions résultant de compromis entre des intérêts hétérogènes, voire antagonistes, dont la finalité est de conjuguer les intérêts individuels au profit d'un intérêt commun. L'utilité sociale y est déployée pour rendre intelligibles les processus d'action collective et renvoie au concept d'accord (sur les valeurs et les finalités) entre parties prenantes et à une conception élargie de la performance. Ce dernier champ sémantique est fondé sur les principes de ccnceriaiicn, consensus et compromis, et se rattache à des auteurs comme Boltanski et Thévenot (1991) et Enjolras (1999). Économie et Solidarités, volume 39, numéro L, 2008 La multiplicité des usages sémantiques de l'utilité sociale cristallise donc des enjeux d'ordres idéologiques, normatifs et politiques (Trouvé, 2007). Son appropriation par les acteurs n'est pas toujours facile, d'autant plus que prédominent des évaluations quantitatives de l'output. Enfin, elle dépend des pratiques et des valeurs de ceux qui la définissent et des territoires sur lesquels ils opèrent (Duclos, 2007). Paradoxalement, bien qu'il n'existe pas de définition a priori de l'utilité sociale, la question d'un label d'utilité sociale, plus normatif, revient régulièrement. Dans ces différentes interactions, l'utilité sociale est donc mobilisée à la fois en tant que justification du financement public, spécification de l'ÉSS et opportunité de coproduire de nouveaux principes d'évaluation. Parfois définie comme une convention socioéconomique d'évaluation (Gadrey, 2005) encore instable, sa finalité repose sur une double dynamique de légitimation (Trouvé, 2005; Fraisse, 2006): la reconnaissance des acteurs-signalisation de l'ÉSS et l'objectivation de nouveaux critères de justification de l'intervention publique-régulation des activités et normalisation des pratiques. Au croisement de multiples enjeux (reconfiguration de l'action publique, reconsidération des OÉSS, relations entre le secteur public et l'ÉSS), l'utilité sociale est une notion en voie de consolidation, objet de tensions et de controverses qu'il faut laisser se déployer en suivant les justifications des acteurs et les éventuels accords et compromis plus ou moins stabilisés (Richez-Battesti, 2006). La notion d'utilité sociale est donc suffisanunent floue pour réussir à remplir conjointement ou simultanément l'ensemble de ces fonctions, et reste non consensuelle (Noguès, 2003) en dépit de la multitude de travaux, points de vue? et débats qu'elle a suscités. Les forces en tensi@ns: l'évaluati@n au cœur de l'épreuve identitaire % Ces pratiques évaluatives restent encore expérimentales et ne sont pas généralisées. On observe, en effet, un écart entre les débats et l'effort de construction d'outils originaux d'évaluation, d'une part, et les pratiques des acteurs de l'ÉSS, d'autre part. Bien souvent, c'est plus la production directe (output) qui est mise en avant par les OÉSS que le résultat à terme (l'outeome). Les spécificités organisationnelles ou les processus mis en œuvre sont eux aussi peu valorisés, alors qu'ils constituent l'un des traits spécifiques des OÉSS et conditionnent les modalités de production des biens et services (le pôle socioéconomique). On leur préfère parfois ces externalités positives volontaires et internalisées qui constituent le second vecteur de différenciation des OÉSS par rapport à des organisations publiques ou privées lucratives. Enfin, si l'association volontaire des parties prenantes apparaît comme un signe distinctif des OÉSS, les outils de mobilisation et de gestion de ces parties prenantes restent peu valorisés, insuffisamment discutés et peu pris en compte par la puissance publique. Économie et Soliâariîés. volume 39, numéro 1, 2008 Dans une perspective dialogique, qualifier, jauger, mesurer sont des actes sociaux qui sont des épreuves où les individus ont recours à des unités de mesure, des critères, des indicateurs, les uns objectifs en tant qu'ils sont admis par la communauté des individus et font l'objet de conventions durables, les autres qui sont objets de disputes, de controverses, de litiges en tant qu'ils dépendent de conventions contingentes, historiques et déterminées spatio-temporellement. Ainsi, l'évaluation est une épreuve soumise à la discussion rationnelle à travers le principe de l'argumentation qui énonce des critères de validité (vrai/ faux, juste/injuste, authentique/non authentique") toujours conçus comme des prétentions critiquables, amendables et rectifiables, à condition que des controverses se déploient pour contribuer à l'élaboration d'un monde commun évalua tif. Les travaux portant sur l'évaluation de l'ÉSS en France illustrent aussi les tensions liées aux tentatives de combiner output et ouicome. Comme le souligne Enjolras (2009), on est confronté au paradoxe selon lequel l'évaluation par les résultats immédiats est le plus souvent utilisée en lien avec les objectifs des politiques publiques, alors que l'originalité de la production des OÉSS se situe à la fois dans le mode d'organisation (et donc dans les modalités de production des biens et des services), dans les externalités positives qu'elles génèrent, ainsi que dans la finalité de son action qui peut être sociale ou au service de la collectivité. Plus largement, ce paradoxe renvoie à celui qui tend à disqualifier la créativité économico-sociale de ces organisations, non prise en compte dans les grilles d'évaluation, au profit d'une simple mesure des écarts entre objectifs et résultats (efficacité), entre moyens alloués et moyens nécessaires à l'atteinte des objectifs-buts-finalités. La mesure de l'évaluation se fonde donc sur cet écart par rapport à une norme, le plus souvent déterminée par la puissance publique, sans prise en compte de la propre intelligence des OÉSS ou de leurs négociations avec les acteurs commanditaires. Ce qui positionne ces organisations en tant que prestataires subalternes. Le processus d'évaluation, lorsqu'il est imposé, se situe dans un rapport asymétrique de pouvoir qui minimise la spécificité des OÉSS (Erne, 2009), notamment dans leurs capacités à produire de l'innovation sociale. La négation de l'identité des OÉSS en est le corollaire; ce qui est problématique au regard d'une reconnaissance évaluative qui, en filigrane, pose la question de l'identité des organisations. Une tension est donc perceptible entre la mesure d'un écart par rapport à la norme prescrite par les systèmes politicoadministratifs et la mesure d'une norme construite par les OÉSS. Enfin, en distinguant des régimes dominants de régulation (Enjolras, 1995), dont le mode d'évaluation est l'une des composantes, on peut caractériser les tensions qui irriguent l'évaluation de l'ÉSS, rendre lisibles les compromis sur lesquels elle repose et les conséquences sur les relations entre ÉSS et pouvoirs publics. Les choix d'associer les quatre dimensions de l'évaluation (le produit, le processus, l'impact et la performance) d'une OÉSS ou de n'en retenir qu'une Économie et Solidarités, oohmie 39, numéro 1, 2008 partie, de coproduire ou non les critères d'évaluation avec les acteurs qui réalisent l'activité, la nature même des critères et indicateurs retenus sont liés au mode de régulation (Richez-Battesti, 2005). Rappelons que la régulation tutélaire renvoie à un encadrement de la production afin d'éviter une orientation qui ne justifierait pas l'aide publique. La puissance publique y est tutrice des producteurs (les associations) et des bénéficiaires (les usagers). L'évaluation prend principalement la forme d'un contrôle de conformité des résultats aux prescriptions. Dans la régulation concurrentielle, le jeu des mécanismes de la concurrence garantit la liberté du consommateur et du producteur; du moins partiellement car la puissance publique peut orienter le marché par des avantages fiscaux, réductions de charge, etc. L'évaluation s'apparente ici à un processus de normalisation. La régulation partenariale se fonde sur des compromis entre acteurs publics et privés dans la construction du bien commun, résultats de confrontations et de négociations entre acteurs. L'évaluation est négociée et objet de controverses et de compromis. Dans la régulation tutélaire, l'utilité sociale est définie, codifiée et contrôlée par les pouvoirs publics. Elle est par conséquent institutionnalisée et sousentend un accord préalable des différentes parties prenantes. La mise en place d'instances décisionnelles, tels que les Conseils départementaux de l'insertion par l'activité économique (CDIAE), offre en effet la possibilité de construire un espace de délibération. Ce mode de gouvernance soulève des questions; notamment est-il à même de garantir aux parties prenantes une représentativité effective? Dans la régulation concurrentielle, l'utilité sociale est le produit des actions individuelles et rationnelles de chaque acteur économique. Le compromis implicite sur lequel elle est basée est le résultat des performances respectives de chaque acteur, laissant aux instances étatiques la charge d'établir les règles juridico-administratives auxquelles les OÉSS doivent se conformer. Ainsi que le souligne Trouvé (2004), malgré leurs différences, ces deux formes de régulation et les conceptions de l'utilité sociale qui lui sont associées partagent un trait commun: elles reposent sur la responsabilité et sur le pouvoir coercitif des instances étatiques ou des collectivités territoriales. Les OÉSS demeurent des auxiliaires des pouvoirs publics. Dans la régulation conventionnée (Laville et Nyssens, 2001) ou encore partenariale (Enjolras, 2008), l'utilité sociale serait définie de façon démocratique par la mise en place de débats publics envisagés comme des lieux de confrontation des valeurs accordées aux actions menées. Les mécanismes politiques de prise de décision relèvent de la négociation et de la délibération entre différentes logiques d'action constitutives de l'utilité sociale des structures associatives (la solidarité, la démocratie, la création ... ), pouvant déboucher «sur des instrumentations réciproques» entre association et pouvoirs publics (Eme, 2005a, p. 49). Économie et Solidarités, oolume 39, numéro 1, 2008 CONCLUSION Nous avons présenté un bilan sociétal, à dimension entrepreneuriale, tourné majoritairement vers une évaluation de l'organisation et de l'articulation entre utilité sociale interne et externe, et une évaluation des associations en termes d'utilité sociale, qui viserait, d'un côté, une évaluation institutionnelle de l'efficacité de l'action et des impacts externes et, de l'autre, une évaluation organisationnelle à dimension plus stratégique. La tension entre ces approches résulte pour partie de la confrontation entre la volonté de régulation par l'État des politiques publiques qu'il délègue et la capacité des acteurs de l'ÉSS à peser sur les régulations qui les affectent, par l'élaboration des conventions à construire. Elle exprime aussi une division entre marchand et non marchand, économique et social, voire entre services à ses membres ou à la collectivité et comportement socialement responsable. Ces différentes divisions, couramment véhiculées en France et politiquement structurantes dans la plupart des pays européens, reposent sur une conception de l'utilité sociale comme réponse aux défaillances du marché et, à travers elle, sur une vision réductrice du champ de l'ÉSS. Il y a là un risque d'enfermer l'ÉSS dans une définition étroite. Cependant cette tension est moins tranchée qu'il n'y paraît. Il s'agit dans chacun des cas de construire des outils susceptibles de permettre de caractériser l'ensemble des dynamiques productives des üÉSS et leurs spécificités, et plus largement de réaffirmer leur identité. Le bilan sociétal et l'utilité sociale partagent une réticence aux évaluations externes et sommatives au profit de processus d'autoévaluation ou d'évaluation participative. Mais, en l'absence d'outils communs admis par tous, une telle orientation rend difficile la comparaison de résultats entre organisations de l'ÉSS et, surtout, avec des entreprises publiques et privées lucratives. Le débat sur l'évaluation est donc directement en prise avec la définition du champ de l'ÉSS et son mode de régulation: la légitimité de ses organisations et les conditions de sa pérennisation. En cours depuis une quinzaine d'années, il prend toute son ampleur dans le contexte de la définition des services sociaux d'intérêt général à l'échelle européenne. Si le rapport aux politiques publiques, et notamment entre associations et pouvoirs publics, est structurant dans l'approche par l'utilité sociale, on peut se demander si l'évaluation ne peut être envisagée comme un instrument de régulation concurrentielle à travers des procédures de labellisation, de certification et d'accès aux marchés publics, ainsi que de justification des avantages fiscaux ou réglementaires dans un cadre marchand. En d'autres termes, les critères d'utilité sociale ne sont-ils pas susceptibles de constituer demain l'ossature de l'encadrement des services d'intérêt général au sens européen du terme? Et à travers lui le mode de sélection des services? Le risque est alors d'enfermer l'ÉSS dans une économie des services en direction des «exclus» (de l'emploi, du logement, de l'échange marchand, Économie et Solidarités, touuue 39, numéro l, 2008 des droits civiques ... ). Mais l'opportunité est aussi de conquérir de nouvelles modalités de construction des services qui associent pleinement l'ensemble des parties prenantes dans une gouvernance partenariale. Notes Les auteurs de l'article tiennent à remercier les membres du groupe de travail du CIRIEC international sur l'évaluation piloté par Marie Bouchard pour les multiples échanges dont a fait l'objet ce papier, ainsi que les relecteurs anonymes pour leurs ultimes préconisations de corrections. 2 l'article 116 de la loi sur les nouvelles régulations économiques ou NRE (2001) impose aux entreprises françaises cotées en Bourse de fournir un rapport social et environnemental de leurs activités. 3 Sans entrer dans les controverses françaises, nous définissons l'ÉSS d'un point de vue statutaire: les coopératives, mutuelles, associations et fondations. 4 Voir bibliographie. 5 Voir le site du CJDES: «www.cjdes.orq» 6 Étude de 85 rapports annuels de dirigeants de grandes entreprises françaises, anglaises et allemandes. 7 Pour plus de détails sur la situation française, le lecteur pourra se reporter notamment à ROUSSEAU et RICHEZ-BATTESTI (2008). 8 Circulaire 4-H-5 du Î 5 septembre 1998. 9 Tandis que le rapport LlPIETZ (2001) fait mention de la notion d'utilité communautaire, d'autres lui préfèrent la valorisation sociétale (FRAISSE, 2005) ou l'utilité sociétale (BASTIDE, GARRABÉ et FAS, 2001). Pour plus de développements, voir TROUVÉ (2004). 10 On retrouve les grandes distinctions entre la raison théorique, la raison pratique et la raison esthétique (Kant, Parsons, Habermas). Bibliographie ALBEROLA, E. et N. RlCHEZ-BATTESTI Évaluation du degré d'engagement de Gestion, nO 211-212, p. 55-71. ALTERNATIVES Alternatives (2005). « De la responsabilité et d'intégration stratégique ÉCONOMIQUES (Collectif) (2003). L'utilité Économiques, septembre, n'' 11. sociale des entreprises: », La Revue des Sciences sociale, coll. « Pratique", ATTARÇA, M. et T. JACQUOT (2005). « La représentation de la RSE: une confrontation entre les approches théoriques et les visions managériales», Journée développement durable AIMS, Aix-en-Provence. AVISE (2003). La mesure de l'utilité sociale. L'évaluation de l'utilité sociale: bibliographie raisonnée, mars-avril. En ligne: <www.avise.org>. BASTIDE, L., M. GARRABÉ et C. FAS (2001). solidaire", RECMA, n" 289, p. 19-27. BOLTANSKI, BRUNTLAND, L. et L. THÉVENOT « Identité de l'économie (1991). De la justification, G.R (1987). Notre avenir à tous, Assemblée sociale et de l'économie Paris, Gallimard. générale des Nations unies. CAPRON, M. et F. QUAIREL-LANOIZELÉE (2004). Mythes ct réalités de l'entreprise responsable: acteurs, enjeux, stratégies, Paris, La Découverte. central de l'économie - CCE (2001). Livre vert, promouvoir responsabilité sociale des entreprises, Bruxelles. Conseil un cadre européen pour la national de la vie associative CNVA (1995). L'utilité sociale des associations et ses conséquences en matière économique fiscale ct financière, Paris. Conseil Économie et Solidarités, volume 39, numéro 1, 2008 COLLETlS, G, P. GIANFALDONI et N. RICHEZ-BATTESTI (2005).« ÉSS, territoires et proximité ». RECMA, n" 296, p. 8-25. Délégation interministérielle à l'innovation sociale et à l'économie sociale - DIES (2002). Guide de l'évaluation, Paris, Ministère des Affaires sociales, du Travail et de la Solidarité. DUCLOS, H. (2007). Guide pratique d'évaluation Promotion. de l'utilité sociale, Paris, AVISE et Culture et EME, B. (2005a). «Gouvernance territoriale et mouvements d'économie sociale et solidaire RECMA, p. 42-55. », EME, B. (2005b). La question de l'autonomie de l'ÉSS par rapport il la sphère publique, LISE-CNRS/ MIRE-DIES. EME, B. (2009). Grandes misères et petites grandeurs de I'ëoaluotion communicationneile, G'l-Ciriec. de l'évaluation de l'ÉSS: pour un paradigme ENJOLRAS, B. (1995).Le marché providence: aide à domicile, politique sociale ct création d'emploi, Paris, Desc!ée de Brouwer. ENJOLRAS, B. (1999).«Mécanismes économiques et spécificités associatives», in F. BLOCHLAINÉ (dir.), Faire société: les associations au CŒur du social, Paris, Syros, p. 109-125. ENJOLRAS, B. (2008). «Régimes de gouvernance et intérêt général », in B. ENJOLRAS (dir.), Gouvernance et intérêt général dans les services sociaux et de santé, Bruxelles, Peter Lang, p.23-39. ENJOLl~AS, B. (2009). Fondements normatifs des organisations d'économie sociale et solidaire et évaluation des politiques publiques et évaluation, GT-Ciriec. FRAISSE, L. (2006).«Utilité sociale et Économie solidaire: un rapport ambivalent au cœur de la reconfiguration des régulations publiques », in X. ENGELS, M. HÉLY,A PEYRIN et H. TROUVÉ (dir.),De l'intérêt général à l'utilité sociale: ta reconfiguration de l'action publique entre État, associations et participation citoyenne, Paris, L'Harmattan, coll. «Logiques sociales ». FRAISSE, L. (2007). «La dimension politique de l'économie solidaire ». in J.-L. LAVILLE (dir.), L'économie solidaire, une perspective internationale, Paris, Hachette Littératures. GADREY, J. (2003). L'utilité sociale des organisations de l'Économie sociale et solidaire: une mise en perspective sur la base des iraoaux récents, Rapport de synthèse, Paris, MIRE-DIES, Dynamiques solidaires. CADREY, J. (2005). «L'utilité sociale », in J.-L. LAVlLLE et AD. CATANl (dir.), Dictionnaire l'autre économie, Paris, Desclée de Brouwer. de GENDRON, C. (2002). «Envisager la responsabilité sociale dans le cadre des régulations portées par les nouveaux mouvements sociaux économiques », Les cahiers de la ChaireCollection recherche, n'' 01, Montréal, UQAM. GUIDE DE L.:ÉVALUATION(2002). Circulaire du 1<'1 décembre relative aux conventions nuelles d'objectifs entre l'État et les associations, Paris, DIES. pturian- LASCOUMES, P. (2003).«Gouverner par les instruments ou comment s'instrumente publique ». in J. LAGROYE (dir.), La politisation, Paris, Belin. l'action LATOUR, B. (2001).Changer de société. Refaire de la sociologie, Paris, La Découverte. LAVILLE,J.-L.(1994).L'économie sociale: lIi1C perspeci ive internationale, Paris, Desclée de Brouwer. LAVILLE, J.-L. et M. NYSSENS (2001). Les seroices sociaux, entre associations, l'aide tntx personnes âgées, Paris, La Découverte. État et marché: LIPIETZ, A (2001).Pour le tiers secteur: l'économie sociale et solidaire, Paris, La Découverte. Économie et Solidarités, vol lime 39, numéro 1, 2008 NOGUÈS, H. (2003). « Üconomie sociale et solidaire: sociale ». RECMA, n" 290, p. 27-4Cl. PERRET, B. (2001). L'évaluation quelques à propos de l'utilité réflexions des politiques publiques, Paris, La Découverte, PERRET, B. (2009). Évaluer l'économie sociale: l'enjeu d'une rationalité au GT-CIRIEC. coll. « Repères ». complexe, Contribution RICHEZ-BATTESTI, N. (2005). « Les régimes d'État-providence et économie sociale et solidaire en Europe: quelle régulation pour le modèle conservateur français? », Communication à la Firsi European Conference of 151'R and EME5, «Concepts of the third sector: the European debate », CNAM, Paris, 27-29 avril. RICHEZ-BATTESTI, N. (2006). « Évaluer la production associative par les pouvoirs publics: du contrôle à la coproduction des critères? », in X. ENGELS, M. HÉLY, A. PEYRIN et H TROUVE (dir.), De l'intérêt général il l'utilité sociale: la reconfiguraticn de J'action publique entre État, associations et participation citoyenne, Paris, L'Harmattan, coll. « Logiques sociales », N. et P. GIANFALDONI (2003). Réseaux économiques et utilité sociale: évaluation de l'accompagnement et du financement de la création des très petites entreprises en région PACA, Aix-en-Provence, CEFI. RICHEZ-BATTESTI, P. (2004). Le modèle politique français: 1789 à nos jours, Paris, Seuil. ROSANVALLON, La société civile contre le jacobinisme ROUSSEAU, F. (2007). « L'Évaluation de l'utilité sociale: publique », WP Cirice Iniernaiionai 07-05, Liège. une injonction de la puissance ROUSSEAU, F. et N. RICHEZ-BATTESTl (2008). Dossier « Évaluation de l'utilité débats, enjeux et outils ». ïurie Association, lei avril, na 376, p. 12-26. THÉVENOT, L. (2006). L'action La Découverte. au pluriel: Sociologie des régimes THOENIG, [-C. et P. DURAN (1996). « l:État et la gestion publique de science politique, n" 4, p. 580-623. d'engagement, territoriale de », sociale: Paris, Revue française TROUVÉ, H. (2004). « Les politiques contractuelles dans le champ associatif: gouvernance et partenariat», in D. GIRARD, Solidarités collectives, Paris, L'Harmattan, p. 261-275. TROUVÉ, H (2005). « La dynamique des productions associatives: existants », Dossier d'études de la CNAF, n" 68, Paris. synthèse des travaux TROUVÉ, H (2007). L'utilité sociale: des pratiques aux représentations Une étude de cas dans le champ de l'insertion par l'activité économique, Doctorat en sciences économiques, Paris 1 Panthéon-Sorbonne. H, M. HÉLY, A. PEYIUN et X. ENGELS (dir.) (2006). De l'intérêt général il l'utilité sociale? La reconfiguration de J'intervention publique entre État, associations et participation citoyenne, Paris, L'Harmattan, coll. « Logiques Sociales ». TROUVÉ, VIVERET, P. (2001). Reconsidérer la richesse, Rapport d'étape de la Mission Nouveaux de richesses, Paris, Secrétariat d'État à l'Économie solidaire. WOOD, D. (1991). « Corporate vol. 16, nO 4, p. 691-718. Social Performance Revisited ». Academy of Management facteurs Review, Économie et Solidnriiée, 7!oIJlJ11r39, numéro 1, 20GB L'évaluation de l'économie sociale au Québec, entre parties prenantes, mission et identité organisationnelle RÉSUMÉ Les tendances en matière d'évaluation de l'économie sociale au Québec peuvent être associées à des caractéristiques des organisations et des secteurs: l'activité (productive ou servicielle); l'inscription dans le marché et dans les politiques publiques (à dominante marchande ou non marchande); les ressources (monétaires, non monétaires); le public visé et aux commandes (organisation mutualiste ou altruiste); le stade du cycle de vie (émergent, mature). Certains indicateurs sont reliés à la nature même de l'économie sociale. L'évaluation est aussi révélatrice du positionnement de l'économie sociale dans le modèle de gouvernance: complémentaire au marché et à l'État (modèle fordisteprovidentialiste); soutien résiduel en cas de panne du marché ou de l'État (modèle néolibéral); révélateur de nouvelles demandes sociétales et vecteur potentiel d'un nouveau modèle de développement (modèle p artenarial). 0 The present trends in evaluation practices of the social economy in Quebec can be related to the variables that characterize the organizations and sectors: activity (production or services); their embeddedncss in the market and in public policies (market dominated or non market dominated); the resources (monetary, non monetary); the public aimed at and in control (mutualist or altruistic organization); the stage in the life cycle (emergent, mature). Sorne indicators are specifie to the very nature of the social economy. Evaluation also points to the positioning of the social economy according to the governance models: complement to market and to State (fordist-welfarist model); residual support in case of market or State failure (neoliberal model); revealing of new societal dernands and potential vector of a new development model (partnership model). ABSTRACT 0 MARIE J. BOUCHARD Chaire de recherche du Canada en économie sociale Centre de recherche sur les innovations sociales Université du Québec à Montréal bouchard [email protected] RESUMEN • Las tendencias en materia de evaluacién de la economîa social en Québec pue den relacionarse con las caracteristicas de las organizaciones y los sectores: la actividad (productiva 0 de servicios),la insercion en el mercado y en las polîticas pûblicas (predominantemente mercantiles 0 no mercantiles), los recursos (monetarios, no monetarios), el publiee al que se orientan y el control (organizaciôn mutualista 0 altruista), el estadio del cielo de vida (emergente, maduro). Algunos indicadores son espedficos de la propia naturaleza de la economîa social. La evaluacion también es reveladora del posicionamiento de la economïa social en el modelo de gobernanza: complementaria al mercado y al Estado (modelo de bienestar fordista); apoyo residual en caso de fallas del mercado 0 del Estado (modelo neoliberal), revelador de nuevas demandas sociales y vector potencial de un nuevo modelo de desarrollo (modele partenarial). _e_ INTRODUCTIONI L'expérience du Québec en matière d'évaluation de l'économie sociale n'est probablement pas très différente de celle d'autres régions du monde qui ont connu au cours des récentes décennies un type et un rythme de développement analogues. L'économie sociale émergente prend une importance croissante dans la fourniture de services sociaux d'intérêt général, alors que l'économie sociale dans les secteurs d'activités matures fait face à une forte concurrence, non seulement sur les marchés mais aussi en matière de responsabilité sociale et environnementale. Le modèle québécois se démarque cependant par une présence importante de l'économie sociale dans son tissu économique de même que par le soutien de l'État et de partenaires, notamment les syndicats et les institutions financières. La reconnaissance mutuelle et publique de l'économie sociale y est plus établie que jamais, même si elle demeure fragmentée, à l'image de la compartimentation des politiques publiques qui s'y adressent mais aussi des différentes visions qui s'expriment à propos de la place et du rôle que prend l'économie sociale au sein du modèle de développement. Les politiques publiques (du gouvernement canadien et du gouvernement québécois) ont, à différentes époques, accompagné le développement de l'économie sociale. Au Québec, trois modèles de développement ont pu être observés à un moment ou l'autre au cours des 40 dernières années (Lévesque, 2004). Toutefois, le modèle québécois a pris concrètement deux formes principales: le modèle fordiste ou providentialiste (1960-1980), caractérisé par une gouvernance hiérarchique et publique, et le modèle partenarial (1981-2003), reflétant une gouvernance distribuée ou simplement partenariale. Le modèle partenarial (1981-2003) naît d'un compromis entre l'État et la société civile. Une relative institutionnalisation des pratiques d'économie sociale et une stabilisation du modèle s'ensuivent. Dans la conjoncture actuelle, le modèle québécois J~co710111ie et Solidarités, volume 39, 1111J11PrDl , 2008 est fortement soumis aux pressions d'un modèle de type néolibéral (surtout depuis 2004) (Bouchard, Lévesque et St-Pierre, 2008). Ce modèle conduit à une gouvernance marchande et compétitive (Enjolras, 2008). L'évaluation, dans ce contexte, prend une importance nouvelle, tenant lieu d'interface entre les secteurs d'économie sociale et ses différentes parties prenantes. L'économie sociale est tout sauf homogène et les attentes à son endroit varient suivant le contexte. Il serait surprenant que les façons de l'évaluer ne reflètent pas cette diversité. Il demeure que les acteurs de l'économie socialetout comme les pouvoirs publics - demandent des outils d'évaluation qui soient adaptés à ses caractéristiques propres. Cherchant à alimenter cette question, nous avons voulu observer les tendances actuelles en matière d'évaluation de l'économie sociale au Québec en nous centrant sur cc qui permet de repérer et de faire valoir ce que l'économie sociale a de spécifique. Nous cherchons aussi à voir comment l'évaluation reflète le positionnement de l'économie sociale dans la gouvernance d'ensemble. Les cas que nous avons étudiés montrent une variété d'outils d'évaluation presque aussi vaste que les secteurs d'activité. Cependant, en regroupant les représentations communes à ces différents outils d'évaluation, nous pouvons associer différents types d'évaluation à un certain nombre de variables qui différencient les organisations d'économie sociale et les secteurs d'activité. On voit aussi qu'il se développe des indicateurs propres à la nature même de l'économie sociale. Les façons de faire de l'évaluation renvoient également à différents modes d'inscription de l'économie sociale dans le modèle de développement. Il y a donc une utilité à recourir à différentes formes d'évaluation mais l'exercice n'est jamais neutre. L'évaluation formate l'information de manière différenciée suivant le contexte organisationnel et institutionnel dans lequel elle prend place et suivant les attentes des décideurs et des acteurs à l'endroit de l'économie sociale. En retour, l'évaluation participe également à la définition et au formatage de l'économie sociale. La première partie de ce texte décrit les pratiques d'évaluation en tentant de relever les principales tendances qui se dessinent. En deuxième partie, l'évaluation de l'économie sociale est mise en rapport avec différentes visions de l'économie sociale dans différents modèles de gouvernance. PRINCIPALES TENDANCES EN ÉVALUATiON DE L'ÉCONOMIE SOCEALE2 L'évaluation de l'économie sociale est une question complexe". La notion de performance - qui ne fait déjà pas consensus dans le monde des entreprises qui ont pour seule finalité de faire fructifier l'investissement des actionnaires (Herman et Renz, 1998), non plus que dans les services publics (Perret, 2010) - se complique lorsqu'il s'agit de conjuguer l'économique et le social. Notre intérêt Économie et Solidarités, volume 39, numéro 1, 2008 ici est d'observer les tendances actuelles en matière d'évaluation de l'économie sociale au Québec afin d'y repérer et de faire valoir ce que l'économie sociale a de spécifique. L'étude ne vise donc pas le champ étendu de l'évaluation de programmes mais se limite aux outils et rapports d'évaluation des organisations ou des secteurs de l'économie sociale. Elle se fonde sur une analyse de contenu de rapports et d'outils d'évaluation. Dans une recherche antérieure (Bouchard, Bourque et Lévesque, 2001), nous avions examiné des guides et des manuels d'évaluation, des portraits sectoriels, des tableaux d'indicateurs sociaux, des études gouvernementales et universitaires portant sur l'économie sociale québécoise. En 2003, nous avons poursuivi cette exploration des outils d'évaluation, cette fois en nous penchant plus systématiquement sur l'outillage des différents secteurs de l'économie sociale. Nous avons alors consulté des documents d'évaluation dans 18 secteurs d'activité: aide domestique, agroalimentaire, centres à la petite enfance, communication, coopératives de travailleurs, cuisines collectives, culture, entreprises adaptées, entreprises d'insertion, finance solidaire, forêt, habitation, loisir et tourisme social, périnatalité, ressourceries-récupération, services aux entreprises, services funéraires, services financiers, scolaire. Nous avons également mené des entretiens avec des dirigeants d'entreprises d'économie sociale engagés dans la formation de MBA pour cadre spécialisé en entreprises colleefives" de l'UQAM. Cette démarche s'est déroulée entre 2003 et 2006. Comme il s'agit d'une recherche exploratoire, les résultats présentés ici visent à exposer la variété mais ne peuvent établir des tendances en termes quantitatifs. Constats généraux Le survol des pratiques évaluatives dans différents secteurs de l'économie sociale québécoise nous permet de voir, de prime abord, que les secteurs sont évalués de manière très différente, voire inégale. Ainsi, certains disposent d'outils d'évaluation de plusieurs types, comme dans le cas de l'habitation coopérative où l'on trouve des évaluations de programmes, des portraits statistiques sur les résidants, un portrait de l'état physique du parc immobilier, un guide et un outil d'évaluation de l'intervention des promoteurs, de même qu'un bilan de santé des organisations primaires. Plusieurs secteurs n'ont qu'un outil principal d'évaluation, souvent de type portrait (nombre d'organisations, nombre d'emplois, nombre de prestations, etc.), alors que d'autres font surtout de la recherche évaluative (évaluation de programme) souvent au moyen d'études de cas. Certains semblaient ne disposer d'aucun outil d'évaluation. Bien que tous les documents recensés ne présentent pas explicitement la méthodologie utilisée, on observe une grande variété d'indicateurs. De manière générale, les portraits sectoriels ont tendance à être de nature quantitative, alors que les évaluations d'impacts, honnis les retombées économiques, se réfèrent surtout à des indicateurs qualitatifs et sociaux. Certains secteurs sont très Économie el Soliâaritée, volume 39, numéro 1, 2008 normés par des instances externes et disposent, par conséquent, d'outils d'évaluation qui leur sont en quelque sorte imposés. Citons ici le cas des centres de la petite enfance (CPE). D'autres secteurs, comme celui des entreprises d'insertion, ont un cadre d'évaluation négocié entre le regroupement des entreprises et le ministère responsable du programme qui leur est destiné. Dans certains cas, les objectifs d'évaluation révèlent principalement les effets indirects des actions, comme Yempotoermeni des participants aux activités des cuisines collectives. Certaines dimensions d'évaluation sont particulièrement bien développées dans des secteurs spécifiques de l'économie sociale et peuvent de ce fait, être vues comme « exemplaires», pouvant potentiellement inspirer d'autres secteurs. Parmi ces dimensions, notons les impacts sur le territoire et le développement de partenariats (surtout par le biais d'études de cas sur le développement local); I'ernployabilité et le développement de compétences (évaluation de suivi des destinataires dans les entreprises d'insertion, par exemple); les impacts sur les personnes et les familles (en particulier dans la santé mais aussi dans le loisir et le tourisme social); et le développement durable (comme dans le cas de la finance solidaire). Nos observations montrent ainsi une variété d'outils d'évaluation presque aussi vaste que les secteurs d'activité. Nous pouvons néanmoins en tirer une première série de constats. D'abord, nous avons relevé que les objets couverts par les évaluations sont très contrastés d'un document à l'autre, l'évaluation portant dans chaque cas sur des dimensions liées à la nature des activités principales de l'organisation ou sur des exigences provenant de l'instance qui commande l'évaluation, généralement un bailleur de fonds. Nous avons ensuite pu voir que la spécificité organisationnelle et institutionnelle de l'économie sociale pouvait aussi influencer l'évaluation. Ces facteurs ne sont pas mutuellement exclusifs, ce qui veut dire que des outils d'évaluation peuvent être influencés par plus d'un d'entre eux. Nous les présentons toutefois séparément afin de mieux saisir leurs impacts sur les pratiques évaluatives. Évaluation en fonction des activités Deux familles d'outils d'évaluation sont repérées, correspondant généralement à deux types d'activité suivant qu'elles sont à dominante marchande ou à dominante non marchande. Activités à dominante marchande Une première famille d'outils d'évaluation se retrouve surtout dans les entreprises d'économie sociale engagées dans des activités des secteurs primaire et secondaire, dans les services financiers et dans l'aide au développement économique. Ces activités sont à dominante marchande et une partie, sinon la majorité des revenus proviennent des utilisateurs, lesquels constituent, en tota- Économie et Solidarités, oolunie 39, numéro 1, 2008 lité ou en partie, les membres gouvernants de l'organisation. Les organisations tendent à se doter d'outils d'évaluation qui permettent de mettre en valeur la dimension sociale de leur mode de production ou de distribution des surplus. Ainsi, les organisations coopératives des secteurs matures ou en croissance dressent souvent des bilans de responsabilité sociale et environnementale, dont le volume et le contenu varient cependant beaucoup d'une organisation à l'autre. Cette tendance est marquée dans les secteurs primaires et secondaires (foresterie, agroalimentaire). Par exemple, les coopératives forestières adoptent des politiques environnementales conformes à la certification ISO 14001. Autre exemple, la Coop fédérée, qui regroupe 97 établissements agricoles au Québec, s'est dotée d'une politique sur l'environnement et produit un bilan social qui montre, notamment, les impacts économiques et territoriaux de ses activités au Québec. La même tendance se retrouve dans les secteurs matures des services financiers, assuranciels et commerciaux aux membres. Les caisses et le Mouvement Desjardins, la mutuelle SSQ Groupe financier, la Fédération des coopératives scolaires du Québec publient un bilan de responsabilité sociale ou un bilan social. La Caisse d'économie solidaire Desjardins (CECOSOL) et Fondaction (un fonds de développement d'origine syndicale), se sont engagés dans une démarche inspirée de la Global Reporting Tnitiative (GRIS).Le recours à des formes plus normées de reporting sociétal et environnemental indique une plus grande détermination à s'engager dans le changement que la divulgation discrétionnaire par le biais d'un bilan social. Ainsi, certaines entreprises financières d'économie sociale pourraient être pionnières en ma tière de rapports de responsabilité sociale et de développement durable (Gendron, 2006). Parmi les organisations de secteurs émergents figurent les organisations qui offrent des services de soutien au développement économique (développement local, développement économique communautaire, soutien à la création et au maintien d'emplois, etc.). Ces organisations entretiennent des rapports à l'État mais également au marché. Elles sont souvent soutenues par une diversité de bailleurs de fonds et de sources financières: plusieurs paliers gouvernementaux, plusieurs ministères, plusieurs programmes, dons privés, vente de produits et services, etc. Bien que relevant de politiques publiques, une partie de leurs services ou produits sont tarifés aux utilisateurs ou aux clients. Leur gouvernance est souvent plurielle (syndicats, patronat, usagers, société civile), surtout lorsque leurs activités visent des impacts sur des publics externes à l'organisation. Les dimensions évaluées, dans leur cas, s'étendent du micro (l'efficience organisationnelle) au méso (impacts sur la communauté). Les objets évalués correspondent généralement à des résultats mesurables suivant des standards déjà établis, soit quantitativement (nombre d'actions, de participants, d'emplois, coûts des produits et services, caractéristiques socioéconomiques des clientèles, impacts socioéconomiques, etc.), soit qualitativement (secteurs d'activité, complémentarité des produits et services, types de qualifications et de Économie et Solidarités, V01111111' 39, 111/Jl1Pro 1, 200S formations, type de leadership, mobilisation du milieu, etc.). L'évaluation peut avoir une finalité normative, servant à identifier les «bonnes pratiques», voire à devancer l'industrie en matière de réponse aux nouvelles attentes sociales. Activités à dominante non marchande Une seconde famille d'outils d'évaluation se retrouve surtout dans les organisations d'économie sociale engagées dans des activités de services qui sont à dominante non marchande et dont la majorité, sinon la totalité des revenus proviennent du gouvernement. Les instances de gouvernance sont typiquement composées de tierces parties avec une plus ou moins grande représentation des utilisateurs (avec des exceptions comme les centres de la petite enfance, où les parents occupent la majorité des postes au conseil). Dans le domaine de la consommation collective (santé, services sociaux, éducation), les organismes s'inscrivent dans un rapport quasi exclusif avec l'État et leur fonctionnement est alors généralement soutenu par un seul bailleur de fonds, par exemple un ministère. Celui-ci peut émettre des normes visant l'homogénéité et la qualité du service (par exemple, les centres de la petite enfance). Dans d'autres cas d'activités complémentaires à celles du réseau public de services sociaux, plusieurs organismes tendent aujourd'hui à se soumettre à une procédure d'évaluation mise en place par un organisme d'agrément. Par exemple, le Conseil québécois d'agrément est un organisme privé sans but lucratif créé par le réseau d'établissements (publics) et soutenu financièrement par eux et par le ministère de la Santé et des Services sociaux. Son conseil d'administration est constitué de représentants en parts égales des ordres professionnels, des organismes représentant les intérêts des usagers et des associations d'établissements". Cette procédure d'évaluation externe est identique à celle qui existe dans les établissements publics, portant sur les résultats (satisfaction de la clientèle et climat organisationnel) et sur la qualité des processus (service au client et performance organisationnelle). Même s'il s'agit encore d'une mesure volontaire, de plus en plus d'organisations s'y soumettent dans les secteurs de services aux personnes (aide domestique ou encadrement des jeunes, par exemple). Dans le domaine des services mutuels de proximité (par exemple les coopératives de travail et les coopératives d'habitation) ou dans celui des rapports interpersonnels (préemployabilité, insertion socioéconomique, intégration culturelle), les activités dépendent d'une mixité de ressources, publiques, marchandes et non monétaires. La gouvernance est principalement (ou exclusivement dans le cas des coopératives) assumée par des parties prenantes internes, soit les membres ou les usagers. Une tension peut s'exprimer entre le demandeur d'évaluation externe et l'organisation, notamment pour faire valoir que la diversité des pratiques est parfois peu compatible avec l'homogénéité des indicateurs d'évaluation. L'évaluation peut permettre, à défaut de résoudre Économie et Solidarités, volume 39, numéro L, 2008 la tension, du moins de négocier l'espace et les objets évalués. Dans le premier cas, les outils d'évaluation peuvent être conçus conjointement par le demandeur d'évaluation (une instance publique) et un réseau d'entreprises d'économie sociale ou d'organismes communautaires. C'est le cas du secteur de l'insertion par l'activité économique, où l'élaboration de l'outil s'est réalisée en mettant en scène des représentants du ministère (bailleur de fonds du volet insertion), des représentants des entreprises d'insertion et un organisme conseil spécialisé en économie sociale. L'évaluateur externe peut être désigné par l'entreprise d'insertion et les participants sont inclus dans l'exercice d'évaluation. Un autre cas est celui des organismes communautaires qui proposent des modes alternatifs de prise en charge des demandes sociales. Les cibles visées par ces organismes à but non lucratif sont aussi plus globales, couvrant un ensemble d'effets intangibles allant de l'accession au pouvoir des individus et des collectivités (IFDEC, 1992) jusqu'au changement social (Ialbert et al., s.d.). Au Québec, une partie de ces organismes s'identifient au «mouvement d'action communautaire autonome», qui a négocié avec l'instance publique un cadre de reconnaissance et d'évaluation. À la suite de cette négociation, certains objets ont été exclus de l'évaluation externe, tels que la mission et la pertinence des organismes, les modèles d'intervention et les pratiques particulières de ces organismes, le bien-fondé du choix des besoins et des populations à servir, la structure et l'organisation interne, la satisfaction des travailleurs et des bénévoles, l'implantation dans la communauté et la complémentarité avec le réseau public (Comité ministériel sur l'évaluation, 1995). Ce serait davantage la fonction de l'exercice d'évaluation réalisé à l'interne que de définir - ou de redéfinir - la mission de l'organisation. Si l'évaluation peut concerner ici des indicateurs d'efficience des actions, sorte de reddition de comptes (qualité, impacts, satisfaction des usagers, fonctionnement de l'organisation), l'efficacité propre à leur mode d'intervention, fondement de leur légitimité, demeure sujette à des tensions entre le demandeur d'évaluation externe et l'organisation. C'est le cas des actuelles réformes du système de santé public gui tablent de plus en plus sur l'action des groupes communautaires mais qui cherchent aussi à les soumettre à un encadrement plus serré, comme dans le cas des organismes sans but lucratif d'habitation qui offrent des services aux personnes (aînés, femmes vivant des difficultés, jeunes marginalisés, etc.). Évaluation en fonction de Baspécificité de l'économie sociale Il existe des outils et des études qui développent des indicateurs propres à l'économie sociale. Nous en avons relevé deux types, selon qu'ils s'adressent aux valeurs de l'économie sociale ou à la manière d'évaluer sa performance. Economie et Solidarités, volume 39, numéro I, 2008 Valeurs spécifiques Une proposition a été formulée par des chercheurs pour établir une articulation entre les dimensions d'évaluation et des choix théoriques relatifs aux services de proximité et à l'économie sociale (Jetté, Comeau et Dumais, 2001). Les dimensions proposées sont en partie liées aux valeurs de l'économie sociale telles qu'elles ont été formulées au Québec en 1996 et véhiculées depuis par le Chantier de l'économie sociale. On y trouve, par exemple, le caractère participatif et démocratique (usagers et producteurs), la qualité des emplois, la qualité et le coût des services, la redistribution (notamment auprès des jeunes et des femmes), l'adaptation de l'offre aux besoins exprimés, la qualité des rapports à l'État et aux établissements publics, l'évaluation d'externalités (lien social, trajectoires professionnelles des employés, etc.). On y suggère également d'évaluer les dimensions économiques de manière subjective, invitant à insérer une perspective critique dans l'exercice d'évaluation (par exemple, «la mise en perspective du degré d'hybridation des ressources par rapport au domaine d'activité dans lequel opère l'organisme ou l'entreprise »). Un autre exemple est celui du Bilan de conformité coopérative développé par la Coopérative de développement régional Québec-Appalaches (2006). Établi sur la base des sept principes coopératifs de l'Alliance coopérative internationale, le bilan se décompose en trois types d'observations qui portent sur la collecte de l'information, la prise de décision et l'implantation des principes coopératifs (Perron, 2008). Performance spécifique Quelques initiatives montrent la volonté de développer des indicateurs de performance de l'économie sociale. L'une d'elles est une recherche visant à mesurer les effets spécifiques des entreprises d'économie sociale du Québec (Comeau et al., 2001). Les résultats indiquent que ces entreprises rendent des services qui pourraient difficilement être pris en charge par d'autres types d'entreprises (publiques ou privées), qu'elles mobilisent des partenariats entre des acteurs de la société civile et l'État, qu'elles adaptent l'offre de services aux besoins locaux, tout en s'inscrivant dans les objectifs généraux de certaines politiques publiques. Certaines démarches visent à outiller l'ensemble des organisations d'économie sociale afin qu'elles puissent plus facilement faire état de leur performance sociale, montrer qu'elles se conforment aux attentes de la société ou qu'elles les dépassent, voire à justifier qu'elles bénéficient de soutiens publics ou privés. On veut développer des indicateurs de « rentabilité sociale », d'impacts sociaux, d'engagement dans la communauté, et même de contribution à des objectifs d'intérêt général (Patenaude, 2004). Ces initiatives émanent de divers lieux, allant d'un organisme para gouvernemental tel le Comité sectoriel de Économie et Solidarités, ùolume 39, numéro 1, 2008 main-d'œuvre de l'action communautaire autonome et de l'économie sociale, à une association de coopératives telle la Canadian Co-operative Association, en passant par un Centre local de développement. D'autres veulent témoigner des impacts structurants d'un sous-ensemble d'entreprises d'économie sociale. Ainsi, le Conseil québécois de la coopération et de la mutualité s'est doté en 2004 d'un plan d'action quinquennal visant notamment à renforcer l'impact des coopératives sur les milieux ruraux frappés par la décroissance démographique. En 2009, le plan quinquennal annonce trois cibles: les changements démographiques, le développement durable et l'occupation du territoire. Parmi les objectifs annoncés, 1) celui que les fédérations se dotent d'une politique de développement durable d'ici 2012, 2) qu'en 2014,50% des coopératives et des mutuelles du Québec aient mis en œuvre une politique de développement durable et 3) que le mouvement produise un premier «rapport de responsabilité sociale et coopératif» en 2014. Il existe aussi le Guide d'analyse des entreprises d'économie sociale (2003), un outil créé pour orienter la prise de décision des partenaires financiers de l'économie sociale. L'une des particularités de cet outil est qu'il se base sur la double nature économique et sociale de l'entreprise d'économie sociale pour évaluer le risque financier. Dans ce modèle, la codépendance des dimensions économiques et sociales des activités conduit à un arbitrage entre des critères d'évaluation standards (économiques, financiers, organisationnels et de gestion) et des critères adaptés à l'économie sociale (solidarité du milieu, finalité sociale, gouvernance associative, etc.). Le guide est largement diffusé dans les milieux d'économie sociale québécois et a un potentiel structurant sur l'économie sociale dans ses phases d'émergence, de développement et de consolidation. Une autre particularité de ce type d'outil réside donc dans le partage du risque entre les partenaires financiers (instances publiques, institutions financières coopératives, fonds de capital de développement) et dans la standardisation de la méthodologie d'évaluation. ÉVALUATION DE L'ÉCONOMIE SOCIALE ET MODÈLES DE GOUVERNANCE Les méthodes et indicateurs d'évaluation employés sont révélateurs des attentes envers l'économie sociale et du rôle qu'elle peut jouer dans les dynamiques de développement. Différentes visions sont possibles. Sans prétendre qu'il y a toujours une correspondance directe entre une modalité d'évaluation de l'économie sociale et une vision de son rôle dans le modèle de développement, nous pouvons voir que certains outils d'évaluation sont mieux adaptés pour rendre compte de certaines postures. Nous pouvons résumer ces postures suivant trois visions de la place et du rôle de l'économie sociale dans les modèles de gouvernance selon qu'elle agit en complémentarité de l'État et du marché (modèle social-étatiste ou fordiste-providentialiste), qu'elle est un palliatif aux Économie et Solidarités, volume 39, numéro 1, 2008 failles de développement (modèle libéral ou néo libéral), qu'elle favorise des innovations sociales et institutionnelles, jusqu'à révéler un nouveau cadre de normativité, vecteur potentiel d'un nouveau modèle de développement (modèle distribué ou partenarial). l'économie sociale complémentaire dans le modèle fordiste-providentialiste Dans le modèle de développement fordiste et providentialiste (de gouvernance social-étatiste), l'économie sociale est perçue comme complémentaire à l'action publique et aux mécanismes de marché. La politique publique contribue à circonscrire le champ d'action de l'économie sociale et l'exercice d'évaluation renforce une vision de l'économie sociale en fonction des objectifs visés (création d'emploi, lutte contre la pauvreté ou développement du territoire, etc.). L'évaluation sert alors à orienter, à superviser ou à contrôler les activités et les pratiques des organisations dans l'optique, d'une part, de réduire les écarts possibles entre les attentes et les résultats mais aussi, d'autre part, de faire montre de son utilité sociale (Cadrey, 2006). Les relations entre objectifs et résultats se trouvent dans des modèles explicatifs qui présument de liens déjà démontrés entre des causes et des effets (p. ex. la création d'emplois réduit la pauvreté, toutes choses étant égales d'ailleurs). Les modèles logiques sont, du coup, rarement explicités. L'économie seetate palliative dans le modèle néolibéraB Dans une vision libérale restrictive, l'économie sociale sert de palliatif pour combler les failles de marché et de l'État, voire contrecarrer les effets du «mal développement». Dans une vision néo libérale de la gouvernance du développement, les instruments de politique publique sont les contrats ou les quasi-marchés (Enjolras, 2008). L'évaluation recourt à des outils relativement standards qui servent essentiellement à mesurer les écarts par rapport aux objectifs annoncés, notamment l'efficience-coût des activités ou des programmes, sans tenir compte de la spécificité de l'économie sociale. Les instances décisionnelles représentatives des usagers ou des citoyens n'ont pas de légitimité pour participer à l'évaluation. Ces évaluations sont le pendant de l'imputabilité des organisations d'économie sociale qui utilisent des ressources collectives (Perret, 2010). C'est aussi le cas des bilans sociaux orientés par une visée instrumentale. Ceux-ci témoignent du respect des obligations sociales réglementaires ou de celles qui, si elles n'étaient pas respectées, affecteraient à terme la réputation de l'organisation ou la confiance et la loyauté à son endroit. On s'adresse aux parties prenantes primaires, soit celles qui peuvent directement affecter l'activité de l'organisation (clients, fournisseurs, travailleurs, bailleurs de fonds). L'évaluation est un enjeu stratégique au plan des ressources externes desquelles dépendent les organisations (Spear, 2010), que celles-ci soient tangibles (financement) ou intangibles (réputation, image). Économie et Solidarités, valu Ille 39, numéro I, 2008 L'économie sociale innovante dans le modèle pareenarta! Le modèle peut aussi être partenarial, où l'État est subsidiaire, de type facilitateur. L'économie sociale s'y développe avec le soutien des pouvoirs publics mais participe au pilotage du développement en promouvant la démocratisation des lieux de travail, de production et de consommation. L'économie sociale constitue un véritable pôle institutionnel, aux côtés du marché et de l'État, au sein d'une économie plurielle (Evers et Laville, 2004). La finalité normative de l'évaluation, souvent implicite lorsqu'il s'agit de recourir à des indicateurs standards, peut au contraire faire partie d'une stratégie délibérée d'établissement de normes alternatives d'efficacité et de performance, voire de nouveaux standards, montrant que les organisations d'économie sociale pourraient mieux performer que les autres formes d'entreprises au plan social et environnemental. Ainsi, l'évaluation peut cerner les réponses particulières fournies par les organisations d'économie sociale aux nouvelles aspirations sociales, par exemple celles de la coproduction ou du développement durable en ce qui concerne les modes de production et les modes de consommation, ou celle de la coconstruction dans le cas des politiques publiques. L'évaluation devient un moment de prise de conscience individuelle et collective des ressources et des limites de l'organisation, un exercice de démocratie, voire de positionnement politique face aux demandeurs d'évaluation externe. L'évaluation peut être un temps de construction sociale d'un cadre normatif qui serait spécifique à la nature, aux formes organisationnelles et aux règles institutionnelles de l'économie sociale. L'intérêt est la constitution de «communautés de pratiques» qui peuvent faire la mise à plat d'un modèle logique de développement des entreprises d'économie sociale, créer des catégories d'analyse nouvelles, établir des standards, etc. Ce serait l'une des caractéristiques de l'évaluation de type délibératif qui joue le rôle d'interprétation d'une «grandeur commune» (Boltanski et Thévenot, 1991; Thévenot, 2006) de l'économie sociale et de sa mise en rapport avec les pratiques circonstanciées des acteurs. CONCLUSION Dans ce texte, nous avons cherché à voir s'il se dessine des tendances en matière d'évaluation de l'économie sociale au Québec, notamment s'il y avait un lien entre les caractéristiques de l'économie sociale et les manières de l'évaluer. Nous voulions également voir ce que ces tendances pouvaient révéler des attentes que l'on pouvait avoir vis-à-vis de l'économie sociale. En ce sens, notre contribution s'inscrit davantage dans le champ de l'économie sociale que dans celui des experts en évaluation. Nous avons analysé plusieurs documents d'évaluation, sans jamais nous approcher de l'exhaustivité et en confrontant Économie cf Solidarités, volume 39, numéro l,20GB des instruments de nature et d'envergure bien différentes (portraits sectoriels, évaluation de programmes, bilans des sociaux, guide de financement, etc.). C'est dire que l'exercice demeure inachevé. Mais il s'en dégage tout de même quelques constatations. Notre premier constat est que les objets couverts par les évaluations sont très contrastés d'un document à l' autre, l' évaluation portant dans chaque cas sur des dimensions liées à la nature des activités principales de l'organisation ou à des exigences provenant de l'instance qui commande l'évaluation. Un second constat est que la méthodologie est rarement explicitée, laissant notamment dans l'ombre les hypothèses ou les modèles logiques qui sous-tendent l'exercice. Ce rapide survol permet toutefois d'identifier certains facteurs qui influencent l'évaluation. Les objets évalués, les indicateurs d'évaluation, l'ouverture même à l'évaluation externe varient suivant: le type d'activité (productive ou servicielle); son inscription dans le marché (à dominante marchande ou non marchande); le type de ressources engagées (monétaires, non monétaires); le type de public visé et aux commandes (organisation mutualiste ou altruiste); et le stade du cycle de vie du secteur d'activité ou des organisations (émergence, maturité). Il existe aussi des approches évaluatives qui renvoient aux dimensions institutionnelles de l'économie sociale (valeurs, normes et règles) ou à des modèles logiques d'analyse de sa performance. L'évaluation est aussi révélatrice de différents positionnements de l'économie sociale suivant le modèle de développement dans lequel elle s'inscrit. Au moins trois «visions» ou idéaux-types de l'économie sociale se dégagent de l'observation des outils qu'on emploie pour l'évaluer. Dans un premier cas, l'économie sociale sert de complément à l'action publique et au marché (modèle fordiste-providentialiste). Dans le cas d'une vision restrictive, l'économie sociale a pour rôle de soutenir le développement économique et le développement social en cas de panne du marché ou d'absence d'intervention publique. L'économie sociale aide à combler les failles de marché et les failles de gouvernement (modèle néolibéral), Mais l'économie sociale peut aussi agir sur le modèle de développement dominant en tant que révélateur de nouvelles attentes sociétales, et ainsi «monter la barre» des normes de performance en y intégrant le coût des externalités et en favorisant la construction conjointe des modèles logiques avec les principales parties prenantes (modèle partenarial). L'évaluation peut refléter un cadre logique d'interprétation basé sur un modèle explicatif de l'économie sociale en tant que réalité organisationnelle et institutionnelle distincte. Ainsi, les méthodes et les outils d'évaluation ne sont pas neutres. La définition de l'économie sociale et la vision de son rôle dans l'économie et la société conditionnent les référentiels d'évaluation. L'évaluation formate l'information de manière différenciée suivant le contexte organisationnel et institutionnel dans lequel elle prend place et suivant les attentes des décideurs et des acteurs à l'endroit de l'économie sociale. Mais, en retour, l'évaluation participe également Économie el Solidarités, uolunie 39, 1111l11érol, 2008 à la définition et au formatage de l'économie sociale. II reste encore à mieux comprendre l'articulation entre ces différents outils et l'interprétation qu'on fait de l'économie sociale. Cela aiderait à renforcer la réflexivité des acteurs de l'économie sociale sur leur propre action, mais le positionnement de cette forme d'économie eu égard aux pouvoirs publics, les bailleurs de fonds et l'opinion publique. Il s'agit donc d'un important chantier pour la recherche future, qui devrait mobiliser les milieux de la recherche et contribuer à les rapprocher des acteurs de l'économie sociale. Notes Nous remercions les membres de la Commission scientifique" Économie sociale et coopérative" du CIRIEC ainsi que les évaluateurs de la revue pour leurs commentaires sur des versions préliminaires de ce texte. Une version différente de ce texte est publiée en anglais chez PIE Peter Lang dans un ouvrage collectif du CIRIEC sous la direction de Marie J. Bouchard (BOUCHARD, 2010). 2 Une partie de cette recherche a été menée avec l'aide de Valérie Michaud, N'Deye Sine Tine et Sambou N'Diaye, étudiants au doctorat à l'Université du Québec à Montréal, et d'Élise Desjardins, professionnelle de recherche au CRISES. L:étude a été réalisée avec le soutien du Programme des chaires de recherche du Canada et du Fonds québécois de recherche Société et Culture. 3 Voir BOUCHARD et RICHEZ-BATTESTI Économie et solidarités. 4 Le MBA (Master of Business Administration) en exercice. S Voir le site du Global Reporting Initiative: «www.qlobatreportinq.orq/l-iome» 6 Voir le site: «www.aqrement-quebecois.ca» dans l'introduction du dossier dans ce numéro de la revue est une formation universitaire de 2° cycle pour cadres Bibliographie BOLTANSKI, Luc et Laurent THÉVENOT (1991).De la justification: deur, Paris, Gallimard. Les économies de la gran- BOUCHARD, Marie J. (dir.) (2010).The Worth of the Social Economy: An International Bruxelles, CIRJEC et PIE Peter Lang Publishers. Perspective, BOUCHARD, Marie J., Benoît LÉVESQUE et Julie ST-PIERRE (2008).«Modèle québécois de développement et gouvernance: entre le partenariat et le néolibéralisme? ». in Bernard ENJOLRAS (dir.), Régimes de gouverna11ce et services d'intérêt général, une perspeci ive int ernationale, Bruxelles, CIRIEC et PIE Peter Lang Publishers, p. 39-65. BOUCHARD, Marie J.,Gilles L. BOURQUE et Benoît LÉVESQUE (2001).«L'évaluation de l'économie sociale dans la perspective des nouvelles formes de régulation socio-économique de l'intérêt général », Cahiers de recherche sociologique, mars, p. 31-53. COMEAU, Yvan, André BEAUDOIN, Julie CHARTRAND-BEAUREGARD, Marie-Ève HARVEY, Daniel MALTAIS,Claudie ST-HILAIRE, Pierre SIMARD et Daniel TURCOTTE (2001). L'économie sociale et le plan d'action du S0111111etsur l'économie et l'emploi, Québec, Université Laval et ÉNAP, Centre de recherche sur les services communautaires. ENJOLRAS, Bernard (dir.) (2008).Régimes de gouvernance ct services d'intérêt général, une perspective internationale, Bruxelles, CIRIEC et PIE Peter Lang Publishers. EVERS, Adalbert et Jean-Louis LAVILLE (2004). The Third Sector in Europe, Cheltenham, UK, et Northampton, MA, États-Unis, Edward Elgar. Ero1101J1il'et Solidarités, Z1O!Jmll'39, 11U111fJ'O I, 2008 GADREY, Jean (paru en 2006). «L'invention de l'utilité sociale des associations en France: à la recherche de conventions, de régulations, de critères et de méthodes d'évaluation », Économie et solidarités, vol. 36, nO1, numéro de 2005, p. 7-26. GENDRON, Corinne (2006).Les rapports de responsabilité sociale et de développement durable des entreprises financières d'économie sociale. Une analyse préliminaire, Montréal, UQAM, Chaire de responsabilité sociale et de développement durable, n" 10-2006. HERMAN, Robert D. et David O. RENZ (1998). «Nonprofit Organizational Effectiveness: Contrasts Between Especially Effective and Less Effective Organizations », Nonprofit Management and Leadership, vol. 9, n'' 1, p. 23-38. Institut de formation en développement économique communautaire _ IFDEC (1992). Le développement économique co 111 111 una uïaire et les CDÉC montréalcises. Colloque d'orientation/ évaluation. Cahier du participant, Colloque tenu à l'Université du Québec à Montréal, Institut de formation en développement économique communautaire. JALBERT, Yves, Lyse PINAULT, Gilbert RENAUD et Ricardo ZUNIGA (s.d.). Epsilon. Guide d'auto-évaluation des organismes communauuiires, Montréal, Centre québécois de coordination sur le sida. JETTE, Christian, Yvan COMEAU et Lucie DUMAIS (2001).Guide des dimensions éoaluaiioes des organismes et des entreprises Œuvrant dans les services de proximité, Projet de coopération France-Québec en économie sociale et solidaire, Annexe au Rapport final, mai. En ligne: <www.unites.uqam.ca/econos/index.htm>. Consulté le 9 mai 2007. LEVESQUE, Benoît (2004). Le modèle québécois et le développement régional et local: vers le néolibémlisme et lafin du modèle québécois ?, Montréal, UQAM, Cahier du CRISES, nO0405. PATENAUDE, Jacques (2004). La mesure de la rentabilité sociale, Sorel-Tracy, CLD du BasRichelieu, disponible sur le site du RQIIAC. En ligne: <www.rqiiac.qc.ca/fr/liens_outils/ doc/rentab_sociale.DOC>. PERRET, Bernard (2010).«Evaluer l'économie sociale: l'enjeu de la lisibilité d'une rationalité complexe ». Économie et solidarités, vol. 39, na 1, section «Rubriques », PERRON, Gérard (2008). L'évaluation de la vie coopérative, Montréal, Editions Sr-Martin. Réseau québécois des OSBL d'habitation _ RQOH (2007). Le soutien communautaire prutiques à reconnaître, Montréal, Réseau québécois des OSBL d'habitation. Des SPEAR, Roger (2010). «Social Accounting and Social Audit in the United Kingdom », in Marie J.BOUCHARD (dir.), The Worth of the Social Ecouomu : An International Perspective, Bruxelles, CIRIEC et PIE Peter Lang Publishers. THEVENOT, Laurent (2006). L'action au pluriel: Sociologie des régimes d'engagement, Découverte. Économie et Solidarités, volume 39, 111/J1zéro1, 2008 Paris, La l' Evaluation de l'économie sociale au Brésil: une analyse des pratiques dans certaines ONGI MAURfclO SERVA Professeur à l'Université fédérale de Santa Catarina Président du CIRIEC-Brésil [email protected] CARO LINA ANDION Professeur à l'Université de l'État de Santa Catarina Chercheur au CIRIEC-Brésil [email protected] LUCILA CAMPOS Professeur à l'Université du Vale do Itaja! Chercheur au CIRIEC-Brésil [email protected] ERIKA ONOZATO Professeur à la Faculté Internacionale de Curitiba Chercheur au CIRIEC-Brésil [email protected] RÉSUMÉ e Le but de cet article est d'offrir un panorama sur la façon dont la question de l'évaluation est actuellement traitée par les organisations qui travaillent dans le champ de l'économie sociale au Brésil. Pour ce faire, le travail de terrain a été réalisé sur un échantillon de convenance de 11 organisations: huit associations et trois fondations. La méthodologie de collecte des données utilisée est de type qualitatif: on a réalisé des entretiens semi-structurés avec des dirigeants et des membres des 11 organisations entre les années 2006 et 2008. L'étude permet de cond ure que les formes sous lesquelles l'évaluation a été perçue et pratiquée révèlent les rapports de forces qui ont une influence dans la propre configuration institutionnelle du domaine des ONG - plus affecté par le gouvernement et les bailleurs de fonds, et moins par les bénéficiaires et la communauté. ABSTRACT e The aim of this paper is to provide an overview of the way in which the issue of evaluation is currently treated by organizations in the field of social economy in Brazil. To provide this overview, field research was conducted through a convenience sample of eleven organizations: eight associations and three foundations. The methodology of data collection was qualitative: it was conducted through semi-structured interviews with leaders and mcmbers of the eleven organizations between the years 2006 and 2008. The study concludes that the ways in which evaluation was perceived and practiced reveals a power game that influences institutional organizations in the NGO sector. Such power relations favor government and donors, rather than beneficiaries and the community. RESUMEN e El proposito de este articulo es ofrecer un panorama sobre la forma en que los organismos que trabajan en el campo de la economîa social en Brasil consideran actualmente la evaluacion. Para ello se realizo un trabajo de campo sobre una muestra intencional de once organizaciones : ocho asociaciones ytres fundaciones. Para la recolecciôn de datos fue utilizada una metodologfa cualitativa: entre 2006 y 2008 se llevaron a cabo entrevistas semiestructuradas con los dirigentes y miembros de las once organizaciones. El estudio permite conduir que las formas bajo las que se percibe y se practica la evaluacion revelan un juego de fuerzas que influye en la configuraciôn institucional especîfica del campo de las ONG, mas afectado pOl' el gobierno y los donantes que por los beneficiarios y la comunidad. e_ INTRODUCTION Le but de cet article est d'offrir un panorama sur la façon dont la question de l'évaluation est actuellement traitée par les organisations qui travaillent dans le champ de l'économie sociale au Brésil. Au cours des dernières années, le thème de l'évaluation a occupé une large place dans les discussions des acteurs politiques dans le pays, l'évaluation étant comprise comme un instrument pour l'accroissement de la transparence dans les organisations de l'économie sociale et du contrôle de ces dernières de la part de la société. Dans ce travail, nous ne considérons pas cette interprétation comme un présupposé. Au contraire, nous cherchons à comprendre le sens qui est attribué à l'évaluation, comment elle est utilisée et quelles sont les conséquences de cette pratique dans et hors du champ de l'économie sociale. Nous entendons l'évaluation comme la «détermination de valeur ou de mérite d'un objet évalué» (Worthen, Sand ers et Fitzpatrick, 2004, p. 35). Dans ce sens, l'évaluation sera examinée comme un « traducteur» qui exprime la vision que la société et les acteurs mêmes de l'économie sociale ont de cette dernière et qui reflète les modes de régulation ou de gouvernance dominants (Bernier, Bouchard et Lévesque, 2003). Pour ce faire, il convient tout d'abord de définir ce que nous entendons par «économie sociale». Cette expression n'a pas au Brésille même sens qu'en Europe et dans les pays de langue française. Une définition qui résume bien ce que l'on entend dans ces pays par l'univers d'organisations qui forment cette «nouvelle économie sociale» pour utiliser une expression du Québec - est celle donnée par Favreau (2005). Selon cet auteur, ces organisations (qu'il s'agisse d'associations, de coopératives ou de mutuelles) représentent des initiatives, en tant que manifestations de l'action collective, qui visent à «entreprendre d'une autre manière ». Favreau affirme que cette définition considère les trois dimensions de ces initiatives sans donner de priorité à aucune, à savoir la dimension sociale (action collective), la dimension économique (entreprendre) et la dimension politique (d'une autre manière). L'action collective a trait à la nécessité de travailler conjointement qui surgit dans les demandes sociales, que celles-ci soient socioéconomiques, sociopolitiques, socioculturelles ou Économie et Solidarités, volume 39, numéro 1, 2008 socioenvironnementales, «Entreprendre» est lié au caractère économique de ces initiatives qui vont au-delà du marché, sans toutefois l'exclure; on prend ici en compte l'hybridation des formes de régulation économique de même que les différentes formes dentreprenariat. L'expression «d'une autre manière» signifie que de telles initiatives partent de multiples projets sociopolitiques qui visent à promouvoir la transformation sociale. Dans le cas du Brésil, historiquement, une séparation bien nette existait entre l'univers qui comprend les coopératives (de divers types) et les autres organisations à but non lucratif (spécialement les fondations et les associations) qui forment le champ de l'économie sociale. Dans ce sens, on perçoit la prédominance d'une conception chez ce second groupe qui se voit comme un «troisième secteur» axant principalement son action sur les sphères sociale et politique, tout en laissant la fonction économique au second plan. Ce clivage trouve des éléments de réponse dans la genèse et dans la trajectoire de ce champ, comme nous le verrons plus tard, qui se structure d'abord en se basant sur un modèle de l'assistance sociale et, plus tard, à l'époque de la dictature, en adoptant une attitude «d'opposition» à l'État. Dans les deux cas, l'influence de l'idéologie chrétienne et des courants politiques tiers-mondistes a été décisive, de sorte que les questions économiques ont été reléguées à un second plan ou simplement oubliées (Revel et Roca, 1998). C'est pourquoi lorsqu'on parle d'économie sociale au Brésil, c'est le travail des organisations à but non lucratif qui vient aussitôt à l'esprit, ce qui ne signifie pas que celles-ci n'aient pas un rôle économique important. En 2004, l'Institut brésilien de géographie et de statistiques (IBGE) a publié un rapport sur les associations et fondations à but non lucratif qui travaillent en faveur de l'intérêt général dans le pays. Selon l'IBGE (2004), il existe environ 276000 organisations de ce type et, entre 1996 et 2002, le nombre de postes de travail dans ces organisations a augmenté de 48 %, passant de 1039925 à 1541290. Les emplois créés dans ce secteur de l'économie correspondent à 5,5 '/'o de tous les emplois créés dans le pays. En 2003, le gouvernement fédéral a créé le Secrétariat national d'économie solidaire (SENAES), sous l'égide du ministère du Travail. On reproduit ci-dessous la définition de l'économie solidaire du SENAES et du ministère du Travail: L'économie solidaire est une façon différente de produire, vendre, acheter et échanger ce qui est nécessaire pour vivre. Sans exploiter les autres, sans vouloir prendre un avantage, sans détruire l'environnement. En coopérant, en renforçant le groupe, chacun pensant au bien de tous et à son bien propre. Dans ce sens, on entend par économie solidaire l'ensemble d'activités économiques de production, distribution, consommation, épargne et crédit, organisées sous la forme d'autogestion (Ministère du Travail, 2009). Quand il met sur le même plan l'économie solidaire et l'autogestion, il est évident que le ministère du Travail considère l'économie solidaire comme Économie ei Solidarités, oolume 3.9, numéro 1, 2008 un ensemble d'organisations beaucoup plus petit que celui composé par les organisations à but non lucratif qui travaillent en faveur de l'intérêt général au Brésil. Tout en tenant compte des particularités du contexte brésilien, cet article s'intéressera à l'ensemble des organisations que l'on appelle couramment ONG dans le pays. Il est important de relever, cependant, que cet ensemble n'est pas homogène; il constitue un espace de cohabitation (mais aussi de dispute) entre différents groupes qui luttent pour obtenir une reconnaissance et affirmer leur position. Il y a beaucoup de typologies qui cherchent à définir la composition du domaine des ONG au Brésil. Pour ce travail, nous adopterons la typologie élaborée par Andion (2007) qui identifie cinq groupes principaux: ClO les ONG anciennes, fondées pour la plupart pendant la période de la dictature militaire (1964-1985), et liées aux mouvements sociaux traditionnels (mouvement syndical, associations de quartier, communautés ecclésiales de base, pastorales de l'Église catholique); • les ONG plus récentes, liées aux «nouveaux mouvements sociaux» (mouvement féministe, mouvement écologiste, mouvement noir, etc.); • les ONG plus récentes, créées par des techniciens et professionnels qui ne sont pas liées aux mouvements sociaux; mais • les fondations et instituts, qui sont, pour la plupart, créés par des entreprises ou liés au mouvement d'investissement social privé; • les organisations philanthropiques, dont un grand nombre sont aussi liées à l'Église et qui ont comme but de développer des activités d'assistance sociale. Dans cette recherche, le travail de terrain a été réalisé sur un échantillon de convenance de 11 organisations: huit associations et trois fondations. Parmi les associations, quatre peuvent être caractérisées comme plus anciennes, deux sont de type plus récent, plus professionnalisées et sans liaison avec les mouvements sociaux, et deux sont philanthropiques. Parmi les trois fondations,l'une d'elles a été créée par un groupe de citoyens, alors que les deux autres l'ont été par de grandes entreprises (l'une privée et l'autre publique) dans le but de développer un investissement social privé dans le cadre du mouvement de responsabilité sociale corporative. Toutes ces organisations ont plus de dix ans de fonctionnement et ont leurs sièges centraux dans les régions Sud et Sud-Est. La méthodologie de collecte des données utilisée est de type qualitatif: nous avons réalisé des entretiens semi-dirigés avec des dirigeants et des membres des 11 organisations entre les années 2006 et 2008. Comme cette étude porte sur l'analyse des méthodes d'évaluation utilisées par ces ONG, leur sens et leurs formes d'application, les questions qui l'ont guidée sont les suivantes: Quels sont les méthodologies et instruments d'évaluation principaux appliqués dans ces organisations? Quels sont les objectifs de cette Économie et Solidarités, volume 39, numéro L, 2008 évaluation? Quelle est l'influence des différentes parties prenantes (stakeholders) dans ce processus? Quel est l'impact de cette évaluation sur l'augmentation de l'imputabilité (accountability) des ONe? En somme, nous cherchons à comprendre quelles sont les conceptions théoriques répandues dans la littérature et dans le contexte institutionnel de l'économie sociale au Brésil et comment l'évaluation est perçue et utilisée par les membres de ces organisations. Pour ce faire, le plan de la recherche s'est structuré en deux temps. Nous avons d'abord examiné quelques modèles d'évaluation parmi les principaux relevés dans la littérature sur ce thème au Brésil et qui sont utilisés actuellement à l'échelle nationale. À partir de cette collecte ont été choisis quatre modèles- qui respectaient les critères suivants: 1) l'importance au plan institutionnel ainsi que le rayonnement des actions dans le champ de l'économie sociale des organisations qui ont publié et recommandé les modèles; 2) la variété des secteurs d'activité des organisations affectées par ces modèles; 3) l'étendue de l'utilisation des modèles dans l'univers des associations et dans les diverses régions du pays. L'analyse de ces modèles a permis d'établir les principales normes d'évaluation et de relever certains postulats de recherche qui ont alors été examinés dans un deuxième temps, lors de l'analyse des 11 cas. Parmi les 11 organisations analysées dans cette étude, 10 réalisent une évaluation sur demande externe de leurs bailleurs de fonds; leurs membres connaissent les quatre modèles cités ci-dessus et reconnaissent qu'ils utilisent des éléments et des logiques d'évaluation présents dans au moins deux de ces modèles. Le texte qui suit présente les résultats de la recherche en deux parties. Dans la première partie sont discutées les particularités de la constitution du domaine des ONe au Brésil, au moyen de l'analyse de la relation qui s'établit entre l'État et la société civile organisée. Ce préambule se justifie car nous cherchons à comprendre l'influence des modes de gouvernance sur la signification de l'évaluation et sur les façons dont elle a été appliquée dans le contexte national. La seconde partie consiste, quand à elle, en l'examen des modèles cités précédemment, en relevant les ressemblances et différences entre les conceptions, les intentions et dans les propres cadres de ces modèles, ce qui permet de mettre en évidence les diverses façons dont l'évaluation est conçue. Dans cette partie, nous analysons également les principales incidences qu'ont les pratiques d'évaluation en cours dans les ONe étudiées. Il s'agit de mieux comprendre la signification et la praxis de l'évaluation dans ces organisations, comment elle est utilisée et dans quelle mesure elle répond aux défis qui se posent aujourd'hui pour le champ de l'économie sociale brésilienne. Ainsi, à partir de l'examen de ce que les bailleurs de fonds et les ONe entendent et pratiquent comme évaluation, nous aspirons à montrer que les stratégies et les mécanismes utilisés n'ont pas seulement un rôle technique et fonctionnel, mais expriment aussi le moment, la place et la valeur que l'économie sociale occupe dans la société brésilienne actuellement. Économie et Solidarités, volume 39, numéro 1, 2008 MODES HISTORIQUES DE GOUVERNANCE ET PRATIQUE DE L'ÉVALUATION DANS LE DOMAINE DES ONG La relation de l'État avec le tiers secteur au Brésil, tel qu'est communément appelé le champ des ONG, se structure historiquement à partir de différents régimes de gouvernance. Nous entendons par gouvernance la configuration des lois, structures, ressources, règles administratives et modèles institutionnels qui programment et conditionnent les services publics et leur régulation (Bernier, Bouchard et Lévesque, 2003). La définition de service public est ici plus ample que l'État, puisqu'elle considère d'autres acteurs qui travaillent et ont une influence dans l'espace public. Dans cette section, nous montrerons comment les transformations dans ces modes de gouvernance vont interférer dans la conception des formes et des mécanismes d'évaluation utilisés dans le champ des ONG au cours du temps. Premièrement, à l'époque où le Brésil est une colonie de la Couronne portugaise, on ne peut que constater la prédominance du régime d'assistance, dans lequel les services publics sont peu effectifs et les services associatifs ne sont pas financés par l'État, mais par des groupes clientélistes. C'est au cours de la période connue comme celle de la Vieille République ou des coronels (1889-1930) que surgissent les premières œuvres de bienfaisance qui ont pour ambition d'offrir une aide spontanée et désintéressée aux pauvres. Les Sanias Casas de Miseric6rdia (<< saintes maisons de la miséricorde», institutions religieuses d'assistance sociale et hospitalière), les Irmandades (confréries religieuses catholiques) et les Tiers-Ordres, parallèlement à d'autres institutions religieuses non catholiques, assumaient un rôle prépondérant dans l'accueil de la majorité de la population qui restait à la marge des politiques sociales de base. Ainsi, on peut dire que l'idée de société civile se voyait alors rattachée aux notions de philanthropie et de charité, les pauvres (une grande partie de la population) étant perçus non pas comme des citoyens détenteurs de droits, mais comme les objets de la bonté de leurs bienfaiteurs. Dans cette période, l'évaluation ne se pose même pas comme une valeur, étant donné que les services rendus se rapportent à des aides spontanées motivées par un sentiment de solidarité de la société envers les exclus. Le régime d'assistance va s'institutionnaliser à partir de la décennie de 1930, durant les gouvernements successifs du président Getûlio Vargas, à la faveur de l'adoption des premières lois de l'assistance sociale dans le pays, qui, pour la plupart, sont encore en vigueur aujourd'hui. Le décret-loi 525 de 1938 stipule que le service social a pour but de «diminuer ou supprimer les déficiences ou la souffrance causées par la pauvreté ou par la misère ». La législation ne va pas rompre avec la tradition de l'action sociale comme charité; au contraire, comme l'affirme Landim (2002), elle va contribuer à définir le rôle des associations comme complémentaire, légitimant ainsi la conception d'une société civile sous la tutelle de l'État. Économie et Solidarités, oolume 39, numéro 1, 2008 Cela se confirme par la création du Conseil national d'assistance sociale (CNAS), dont le but est de préciser les contours des «institutions à caractère privé» qui vont offrir de tels services et d'étudier leur situation pour l'octroi de subventions accordées par l'État. De cette façon, le gouvernement reconnaît l'existence de 'tes institutions et se pose comme principal arbitre dans leur régulation. Ce passage se renforce avec la loi 3071 de 1935 qui va reconnaître l'utilité publique de ces organisations. Pour conserver le titre, il y a l'obligation de présentation annuelle d'un rapport circonstancié des services rendus à la collectivité. C'est à ce moment qu'apparaît une ébauche d'instrument d'évaluation de ces organisations, prélude à une « reddition de comptes» au gouvernement. L'aspect non mercantile de ces initiatives sera essentiel pour les caractériser (puisqu'elles ne peuvent pas rémunérer les postes de direction et de conseil) et obtenir de l'État l'exemption d'impôts. La loi 3577 de 1959 va exempter les organismes de bienfaisance et d'assistance sociale de la contribution pour la sécurité sociale, ce qui sera ratifié par la Constitution de 1988. Mais, pour cela, elles doivent se conformer aux exigences de la loi, c'est-à-dire ne pas être engagées dans une exploitation mercantile, ni dans une distribution des bénéfices ou de participation au résultat économique final. On constate donc que, dans un premier temps, l'influence du régime d'assistance sur la composition du champ de « l'économie sociale» brésilienne est très forte, ce qui peut en partie expliquer pourquoi la sphère économique et la préoccupation pour la gestion soient absentes de l'ordre du jour des acteurs. Il est intéressant de voir à quel point cette conception subsiste encore de nos jours, comme on peut le noter dans le code civil brésilien qui est entré en vigueur en 2003. Les associations y sont définies comme des «personnes juridiques de droit privé, ayant une finalité non économique, considérées comme des associations ou fondations (suivant la forme de constitution) », Cependant, à la fin des années 1970 et dans les années 1980, cette conception d'une «économie sociale d'assistance» suscite des tensions, à un moment où d'autres régimes de gouvernance commencent à émerger dans le pays. À cette époque, on perçoit deux mouvements qui se produisent concomitamment et qui vont reconfigurer la dynamique des relations de l'État et de la société civile en jetant les bases d'un régime participatif ou de la coproduction (Paes de Paula, 2005). D'abord, on observe un mouvement dans la sphère de la mobilisation sociale caractérisé par l'émergence dans différentes régions du pays de mouvements sociaux d'un type nouveau. Parmi les plus importants figurent les communautés ecclésiales de base (CEB), les associations d'habitants et les groupes faisant partie de ce qu'on appelle les «nouveaux mouvements» en milieux rural (d'agriculture familiale, des sans-terre, etc.) et urbain (écologistes, mouvement noir, féministe, etc.). Ce phénomène sera reconnu par plusieurs auteurs comme un jalon dans la transition démocratique et le renforcement de la société civile brésilienne. Scherer-Warren et Krischke (1987) décrivent ces organisations comme des initiatives collectives qui luttaient contre les façons Économie et Solidarités, volume 39, numéro 1, 200S traditionnelles de faire de la politique. Elles se distinguent des anciens mouvements sociaux par leur lutte pour la reconnaissance et l'insertion sociale du «peuple brésilien», terme entendu ici comme ayant un sens plus large que la notion de classe ouvrière. Ce « peuple» va rechercher son affirmation citoyenne en tant que sujet détenteur de droits. Pour Dagnino (2002), l'apparition de ces mouvements va redéfinir la notion de citoyenneté et permettre la construction d'une dimension proprement publique dans la société brésilienne, montrant que tous ont le droit d'avoir des droits. C'est à cette époque que seront créées des ONG d'un nouveau type, différentes des organisations philanthropiques et d'assistance jusqu'alors prédominantes. Ces organisations, au début, ne se reconnaissaient pas comme des ONG, mais seulement comme des centres de conseil aux mouvements naissants: « il n'y avait pas chez leurs agents la représentation d'appartenance à un univers institutionnel particulier» (Landim, 2002, p. 18). Il est important de souligner qu'au-delà du soutien des nouveaux mouvements sociaux, elles subsistaient dans leur grande majorité grâce aux financements issus de la coopération internationale. Les ONG internationales avaient besoin de partenaires locaux capables d'élaborer des projets et de suivre leur exécution, afin de promouvoir le développement dans les pays du Sud. Des partenariats ont alors été établis, faisant des ONG locales des « médiatrices» entre les mouvements, les organisations populaires et les bailleurs de fonds externes et permettant le maintien d'une relative autonomie par rapport au gouvernement. C'est grâce à cette relation que se renforce l'influence des ONG internationales tant en termes idéologiques qu'en termes de transfert de méthodologies et de pratiques de gestion vers les organisations locales. Cet aspect est important pour comprendre l'origine de l'utilisation de modèles et de méthodologies d'évaluation développés par les ONG internationales comme la Fondation Kellogg, l'OXFAM, Avina, Misereor, entre autres, qui aujourd'hui encore sont largement utilisés dans le pays. Dans ce processus de mobilisation, on relève l'implication croissante du secteur privé dans les questions sociales à partir des années 1990. De plus, on note l'adoption de pratiques comme l'investissement social privé, le bénévolat corporatif et la responsabilité sociale, jusqu'alors peu présents dans la sphère privée du pays. Dans sa dimension institutionnelle, ce mouvement a favorisé la création de diverses fondations et instituts de la part de grandes entreprises privées, visant à développer des projets sociaux, souvent en partenariat avec les ONG. En outre, il a engendré la constitution d'organismes de représentation ayant un rayon d'action national et même international, comme dans le cas du Groupe d'Instituts, Fondations et Entreprises (GIFP) et de l'institut Ethos de responsabilité sociale". L'autre mouvement important dans les années 1990 se réfère au changement dans la propre architecture institutionnelle (légale, organisationnelle et décisionnelle) de l'État qui découle de la Constitution de 1988. D'importants mécanismes de garantie de participation populaire ont été insérés dans la Économie et Solidarités, uotunte 39, numéro 1, 2008 nouvelle Constitution, tels que des plébiscites et des référendums populaires, des audiences publiques, une tribune populaire et des conseils publics. Ces derniers vont permettre la participation de la société civile à la conception et à la mise en œuvre des politiques publiques sectorielles et de défense de droits. En outre, la Constitution va faire des municipalités des entités fédératives autonomes et augmenter la part des tributs fédéraux transférée de l'Union vers les États de la fédération et les municipalités. Dotées d'autonomie politique et fiscale, les municipalités vont assumer des fonctions en termes de politiques publiques, de leur propre initiative ou par l'adhésion à un programme proposé par un autre niveau plus large. Tout cela va donc stimuler la décentralisation entre les différents niveaux de gouvernement et élargir les responsabilités des organisations et des pouvoirs locaux (Arretche, 1999). Tous ces mécanismes vont augmenter les possibilités de contrôle social. Dans ce sens, l'évaluation des organisations de la société civile qui travaillent dans la sphère publique cesse d'être une attribution du seul gouvernement pour devenir aussi celle de la société, dans une perspective de renforcement de la démocratie. Néanmoins, malgré des avancées dans la constitution, on connaît les limites de l'application de ces mécanismes" pour ce qui est d'un réel changement dans les pratiques de l'évaluation. Dans la majorité des cas, les conseils ont peu de représentativité et leurs membres, en plus de manquer de formation, ne disposent pas d'instruments réels (ni financiers, ni institutionnels) pour agir de manière proactive. Cette tendance de consolidation d'un régime plus participatif dans la relation entre État et société civile va s'observer, à la fin des années 1990, dans un mouvement visant l'instauration d'un nouveau régime de gouvernance, inspiré par des principes néolibéraux. Durant cette période - correspondant aux deux mandats du président Fernando Henrique Cardoso -, on assiste à une restructuration de l'État au Brésil qui s'institutionnalise avec le Plan-cadre de la réforme de l'appareil de l'État viabilisé par l'amendement constitutionnel de 1996 (Bresser Pereira, 1998). Cette réforme incluait l'ajustement fiscal, ainsi que la «modernisation» de l'administration publique, au moyen de la décentralisation. Dans l'ensemble de la réforme se détache l'impulsion donnée au transfert d'activités auparavant réservées à l'État vers la sphère privée et non gouvernementale, avec les privatisations et la création de nouvelles instances, comme les agences régulatrices et exécutives, les organisations sociales (OS) et les organisations de la société civile à caractère public (OSCIP). Le cœur de la réforme était que seules les activités stratégiques seraient conservées par l'État, alors que les autres (notamment les services sociaux et scientifiques) seraient transférées vers la sphère non gouvernementale. Le transfert d'attributions auparavant exclusives de l'État vers la société civile est vu comme une stratégie pour diminuer les coûts et accroître l'efficience des services publics. L'accent est mis ici sur l'efficacité opérationnelle des organisations de ce que l' on appelle le «tiers secteur». Économie ft Sotiâarité«, volume 39, 1111711l'ro l,20GB C'est dans cet esprit que la loi des OSCIP (loi 9.790 de 1999) a été adoptée; elle est considérée comme un premier pas vers un «nouveau cadre légal» du champ des ONG au Brésil, car elle apporte une série de changements dans la définition même de ces organisations et dans les formes de leur relation avec l'État. Selon la nouvelle réglementation peuvent être reconnues comme OSCIP les organisations qui travaillent dans les secteurs traditionnels de la philanthropie (assistance sociale, éducation et santé), mais aussi dans d'autres secteurs comme les activités culturelles, la conservation du patrimoine historique et artistique, la préservation et la conservation de l'environnement ou la promotion du bénévolat. D'un autre côté, la qualification comme OSCIP distingue les organisations qui ont effectivement une finalité publique de celles qui ont pour but de ne bénéficier qu'à leurs membres. De cette manière, le titre d'OSCIP élargit l'éventail des organisations qui peuvent être reconnues légalement comme celles qui sont orientées vers la promotion de l'intérêt public. Une autre nouveauté apportée par la loi est la possibilité de rémunérer les dirigeants. Cette possibilité traduit la reconnaissance de la trajectoire de professionnalisation du domaine et vient d'une certaine manière rompre avec la vision auparavant dominante d'un secteur se consacrant seulement à l'aide spontanée. Dans ce sens, l'État reconnaît pour la première fois que le tiers secteur est aussi un espace économique dans la mesure où les gestionnaires peuvent être rémunérés pour leur travail. Cependant, il convient de souligner que la qualification comme OSCIP ne contient aucune indication sur l'immunité ou l'exemption fiscale et qu'elle ne remplace pas la Déclaration d'utilité publique fédérale, délivrée par le ministère de la Justice, ni le Certificat de fins philanthropiques, émis par le Conseil national d'assistance sociale (CNAS). Par conséquent, afin de pouvoir jouir de bénéfices fiscaux, les organisations ne doivent pas rémunérer les dirigeants, conseillers, associés, fondateurs, bienfaiteurs ou équivalents. Finalement, un autre aspect essentiel de la loi est l'introduction d'un nouvel instrument juridique qui règle la relation entre l'État et les organisations reconnues comme OSCIP: le Contrat de partenariat". Cet instrument introduit de nouvelles formes de gestion des relations de partenariat entre l'État et les organisations, en élargissant les mécanismes de fiscalisation et en modifiant les formes traditionnelles d'évaluation. Pour établir le Contrat de partenariat, l'organisation doit élaborer un plan de travail contenant: 1) les objectifs et les résultats prévus, avec des délais d'exécution et un chronogramme de déboursement; 2) les critères objectifs d'évaluation de performance; 3) la prévision de recettes et de dépenses. D'autre part, la reddition de comptes doit être effectuée directement auprès de l'organe partenaire, au moyen d'un rapport de l'exécution de l'objet du Contrat de partenariat contenant: 1) la comparaison entre les objectifs et les résultats respectifs; 2) un bilan détaillé des recettes et des dépenses; 3) la publication d'un bilan de l'exécution physique et financière. Économie cf Solidarités, volume 39, numéro l, 2008 En outre, les conseils de politiques publiques doivent être consultés avant la conclusion des contrats de partenariat et participer à la Commission d'évaluation des résultats (Castro, 2008). Cette réflexion sur le changement de cadre légal n'a pas beaucoup avancé après le changement de gouvernement et, au cours des mandats du président Lula (de 2003 jusqu'à aujourd'hui), il n'y a pas eu de continuation de cette politique. Cela se reflète aussi dans la faible adhésion des organisations de la société civile à la loi, celles qui ont opté pour la reconnaissance comme OSCIP étant relativement peu nombreuses". Cependant, on constate que la discussion sur la nécessité de se doter d'instruments de régulation afin d'augmenter la transparence du secteur est encore au centre des débats. On relèvera, par exemple, la mise sur pied, au début de 2008, par le parlement fédéral d'une commission parlementaire d'enquête (CPI, Comissâo Parlameniar de Inquérito) sur les ONG pour investiguer des opérations de financement ayant eu lieu entre le gouvernement fédéral et certaines ONG au cours de la période allant de 2003 à 2006. Ce survol historique permet de conclure que la composition du champ des ONG dans le pays a pris de nouveaux aspects au fil du temps, dans la rencontre de ces organisations avec les différentes sphères sociales (État, société civile et marché), dont elles se différencient et, en même temps, se nourrissent. Ces transformations se reflètent dans les différentes identités que ces organisations vont revêtir au cours du temps, dans les rôles qu'elles vont choisir de jouer et dans les relations qu'elles vont entretenir avec les autres sphères sociales. Dans le cas du Brésil, ces transformations sont guidées par différents régimes de gouvernance qui se succèdent historiquement (de l'assistance, de la coproduction et néolibéral). De tels régimes ne se substituent pas l'un à l'autre, ils cohabitent aujourd'hui et se heurtent sur différents points, donnant lieu à un référentiel régulateur confus, en plus de modes de fonctionnement institutionnels assez distincts entre les ONG, comme l'illustre l'évaluation de l'Association brésilienne des ONG (ABONG8): Le cadre légal qui règle le fonctionnement des organisations de la société civile est complexe et fragmenté. Il ne répond pas aux demandes des diverses organisations, ni même aux demandes du gouvernement. Il ne renforce pas l'action de la société civile organisée et n'établit pas de relation de transparence avec l'État qui permette un contrôle de la société civile sur les politiques publiques et un accès réellement démocratique aux ressources publiques (Da Paz, 2005, p. 23). Tout ce processus va influencer la façon dont l'évaluation est comprise et appliquée dans le pays. Comme nous l'avons vu précédemment, la valorisation de l'évaluation dans le tiers secteur va se réaliser, principalement, à partir d'une conception de contrôle hiérarchique de la part de l'État et des bailleurs de fonds. Malgré la présence de mécanismes de contrôle social de la part de la société civile, ceux-ci sont encore, dans la pratique, peu effectifs et peu utilisés. Bien Économie et Solidarités, volume 39, numéro 1, 2008 qu'avec le temps on accorde de plus en plus d'importance à l'évaluation, cette importance est liée principalement à la notion de contrôle des résultats. Cette tendance est plus évidente dans les dernières décennies avec la professionnalisation et l'institutionnalisation du domaine et une plus grande exigence de transparence de la part des ONe. Mais est-ce qu'elle se manifeste aussi dans la pratique des ONG? Nous pensons que oui et pour vérifier cette hypothèse, la recherche a été réalisée en considérant aussi bien les modèles d'évaluation que la pratique des ONG. Les résultats sont présentés ci-après. ANALYSE DE L'ÉVALUATION DANS LES ONG ÉTUDIÉES Après avoir examiné les quatre modèles adoptés par les bailleurs de fonds, force est de constater qu'il n'y a d'homogénéité ni dans les méthodologies, ni dans les grilles d'indicateurs proposés pour l'évaluation des ONG, malgré certaines ressemblances. La «culture de l'évaluation» paraît récente dans ce domaine et elle est très influencée par les demandes des bailleurs de fonds qui sont, dans la majorité des cas, à la fois bailleurs de fonds et responsables de ces évaluations. Ainsi, nous jugeons important de mettre en évidence deux aspects concernant l'élaboration des modèles examinés: le point de vue à partir duquel les modèles sont conçus et leur origine institutionnelle. Même si tous les modèles analysés déclarent comme demandeurs de l'évaluation les acteurs internes et externes à l'organisation, il est clair que chaque modèle est, en général, conçu du point de vue externe. La logique qui préside à l'établissement des échelles d'évaluation est celle des bailleurs de fonds (que ce soit l'État ou les entreprises) plutôt que celle des autres acteurs concernés, y compris les membres de l'organisation. Le programme est l'échelle privilégiée du processus d'évaluation, les approches centrées sur l'administration? et sur les buts" étant les plus communes (Worthen, Sanders et Fitzpatrick, 2004). L'organisation et son renforcement n'apparaissent comme objets d'évaluation que dans un seul modèle et, même dans celui-ci, le programme est indiqué comme le niveau principal d'évaluation. Le bailleur de fonds accorde les ressources à l'organisation pour qu'elle mette en œuvre certains programmes et il cherche alors à con trôler l'efficience, l' efficaci té et l' effecti vi té dans l' utilisa tion des ressources qui leur sont allouées. Dans cette logique, le fonctionnement de l'organisation et même les effets de son action sur les communautés peuvent être ignorés dans le processus d'évaluation. Les principaux objets de l'évaluation sont les activités, les effets et le rendement définis dans le programme initial (celui-ci étant souvent utilisé comme instrument d'évaluation et de suivi). En ce qui concerne l'origine institutionnelle des modèles, nous constatons que trois d'entre eux ont été élaborés par des ONG (deux nationales et une internationale) qui ont un profil de bailleurs de fonds ou un rôle de formation dans le secteur. Bien que l'État établisse de plus en plus de partenariats avec les Économie et Solidarités, ooiume 39, numéro 1, 2008 associations et les fondations - en créant des mécanismes pour encadrer cette relation -, les institutions publiques ne semblent pas encore exercer le rôle de protagonistes dans la production de modèles d'évaluation des ONG et dans leur diffusion. Cela peut s'expliquer par la forte influence qu'ont encore les organismes internationaux de financement sur la production de connaissances et la diffusion de méthodologies à suivre dans le domaine. Malgré les bonnes intentions déclarées dans les modèles étudiés, la prédominance d'une vision unilatérale des bailleurs de fonds peut restreindre le potentiel de leur application. L'évaluation peut alors être vue comme étrangère aux besoins propres de l'organisation et de son public cible, comme s'ils ne se l'étaient pas appropriée. Sur la base de ces constatations, on arrive à certaines hypothèses de recherche que nous prenons comme références pour l'analyse des données recueillies dans les organisations étudiées, présentée dans les prochains paragraphes: GI GI s Étant donné que les modèles formels point de vue externe à l'organisation, application peut ne pas engendrer une car elle est réalisée beaucoup plus pour qu'aux besoins de l'organisation. d'évaluation sont conçus d'un l'évaluation qui découle de leur révision des pratiques des ONG, répondre aux exigences externes Au-delà des modèles formels d'évaluation proposés par les bailleurs de fonds, il doit exister d'autres espaces sociaux, d'autres pratiques et d'autres instruments qui sont utilisés par les ONG afin de promouvoir la réflexivité sur leur pratique, y compris l'évaluation. L'application des modèles formels d'évaluation paraît ne pas exiger la participation réelle d'acteurs des communautés visées (public) par l'action de l'organisation. Ainsi, l'application de ces modèles ne contribue pas nécessairement à augmenter l'imputabilité des ONG. Comme nous l'avons déjà relevé, nous avons analysé les données concernant les processus d'évaluation de huit associations et trois fondations. L'annexe présente une brève caractérisation de chacune des organisations étudiées, en décrivant leur genèse et la période qu'elles traversent actuellement, de façon à ce que les lecteurs aient une meilleure compréhension de leur dynamique institutionnelle. Nous présenterons les résultats de l'analyse à partir des trois propositions de recherche mentionnées ci-dessus, en essayant de donner une vision générale des processus d'évaluation examinés. Dans 10 des organisations analysées, la demande principale d'évaluation formelle est externe à l'organisation et les bailleurs de fonds sont les plus intéressés par les résultats de l'évaluation. Seule une ONG (l'organisation 8 dans l'annexe) ne correspond pas à cette situation, parce qu'elle ne reçoit aucun financement de la part d'organismes externes. Dans cette dernière, J'évaluation est demandée par la direction. Pour toutes les autres organisations, le processus d'évaluation systématique est établi par les bailleurs de fonds qui imposent Économie el Solidllrités, VOlll711i' 39, 11111111'ro1, 2008 leur modèle spécifique. Ces modèles visent principalement à évaluer le programme financé par chaque agent fournisseur de ressources qui s'intéresse prioritairement à l'analyse des activités (approche centrée sur l'administration) et aux résultats atteints par le programme (approche centrée sur les objectifs). L'exécution de l'évaluation dépend des procédures établies par chaque bailleur de fonds: il y a des cas où l'évaluation est faite seulement par des représentants du bailleur de fonds, dans d'autres cas, elle est réalisée par les membres de l'organisation et parfois elle est mixte, impliquant des représentants externes et des membres internes. Dans la moitié des cas, la participation de la communauté touchée par l'action de l'organisation est prévue dans l'étape de collecte des données. Dans ces cas, les communautés participent aux étapes initiales des processus évaluateurs sur les projets/activités, mais presque jamais à l'étape finale, soit lors de l'analyse des données recueillies et de leur restitution. Les données sont collectées par le bailleur de fonds ou par l'organisation ou encore par les deux ensemble, ensuite elles sont remises au bailleur de fonds et retournent rarement aux bénéficiaires. La transmission des résultats de l'évaluation aux membres de l'organisation est faite de manière non systématique et, dans de nombreux cas, il n'y a pas de transmission des informations à la communauté, ce qui réduit le degré d'utilisation générale des résultats dans un processus de réévaluation plus ample de l'organisation. Les processus d'évaluation analysés ont souvent un caractère sommatif (Scriven, 1967) et sont centrés sur l'évaluation du mérite des projets/activités eu égard à des critères jugés importants (principalement par les bailleurs de fonds), à travers un examen de leurs résultats par rapport à ce qui avait été prévu. Par conséquent, l'accent est moins mis sur une évaluation formative, ou de processus, qui produirait des informations utiles pour l'amélioration de la gestion du programme. Il est important de souligner que, dans tous les cas, il existe des mécanismes internes d'évaluation de la gestion tels que le système de reddition de comptes, le rapport annuel et des indicateurs de résultat plus consolidés. Cependant, l'utilisation de ces informations est encore restreinte, étant donné qu'elles sont principalement destinées aux bailleurs de fonds externes. D'un autre côté, on perçoit que cette tendance s'accompagne d'évaluations plus utilitaires (Hou se, 1983) dans lesquelles la valeur est attribuée à l'impact global du programme sur la clientèle ciblée. Dans ce sens, «le plus grand bien est celui qui va bénéficier au plus grand nombre d'individus» (Worthen, Sanders et Fitzpatrick, 2004, p. 109). Il s'agit d'attribuer un plus grand poids à des indicateurs objectifs qui décrivent plus les «quantités» atteintes que la «qualité» des programmes. De cette façon, même si les indicateurs sont mixtes, la priorité est accordée aux indicateurs de type quantitatif qui décrivent de la manière la plus objective possible les résultats atteints. Les instruments d'évaluation les plus employés sont l'analyse documentaire et le questionnaire. Économie et Solidarités, volume 39, numéro L, 2008 Dans le cas d'un engagement plus évident de la communauté dans la collecte de données, les entretiens et les groupes de discussion sont aussi employés. La périodicité observée est en général la même que celle du programme. Pour certains programmes plus longs, l'évaluation exigée par le bailleur de fonds prévoit des étapes trimestrielles ou semestrielles pour la collecte de données, mais en général la périodicité des moments d'évaluation est annuelle. L'analyse des données recueillies dans les organisations vient donc confirmer la première proposition de la recherche: l'évaluation qui découle de l'application de modèles formels établis par les bailleurs de fonds paraît ne pas engendrer de révision systématique des pratiques de ces organisations. Dans certaines organisations (deux associations anciennes, une plus récente et une fondation), les membres ont déjà conscience du fossé existant entre les exigences des bailleurs de fonds et ceux de l'organisation. Selon eux, il est nécessaire de concevoir et d'appliquer d'autres formes d'évaluation de l'action de leur organisation. Toutefois, cela ne veut pas dire que ces organisations ont déjà mis en œuvre des processus d'évaluation plus consistants. Cette constatation nous renvoie à la seconde proposition de la recherche. Toutes les ONC étudiées font, d'une certaine manière, une évaluation interne de l'impact de leur action; cependant, ces évaluations ne sont pas systématiques et peuvent être caractérisées comme «spontanées». De plus, sauf pour l'ONC dans laquelle iln'y a pas de demandeurs externes d'évaluation, le processus d'évaluation est encore centré sur les principales activités de l'ONC, ce qui ne permet pas d'avoir une vision plus systémique de l'organisation et de sa planification. Dans une ONC ancienne liée aux mouvements sociaux urbains (l'organisation 3 dans l'annexe) et qui se trouve insérée dans une dynamique de professionnalisation et de changement de rôle, nous avons relevé l'existene d'un processus de construction d'un modèle d'évaluation qui correspond à son secteur spécifique d'action. Cette construction a débouché sur des indicateurs qualitatifs concernant les différentes lignes de son action. En considérant les indicateurs comme des références, l'organisation prétend évaluer les résultats et les impacts de son action. Il s'agit de l'effort le plus avancé d'élaboration d'une méthode d'évaluation d'impact à travers l'initiative de la propre organisation que nous ayons observé dans cette recherche. Outre l'évaluation centrée sur des programmes, les processus «spontanés» suscitent la tenue de réunions périodiques (en général hebdomadaires ou mensuelles) des membres de l'organisation. Cela constitue une pratique généralisée dans les ONC. Lors de ces réunions, les acteurs discutent des activités en cours, des difficultés et problèmes affrontés, etc. Cependant, l'absence de systématisation et de diffusion des informations ainsi que la fragmentation des sujets traités (en général plus opérationnels) rendent difficile une plus grande réflexivité sur l'action de l'organisation. Un membre de l'une des ONC Économie et Solidarités, volume 39, numéro 1, 2008 plus récentes qui travaille pour le développement de l'agriculture familiale a déclaré que «l'évaluation qui est faite dans ces réunions produit des effets non significatifs pour le groupe, en raison du manque de systématisation, et elle ne contribue pas à la transparence de notre action, car le résultat de nos discussions et les analyses des données que nous envoyons aux demandeurs externes ne sont pas transmis comme il le faudrait à la communauté». D'un côté, le manque de systématisation fait que les membres peuvent difficilement appréhender toute la richesse des informations qui sont traitées; d'un autre côté, les discussions et les évaluations réalisées n'ont pas souvent de répercussions chez les usagers. On doit aussi relever la résistance de certaines ONG à l'implantation d'une systématisation de leur évaluation interne, ainsi qu'à la divulgation de certains résultats de leurs évaluations. Dans deux des fondations (les organisations 9 et 10 dans l'annexe), des efforts significatifs sont faits pour réaliser des évaluations internes formatives, avec une forte interaction entre les membres de l'organisation et de la communauté. Dans ces deux cas, les membres répondent aux exigences des bailleurs de fonds (principalement des entreprises) en envoyant toutes les informations demandées, tout en construisant un espace spécifique, basé sur leurs propres valeurs, dans lequel l'évaluation formative est réalisée. Ainsi, en se référant au second présupposé de la recherche, on peut constater que - au-delà des modèles formels d'évaluation proposés par les bailleurs de fonds -, il Y a d'autres pratiques qui sont utilisées par les organisations pour réfléchir sur leur action, mais ces mécanismes paraissent encore limités sur le plan de la consolidation, de la systématisation, de la publicisation et de l'utilisation des informations. En ce qui concerne le troisième présupposé de la recherche - celui visant la relation entre la participation des acteurs des communautés, l'évaluation et l'imputabilité des organisations -, l'analyse des données a montré que l'application des modèles formels d'évaluation exigée par les demandeurs externes ne contribue pas à une augmentation significative de l'imputabilité des organisations étudiées. Dans l'application des modèles, les acteurs de la communauté participent à la collecte de données principalement comme fournisseurs d'informations. Plus souvent qu'autrement, l'analyse de ces informations et, par conséquent, leur interprétation ne sont pas communiquées. Parmi les 11 organisations analysées, seulement quatre (les organisations 3, 4,9 et 10 dans l'annexe) réalisent l'évaluation avec une réelle participation de la communauté. Ces organisations profitent de l'évaluation pour promouvoir une forte interaction entre leurs membres et les acteurs de la communauté, en encourageant la discussion des activités prévues dans les programmes. Il s'agit d'initiatives propres des organisations, indépendamment des modèles établis par les bailleurs de fonds. Toutefois, ces initiatives demeurent centrées sur l'évaluation de programmes, n'engendrant pas d'évaluation globale de l'organisation directement avec la communauté. Économie et Solidarités, volume 39, numéro I, 2008 Malgré cette absence d'évaluation globale de l'organisation, nous aimerions souligner certains aspects que nous jugeons importants dans ces quatre organisations qui interagissent avec la communauté dans leurs processus évaluateurs. Dans les organisations 3 et 4 (voir annexe) ont lieu des processus de professionnalisation de leurs membres et de changement de rôle. Les deux sont des ONG anciennes liées aux mouvements sociaux et qui travaillent pour le développement communautaire. Le changement de rôle a été causé par l'élargissement des partenariats avec l'État, ce qui les a amenées à œuvrer directement dans le cadre de politiques publiques axées sur le développement socioéconomique. Ces ONG se sont ainsi mises à internaliser de plus en plus les contradictions présentes dans l'action publique basée sur la logique des organisations gouvernementales. Pour faire face à ces contradictions, les membres de ces ONG ont adopté certains critères comme guides pour le développement communautaire: l'autonomie (tant des membres de l'organisation que des acteurs de la communauté), la négociation, la recherche de consensus et le jugement éthique de l'avancée politique (citoyenneté et pratique de la démocratie) de la communauté. Ces critères ont une influence sur l'évaluation - quoique celle-ci se concentre encore sur les projets et ne promeuve pas de retour systématique des informations à la communauté -, dans la mesure où les membres des ONG essayent de réaliser des processus additionnels d'évaluation allant au-delà de ceux exigés par les bailleurs de fonds, en mettant l'accent sur une plus grande interaction avec les bénéficiaires. Dans les deux ONG, l'évaluation est effectuée par ses propres membres. L'organisation 9 est une fondation créée par des citoyens (voir l'annexe) qui, bien qu'elle ne soit pas liée aux mouvements sociaux, a toujours été marquée par une action politique intense en faveur de certaines valeurs émancipatoires (transformation sociale, amélioration de la qualité de vie des bénéficiaires, autonomie des individus). Malgré le processus d'institutionnalisation que l'on observe dans cette fondation, la force des valeurs émancipatoires traduites dans la pratique politique de leurs membres favorise la recherche constante d'une communication accrue avec la communauté. Dans ce sens, la recherche du consensus avec les bénéficiaires de l'action de la fondation finit par influencer le processus d'évaluation, qui est exécuté par les membres de l'organisation. L'organisation 10 (voir l'annexe) est une fondation créée par une grande entreprise de l'industrie minière. Dans cette organisation, la recherche de l'autonomie de ses membres est marquante. Bien qu'elle fasse partie d'une grande entreprise et que cela l'oblige à réaliser une évaluation de type sommative et quantitative, les membres de la fondation arrivent aussi à exécuter, de leur propre initiative, une évaluation qualitative caractérisée par l'interaction avec la communauté dans l'étape de collecte des données, quoique sans la régularité voulue et sans systématisation claire. La pratique de la discussion et de la négociation avec les bénéficiaires des projets est un processus récurrent dans cette organisation. Il existe ainsi une ferme intention d'évaluer le développement de la communauté visée par les projets, dans une perspective de jugement éthique des actions. Économie et Solidarités, volume 39, numéro 1, 2008 Nous pouvons affirmer que la recherche de l'autonomie de ses membres est, de fait, l'une des raisons les plus importantes pour pratiquer une évaluation avec la participation de la communauté. Comme dans les trois cas précédents, ce sont les membres internes de l'organisation qui assument le processus évaluateur. À la lumière de ces constatations, nous pouvons conclure que dans la majorité des cas étudiés, l'évaluation est encore vue et pratiquée beaucoup plus comme un instrument de contrôle externe à l'organisation que comme un moyen de promotion de l'apprentissage. Il y a peu d'organisations qui s'approprient l'évaluation et qui traduisent les modèles proposés par les bailleurs de fonds, en l'utilisant comme moyen de renforcement institutionnel. Force est donc de constater que le sens de l'évaluation, les types et les instruments utilisés avec les ONG reflètent les tendances relevées dans les modes de gouvernance analysés précédemment. Nous nous attarderons à cet aspect dans les considérations finales présentées ci-après. CONSIDÉRATIONS FINALES Nous jugeons que les aspects relevés ci-dessus sont cruciaux pour mieux comprendre les défis qui se posent actuellement aux processus d'évaluation des ONG au Brésil. Ce thème revêt une importance capitale dans un contexte national où les ONG acquièrent de plus en plus d'influence en tant qu'agents actifs dans la gestion des politiques publiques et la prestation de services publics. Dans ce contexte, il y a une augmentation de la pression et du contrôle social pour que les ONG soient plus transparentes et rendent des comptes. La question que généralement la société se pose est celle-ci: Les mécanismes de régulation qui existent aujourd'hui dans et hors du secteur sont-ils suffisants pour garantir cette transparence? Dans l'opinion publique, on relève la présence de deux visions opposées en réponse à cette question". La première affirme a priori le caractère positif de ces organisations en se basant sur leurs valeurs et leurs buts, comme si le simple fait d'appartenir à la société civile organisée était une garantie d'effectivité. La seconde se méfie des ONG en général- particulièrement de celles qui reçoivent un financement de l'État - et les voit comme de simples appareils créés afin de profiter de manière malhonnête des fonds publics. Les deux visions souffrent d'une absence de rigueur et reflètent surtout un manque de discussion plus ample sur la relation entre l'État et la société civile dans un projet démocratique. Nous tenterons de remédier à cette lacune en commençant par émettre deux principaux constats: d'une part, la prédominance dans ce secteur de normes d'évaluation imposés par les demandeurs externes; d'autre part, et ce constat est lié au précédent, le manque d'initiatives consistantes de la part des ONG elles-mêmes pour implanter des modalités d'évaluation, formelles ou informelles, qui permettraient d'augmenter leur imputabilité. Économie et Solidarités, volume 39, numéro 1, 2008 S'agissant du premier constat, nous avons vu que les modèles d'évaluation ont été construits historiquement «de l'extérieur vers l'intérieur» du secteur, sans qu'il y ait une concertation entre les différents acteurs concernés. En d'autres mots, les formes sous lesquelles l'évaluation a été perçue et réalisée révèle le rapport de forces qui intervient dans la propre configuration du domaine des ONG (plus affecté par le gouvernement et les bailleurs de fonds et moins par les bénéficiaires et la communauté). Ainsi, les modes de régulation dans le domaine ont été conçus historiquement dans une perspective de «contrôle hiérarchique» de l'État sur les ONe. D'un autre côté, la plupart des modèles d'évaluation utilisés sont développés et proposés par les bailleurs de fonds, en vue de vérifier l'obtention des résultats attendus par le programme et de s'assurer de l'utilisation optimale des ressources allouées. Dans les deux cas, les ONG sont vues beaucoup plus comme «exécutrices» de programmes que comme participantes actives de la planification et de la formulation de ces programmes. L'évaluation peut donc être interprétée ici comme un moyen de révéler l'importance, le mérite et la valeur de l'objet évalué (Worthen, Sanders et Fitzpatrick, 2004), en étant un traducteur de la vision que la société a du domaine des ONe. Celui-ci semble encore vu plus comme un espace de réponse aux défaillances de l'État (et du marché) que comme un secteur qui se justifie en soi, car il produit des richesses (monétaires et non monétaires) et des innovations sociales. Nous pensons que, dans la mesure où cette vision se transforme, et cela dépend beaucoup de la configuration que le secteur des ONG va prendre dans les prochaines années, la notion elle-même d'évaluation et sa pratique peuvent se redéfinir. Si la préoccupation cesse d'être axée seulement sur la «fonctionnalité» d'un tiers secteur à la remorque de l'État et du marché, l'évaluation peut être vue non seulement comme un instrument de contrôle, mais aussi comme un moyen de construction et de diffusion d'apprentissage sur le secteur. De cette manière, les acteurs auront aussi le souci d'utiliser l'évaluation pour décrire l'impact que ces organisations ont effectivement sur la société, parce qu'ils considèrent que leur action est indispensable au développement de cette dernière. Nous nous acheminons alors vers le deuxième constat, soit celui qui concerne l'inexistence de motivations chez les ONG à augmenter leur imputabilité. Nous pensons que ce processus exigerait - plus que les initiatives individuelles aujourd'hui existantes - des efforts collectifs, de façon à créer des schémas de régulation partagés et légitimés par les différents acteurs sociaux et susceptibles d'être rattachés à des mécanismes d'incitation, au-delà d'une structure institutionnelle de soutien" (Lloyd et Las Casas, 2005). Bien qu'il ait certaines limites, comme cela a été démontré précédemment, le titre d'OSCIP a été développé dans cet esprit et a créé de nouveaux mécanismes visant à rendre les pratiques d'évaluation et de reddition de comptes des ONG plus effectives». Économie et Solidarités, volume 39, numéro 1, 2008 Cependant, comme cela a été relevé par Lloyd et Las Casas (2005) - qui ont mené une recherche sur diverses expériences d'autorégulation d'ONG dans le monde -, les variables externes seules ne sont pas suffisantes pour accroître l'imputabilité de ces organisations. Il est important que les expériences d'évaluation prennent en compte les besoins et les attentes des différentes parties prenantes: les bailleurs de fonds, les gouvernements, les gestionnaires, les techniciens, les bénévoles, les bénéficiaires et la communauté. L'évaluation doit avoir un sens pour les divers acteurs concernés par l'organisation, en particulier pour les membres des ONe et pour leurs utilisateurs, qui, dans la majorité des cas, sont ceux qui ont le moins bénéficié de leurs effets. Cela exige de promouvoir un véritable dialogue entre les intéressés, aussi bien au sein des ONG que dans l'ensemble de ce secteur. Dans cette perspective, l'évaluation commence à être perçue non seulement comme un instrument de réponse aux demandes externes, mais aussi comme un moyen de favoriser le renforcement institutionnel aussi bien des organisations que du domaine. L'évaluation est conçue comme un vecteur important pour déterminer la valeur de l'action des ONe en cherchant à comprendre, au-delà des « résultats atteints», leur réel impact sur le changement social, économique, politique et environnemental des régions. Nous pensons que ce sera dorénavant un aspect crucial pour le développement du secteur, étant donné l'importance que la question de la « transparence» des ONe a prise dans l'opinion publique brésilienne. Annexe Caractérisation des ONG étudiées Type d'organisation Caractérisation Organisation 1 Fondée en 1989, dans l'État de Santa Catarina, dans la région sud. Elle a comme but principal la promotion de l'agriculture familiale. ~ONG a été créée par des agriculteurs liés au nouveau syndicalisme rural et au mouvement de la Pastorale de la Terre (Église catholique progressiste). ~organisation est passée par une étape de professionnalisation de ses membres et de ses processus, reflétant le changement de son rôle: de la priorité à la coopération agricole, qui a marqué le début de ses activités, à la participation à des programmes de développement local, certains en partenariat avec l'État. ONG ancienne liée au mouvement de l'agriculture familiale en milieu rural. Organisation 2 ONG ancienne liée au mouvement de l'agriculture familiale en milieu rural. Fondée en 1982, dans l'État de Santa Catarina, à l'initiative d'un groupe d'intellectuels de gauche, avec l'appui de membres de l'Église catholique progressiste. Au début de ses activités, l'ONG s'est consacrée au travail politique et éducationnel de formation de leaders parmi les agriculteurs et au renforcement des mouvements populaires dans leur région. Dans les années postérieures, le processus de professionnalisation s'est renforcé, l'ONG assumant de nouvelles activités liées aux politiques publiques de développement municipal, ce qui s'est traduit par un changement de rôle toujours en cours. Économie et Solidarités, volume 39, numéro 1, 2008 Organisation 3 ONG ancienne liée aux mouvements sociaux urbains. Organisation 4 ONG ancienne liée aux mouvements sociaux urbains. Organisation 5 ONG récente non liée aux mouvements sociaux et œuvrant en milieu urbain. Organisation 6 ONG récente non liée aux mouvements sociaux et œuvrant en milieu rural. Fondée en 1961, dans l'État de Rio de Janeiro, dans le but de travailler pour le développement communautaire dans la région sud-est du Brésil. l'axe central d'action de l'ONG était l'éducation politique pour le développement auprès de groupes sociaux économiquement défavorisés. Avec la «redémocratlsation- du pays, l'ONG a investi dans la professionnalisation et opéré un changement de son rôle social, en se mettant à soutenir les processus de participation aux politiques publiques de réduction de l'inégalité sociale et de développement (habitation, assainissement, création d'emplois et de revenus). Fondée en 1979, dans l'État de Rio de Janeiro. Elle travaille en faveur du développement communautaire à travers la mise en œuvre de projets d'organisation syndicale, d'organisation politique des travailleurs, surtout des femmes, et d'éducation populaire. À partir des années 1990, l'organisation a débuté, comme pour les organisations vues ci-dessus, un processus de changement de son rôle, en travaillant de plus en plus comme entité partenaire d'organes gouvernementaux pour l'exécution de politiques publiques dans le domaine de l'éducation. Créée en 1995, dans l'État du Parana, région sud du Brésil, dans le but de promouvoir l'agriculture familiale basée sur l'agroécologie. Ses fondateurs sont des techniciens et des agriculteurs participant au mouvement de l'agroécologie. Pendant les premières années de son existence, l'organisation s'est concentrée sur l'activité de commercialisation de la production agricole de ses associés. Cependant, à partir de 2001, l'institutionnalisation croissante de son profil organisationnel a conduit à l'abandon de la commercialisation au profit de l'action de représentation politique des intérêts des producteurs liés à l'agroécologie, en franchissant les frontières de l'État du Paranà et en œuvrant à une échelle nationale. L:ONG est devenue l'un des principaux interlocuteurs des partisans de l'agroécologie auprès de l'État, notamment dans la sphère du gouvernement fédéral lors des négociations pour l'établissement de la législation qui réglemente l'agriculture agroécologique dans le pays. Fondée en 1996, dans l'État de Santa Catarina, par un petit groupe d'agriculteurs ayant comme but primordial de créer des alternatives économiques sur leur territoire, marqué par des difficultés de transport et de communication avec les autres régions de l'État et par son relatif retard économique face à celles-ci. Dans la première phase de l'histoire de l'organisation, il s'agissait surtout de viabiliser la production et la commercialisation de la production du groupe d'agriculteurs fondateurs. Dans un deuxième temps, outre de soutenir la production et la commercialisation, l'ONG a avancé dans l'activité de bonification d'une partie de ces produits, en créant des marques et en prenant en charge des actions mercantiles plus complexes dans une perspective intermunicipale. Actuellement, l'ONG s'investit dans le processus d'institutionnalisation, en travaillant au développement territorial par la participation directe aux politiques publiques et par le renforcement politique d'institutions locales. Économie et Solidarités, volume 39, numéro 1, 2008 Organisation 7 ONG de type philanthropique liée à l'Église catholique et œuvrant en milieu rural et urbain. Organisation 8 ONG de type philanthropique d'assistance sociale œuvrant en milieu rural. Organisation 9 Fondation créée par des citoyens et non liée à des mouvements sociaux. Fondée en Î 967, dans l'État de Santa Catarina, elle fait partie de l'archidiocèse de Florian6polis et c'est une entité membre de la Caritas brésilienne. Elle travaille, prioritairement, dans les 30 municipalités qui composent l'archidiocèse de Florian6polis pour promouvoir le contrôle social des politiques publiques, la mobilisation citoyenne, l'articulation de groupes du troisième âge et la Pastorale de la santé. En outre, elle organise et réalise des actions conjointes avec des mouvements et des groupes qui visent l'assistance sociale et la promotion et la défense des droits de la personne. Créée en Î 980, dans une ville de l'intérieur de l'État de Santa Catarina, par un groupe de femmes bénévoles qui avaient comme but la fondation d'une crèche, afin d'aider les communautés défavorisées de leur région. Au cours de sa trajectoire, l'organisation s'est éloignée graduellement de sa configuration originelle, en s'agrandissant physiquement, en assumant de nouveaux défis et activités, par exemple le travail avec des adolescents. Aujourd'hui, l'ONG compte trois bases physiques, s'occupe de 257 enfants de o à 6 ans et de Î 30 enfants et adolescents de 7 à Î 6 ans, outre 20 enfants dans le Programme d'éradication du travail infantile. Parmi les processus qui sont en train de transformer l'organisation, l'institutionnalisation est sans aucun doute l'un des plus évidents. D'une petite crèche, fondée à l'initiative d'un groupe de femmes, émerge une ONG qui a voix au chapitre sur la scène institutionnelle locale, ce dont témoigne le partenariat avec l'État dans divers projets éducationnels. Résultat de l'initiative d'un groupe de citoyens, résidant tous dans une municipalité de la région sud-est du Brésil. Ces citoyens ont créé la fondation en Î 995 dans le but de faire avancer un projet de développement communautaire et d'éducation au sein de leur municipalité. Après avoir affronté dans les premières années beaucoup de difficultés pour sa survie, l'organisation a pris à partir de Î 997 une nouvelle direction, en termes de gestion et de durabilité. Un ample processus de formalisation de ses activités, de recherche de partenariats avec d'autres organisations visant à réunir des fonds, principalement à l'étranger, et de divulgation systématique de ses opérations a été déclenché. Cette recherche consciente de l'institutionnalisation de l'entité caractérise jusqu'à présent la gestion de cette organisation. Cette dynamique socioéconomique a produit des résultats impressionnants: des conventions ont été signées avec plusieurs organes publics dans le domaine de l'éducation (ces conventions comptent pour 60 % de ses ressources), divers prix ont été reçus en reconnaissance de l'excellence de ses projets d'éducation pour les jeunes, dont l'un octroyé par la Banque mondiale. Actuellement, l'organisation opère dans plus de 60 municipalités avec Î 9 projets sociaux différents. Économie et Solidarités, volume 39, numéro 1, 2008 Organisation 10 Fondation créée par une entreprise. Organisation 11 Fondation créée par une entreprise. Créée en 1994, à l'initiative d'une grande entreprise de la branche de l'industrie minière située dans l'État de Minas Gerais, région sud-est du Brésil. L:entreprisefondatrice exploite et industrialise des minéraux dans cette région depuis plus de 60 ans et, en 1980, elle comptait déjà 30000 employés. La création de la fondation fait partie des actions de responsabilité sociale; notons que la motivation initiale pour la création de l'entité était de gérer des programmes créés en fonction des demandes sociales des communautés affectées par les opérations de l'entreprise. La fondation travaille dans 15 municipalités de la région, en offrant des programmes d'éducation environnementale dans les écoles, d'alphabétisation de jeunes et d'adultes, d'informatisation des écoles, de développement de communautés de base, entre d'autres. Créée en 1985 par un conglomérat financier qui a plus de cent ans d'existence et qui emploie actuellement plus de 75000 personnes au Brésil. Initialement, la fondation a eu une conception institutionnelle et opérationnelle pour travailler comme agence de financement de projets en science et technologie. Après 2003, la fondation a élaboré une planification stratégique, au moment où son action a été redirigée vers l'exécution de programmes tournés vers la création de revenus, le renforcement des filières dans des secteurs couverts par l'économie sociale et solidaire, l'éducation d'adultes et la création et réapplication de technologies sociales. Notes Texte original en portuguais. flIO 2 Le premier modèle (ROCHE, 2000) a été publié par l'OXFAM et recommandé par l'ABONG - Association brésilienne d'organisations non gouvernementales. Depuis 1958, l'OXFAM soutient et finance la mise en œuvre de projets sociaux dans toutes les régions du Brésil, en établissant des partenariats avec des organisations de la société civile. Le deuxième a été publié en trois volumes (NEMES, 2001 ; SESSIONS, 2001 ; SPINK, 2001) par l'ABIA - Association brésilienne interdisciplinaire de l'AlOS (sida). Cette association forme un réseau d'organisations ayant la finalité d'exercer le contrôle social des politiques publiques relatives à la prévention du sida à l'échelle nationale et elle a une influence significative sur les ONG qui travaillent dans le domaine de la santé au Brésil. Le troisième modèle (MARINO, 1998) a été publié par l'Institut Ayrton-Senna. Cet institut a été fondé en 1994 par la sœur du pilote Ayrton-Senna (décédé en 1994) et son but est de soutenir et de financer des projets de promotion sociale, principalement pour l'éducation des jeunes. l'lnstltut Ayrton-Senna soutient des ONG dans tout le pays et est devenue une référence dans le domaine de l'éducation des jeunes. Le quatrième modèle (CHIANCA, MARINO et SCHIESARI, 2001) a été publié par l'Institut Fonte qui offre des services visant le renforcement institutionnel des associations et des fondations au moyen de programmes de formation de gestionnaires d'ONG sur tout le territoire national. 3 Le GIFE est une entité à but non lucratif et à caractère associatif créée en 1995 par 25 organisations appartenant à de grands groupes économiques privés qui réalisent un investissement social au Brésil. Le GIFE compte actuellement sur un réseau de 81 entités associées, toutes liées à de grands groupes économiques nationaux et multinationaux. 4 L:lnstitut Ethos a été fondé en 1(:;98 par un groupe de chefs d'entreprise et de cadres du secteur privé dans le but d'approfondir les engagements de leurs entreprises envers la responsabilité sociale corporative. Il compte 1 049 entreprises associées, qui engendrent un volume d'affaires correspondant à environ 30 % du PIB brésilien et emploient environ un million de personnes. 5 Pour un approfondissement de cette discussion, voir ARRETCHE (1999) et FAURÉ (2005). Économie et Solidarités, volume 39. numéro 1. 2008 6 Avant la loi 9790 de 1999, la convention était le principal mécanisme d'opérationnalisation du transfert des ressources publiques vers les organisations de la société civile, l'enregistrement au Conseil d'assistance sociale étant obligatoire. Une autre alternative était le contrat, qui devait obéir aux dispositions de la loi 8.666, du 21 juin 1993 (Loi des appels d'offres). 7 D'après le cadastre officiel du ministère de la Justice, à but non lucratif avaient effectivement été reconnues Selon la recherche réalisée par l'IBGE, qui a relevé celles qui se sont qualifiées comme OSCIP jusqu'à univers. 8 Il s'agit d'une société civile à but non lucratif qui vise à « représenter et promouvoir l'échange entre les ONG engagées dans le renforcement de la citoyenneté, la conquête et la représentation des droits sociaux et de la démocratie" (Associçâo Brasileira de Organizaç6es Nâo Governamentais, ABONG, 2005 en ligne: «www.abonq.orq.br--j consulté le 20 octobre 2005). Fondée le 10 août 1991, l'ABONG regroupait, en 2004, 277 associées. 9 L:intérêt central est l'identification prennent les décisions. jusqu'au 20 octobre 2005, 3334 organisations comme OSCIP (Ministère de la Justice, 2005). en 2002 l'existence de 276000 organisations, présent représentent seulement 1,2% de cet et la réponse aux besoins d'information des administrateurs qui 10 Elles se concentrent sur la spécification d'objectifs et de finalités et sur la détermination qui permettent de vérifier s'ils ont été atteints. de mesures 11 La presse provoque un débat sur ce thème. Pour plus d'informations, voir: "ONG nâo é qoverno » (Une ONG n'est pas le gouvernement). In 0 Tempo, Belo Horizonte: 16/08/2007; «Associaçâo de ONGs defende "regras claras" para convênios com qoverno» (Association d'ONG défend des "règles claires" pour les conventions avec le gouvernement). In A Tarde, Salvador: 22/10/2007; "Fortes rebate critica de Dulci e defende CPI das ONGs" (Fortes repousse la critique de Dulci et défend la CPI des ONG). In A Tarde, Salvador: 16/11/2007; «Ministre defende ONGs e critica CPI" (Ministre défend les ONG et critique la CPI). In Diério do Nordeste, Fortaleza: 16/11/2007; «Oposiçâo quer CPI investigando fraudes" (Lopposltlon veut une CPI enquêtant sur les fraudes). ln Diério do Nordeste, Fortaleza: 17/07/2007; "CPI das ONGs investiga mais de 100 autoridades » (La CPI des ONG enquête sur plus de 100 responsables politiques). In Ullima Hora, Campo Grande: 13/04/2008; "CPI pede que Banco Central investigue ONGs suspsltas » (La CPI demande que la Banque centrale enquête sur des ONG suspectes). In tltüme Hora, Campo Grande: 16/04/2008;" PF vai intimar dirigentes de 60 entidades filantropicas » (La police fédérale va intimer des dirigeants de 60 entités philanthropiques). In Üttims Hora, Campo Grande: 14/03/2008. 12 Quelques exemples d'incitation/renforcement sont l'utilisation de certifications comme critère pour distribuer des fonds ou offrir des déductions fiscales, ou encore la fiscalisation par les organes compétents comme le ministère public, par exemple (LLOYD et LAS CASAS, 2005). 13 Signalons qu'aucune des organisations traitées dans cette recherche ne détient le titre d'OSCIP. Il serait, par conséquent, intéressant de faire un parallèle entre les cas étudiés ici et ceux d'ONG reconnues OSCIP pour vérifier s'il existe des différences importantes dans la pratique de l'évaluation. Bibliographie AGUILAR, M.J. et E. ANDER-EGG Vozes. (1994). Avaliaçiio de serviços e progrmnas sociais. Petr6polis, C. (2007). Atuaçiio das ONGs nas dinûmicas de desenuoluimento territorial eustentâuel no meio rural de Santa Catarina: os casos da APACO, do Centre Vianei de Ecucaçiio Populnr e da AGRECO, Thèse de doctorat soutenue dans le Programme interdisciplinaire en ANDION, sciences ARRETCHE, humaines, Florian6polis, M.S. (1998). «Tendências Université no Estudo fédérale de Santa Catarina. Sobre Avaliaçâo », Aoaliaçiio de poliiicas sociais - uma questiio em debate, Sâo Paulo, IEE/PUC-SP/CORTEZ. ARRETCHE, M.S. (1999). «Politicas Sociais no Brasil: descentralizaçâo rativo », Revista Brasiieira de Ciências Sociale, vol. 14, na 40, juin. Économie et Solidarités, volume 39, numéro 1, 2008 em um Estado fede- BERNIER, L., M. BOUCHARD et B. LÉVESQUE (2003). «Attending to the General Interest : New Mechanisms for Mediating Between the Individual, Collective and General Interest in Québec», Annale of Public and Cooperative Economies, vol. 74, n" 3, septembre. BRESSERPEREIRA, L.e. (1998).Reforma do Estado para a cidadania : a reforma gerencial brasileira 11aperspeciioa internacional, Sâo Paulo, Editora 34. CASTRO, L. (2008). «Entidades Consulté le 30 mars 2008. Filantr6picas CH AVES TEIXEIRA, A. (2003). Identidades no processo brasileiro de democratizaçâo, », En ligne: <www.uff.br/droit/artigos>. em construçâo : as organizaçëes nüo gooernamentais Sâo Paulo, FAPESP. CHIANCA, T., E. MARINO et L. SCHIESARI (2001).Desenuoloendo organizaçôes da sociedade civil, Sâo Paulo, Instituto Fonte. a culiura da aoaliaçiio em COHEN, E. et R FRANCO (1993).Aualiuçâo de projetos sociais, Rio de Janeiro, Vozes. DA PAZ, R (2005).«Organizaçôes nào-goverriamentais. Um debate sobre a identidade politica das associadas à ABONG ». Cadernos ABONC, n? 33. DAGNINO, E. (2002). «Sociedade civil, espaços püblicos e a construçâo democratica no Brasil: limites e possibilidades ». in E. DAGNINO (dir.), Sociedade Civil e Espaços Publicos no Brasil, Rio de Janeiro, Paz e Terra. DEN HART, RB et J'v DENHART (2000). «The New Public Service: Serving Rather than Steering », Public Administration Reoieio, vol. 60, n" 6, novembre-decembre. FAURÉ, YA. (2005). «Des politiques publiques décentralisées: entraves au développement local. Expériences brésiliennes », Revue Tiers Monde, vol. 181,janvier-mars. FAVREAU,L. (2005). «Qu'est-ce que l'économie sociale? Synthèse introductive Crises, Collection études théoriques, nOET0508, mai. », Cahiers du HOUSE, E.R (1983). «Assumptions Underlying Evaluation Models ». in G.F. MADAUS, M. SCRIVEN et D.L. STUFFEBEAM (dir.), Evaluation Models: View Points on Education and Human Services Evaluation, Boston, Kluwer-Nijhoff. Institut brésilien de géographie et statistique (2004).As [unâaçôes fins iucraiioos no Brasil, Brésil, IBGE. LANDIM, L. (2002).«Multiplas identidades das ONGs sidades, Sào Paulo, Peir6polis. », prioadas e aesociaçôes sem i11 S. Haddad (di 1'.), ONCs e Unioer- LÉVESQUE, B. (2003). «De la economia social a la economia solidaria y plural CRISES, Collection études théoriques, n'' ET0408, décembre. LLOYD,R et L. LAS CASAS (2005).NCO Self-regulation: Alliance Extra, décembre. », Cahiers du Enforcing and Balancing Accountability, MARINO, E. (1998).Manual de aoaiiaçâo de projetas sociais: uma [erramenia para aprendizagem desenuolinmenio de sua organizaçâo, Belo Horizonte, Instituto Ayrton Senna. e MINISTÉRIO DO TRABALHO (Brésil) (2009). En ligne: <www.mte.gov.br/ecosolidaria/ ecosolidaria_oque.asp>. Consulté le 27 septembre 2009. NEMES, M. (2001). «Avaliaçâo em saude : questôes para os programas Brasil », Coleçâo ABIA, vol. 1, Rio de Janeiro, ABIA. de DST/AIDS no PAES de PAULA, A.P. (2005). POl' uma 110vagestêio Püblica, Rio de Janeiro, FGV. RAMOS, M. (2006). Racionalidade nas organizaçôes do ierceiro seior: tensôes e implicaçôes para a aoaliaçào de programas sociais, Mémoire de maîtrise soutenu dans le Programme d'études supérieures en gestion sociale et travail, Brésil, Université de Brasilia. Économie et Solidarités, volume 39, numéro 1, 2008 REIS, L. (2001). A racionalidade substantiva na aoaliaçâo de projetee em ONGs: três cas os, Mémoire de maîtrise soutenu à l'École brésilienne d'administration publique, Rio de Janeiro, EBAPE. REVEL, M. et P.-J. ROCA (1998). «Les ONG et la question du changement», in J.-P. DELER et al. (dir.), ONG et développement: Société, économie et politique, Paris, Karthala. ROCHE, C. (2000). Avaliaçiio de impacta dos trabalhos de ONGs, Sâo Paulo, Cortez, OXFAM. ABONG, RYFMAN, P. (1998). « Urgence et développement: spécificité française et préfiguration d'une communauté d'ONG », in J.-P. DELER et al. (dir.), ONG et développement: Société, économie et politique, Paris, Karthala. I. et P.J. KRISCHKE (orgs.) (1987). Uma reooluçâo no coiidiano ? Os novos mooimentos soeiais na América do Sul, Sào Paulo, Brasiliense. SCHERER-WARREN, M. (1967). «The Methodology of Evaluation », in R.E. STAKE (org.) Curriculum Educational Research Association Monograph Series on Evaluation, n'' 1, Chicago, RandMcNally, p. 39-83. SCRIVEN, Evaluation, American SESSIONS, J. (2001). «Avaliaçào em HIV/AIDS: ABIA, vol. 2, Rio de Janeiro, ABIA. SPINK, P. (2001). «Avaliaçâo Rio de Janeiro, ABIA. WORTHEN, B., J. SANDERS democrâtica uma perspectiva : propostas et J. FITZPATRICK prâiicas, Sâo Paulo, Editora Gente. Économie et Solidarités, volume 39, numéro 1, 2008 e praticas interriacional », », Coleçào ABIA, (2004). Avaliaçêio de programas: Coleçào vol. 3, concepçôes e ~ Evaluer l'économie sociale: l'enjeu de la lisibilité d'une rationalité complexe INTRODUCTION Le développement de l'économie sociale passe par son évaluation. Au-delà de l'évidence d'une telle affirmation, il n'est pas inutile d'en comprendre les fondements et les implications. Tout d'abord, l'évaluation s'impose de plus en plus comme un outil de compte rendu, de pilotage et de légitimation de l'action collective, nécessaire au bon fonctionnement des sociétés démocratiques. Cette fonction légitimatrice est particulièrement utile dans le cas de l'économie sociale, compte tenu de sa faible visibilité et de son statut social mal assuré. Mais ce n'est pas tout. Sur un plan plus fondamental, l'évaluation et l'économie sociale procèdent d'un même état d'esprit, d'une même dissidence par rapport à la logique marchande et à la normalisation bureaucratique. L'évaluation peut en effet se définir comme un processus social de construction d'un jugement sur la valeur d'une action ou d'une activité. Elle est donc en rupture avec le présupposé économique d'une «naturalisation» de la valeur par son équivalent monétaire. De même, l'économie sociale se définit par le fait qu'elle intègre dans ses finalités ses effets non monétaires sur la société. Pour elle également, la valeur sociale d'une activité ne se réduit pas à sa valeur marchande. Les développements ci-dessous concernent principalement l'évaluation des actions publiques (politiques, programmes ... ). Or, l'économie sociale n'est pas une politique mais un ensemble de struc- Pour en savoir plus BERNARD PERRET Ingénieur, socioéconomiste et essayiste Conseil général de l'environnement et du développement durable, France bernard.perret@ developpement-durable.gouv. fr tures. On peut cependant considérer que le modèle de l'évaluation des actions est largement transposable à l'évaluation des structures (entreprises, organismes, etc.) en tant qu'elles sont des dispositifs d'action collective visant un ensemble de buts reliés au bien commun. En lien étroit avec la question de l'évaluation, on traite également de la problématique des indicateurs sociaux, considérés ici comme des dispositifs de mise en forme et de «mise en scène» de l'information. L'ÉVALUATION DES ACTIONS PUBLIQUES Préalables épistémologiques: information et jugement Avant de donner quelques pistes pour l'évaluation de l'économie sociale, il s'agit de poser quelques préalables épistémologiques. L'évaluation vise à fonder un jugement de valeur en vue de l'action, en se fondant sur des informations. Comment préciser ce lien entre information, jugement et action? Il convient tout d'abord de reconnaître que nos jugements sont largement déterminés par la nature des informations sur lesquels ils s'appuient. Amartya Sen utilise à ce propos la notion de «base d'information» (2000,p. 56; traduction libre): «Tout jugement sur une situation est déterminé par la "base d'informations" sur laquelle il s'appuie. Toute approche évaluative se caractérise par une base d'informations: l'information nécessaire pour porter des jugements dans le cadre de cette approche et - non moins important -l'information exclue du processus de jugement. Les exclusions informationnelles sont un constituant important d'une approche évaluative.» On serait tenté d'en déduire qu'un jugement sera d'autant plus complet et équilibré qu'il s'appuie sur une base d'information importante. Or, l'expérience montre que c'est loin d'être toujours le cas. Dans les faits, l'excès d'information est presque aussi nuisible que son absence. Nous sommes en permanence encombrés d'informations non pertinentes (le phénomène des «spams» en fournit une bonne illustration) qu'il nous faut écarter au prix de dépenses non négligeables de temps et d'énergie. Force est de reconnaître que toute information n'est pas bonne à prendre. L'un de ceux qui a le plus lucidement attiré l'attention sur ce phénomène est le Prix Nobel d'économie Herbert Simon: «Dans un monde où l'attention est une ressource majeure des plus rares, l'information peut être un luxe coûteux car elle peut détourner notre attention de ce qui est important vers ce qui ne l'est pas. Nous ne pouvons nous permettre de traiter une information simplement parce qu'elle est là» (Leca, 1993, p. 187). De là découle une construite et formatée en pective, on peut considérer de sélection, d'agrégation conséquence importante: l'information doit être vue de besoins spécifiques. Placés dans cette persl'évaluation et les indicateurs corrune des procédures et d'interprétation de l'information. Leur objectif Économie et Solidarités, volume 39. numéro 1. 2008 est d'attirer l'attention sur les informations importantes et de les «mettre en scène» de manière adéquate. Cette conception «constructiviste» de l'évaluation peut être mise en lien avec la conception de l'intelligence humaine qui émerge des avancées de la biologie et des sciences cognitives. Selon cette vision, le cerveau humain ne fonctionne pas comme un ordinateur mais comme un système autonome. Son fonctionnement et ses «routines» sont déterminés par l'histoire de ses relations avec son environnement. Nous n'absorbons pas toute l'information qui nous parvient, mais nous sélectionnons celle qui nous intéresse, en fonction de nos préoccupations pratiques, de nos croyances et de nos intérêts idéologiques. Qu'est-ce que l'évaluation % Les textes officiels définissent l'évaluation comme une activité de mesure des effets d'une action. Cette vision «positiviste» ne reflète pas la réalité des pratiques. Je préfère pour ma part la définition suivante, plus complexe mais plus exacte: «activité d'étude et d'analyse portant sur la mise en œuvre et les résultats d'une action publique, menée dans un cadre méthodologique et institutionnel (plus ou moins) formalisé dans le but de rendre des comptes ou d'améliorer cette action». Pour être plus précis, l'évaluation répond à quatre finalités principales: • rendre des comptes sur le «bon usage des fonds publics» (accountability); • décider sur une base plus rationnelle (dans une perspective stratégique ou dans le but plus immédiat d'optimiser l'affectation de ressources publiques) ; • se mobiliser, donner du sens à l'action; • partager des informations, faire converger des représentations. Les deux premières finalités sont celles auxquelles on pense le plus naturellement, et qui sont mises en avant dans les textes officiels. D'après mon expérience, les deux dernières (apprentissage, construction de représentations communes) sont les plus importantes en pratique. L'approche cognitive des politiques publiques (Muller et Surel, 2000) fournit un cadre pertinent pour appréhender le rôle de l'évaluation. Selon ce courant de pensée, les politiques publiques ne sont pas l'objet d'une décision rationnelle et centralisée d'un acteur politique souverain, mais le résultat d'interactions sociales au sein d'un système d'acteurs. Ces interactions donnent lieu à la production d'idées, de représentations et de valeurs communes qui permettent l'émergence d'actions collectives qui prennent parfois la forme de politiques publiques. Placée dans cette perspective, l'évaluation peut être vue comme un dispositif visant à optimiser les processus d'interaction et de connaissance qui «produisent» les politiques publiques. Économie et Solidarités, volume 39, numéro 1, 2008 L'évaluation comme processus institutionnalisé Pour assurer efficacement cette fonction de production d'un jugement collectif, l'évaluation doit être institutionnalisée. Par-delà la diversité des contextes politiques et des jeux d'acteurs, l'institutionnalisation de l'évaluation signifie essentiellement que: • l'évaluation est référée à des finalités explicites (un acteur légitime du système d'action doit indiquer pourquoi il souhaite une évaluation); • sa conduite relève d'une démarche de projet; • une médiation est instituée entre le niveau «scientifique» de l'évaluation et la sphère décisionnelle. C'est le rôle dévolu aux «instances d'évaluation», qui sont notamment responsables de l'élaboration collective d'un questionnement et de la mise en débat des conclusions; • le rapport d'évaluation «traçabilité », répond à une exigence de transparence et de L'élaboration d'un questionnement est une étape cruciale. Évaluer une politique, c'est d'abord la questionner. La formulation des questions évaluatives scelle le contrat passé entre les protagonistes de l'évaluation. Elle vise à établir un compromis, à fixer un langage commun entre les attentes opérationnelles des décideurs, gestionnaires ou acteurs, et les exigences d'une connaissance objectivée et distanciée. La sélection des questions est précédée d'une vaste réflexion collective sur les enjeux de l'évaluation, au regard des préoccupations opérationnelles et des jugements a priori sur le système ou l'action à évaluer. Il s'agit, en d'autres termes, de formuler un diagnostic et des hypothèses qui devront être mis à l'épreuve des faits. En tout état de cause, on ne devrait pas aborder la phase opératoire de l'évaluation (rassembler des informations, lancer de nouvelles enquêtes ou recherches, recruter des opérateurs ... ) avant d'avoir pris le temps de formuler de bonnes questions et, le cas échéant, identifié des éléments de réponse dans les stocks d'information et travaux d'étude immédiatement disponibles. Le terme «instance d'évaluation» désigne un lieu et une fonction plus qu'un dispositif type. Quels que soient l'ampleur de l'évaluation et son degré d'objectivité souhaité, la dimension collective du jugement doit être clairement marquée. C'est principalement par là que l'évaluation se distingue d'une inspection ou d'une expertise. Toute pratique sociale complexe doit être examinée à partir de différents points de vue. Sans prétendre à une représentation exhaustive de l'ensemble des points de vue possibles, l'instance d'évaluation doit en refléter la diversité. Il est important de préciser qu'elle n'est pas un lieu de négociation entre des groupes d'intérêt constitués, mais un lieu de croisement des regards, d'enrichissement des grilles d'interprétation, à partir d'un travail scientifique qui doit garder sa spécificité et son autonomie. F.rnl1n111ip pf r:;nlidnrifpç 7Jnl,I11,P iq l111111pm 1 ?nnR Outre son rôle dans l'élaboration du questionnement et la mise en débat des travaux d'étude, l'instance peut procéder à des auditions, à des visites de terrain, etc. En outre, une fois l'évaluation réalisée, elle a un rôle important à jouer dans la diffusion et l'explication de ses conclusions. Quelques problèmes de méthode Habituellement, on affecte à l'évaluation la tâche principale de mesurer les effets économiques et sociaux d'une action ou d'une activité. En pratique, les questions abordées par l'évaluation sont plus larges. Elles portent notamment sur: • la mise en œuvre (conformité aux textes, moyens et acteurs mobilisés ... ); • l'atteinte des objectifs (comment l'action évaluée); évolue le problème qui avait justifié • les effets propres (l'efficacité au regard des objectifs fixés); • les effets de système; • les mécanismes d'action (pourquoi et comment la politique agit); • l'influence du contexte (qu'est-ce qui, dans le contexte, conditionne mise en œuvre satisfaisante et l'atteinte des objectifs?) une Les indicateurs jouent un rôle important mais non exclusif dans l'évaluation. Rappelons qu'un indicateur est un chiffre qui renseigne sur un phénomène ou son évolution; on peut aussi y voir un « dispositif d'agrégation optimale de l'information». Sa fonction est d'attirer l'attention sur un fait ou une tendance importante. En général, il ne permet pas à lui seul de porter un jugement sur la réussite d'une action. Toute évaluation repose sur des chiffres, mais les indicateurs occupent un place très variable comme point d'appui des conclusions: ils répondent parfois par eux-mêmes aux questions de l'évaluation, mais, en règle générale, ils demandent à être interprétés et complétés par des informations qualitatives. En tout état de cause, ce qu'il est pertinent de mesurer ne va jamais de soi. LA QUESTION DU RÉFÉRENTIEL: COMMENT OBJECTIVER LE BIEN COMMUN t L'économie sociale n'est pas une politique. Son développement n'obéit donc pas à des objectifs sociaux formalisés et validés par une procédure démocratique. À l'aune de quel référentiel évaluer les entreprises d'économie sociale? Il semble que l'on ne puisse éviter le détour par la construction d'une conception partagée du bien commun. C'est ce que visent, entre autres,les réflexions autour de la notion d' «utilité sociale» en France. Il convient toutefois de garder à l'esprit l'irréductible pluralité des conceptions légitimes du bien-être social, dont témoigne notamment le foisonnement d'initiatives autour des indicateurs sociaux. Économie et Solidarités, volume 39, numéro 1, 2008 Les indicateurs sociaux La problématique des indicateurs sociaux entretient un rapport étroit et évident avec celle de l'évaluation. Selon une définition de l'ONU, les indicateurs sociaux sont des «statistiques qui reflètent de manière utile des aspects importants des conditions sociales et qui facilitent l'évaluation de ces conditions et de leur évolution». Toutefois, comme l'observe Heinz Herbert Noll (2002, p. 172, traduction libre), «La principale fonction des indicateurs n'est pas le suivi direct et le contrôle de l'efficacité des programmes et des politiques, mais un éclairage plus large de la société et la fourniture d'une information de base qui nourrit le processus d'élaboration des politiques de manière plus indirecte». De fait, le développement des indicateurs sociaux est souvent motivé par la volonté de compléter et de corriger la mesure de la richesse sociale fournie par la comptabilité nationale. Les limites de celle-ci sont bien connues: ignorance du non-monétaire et des aspects non utilitaristes du bien-être, mesure arbitraire de la production immatérielle, ignorance des externalités négatives de la croissance, etc. Depuis quelques années, on assiste à diverses tentatives pour mettre en place d'autres mesures du bien-être social. Ces tentatives relèvent de deux types: les indicateurs composites (obtenus par pondération arbitraire d'indicateurs hétérogènes), dont l'exemple le plus connu est l'indicateur de développement humain du PNUD, et les indicateurs économiques étendus (obtenus en complétant l'indicateur de richesse monétaire par une «rnonétarisation» de certains aspects non monétaires du bien-être). La diversité des indicateurs synthétiques proposés et l'hétérogénéité des concepts qui les sous-tendent (bien-être économique, qualité de la vie, développement humain, santé sociale, développement durable, capital social...) montrent bien la difficulté de la tâche. Face à l'univocité et à la cohérence des indicateurs économiques, les indicateurs sociaux ne peuvent s'appuyer sur aucun fondement théorique assuré. Aucun argument rationnel ne permet de sélectionner et de pondérer les indicateurs élémentaires relatifs aux différents aspects de la vie sociale (démographie, état de santé, emploi, pauvreté, inégalités, cohésion sociale, formation, innovation et recherche, environnement et ressources naturelles, qualité de la vie, qualité des services collectifs, participation sociale, développement institutionnel). AMÉLIORER LA LISIBILITÉ DU SOCIAL POUR FACILITER LA RECONNAISSANCE DES RATIONALITÉS NON STANDARDS Force est de constater qu'il n'existe pas d'argument théorique permettant de privilégier telle approche des indicateurs sociaux au détriment des autres. La pertinence des systèmes d'indicateurs ne peut se mesurer qu'à leur capacité à rendre compte des évolutions sociales les plus significatives du point de vue Économie et Solidarités, volume 39, numéro 1, 2nnR des attentes et des besoins de la société. En fin de compte, comme dans le cas de l'évaluation des politiques publiques, seule une mise en débat des cadres d'analyse et des critères de jugement dans un cadre institutionnel adéquat peut fonder leur légitimité. Il est donc nécessaire de relier la question des indicateurs à celle du débat public et, plus généralement, de l'approfondissement de la démocratie. Dans cette perspective, la réflexion sur les méthodes et démarches d'évaluation présente le grand intérêt d'articuler explicitement l'épistémologique et le politique. Elle suggère la possibilité et l'intérêt d'appliquer les exigences de rigueur et d'objectivité qui ont fait le succès de la science à une classe plus étendue de processus sociocognitifs. On entrevoit ainsi la possibilité de développer une méthode et des pratiques visant à rendre plus réfléchi, organisé et systématique le travail sur soi de sociétés humaines. Or, le développement d'outils et de pratiques susceptibles de rendre la société plus lisible à elle-même constitue également l'une des conditions d'une meilleure reconnaissance de l'économie sociale. Que produit l'économie sociale? Comment objectiver et mesurer cette production? Les entreprises d'économie sociale, certes, participent à l'économie monétaire. Dans ce cadre, elles sont tenues d'équilibrer leurs comptes et ne peuvent donc éviter l'épreuve d'une évaluation financière de leur activité. Il n'en demeure pas moins qu'elles mobilisent des ressources non monétaires et qu'elles se réclament de valeurs non économiques. Elles doivent donc pouvoir faire état d'une plus-value sociale, que celle-ci soit formulée en termes d'utilité sociale, de capital social ou de toute autre notion. L'identification et la reconnaissance sociale de cette plus-value constitue un enjeu majeur. C'est un enjeu à la fois démocratique et cognitif, qui appelle l'instauration de lieux et de procédures permettant la confrontation des logiques hétérogènes qui sous-tendent les pratiques sociales non standards et l'élaboration d'outils facilitant l'objectivation et la mesure des valeurs mises en jeu. Bibliographie LECA, J. (1993).«Sur le rôle de la connaissance dans la modernisation de l'État et le statut de l'évaluation», Revue française d'administration publique, nO 66, p. 185-196. MULLER, P. et Y. SUREL (2000). L'analyse des politiques publiques, coll. «Clefs », Paris, Montchrestien, NOLL, H.H. (2004). « Social Indicators and Quality of Life Research: Background, Achievements and Current Trends ». in N. GENOV (dir.), Advances in Sociologicai Knotoleâge over Ralf a Ceniuru, Wiesbaden, Verlag für Sozialwissenschaften, p. 151-181. SEN, A. (2000). Deoelopment as Freedom, New York, Anchor books. Économie et Solidarités, volume 39, numéro L, 2008