INSTITUT SUPERIEUR DE MANAGEMENT ET DE TECHNOLOGIE-St Salomon Autorisation N° 010/MESRS/CAB/DC/SGM/DPP/DGES/DEPES/SA N° IFU : 3202113332263 En face du marché Godomey-hwlacomey, Abomey-Calavi, République du Bénin Tél : 96 00 48 48/ 02 BP 1151 COTONOU Email : [email protected] Master in Business Administration 2 ******** COURS DE SUIVI &EVALUATION DES PROJETS ******** Chargé du Cours : Appollinaire Yaovi HOUESSOU 1 2 I. OBJECTIFS PEDAGOGIQUES A l’issue du cours, l’auditeur doit : Comprendre ce que sont le suivi et l’évaluation dans le cycle de vie du projet Pouvoir établir les complémentarités et les différences entre le suivi et l’évaluation Pouvoir mettre en œuvre une démarche de suivi- évaluation. II. METHODE PEDAGOGIQUE - Cours magistral ; - Etudes de cas -Durée du cours : 20 heures III. CONTENU DU COURS CHAPITRE 1 : LE SUIVI DANS LE CYCLE DE PROJET A.- Définition du Suivi B.- Rôles du suivi C.- Caractéristiques D.- Utilité du suivi CHAPITRE 2 : L’EVALUATION DANS LE CYCLE DU PROJET A.- Définition B.- Les différents types d’évaluation C.- L’objet de l’évaluation CHAPITRE 3 : ELABORATION D’UN SYSTEME DE SUIVI EVALUATION A.- Le suivi et l’évaluation : complémentarités et différences B.- Définition du système de suivi-évaluation C.- Les différentes étapes de l’élaboration d’un système de suivi-évaluation D.- La démarche de l’évaluation E.- Les fonctions de l’évaluation F.- Les étapes d’une évaluation F.1. Avant l’évaluation -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 3 F.2. Pendant la réalisation de l’évaluation F.3 La structuration d’un système de suivi-évaluation F.4 Le processus d'évaluation de projet F.5 Caractéristiques et contenu du rapport d'évaluation CHAPITRE 4 : CONSTRUIRE UNE DEMARCHE DE SUIVI-EVALUATION : LES DISPOSITIFS ET LES OUTILS DE SUIVI-EVALUATION A) Les dispositifs du Suivi-évaluation B) Les outils de suivi-évaluation C) Les indicateurs de Suivi-évaluation D) Le Cadre Logique comme outil de suivi-évaluation Annexe : Terminologie de Suivi Evaluation -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 4 INTRODUCTION Le suivi-évaluation est une activité importante de la gestion de projet en ce sens qu’il permet de mesurer les résultats et les effets et cela est hautement souhaitable tant pour les partenaires, les bénéficiaires que pour les techniciens chargé de la gestion quotidienne du projet. C’est la raison pour laquelle on n’accordera jamais trop d’importance au suivi-évaluation. Compte tenu des moyens et ressources toujours limités pour réaliser un projet, l’accent est en effet de plus en plus mis sur le suivi et l’évaluation afin de garantir autant que possible l’atteinte des objectifs du projet en termes de résultats et effets et d’impact tant par les responsables du projet, les bénéficiaires que par les financeurs institutionnels. D’où le regain d’importance pour le suivi et l’évaluation dans la gestion des projets. Ces dernières années même, certains partenaires ont mis à l’honneur la gestion de projet axée sur les résultats (GAR) qui est une façon on ne peut plus claire de souligner le résultat comme étant la raison d’être du projet. CHAPITRE 1 : LE SUIVI DANS LE CYCLE DE PROJET A.- Définition du Suivi Le suivi est une collecte et une analyse régulière d’informations dans le but de faciliter en temps utile la prise de décision, d’assurer la transparence et de servir de base à l’évaluation et à la capitalisation de l’expérience. C’est une fonction permanente qui utilise la collecte méthodique de données afin de fournir aux responsables et aux acteurs à la base d’un projet en cours d’exécution, des indications sur l’état d’avancement et la progression vers les objectifs retenus. Le suivi fournit les données nécessaires par des mécanismes formels, c’est-à-dire le relevé d’indicateurs sélectionnés et la collecte de données sur des critères de performance, ou informels c’est-à-dire le recueil et l’échange d’impressions tirées d’entretiens avec les acteurs et d’observations sur le terrain. Le suivi est centré sur le recueil régulier d’informations et la vérification à intervalles rapprochés des progrès réalisés sur le court terme, complétés par l’analyse des implications de ces progrès. Dans la pratique, le suivi et l’évaluation se recoupent dans un processus méthodique de réflexion et de capitalisation participative. Par exemple, si un suivi régulier révèle que les choses ne se déroulent pas comme prévu, il est possible d’entreprendre une évaluation plus approfondie de tel ou tel aspect pour en comprendre les raisons et déterminer les actions à entreprendre. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 5 Lors de la mise en œuvre d’une action ou d’un projet, le suivi : - est une activité systématique (quotidienne, hebdomadaire, …) ; compare l’évolution du projet aux prévisions afin d’identifier des mesures correctives nécessaires ; intervient à tous les niveaux de la mise en œuvre (administrative, financière ou opérationnelle) ; utilise les rapports formels et des communications informelles (causeries…) ; met l’accent sur les ressources, activités, résultats et différents sujets de suivi. B.- Rôles du suivi Dans le cadre de la conduite de projet, le suivi est un instrument : - - de contrôle : il induit la possibilité d’un pilotage attentif dans la mesure où il s’attache à vérifier que les données recueillies correspondent aux prévisions ; de gestion avisée : les informations recueillies et traitées doivent stimuler l’analyse des acteurs impliqués dans l’action. Le suivi permet de prendre des mesures pratiques, d’apporter des corrections à la mise en œuvre d’une action et des réajustements ; de veille permanente pour détecter les anomalies éventuelles qui surviendraient par rapport aux prévisions du projet afin de réagir de manière appropriée ; de préparation des temps d’évaluation qui interviendront aux stades importants de mise en œuvre d’un projet ou la fin de celui-ci, et il en facilitera l’approbation, la mesure des effets et l’impact. C.- Caractéristiques Le suivi doit être un dispositif : Léger : il ne doit pas exiger ni beaucoup de temps, ni beaucoup d’argent ; Ciblé : déterminer clairement les informations qu’il faut connaître et suivre et choisir quelques indicateurs pour les exprimer ; Concerté : il faut le plus grand nombre d’acteurs participent au suivi et le comprennent. Il faut combiner le quantitatif et le qualitatif, les informations quantitatives et qualitatives se complétant. D.- Utilité du suivi Le suivi sert à adapter le projet circonstances évolutives de son environnement : En repérant les anomalies en cours d’exécution. Le suivi est alors un moyen de contrôle des réalisations par rapport aux prévisions ; En apportant les corrections à la gestion de l’action et des réajustements techniques nécessaires. Le suivi : une démarche à prendre en compte tout au long du projet -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 6 Aux différents moments du projet depuis le montage jusqu'a son évaluation, le suivi doit être toujours présent à l’esprit : Quels indicateurs permettront de vérifier que tel résultat a été atteint ? Quels méthodes et instruments seront utilisés pour constater la réalisation de ces indicateurs ? Quelles hypothèses sont requises pour que les résultats soient atteints ? CHAPITRE 2 : L’EVALUATION DANS LE CYCLE DU PROJET A.- Définition Evaluer consiste à déterminer la valeur de quelque chose, d’une action, de porter un jugement de valeur. L’évaluation est un processus qui consiste à analyser et porter un jugement de valeur sur une action, un programme, etc en utilisant autant que possible des critères objectifs et en impliquant autant que possibles les acteurs. L’évaluation est un examen systématique et aussi objectif que possible d’un projet prévu, en cours ou achevé. Elle a pour objet d’apporter une réponse à des questions spécifiques ainsi qu’à porter un jugement d’ensemble sur une opération et en tirer des enseignements destinés à améliorer les actions, l planification et les décisions futures. L’évaluation doit fournir des informations et utiles, et dégager des enseignements concrets destinés à aider les acteurs dans leurs décisions. Evaluer un projet, c’est comparer ses résultats (incidences immédiates) et ses impacts (effets à moyen et long terme) aux objectifs poursuivis par le projet et de permettre une décision. B.- Les différents types d’évaluation On distingue plusieurs types d’évaluation : L’évaluation externe où l’évaluateur est un acteur externe au projet ; L’évaluation interne ou autoévaluation est une évaluation faite par l’organisation responsable du projet, en impliquant les bénéficiaires et les autres acteurs du projet. L’évaluation mixte combine l’évaluation interne et celle externe. L’évaluation intermédiaire est celle qui est conduite vers la fin de la période de mise en œuvre d’un projet/programme avant le début d’un nouveau projet/programme. Elle constitue pour les bailleurs de fonds, les responsables du projet et les bénéficiaires une précieuse occasion de tirer ensemble des leçons de l’expérience avant de s’engager dans une nouvelle coopération. L’évaluation terminale : c’est une évaluation externe menée après l’achèvement du projet. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 7 C.- L’objet de l’évaluation Le suivi-évaluation peut porter sur les aspects suivants du projet : La pertinence : les activités que nous menons sont-elles susceptibles d’améliorer véritablement la situation ? Correspondant-elles aux priorités des groupes cibles ? L’efficacité : les prévisions ont-elles été réalisées. A-t-on poursuivis les objectifs définis ; les réalisations attendues ont-elles été obtenues ? L’efficience : les ressources ont-elles été utilisées au mieux ? L’impact : Dans quelle mesure le projet a-t-il contribué à réduire la pauvreté ou d’autres finalités ? La durabilité : le projet continuera-t-il à avoir un impact positif quand les fonds qui lui ont été alloués seront épuisés, c’est-à-dire dans 4 ou 5 ans ? CHAPITRE 3 : ELABORATION D’UN SYSTEME DE SUIVI EVALUATION A.- Le suivi et l’évaluation : complémentarités et différences Le suivi-évaluation est une combinaison du suivi et de l’évaluation qui permet d’obtenir les informations requises et de conduire la réflexion critique nécessaire à la bonne gestion du projet, à la satisfaction des obligations de redevabilité. Le suivi et l’évaluation présentent des complémentarités mais aussi des différences qui se situent à plusieurs niveaux: Différences et complémentarités entre suivi et évaluation Objectifs Suivi Améliorer l’efficience, modifier le plan d’activité ou l’affectation des ressources Evaluation Examiner les relations causales conduisant des activités aux résultats Clarifier les objectifs et leur transformation en indicateurs de performance Expliquer pourquoi certains résultats n’ont pas été atteints Examiner la mise en œuvre Comparer régulièrement les réalisations par rapport au plan Activités principales Communiquer les progrès aux responsables et les alerter sur les difficultés Définition des indicateurs, Fournir des enseignements, améliorer l’efficacité, les effets, l’impact de la future programmation Appréciation, mesure -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 8 Fréquence Source d’information recueil régulier d’information, comparaison avec le plan, compte rendus Périodique : journalier, hebdomadaire, mensuel, trimestriel,… selon les variables et les programmes Essentiellement des informations fournies par le système de gestion Effectué par L’équipe de réalisation du projet Destinataire principal du rapport pour suite à donner Chef de projet, réalisation équipe de systématique des effets, recherche des causalités par des méthodes rigoureuses Episodique : à mi-parcours, intermédiaire, en fin de programme Informations de suivi complétées par des études, des enquêtes, des analyses, des entretiens Evaluateurs extérieurs au programme Autorités ayant décidé de la réalisation de l’évaluation En d’autres termes, le suivi, est notamment destiné à adapter l’action à son environnement et à ses évolutions ; il utilise des instruments d’assurer au projet un fonctionnement optimum (efficacité, efficience, durabilité,…). Il est également un outil au service de l’évaluation interne (auto-évaluation), mixte, ou externe (en cours de projet, ex post…) L’évaluation a pour objet de rechercher si les moyens humains, techniques, juridique, administratifs et financiers mis en œuvre ont permis de produire les effets escomptés et d’atteindre les objectifs visés. Elle s’intéresse plus à l’analyse des résultats et aux enseignements. Par rapport au suivi, l’évaluation : est un processus plus complet d’analyse de l’action : sert à apprécier ponctuellement les objectifs et la stratégie choisie, confirme /infirme les hypothèses, les actions ; utilise les instruments mis en place pour le suivi des résultats et de l’impact : vise à recadrer et orienter les activités ou modes opératoires ; permet des jugements en profondeur sur l’action en cours ainsi que sur la phase d’identification initiale (qu’elle peut éventuellement remettre en cause) : arrête certaines actions s’il y a des différences très importantes avec les objectifs et des problématiques insolvables au vu du contexte, des acteurs en présence et des erreurs diagnostiquées Programmé dès l’origine, l’évaluation est un précieux outil d’aide à la décision. Le suivi est : Un film Une mesure continue Un outil de gestion au quotidien -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 9 L’évaluation est : Une photo Un diagnostic une appréciation Une aide à la décision. B.- Définition du système de suivi-évaluation On entend par système de suivi évaluation l’ensemble des procédures de collecte, de traitement et d’analyse de l’information, et d’établissement de rapports, auxquelles s’ajoute l’ensemble des conditions et compétences nécessaires pour que les résultats du suivi-évaluation contribuent valablement au processus de décision, de réflexion critique et de capitalisation. C.- Les différentes étapes de l’élaboration d’un système de suivi-évaluation La gestion de projet orientée vers les résultats repose sur le système de suiviévaluation. L’élaboration d’un tel système comprend six étapes : 1) Définition de l’objet et du champ d’action du suivi-évaluation : Pourquoi avonsnous besoin du suivi-évaluation ? Qu’est-ce que nous voulons suivre et évaluer ? 2) L’identification des questionnements, des besoins en informations et des indicateurs pertinents. Que nous faut-il savoir pour suivre et évaluer le projet de façon à le gérer efficacement ? 3) L’organisation de la collecte et du traitement de l’information : Comment collecter et organiser les informations nécessaires ? 4) L’organisation de l’analyse et l’animation de la réflexion critique : comment interpréter les informations recueillies et les utiliser de façon à améliorer la mise en œuvre du projet ? 5) La mise en place des conditions nécessaires à l’élaboration de rapports de qualité et l’organisation de la communication: A propos de quelles activités et quels processus voulons nous communiquer ? comment et à l’intention de qui ? 6) L’organisation des conditions de travail et la planification des moyens nécessaires : Qu’est-ce qui est nécessaire que le suivi-évaluation fonctionne effectivement et correctement. D.- La démarche de l’évaluation Une évaluation est composée de 4 éléments indissociables qui structurent sa démarche : 1) Dresser un état des lieux Dans un premier temps, l'évaluation recherche des informations, des avis, des faits objectifs, etc. et les décrit. 2) Analyser l'information recueillie -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 10 Comprendre le pourquoi et le comment des informations à la lumière des activités, du contexte et du processus mis en place. 3) Donner une appréciation de l’état du projet L’évaluation apprécie les réalisations par rapport aux prévisions. Si par exemple le projet a réalisé seulement un tiers des activités prévues et que les 2/3 des ressources ont déjà été utilisées, il y a problème quelque part. 4) Établir des conclusions et des recommandations Sur base de l'appréciation globale, des conclusions sont tirées, des recommandations sont formulées en termes de mesures correctives à mettre en œuvre pour sauver la situation. E.- Les fonctions de l’évaluation A qui et à quoi sert une évaluation? Quelles sont les raisons pour lesquelles un tel exercice est demandé ou entrepris? 1) L'évaluation apprécie l'action réalisée L'évaluation constitue un outil d'orientation de l'action. Tous ses éléments constitutifs sont analysés afin de dresser un bilan critique, le plus objectif possible. Les acquis sont soulignés et les insuffisances relevées pour aboutir à des recommandations telles que proposer une réorientation ou un approfondissement de l'action, élaborer une nouvelle programmation… 2) L'évaluation rend compte L'évaluation apprécie l'utilisation des ressources (financières, humaines, matérielles) et répond au souci des financeurs (donateurs, ONG, bailleurs de fonds…) de voir ces ressources utilisées de manière satisfaisante. Cette fonction, légitime et nécessaire, où les acteurs de développement rendent des comptes aux bailleurs et à l'opinion publique est assurée par l'évaluation. 3) L'évaluation aide à la prise de décision Les conclusions et les recommandations des évaluations offrent aux acteurs, et notamment aux ONG et aux bailleurs, des options à examiner et leur permettent de prendre des décisions avisées car fondées sur des données fiables. Le processus d'évaluation facilite aussi l'établissement d'un ordre de priorité des actions pour une utilisation efficace et judicieuse des ressources. 4) L'évaluation contribue à l’appui interne et à l’apprentissage En mettant en évidence les erreurs passées et les points positifs, l'évaluation permet de tirer des enseignements de l'expérience pour améliorer la performance, les méthodes et les résultats des programmes. Son aspect formatif est réel. L'évaluation participe au renforcement de la capacité des acteurs aux différents niveaux -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 11 d'intervention (bailleurs, ONG, communautés locales) et contribue à améliorer la qualité du développement. L'évaluation permet aux acteurs de développement d'apprendre à partir de leurs pratiques et d'améliorer leurs méthodes de travail. 5) L'évaluation contribue à la motivation des acteurs et l’appropriation du projet par les bénéficiaires En les informant sur les changements que leur travail apporte, l'évaluation est un moyen de motiver et valoriser les divers acteurs impliqués. Quand l'évaluation est menée avec les différents acteurs, qu’ils soient des agents de mise en œuvre de l’action ou des bénéficiaires, elle permet l’amélioration de leurs capacités d’analyse et de conduite de l’action et favorise leur autonomisation. Elle peut également être un facteur de prise de conscience et favoriser l’appropriation de l’action par les acteurs concernés. 6) L'évaluation est un outil d’information interne à l’action L'évaluation fournit des informations à l'ensemble des acteurs impliqués plus ou moins directement dans l'action (bénéficiaires, responsables de projets, administrations locales, autres ONG de terrain, bailleurs…). Une évaluation est l'occasion de rencontres et d'échanges réciproques sur le contenu de ces informations. De plus, cette information améliore la communication à l'intérieur des organisations, et entre les différents acteurs impliqués. 7) L'évaluation : moyen de communication externe Les éléments d'information descriptifs et analytiques produits par l'évaluation peuvent favoriser le plaidoyer en faveur de certaines politiques et programmes. L’évaluation permet aux citoyens d'être informés de l'efficacité des efforts de développement menés par les acteurs de terrain. F.- Les étapes d’une évaluation Avant de lancer une évaluation, il faut la prévoir, la définir, et la planifier. Ensuite, différentes étapes constituent l’évaluation : la préparation de l’évaluation, sa réalisation, la restitution des conclusions et enfin l’utilisation des résultats F.1. Avant l’évaluation I. Programmer l’évaluation a) Prévoir les évaluations dès l’élaboration de l'action Les évaluations en cours d'action ou de programme, en fin d’action ou postérieures à l’action, devraient être prévues au moment de l’élaboration et de la programmation des actions. Ainsi les différentes parties prenantes décident ensemble de la raison d’être des évaluations prévues et des grands thèmes qui seront évalués et préparent en conséquence l’évaluation. Les évaluations doivent également être prévues dans le budget de l'action. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 12 b) Planifier l’évaluation avec ses partenaires Une évaluation, qu’elle ait été prévue dès le début de l'action ou qu’elle soit envisagée à un moment donné pour faire le point, comprendre une situation... doit être programmée de commun accord avec les acteurs concernés et soigneusement préparée. II. Décider d’évaluer et choisir le type d’évaluation Idéalement, la décision d’évaluer devrait être consensuelle, précise et prise dans un esprit constructif. En particulier, il convient de préciser : 1) Les raisons pour lesquelles on veut évaluer et ce qu'on veut évaluer. En particulier, il est important que la finalité et les fonctions de l’évaluation soient précises et claires pour l’institution commanditaire, ses partenaires et l’évaluateur, 2) Le type d’évaluation, selon la finalité et les fonctions de l'évaluation, l’approche choisie ainsi que les différents acteurs impliqués et la façon dont ils le seront, 3) Le moment choisi pour réaliser l’évaluation, ainsi que sa localisation précise et sa durée globale, 4) Un budget approximatif des coûts directs (coût maximum de la mission en relation avec sa durée) et indirects (temps consacré par l’institution, son partenaire, les groupes bénéficiaires en préparation de la mission, appui de celle-ci puis utilisation des résultats), 5) Qui va coordonner, suivre, conduire le processus d’évaluation pour le compte de l’institution, 6) Comment seront utilisés les résultats de l’évaluation (conclusions, recommandations, leçons…): quelle restitution des résultats de l'évaluation et quel suivi post-évaluation ? D’UNE ÉVALUATION (EXTERNE) III. Préparation de l’évaluation La préparation est une phase primordiale du processus d’évaluation. L’implication de l’institution et de son partenaire est cruciale pour que la mission se passe bien et donne les résultats recherchés. La préparation peut se décomposer en trois parties : - élaborer les termes de référence (ou cahier des charges) sélectionner et contacter les évaluateurs planifier /préparer la mission d’évaluation. IV. Planifier et préparer la mission d’évaluation L’organisme doit tout mettre en œuvre pour que l’évaluation se déroule dans de bonnes conditions. Pour cela, il convient de : -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 13 a) Favoriser l’acceptation de l’évaluation et la participation Une évaluation se déroule d’autant mieux qu’elle est accueillie positivement par tous et que la participation des différents acteurs et groupes concernés est importante. Cette acceptation et cette participation doivent être préparées par l’organe dans le respect des personnes à rencontrer. A cet effet, l’évaluateur ne doit pas être perçu comme un gendarme. Il convient aussi de s’assurer que l’évaluation soit perçue comme telle par les participants et non comme un audit, un exercice suivi de sanctions, et que l'évaluateur ne soit pas perçu comme un délégué des bailleurs qui décide de la continuation ou non du financement du projet. b) Favoriser les visites de terrain Il convient aussi de faciliter les différents contacts, les déplacements, les informations, l’accueil des évaluateurs par les autres acteurs: informer les autorités locales et toute personne ou institution directement concernée. Les lieux et les moments des visites de terrain doivent être envisagés avec soin. c) Préparer les informations de base Il est important de bien préparer les informations de base, de façon à rendre immédiatement disponible et facilement utilisable toute la documentation dont auraient besoin les évaluateurs. La transparence et l’ouverture des différents acteurs faciliteront le travail et les discussions ultérieures avec les évaluateurs dans la phase de réalisation de la mission d’évaluation. d) Organiser une réunion de "briefing" Cette réunion consiste principalement à discuter les termes de référence de façon à ce que les évaluateurs perçoivent les attentes et points de vue des commanditaires, ce qui permet parfois de les préciser et de hiérarchiser les priorités tout en dissipant d’éventuels malentendus. e) Prévoir le suivi de la mission d’évaluation Un comité de suivi (ou une ou des personnes) est désigné pour suivre le travail de la mission d’évaluation : D’UNE ÉVALUATION (EXTERNE) - dans la phase de préparation pendant la mission de terrain des évaluateurs: qui sera la (les) personne(s) de référence pour les évaluateurs pendant leur mission? pour la restitution pour la phase d’utilisation des résultats après l’évaluation. La ou les personnes chargées du suivi seront choisies en fonction du type d’évaluation et de sa finalité. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 14 f) Prévoir la restitution Cette restitution doit s’organiser en 2 phases: la restitution provisoire et la restitution finale avec un rapport écrit. g) Prévoir l’appréciation de l’évaluation ainsi que la diffusion et l’utilisation des résultats Cette appréciation concerne la mission proprement dite, l’analyse du rapport, son acceptation formelle, l’utilisation des résultats pour l’action évaluée. F.2. Pendant la réalisation de l’évaluation C'est dans cette étape que le rôle de l'évaluateur est le plus important. Rappelons que pour mener leur évaluation à bien les évaluateurs préparent un plan de travail qui comprend: 1) La recherche de données et d’informations Différentes techniques sont utilisées, de la consultation des rapports d’activités et des carnets de bord en passant par des questionnaires et enquêtes auprès de bénéficiaires, des entretiens avec des personnes clés, des ateliers de discussion avec des représentants des différents groupes et acteurs concernés… La combinaison de plusieurs techniques est souvent plus performante. L’évaluateur choisit des techniques adaptées à l’approche des acteurs (pas ou peu de techniques participatives si l’action n’est pas gérée de cette façon). L’évaluateur adaptera également ses techniques au contexte socioculturel et au rôle de ses interlocuteurs dans l’action et dans la société. 2) L'analyse des informations recueillies L’analyse dépend à la fois du type d’informations obtenues, de la finalité de l'évaluation et des critères retenus, des indicateurs de suivi utilisés dans la conduite de l’action, etc. L’analyse peut se baser sur les rapports coûts/bénéfices, sur des statistiques et des données quantifiées. Elle veillera surtout à examiner l’articulation des différents éléments de l’action évaluée, les rôles des différents acteurs et les démarche et méthodologie d’intervention choisies. - LES ÉTAPS ÉVALUATION (E 3) L’appréciation Après analyse, l’appréciation de l’action se base sur les principaux critères retenus dans les termes de référence. 4) Les conclusions et les recommandations Les conclusions et recommandations tiennent compte de la finalité attribuée à l’évaluation par l’organisme commanditaire et ses partenaires, des attentes des -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 15 différents acteurs et de leurs interactions. Elles sont d’abord proposées de façon provisoire dans l’étape de restitution où elles demandent à être vérifiées. F.3 La structuration d’un système de suivi-évaluation Le système de suivi évaluation se compose de 4 parties corrélées : 1) La conception et la mise en place du système : Pour cette partie, il faut commencer par déterminer l’information nécessaire pour pouvoir guider la stratégie du projet, assurer l’efficacité des opérations et la préparation des rapports destinés aux instances externes. Il faut ensuite décider comment sera rassemblée et analysée cette information et préparer un schéma du système de suivi évaluation. La mise en œuvre du système de suivi évaluation participatif permet aux personnes impliquées de mieux connaître le projet et amorce la création d’un environnement favorable à la réflexion critique et à la capitalisation. 2) La mise en œuvre du système : Elle consiste à rassembler et gérer l’information. On peut à cet effet utiliser des approches plus ou moins structurées. L’information provient du suivi des effets et impacts, et du contrôle des opérations du projet (ex. : réalisation des activités, gestion financière et utilisation des ressources,…). C’est lorsque la collecte et la gestion de l’information auront commencé que l’on se rendra compte s’il y a des problèmes dans le schéma initial et que viendront de nouvelles idées pour l’améliorer. 3) Intervention des acteurs et partenaires du projet dans la réflexion critique : Une fois rassemblée, l’information doit être analysée et discutée par des personnes qui sont impliquées dans le projet. Cela peut se faire dans un cadre formel tel que lors d’un atelier consacré à l’évaluation annuelle du projet, ou de façon plus informelle comme lors des conversations avec les populations cibles, à l’occasion des visites hebdomadaires sur le terrain, etc. Ces réflexions et discussions mettront probablement en évidence des lacunes dans l’information, ce qui rendra nécessaire une adaptation du schéma de suivi-évaluation pour faire en sorte que les informations nécessaires soient bien recueillies. 4) La communication des résultats du suivi évaluation F.4 Le processus d'évaluation de projet En tant que processus décisionnel, l'évaluation de projet est une succession d'étapes qui découlent toutes du mandat attribué à l'évaluation. Ce mandat est celui de fournir au demandeur (décideur) l'ensemble des éléments devant lui faciliter la prise de décision. Il peut se concevoir en 4 phases fondamentales qui sont : la phase de conception du mandat la phase de définition du mandat la phase de réalisation du mandat la phase de terminaison du mandat -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 16 1. La phase de conception de mandat La conception du mandat d'évaluation est particulièrement importante dans le cycle d'évaluation d'un projet. C'est grâce à elle en effet que le travail à faire peut mieux se situer dans un contexte réel afin que le mandataire sache le plus précisément possible ce qui lui est demandé. Cette phase est d'abord et avant tout l'œuvre du demandeur (bailleur de fonds, promoteur, etc.) ou de son représentant qui doit, au terme de la phase, produire les termes de références de l'évaluation. Trois étapes caractérisent le déroulement de la phase de conception. Ce sont : - la clarification du besoin : le besoin d'évaluer un projet doit être clarifié dès le départ pour permettre au demandeur de formuler en termes clairs son intention ; - l'identification de l'approche souhaitée : Cela suppose une connaissance des extrants à produire afin de développer une approche méthodologique de la réalisation de l'évaluation ; l'identification des ressources, à savoir le budget et le temps de réalisation nécessaires, à mettre à la disposition de l'évaluateur ou de son équipe. - 2. La phase de définition de mandat C'est celle à l'issue de laquelle le plan d'évaluation est complètement tracé. Les termes de références qui ont résulté de la phase précédente sont confiés à l'évaluateur identifié et sélectionné en fonction de la qualité de son offre. C'est alors que la définition proprement dite du mandat peut commencer, laquelle comportera les 3 étapes ci-après : - la spécification du contenu : elle permet de choisir les critères de jugement les plus significatifs, de déterminer la nature des informations requises et enfin d'envisager les ressources possibles de collecte de ces informations. - la spécification de la méthodologie : Ici, le réalisateur se doit d'indiquer avec précision l'échantillonnage, les méthodes de collecte retenues, les instruments de collecte à utiliser et les méthodes de traitement des données collectées qu'il préconise. - la planification de la réalisation : elle consacre la programmation du déroulement de l'évaluation. 3. La phase de réalisation C'est à ce moment que les activités antérieurement prévues sont concrétisées. Comme les phases précédentes, la phase de réalisation du mandat comporte 3 temps forts qui sont : - la collecte des données : elle est menée en utilisant les outils et techniques proposées à l'étape précédente. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 17 - le traitement des données : Il permet de procéder d'abord à un constat de la nature des données collectées, ensuite au tri des dites données, leur analyse et enfin la validation des résultats obtenus. - la rédaction du rapport d'évaluation : elle consiste à la structuration des analyses et conclusions faites à l'étape précédente selon un schéma logique et cohérent. 4. La phase de terminaison du mandat C'est la phase au cours de laquelle le rapport d'évaluation est transmis au demandeur, évalué par celui-ci et intégré aux dossiers du projet. Cette phase peut être, elle aussi, décomposé en 3 étapes : - le transfert au demandeur : il s'agit pour l'évaluateur de rendre compte au demandeur de l'exécution de son mandat ; - l'évaluation du rapport : elle consacre l'acceptation ou le rejet du rapport d'évaluation par le demandeur après une analyse de la qualité de celui-ci ; - la clôture du projet : un projet ne peut être clôturé que si l'évaluation, a posteriori, révèle qu'il s'est déroulé conformément aux prévisions et à la satisfaction des divers intervenants. F.5 - Caractéristiques et contenu du rapport d'évaluation A. Caractéristiques du rapport d'évaluation Le document sanctionnant l'évaluation d'un projet prend des formes diverses et respecte des schémas parfois spécifiques à chaque type d'organisation. Certaines structures préfèrent que la présentation du projet et la présentation des rapports intermédiaires et finals soient faites selon un canevas propre à l'organisation pour en faciliter l'utilisation Que le schéma de présentation du Rapport d'évaluation soit imposé ou non, le rapport doit respecter les caractéristiques suivantes : être rédigé dans un style simple et clair ; ne pas intégrer les termes techniques accessibles à une poignée de personnes ; ne pas être volumineux; pour ce faire, le nombre de pages peut être limité par le demandeur dans les termes de références. B. Contenu du rapport d'évaluation Les différentes articulations qu'il est possible de retrouver dans un rapport d'évaluation sont les suivantes : 1) L'introduction Elle identifie le projet et le décrit très brièvement en termes de finalité, de but et de résultats attendus. Elle rappelle également l'objectif de l'évaluation (voir les termes -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 18 de références) et les axes sous lesquels celle-ci doit être abordée. Elle prend fin avec l'esquisse du plan du document. 2) La présentation du projet Il s'agit à ce niveau d'indiquer : les conditions dans lesquelles le projet est né ; les modes de sélection utilisées ; les divers acteurs, leurs préoccupations et leurs rôles respectifs dans le projet ; une description plus détaillée des extrants le rapport de différentes stratégies envisagées pour la production des extrants. 3) L'appréciation des études de faisabilité Il s'agit : de présenter les différentes études menées, surtout en ce qui concerne les résultats qu'elles ont générés ; de juger la décision d'entreprendre le projet ; d'apprécier la qualité du mandat de réalisation ; d'apprécier enfin les éventuelles modifications qui ont été envisagées et apportées au projet avant son terme normal. 4) L'évaluation de la planification Ici, le rapport d'évaluation devra chercher à faire une appréciation de l'ensemble du processus de planification afin d'en ressortir les insuffisances tout en reliant ces derniers aux effets que le processus a eus sur la conduite du projet. 5) L'évaluation de la réalisation Celle-ci doit porter sur des aspects relatifs : - au respect de l'échéancier, du budget et des normes de qualité; - à l'appréciation objective des rapports d'avancement; - à l'appréciation des performations de l'équipe de projet ; - à l'évaluation de la coordination c'est-à-dire de la gestion des interfaces; - à l'appréciation de la direction des ressources humaines du projet. 6) L'évaluation des extrants Le produit final du projet doit aussi être évalué pour apprécier la correspondance avec celui attendu. 7) Conclusion et recommandations Au regard des différentes insuffisances relevées dans l'analyse des points précédents et en tenant compte du contexte et des conditions de mise en œuvre du projet, le rapport d'évaluation doit tirer les grandes conclusions et les enseignements qui s'imposent. Ils doivent également présenter les recommandations qui doivent permettre aux décideurs d'orienter leurs décisions dans le bon sens. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 19 CHAPITRE 4 : LA DEMARCHE DU SUIVI-EVALUATION : LES DISPOSITIFS ET LES OUTILS DE SUIVI-EVALUATION A) Les dispositifs du Suivi-évaluation Un dispositif de suivi-évaluation est constitué d’une combinaison d’acteurs, d’outils et d’indicateurs. Différents démarches, méthodes et outils de suivi-évaluation peuvent permettre la mise en place d’un dispositif de suivi et d’évaluation et servir les Institutions engagées dans les programmes. B) Les outils de suivi-évaluation Il convient d’adapter les outils mis en place aux spécificités de l’action du projet ou programme ainsi qu’à ses intervenants (financeurs, partenaires, autorités locales et bénéficiaires). De même, ils seront différents (contenu, type) selon qu’ils visent à suivre l’exécution d’une action ou d’un projet ou bien le programme d’appui luimême. En général, ils peuvent être entre autres : 1) Des fiches du suivi Bien conçues, elles constituent une base de recueil de données et nécessitent ensuite un traitement de l’information pour permettre le suivi de l’exécution (performance) et l’analyse des indicateurs (évolution des coûts). Individuelles ou bien récapitulatives (pour un groupe, village, zone), elles peuvent concerner : les prêts octroyés et remboursements, le nombre de puits réalisés, l’évolution des membres de la banque du riz, l’état de la trésorerie, la présence des membres à diverses réunions, l’évolution de la situation des bénéficiaires par rapport à leurs objectifs… 2) Des bulletins ou lettres d’information du terrain Ils permettent de suivre l’activité dans son ensemble en rendant compte des activités au fur et à mesure qu’elles se déroulent. 3) Des rapports périodiques Il s’agit de compilation de fiches de suivi ou autre format de rapport d’activité sur des modèles établis, consolidés ensuite par des notes de commentaires à différents niveaux d’intervention 4) Des bilans d’enquêtes ou de sondages Ils peuvent permettre d’apprécier les résultats régulièrement et/ou à des moments charnières de l’action -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 20 5) Des missions des terrains, ateliers, tables rondes, colloques ou comité de pilotage A l’occasion de ces sessions on procède à un suivi et à une évaluation de l’action (projet ou programme). C) Les indicateurs de Suivi-évaluation Un indicateur est un signe objectivement vérifiable, que l’on peut mesurer ou observer pour comparer les objectifs aux réalisations effectives à divers niveaux. Il doit être : fiable : mesure et interprétation identiques pour tous les utilisateurs ; spécifique et indépendant des autres : une seule chose mesurée à la fois ; mesurable et disponible à des coûts et délais acceptables ; pertinent : se rapporte à l’objectif et le couvre (temps, espace, contenu). Les indicateurs mesurent la performance du projet, ce sont des outils pour un travail de suivi. Ils favorisent la transparence, les échanges et la valorisation de l’action Les indicateurs adaptés au projet et à ce qu’ils veulent éclairer, peuvent ainsi être : Organisationnels : par exemple le mode de déroulement et la qualité des membres des instances associatives… ; Sociaux : par exemple, statut des demandeurs et bénéficiaires des crédits, proportion de chaque catégorie sociale…; Technique : par exemple, quantités vendues ou invendues, distances parcourues pour atteindre les lieux de vente… ; Economiques : par exemple, avance de fonds sollicités, chiffre d’affaires… Au sein du dispositif de suivi, la fonction des indicateurs correspond à : - une clarification des caractéristiques de l’objectif global, de l’objectif spécifique et de chacun des résultats attendus ; un gestion de l’intervention plus intégrée et globale, de manière plus objective ; une possibilité d’approche plus analytique en termes de suivi-évaluation, puis d’évaluation sur des bases vérifiables et pondérées. Une fois conçus, régulièrement renseignés et analysé, les indicateurs de suivi évaluation permettent de mesurer la performance du projet (quels changements ou résultats découlent de l’activité mise en œuvre ?) et doivent pouvoir évoluer en fonction de ce dernier et de son contexte. Analysés dans le temps, ils sont utiles pour communiquer à chaque période à d’autres interlocuteurs, ce que le projet a permis de réaliser en fonction des objectifs d’origine, en utilisant telle démarche, tels -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 21 moyens. Ils favorisent également la transparence, les échanges d’information et la valorisation sur une action donnée D) Le Cadre Logique comme outil de suivi-évaluation Le cadre logique est un outil de suivi de projet. Il est utilisé dans le cadre de conception et d’élaboration de projet. Pour définir des objectifs et des extrants d’un projet, on peut utiliser deus outils : l’arbre des objectifs ; - et le cadre logique Le Cadre logique est l’outil généralement utilisé par les bailleurs de fonds internationaux dans le cadre de la préparation et de suivi des projets avec les Etats ou autres organismes. Il est également utilisé dans les entreprises pour la préparation et le suivi des projets internes. 1) Le concept du Cadre Logique Le concept central du Cadre Logique présume que les projets de développement, industriels, etc. sont des instruments de changement et que ces instruments ont été choisis parmi tant d’autres comme constituant l’approche la plus potentiellement raisonnable en terme de coûts et d’efficacité en vue de réaliser un objectif bénéfique déterminé. Cette approche reconnaît l’incertitude inhérente à tous les projets en la définissant explicitement par des hypothèses. Ce concept est solide stratégiquement et tactiquement car il a été appliqué dans nombreux projets de développement et entreprises à travers le monde. 2) Vue d’ensemble du Cadre Logique Le Cadre logique constitue une manière d’organiser l’information et les activités de telle sorte que différents points de vue puissent être rapprochés en se complétant de façon simultanée, plutôt que de s’opposer l’un à l’autre. Ces points de vue sont : a) La gestion Programme / Projet Cette gestion vise un seul but : la réalisation du projet / programme qui exige que l’on gère au mieux en vue d’obtenir des résultats correspondant aux objectifs poursuivis. Le chef de projet est tenu pour responsable de ces résultats. Il existe trois niveaux de responsabilité qui concernent la gestion du projet / programme : - les intrants (ou objectifs opérationnels) : ce sont les ressources que l’on consomme et les activités que l’on exécute dans le projet. - les extrants (ou objectifs spécifiques ou livrables ou produits) : c’est ce que les gestionnaires ou chefs de projet doivent produire dans le cadre du projet. Ils doivent être énoncés comme résultats. Lorsqu’un chef de projet n’arrive pas à produire ces -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 22 résultats, il lui revient de justifier les raisons de son échec et dire quand et comment il pourra atteindre les résultats attendus. - les buts : le motif pour lequel on produit des extrants s’appelle le but. C’est un objectif qui force à produire des extrants. Si les extrants sont des produits marchants, le but du projet peut être le profit par exemple ; par contre, si les extrants sont des services sociaux, le but peut être par exemple : l’amélioration de la qualité de vie des populations bénéficiaires En tout état de cause, il appartient aux concepteurs de projet de bien définir le but en fonction des extrants (produits) prévus au projet. Ces trois niveaux forment ce qu’on appelle l’objectif de la hiérarchie fondamentale de la gestion de projet (couramment appelé hiérarchie de la gestion de projet). b) La méthode scientifique Cette méthode affirme que rien n’est sûr et toute activité humaine n’est qu’un essai d’hypothèses En effet, toute activité humaine est incertaine ; c’est pourquoi l’on considère le projet comme un ensemble d’hypothèses entrecroisées : « s’il y a intrants, il y a extrants (produits)» ; « s’il y a extrants, il y a donc but » (un donc annonce le but après un si). C’est la deuxième considération de Cadre Logique. La hiérarchie de gestion est la première considération. Dans l’enchaînement séquentiel, il convient de remarquer ce qui varie entre les nivaux : c’est la probabilité de succès. Il incombe au Chef de projet de s’assurer que les intrants conduisent effectivement à des extrants. Par contre, l’hypothèse « s’il y a extrants, il y a donc but » est problématique. Il y règne une certaine incertitude suffisamment grande pour que le chef de projet ne soit tenu responsable qu’à un degré raisonnable. Il doit faire ce qu’une personne raisonnable ferait pour atteindre le but mais on ne le tient pas responsable de ce résultat. On le tient responsable des extrants. c) L’analyse du système Elle affirme qu’un système reste non défini aussi longtemps qu’on a pas défini le système large dont il fait partie. En effet, la 3e considération importante du CL reste l’analyse des systèmes et cette analyse stipule qu’un système n’est pas défini aussi longtemps qu’on a pas spécifié la relation entre ce système et un système plus large. Pour ce faire, on ajoute à la hiérarchie de gestion (intrant / extrant / but) un 4 e niveau plus élevé dénommé objectif (ou finalité). Cet objectif est l’objet situé au niveau immédiatement supérieur au but du projet. Au total, la vue d’ensemble du Cadre Logique d’un projet libère ses éléments constructifs suivants : -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 23 - le descriptif sommaire du projet ; les résultats attendus (ou IOV = Indicateurs Objectivement Vérifiables) ; les moyens de vérification ; les hypothèses clés 3) Présentation du Cadre Logique Le Cadre logique est un résumé du projet. Il comporte 4 colonnes dans sa logique horizontale qui sont : La logique d’intervention Les indicateurs objectivement vérifiables Les sources de vérification Les hypothèses Exemple de cadre logique de projet Description/Logique d’intervention Objectif : impact global du projet But : impact direct du projet Extrants : Livrables, objectifs spécifiques Intrants : Composantes Indicateurs Vérification Hypothèses clés Indicateurs globaux Sources des données et méthodes de suivi Indicateurs Sources des données Hypothèse pour d’impact et méthodes de suivi passer du but à l’objectif Indicateurs Sources des données Hypothèse pour d’extrants et méthodes de suivi passer des extrants au but Ressources / Sources des données Hypothèse pour Coûts (Budgets) et méthodes de suivi passer des intrants aux extrants 4) Les logiques entrecroisées Pour une bonne compréhension du Cadre Logique, il convient de bien expliciter les logiques entrecroisées et son élaboration a) Hiérarchie des objectifs du Projet Le Cadre Logique subdivise le projet en quatre niveaux d’objectifs distincts. Au niveau le plus bas, on retrouve les intrants c'est-à-dire les ressources. Ces intrants produisent le second niveau d’objectif qu’on appelle les extrants du projet. Le but résulte de la réalisation des extrants. Les extrants sont donc un ensemble d’objectifs restreints connexes qui une fois combinés visent à réaliser le but du projet. On retrouve pratiquement trois niveaux au sein du projet lui-même : les intrants, les extrants et le but. Le 4e niveau du Cadre Logique est l’objet recherché au niveau le plus élevé qu le but et que l’on appelle objectif (vision régionale ou nationale ; en tout cas macroéconomique). Le projet est l’une des conditions à remplir pour réaliser l’objectif général (ou finalité) mais il ne suffit pas par lui-même pour le réaliser (des fois il faut plusieurs projets) -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 24 b) Hypothèses entrecroisées La relation entre les différents niveaux d’objectifs ci-dessus mentionnés, n’est pas un effet de hasard ni d’accident. Il existe en effet une relation de cause à effet certaine. Après avoir identifié le but, on définit les extrants et le raisonnement est le suivant : si on produit ces extrants, on réalisera donc ce but. En d’autres termes, on choisit ces extrants parce qu’on croit qu’ils peuvent conduire à la réalisation de ce but. De ce fait, l’hypothèse que l’on formule est celle-ci : s’il y a extrants, il y a donc but. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 25 Terminologie du suivi-évaluation Cette annexe doit permettre: aux responsables de projet, aux agents chargés du S&E, aux consultants et au personnel des institutions de coopération de faire en sorte que les concepts clés de S&E soient compris par tous. Terme A Achèvement Définition Phase finale du cycle de projet au cours de laquelle sont prises les dernières mesures de désengagement, est dressé le bilan des résultats et est établi le rapport d’achèvement. C’est en principe l’occasion d’évaluer l’impact du projet et de tirer les leçons de l’expérience. Action entreprise ou travail exécuté dans le cadre d’un projet Activité en vue d’obtenir des réalisations spécifiques par la mise en œuvre de moyens financiers et d’autres catégories de ressources. Analyse coûts- Comparaison entre les dépenses d’investissement et de fonctionnement et les avantages directs ou l’impact découlant avantages de l’investissement dans une intervention donnée. Différentes méthodes de calcul et modes de présentation des résultats sont utilisés. Étude des relations de cause à effet entre une intervention Analyse de spécifique et des changements constatés. causalité Exercice permettant de comprendre l’état, la situation, les Analyse de tendances et les principaux problèmes affectant des personnes, situation des écosystèmes et des institutions dans un contexte (diagnostic) géographique donné. Façon de progresser ou de procéder résultant d’un choix. Approche Appréciation de la mesure dans laquelle les changements Attribution observés peuvent être liés à une intervention spécifique compte tenu des effets d’autres interventions ou facteurs Vérification de la légalité et de la conformité de l’utilisation Audit -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 26 Autoévaluation B Bénéficiaires des moyens, menée par des auditeurs indépendants. L’audit a pour objet de déterminer si, et dans quelle mesure, les activités et les procédures organisationnelles sont conformes aux normes et critères prédéfinis. L’audit aide une organisation à atteindre ses objectifs en évaluant et en améliorant, par une approche systématique et méthodique, l’efficacité des processus de gestion des risques, de contrôle et de gouvernement d’entreprise. L’audit est dit interne lorsque les auditeurs rendent compte à l’organisation qui en fait l’objet, et externe lorsque les auditeurs rendent compte soit aux propriétaires de l’organisation (par exemple son conseil d’administration) soit à ses bailleurs de fonds. Évaluation conduite par ceux qui gèrent un projet et/ou y participent sur le terrain, en particulier les bénéficiaires. Personnes, ménages, groupes ou organisations qui bénéficient, ou sont censés bénéficier, directement ou indirectement d’une intervention de développement. Dans le présent guide, les bénéficiaires d’un projet sont souvent appelés “acteurs à la base”. En anglais, l’expression utilisée est fréquemment “primary stakeholders”. C Capacité Aptitude des individus et des organisations à exercer des fonctions de manière efficace et durable. Capitalisation Valorisation, documentation et communication des enseignements tirés de l’expérience acquise dans le but d’améliorer les actions futures. D Durabilité E Échantillon Échantillon témoin Probabilité que les effets positifs d’un projet perdurent après l’arrêt des aides extérieures. Fraction représentative d’une population permettant de mesurer des paramètres ou caractéristiques applicables à l’ensemble de la population. Échantillon de personnes ou de villages n’ayant pas bénéficié des interventions du projet et permettant une analyse comparative avec les personnes ou les villages bénéficiaires. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 27 Changement voulu ou non résultant directement ou indirectement d’une intervention de développement. Degré de réalisation des objectifs d’un projet. L’efficacité Efficacité s’apprécie par comparaison entre résultats obtenus (produits, effets directs, impact) et résultats attendus tant du point de vue quantitatif que qualitatif. Rapport entre les résultats obtenus et les moyens mis en œuvre Efficience (financiers, humains, temps, etc.). Étude/enquête Analyse décrivant la situation dans la zone d’un projet – et comprenant notamment des données sur chaque catégorie de référence d’acteurs à la base et bénéficiaires – préalablement à une intervention de développement, qui servira de point de comparaison pour la mesure des progrès accomplis (résultats et réalisations). Elle sert aussi de référence importante pour l’évaluation terminale. Examen systématique (et aussi objectif que possible) d’un Évaluation projet prévu, en cours ou achevé. L’évaluation a pour objet d’apporter une réponse à des questions spécifiques, ainsi qu’à porter un jugement d’ensemble sur une opération et à en tirer des enseignements destinés à améliorer les actions, la planification et les décisions futures. L’évaluation vise en général à déterminer l’efficience, l’efficacité, l’impact, la durabilité et la pertinence des objectifs du projet ou de l’organisation. Elle doit fournir des informations crédibles et utiles, et dégager des enseignements concrets destinés à aider les partenaires dans leurs décisions. Évaluation conduite en cours de mise en œuvre pour améliorer Évaluation la performance. continue Évaluation de Évaluation visant à décrire et à comprendre la dynamique et les relations internes d’un projet, d’une institution ou d’un processus groupe d’acteurs. Dans le contexte des projets appuyés par le FIDA, évaluation Évaluation indépendante réalisée par le Bureau de l’évaluation du Fonds externe en partenariat avec les acteurs concernés. Évaluation de projet conduite par le Bureau de l’évaluation du Évaluation intermédiaire FIDA vers la fin de la période de mise en œuvre du projet (environ un an avant la date de clôture du prêt) lorsque le FIDA examine une demande de financement d’une deuxième phase ou d’un nouveau projet dans la même région. L’évaluation intermédiaire constitue pour le FIDA, le gouvernement, les partenaires de mise en œuvre et les acteurs à la base une précieuse occasion de tirer ensemble les leçons Effet -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 28 Évaluation participative Évaluation terminale p F Facilitateur G Gestion adaptative Gestion du projet Gestion orientée vers l’impact Groupe cible de l’expérience avant de s’engager dans une nouvelle coopération. Terme général se référant à la participation active des personnes et institutions concernées (bénéficiaires et autres acteurs) dans un exercice d’évaluation ou de réflexion critique. Évaluation externe menée après l’achèvement du projet. Personne qui aide les membres d’un groupe à tenir une réunion avec efficacité et efficience, mais sans dicter ce qu’il faut faire. Processus intégrant la conception, la gestion et le suivi d’un projet afin d’établir un cadre permettant de valider des hypothèses, de procéder aux adaptations nécessaires et de capitaliser la connaissance acquise de l’expérience. Processus consistant à diriger, planifier, organiser, pourvoir en personnel et contrôler les activités, les personnes et autres ressources en vue d’atteindre des objectifs particuliers. Processus consistant à orienter la stratégie globale du projet, à créer un environnement favorable à la réflexion critique et à assurer la bonne exécution des opérations dans le but de maximiser l’impact du projet. La définition et la mise en œuvre d’un système efficace de suivi-évaluation est une condition nécessaire (mais non suffisante) d’une gestion orientée vers l’impact. Groupe spécifique au profit duquel le projet ou programme est conçu (notion étroitement liée à l’impact et à la pertinence). H Hiérarchie des Les différents niveaux d’objectifs, logiquement articulés et hiérarchisés, tels qu’indiqués dans la première colonne du objectifs cadre logique. Si le projet est bien conçu, l’atteinte des objectifs figurant à un niveau donné doit contribuer à l’atteinte de l’objectif de niveau supérieur. Suppositions explicites et raisonnables sur le comportement de Hypothèses variables ou de facteurs exogènes au projet (éléments de contexte) susceptibles d’avoir une incidence sur l’avancement ou la réussite de ce projet. Elles sont exprimées sous forme de conditions positives dans le cadre logique (4ème colonne). Les -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 29 hypothèses initiales se rapportent aux conditions considérées comme nécessaires pour atteindre pleinement les objectifs fixés. Les hypothèses critiques (ou “fatales”) sont les conditions jugées susceptibles d’entraver définitivement la mise en œuvre d’un projet ou programme. L’observation des facteurs exogènes et la validation des hypothèses sont des éléments essentiels de la fonction de suivi-évaluation dont dépend la capacité du projet à réagir et éventuellement à s’adapter. Des suppositions implicites concernant le comportement des bénéficiaires et acteurs sont aussi fréquemment à la base de la conception des projets. Elles doivent également être explicitées sous forme d’hypothèses que le suivi-évaluation et la réflexion critique devront permettre de valider. I Impact Au FIDA, l’impact d’un projet ou programme est défini comme l’ensemble des changements dans les conditions de vie des ruraux, tels qu’eux-mêmes et leurs partenaires les perçoivent au moment de l’évaluation, ainsi que tout changement durable dans leur environnement, auxquels le projet a contribué. Ces changements peuvent être positifs ou négatifs, voulus ou imprévus. Dans la terminologie du cadre logique, ces “changements perçus dans les conditions de vie” peuvent correspondre au niveau des objectifs spécifiques ou à celui de l’objectif général d’une intervention. Variable simple ou complexe, quantitative ou qualitative dont Indicateur le suivi et/ou la comparaison dans le temps (ou dans l’espace) permet d’apprécier ou mesurer des changements intervenus (ou des différences). Ensemble de variables utilisées pour apprécier et mesurer la Indicateurs objectivement progression du projet vers ses objectifs. vérifiables Information de Information – constituée généralement de faits et de chiffres recueillis au stade initial d’un projet – qui sert de référence référence pour ensuite mesurer le niveau d’atteinte des objectifs du projet. Organisation désignée dans un accord de prêt comme Institution responsable de l’administration du prêt et de la supervision du coopérante projet pour le compte du FIDA. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 30 L Logique verticale Résumé du projet énonçant les relations de causalité entre, d’une part, chaque niveau de la hiérarchie des objectifs et, d’autre part, les hypothèses critiques et les incertitudes susceptibles d’influer sur ces relations. M Manuel de mise Document énonçant la stratégie, les activités opérationnelles, les étapes et procédures du projet, ainsi que les responsabilités en œuvre du des acteurs clés de celui-ci. Il comprend souvent un plan projet d’opérations détaillé de suivi-évaluation. Tableau présentant les questions relatives à la performance, les Matrice de besoins en matière de collecte d’informations (y compris les suiviindicateurs), les activités/rencontres de réflexion et d’examen évaluation avec les acteurs, les ressources et les activités nécessaires à la mise en place d’un système fonctionnel de suivi-évaluation. Cette matrice indique comment, quand, par qui et où les données seront recueillies. Également mentionnée sous le vocable “cadre logique”. Matrice du cadre logique Tableau, comprenant habituellement quatre lignes et quatre colonnes, et récapitulant ce que le projet est censé accomplir et de quelle façon (moyens nécessaires, réalisations, objectif spécifique, objectif général), les principales hypothèses retenues et la façon dont les différents niveaux d’objectifs seront suivis et évalués (indicateurs objectivement vérifiables et moyens de vérification). Méthode d’analyse, de présentation et de gestion comportant le Méthode du cadre logique diagnostic des problèmes et des acteurs, la hiérarchisation des objectifs et la sélection de la stratégie de mise en œuvre. La (MCL) MCL permet de déterminer les éléments stratégiques (moyens, réalisations, objectif spécifique et objectif général) et les relations de causalité qui les unissent, ainsi que les hypothèses susceptibles d’influer sur la réussite ou l’échec de l’opération. Elle facilite donc la programmation, la mise en œuvre et l’évaluation d’un projet. La méthode permet en particulier d’adapter la conception et la stratégie du projet en fonction des résultats du suivi-évaluation. La MCL peut être une méthode efficace de réflexion critique. Sources d’information permettant de renseigner les Moyens de indicateurs. Les moyens de vérification sont répertoriés dans la vérification troisième colonne de la matrice du cadre logique. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 31 O Objectif Objectif général Objectif spécifique Organisation de base Énoncé détaillé des effets ou des résultats que l’on souhaite obtenir d’un projet. Un bon objectif doit être mesurable, défini dans le temps, spécifique et concret. Objectif de plus haut niveau dans la hiérarchie du cadre logique d’un projet à l’atteinte duquel ce projet est censé contribuer. Amélioration positive de la situation d’un groupe cible ou de son environnement qu’un projet vise par ses activités et doit obtenir dans la durée qui lui est fixée et avec les moyens qui lui ont été alloués. Les gestionnaires du projet sont pleinement responsables de l’atteinte de l’objectif spécifique. L’objectif spécifique est mentionné à la deuxième ligne de la matrice du cadre logique. Organisation composée des membres d’une communauté ou d’une profession (par exemple organisation professionnelle agricole) qui représente (ou peut représenter) les acteurs à la base. P Partenaires de Institutions intervenant dans la mise en œuvre d’un projet, en mise en œuvre charge de tout ou partie d’un élément défini de ce projet. Ces intervenants peuvent être impliqués de différentes manières: partenaires à part entière, associés à la conception du projet, à l’exécution d’une partie de ses activités ainsi qu’à la réflexion critique et à la capitalisation; opérateurs chargés de la mise en œuvre d’un certain nombre d’activités durant tout ou partie de la durée du projet; prestataires de services recrutés pour l’exécution d’une tâche ou de travaux ponctuels. Ils peuvent être recrutés via un appel à soumissionner à moins qu’ils ne soient déjà désignés dans le rapport de préévaluation. Ces partenaires travaillent dans le cadre de conventions qui définissent leurs responsabilités, les normes de leurs prestations et leurs modalités de travail. Participation Expression désignant généralement la participation des communautaire membres d’une communauté aux activités locales de développement. En pratique, cette expression désigne des modalités et des degrés très divers de participation locale, allant d’une simple consultation passive à des formes de prise de décisions collective autonome. Performance Mesure dans laquelle un projet ou un partenaire de développement applique les normes de mise en -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 32 œuvre et obtient des résultats conformes aux objectifs fixés avec les moyens qui lui ont été alloués (voir efficience, efficacité). Mesure dans laquelle les objectifs d’un projet correspondent Pertinence aux priorités du groupe cible et aux politiques de l’emprunteur et des bailleurs de fonds. Cadre global dans lequel sont regroupés les questions relatives Plan opérationnel de à la performance et à la réflexion critique, les besoins en matière de collecte d’informations (y compris les indicateurs), suiviles activités/rencontres de réflexion et d’examen avec les évaluation acteurs, les ressources et les activités nécessaires à la mise en place d’un système fonctionnel de suivi-évaluation. Préévaluation Évaluation, conformément à des critères de décision établis, de la faisabilité et de l’acceptabilité d’un projet ou d’un programme préalablement à la décision de financement. La pertinence et la durabilité sont habituellement au nombre de ces critères. Programme de Engagement annuel du projet à l’égard des communautés, du gouvernement et du FIDA, et dont on mesurera l’avancement travail et budget annuel de la mise en œuvre. Le PTBA décrit de façon détaillée les aspects opérationnels d’un projet, en se fondant sur le plan (PTBA) stratégique et la situation sur le terrain. Il sert de base à la programmation détaillée des activités et des tâches spécifiques lors de réunions mensuelles de gestion. Il sert aussi de base au suivi de l’avancement du projet au niveau des activités et de l’utilisation/allocation des ressources. Chose importante, dans les projets dont les contenus sont impulsés par la demande, le PTBA est aussi l’expression de l’ensemble des projets et initiatives des acteurs qui recevront un appui au cours de l’année considérée. Intervention consistant en un ensemble d’activités planifiées et Projet interdépendantes visant à atteindre des objectifs définis avec un budget déterminé et dans un laps de temps donné. Q Qualitatif Quantitatif Ce qui n’est pas exprimable sous forme numérique, par exemple le procès-verbal d’une réunion communautaire ou des relevés sommaires d’observations. Les données qualitatives décrivent normalement les connaissances, les attitudes ou les comportements de personnes. Ce qui est mesuré ou mesurable quantitativement, ou ce qui concerne des chiffres ou des quantités et est exprimé sous cette -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 33 forme. R Rapport décrivant la situation au terme d’une intervention de Rapport d’achèvement développement, y compris les enseignements qui en sont tirés. C’est à l’emprunteur (c’est-à-dire le gouvernement) qu’il du projet incombe d’établir le rapport d’achèvement du projet. Document établi à l’issue de la mission de préévaluation et Rapport de préévaluation servant de base à la planification opérationnelle du projet. Il constitue le cadre général de la stratégie du projet. Les réalisations résultent directement de la mise en œuvre des Réalisation activités du projet. Elles contribuent à l’atteinte de l’objectif spécifique. Obligation pour le gouvernement, les administrations Redevabilité (responsabilité publiques ou les bailleurs de fonds de démontrer aux citoyens / obligation de que le travail prévu contractuellement a été mené rendre compte) conformément aux règles et normes convenues, ou de rendre compte des résultats obtenus dans l’exercice des fonctions qui leur ont été confiées. Dans le cadre des projets, la redevabilité doit s’exercer vers le haut, c’est-à-dire à l’égard du gouvernement et du bailleur de fonds et vers le bas à l’égard des citoyens supposés bénéficiaires de ces interventions. Dans les deux cas, il s’agit d’assurer la transparence des comptes et des modalités d’exécution ainsi que de rendre compte des réalisations et de l’impact. Permettre l’exercice de la redevabilité est un des trois objectifs du suivi-évaluation, les deux autres étant la réflexion critique et la gestion efficace. Questionnement et analyse des données de l’expérience, des Réflexion observations, des théories, des convictions et/ou hypothèses critique visant à tirer des enseignements utiles à l’amélioration de l’action. L’exercice peut être individuel ou préférablement collectif. Renforcement Processus par lequel les acteurs acquièrent ou améliorent leurs des capacités capacités. Il s’agit là d’un objectif transversal de plus en plus essentiel dans les projets de lutte contre la pauvreté. Repère (norme) Norme de référence par rapport à laquelle on peut comparer la performance (efficacité, efficience). On peut prendre pour référence ce qui a été réalisé dans le passé, par d’autres organisations comparables, ou ce qui aurait pu raisonnablement être réalisé dans les conditions existantes. Transmission d’informations issues d’un diagnostic, d’une Restitution -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 34 étude, d’une évaluation à ceux qu’elles concernent et à qui elles sont utiles soit pour faciliter la réflexion critique et la capitalisation de l’expérience, soit pour leur permettre de prendre des décisions. Dans le contexte précis de l’évaluation, c’est la restitution et le partage des résultats de l’évaluation avec ceux qui y ont participé. Le terme de résultat est peu utilisé dans ce guide sinon dans un Résultat sens générique. Il est en effet porteur de confusion. Selon les différentes terminologies en vigueur, on peut rencontrer ce terme dans le vocabulaire de la planification de projet et dans celui de l’évaluation. Dans le cadre de la planification, il désigne parfois le premier niveau d’objectifs de la matrice du cadre logique, celui des produits ou réalisations attendues. Dans le cadre de l’évaluation, il désigne parfois les effets (outcomes) obtenus au niveau de l’”objectif spécifique” (purpose) du projet. Résumé de la Première colonne de la matrice du cadre logique dans laquelle les moyens, les réalisations, l’objectif général et l’objectif logique d’intervention spécifique sont énoncés. Voir “Hiérarchie des objectifs”. Facteur susceptible de retarder ou d’empêcher Risque l’accomplissement des objectifs du projet. S Stratégie de pays/COSOP Suivi Suiviévaluation (S&E) Système de gestion de l’information Document cadre énonçant les objectifs et les priorités pour un pays donné, établi et utilisé pour orienter les investissements. Collecte et analyse régulière d’informations dans le but de faciliter en temps utile la prise de décisions, d’assurer la transparence et de servir de base à l’évaluation et à la capitalisation de l’expérience. C’est une fonction permanente qui recourt à la collecte méthodique de données afin de fournir aux responsables et aux acteurs à la base d’un projet en cours de mise en œuvre des indications sur l’état d’avancement et la progression vers les objectifs retenus. Combinaison du suivi et de l’évaluation qui permet d’obtenir les informations requises et de conduire la réflexion critique nécessaire à la bonne gestion du projet, à la satisfaction des obligations de redevabilité (vers le haut et vers le bas). Système de saisie, de regroupement et d’organisation des données devant permettre de fournir les informations et rapports aux responsables, d’aider au suivi et au contrôle de l’organisation, des ressources, des activités et des résultats d’un projet. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 35 Système de planification Système de suiviévaluation Système comportant les principaux éléments suivants: planification stratégique, programmation et budgétisation annuelles, programmation mensuelle des activités. Ensemble des processus de planification, de collecte et de synthèse de l’information, de réflexion et de présentation de rapports, indiquant les moyens et compétences nécessaires pour que les résultats du suivi-évaluation apportent une contribution utile à la prise de décisions et à la capitalisation dans le cadre d’un projet. T Triangulation Utilisation de différentes sources, méthodes ou équipes de terrain pour recouper et valider les données et informations de façon à limiter les erreurs. U Unité de suivi- Terme générique utilisé pour désigner les unités responsables du suivi-évaluation aussi bien dans le cadre du projet qu’au évaluation niveau sectoriel. V Validation Dans un sens restrictif, processus de recoupement destiné à vérifier que les données obtenues par une méthode sont confirmées par celles obtenues par une méthode différente (voir triangulation). Dans un sens plus large, exercice de vérification et d’approbation d’une hypothèse, d’une analyse ou d’une conclusion. Par exemple, une évaluation peut et doit être validée par les différents acteurs concernés. -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected] 36 -------------------------------------------------------------------------------------------------------------------Cours animé par Appollinaire Yaovi HOUESSOU, spécialiste en MP et en GRH, Docteur en Sociologie de Développement. Tél : 97 77 72 60. Email : [email protected]
