Fiches outils - Université de Rennes 1

Suivi-évaluation
Fiches outils
Piloter l’action par la décision,
Eclairer la décision par l’action
La société SEVALPRO SAS, filiale du groupe
MGDIS créée en Janvier 2010, consacre
son activité à la réalisation de solutions
informatiques d’aide à la décision, de suivi
et de pilotage dédiée aux acteurs des
collectivités locales.
Forte de six années de réflexion et
d’expériences menées avec les clients
MGDIS et des experts reconnus (concours
scientifique de l’Université de Rennes 1),
SEVALPRO SAS conçoit et adapte ses outils
informatiques aux besoins des collectivités.
Nous vous proposons des gammes de
solutions
logicielles
répondant
aux
problématiques liées à l’informatisation du
suivi-évaluation, de la gestion de projets et
de l’Agenda 21 pour parvenir à un pilotage
amélioré de l’action publique.
www.sevalpro.fr
SEVALPRO SAS
Parc d'Innovation Bretagne Sud
Allée Nicolas Leblanc - CP 10
56038 VANNES Cedex
Tél : 02 97 68 18 28
Fax : 02 97 68 18 27
[email protected]
Suivi-évaluation des politiques publiques,
pour un meilleur pilotage de l’action publique
Introduction
Piloter les politiques et les programmes publics
= Piloter les actions pour aider à la prise de décision
Préalables
« Le suivi-évaluation c’est :
- mesurer
en
continu,
l’état
d’avancement
des
réalisations des politiques mises en œuvre de manière à
ajuster le périmètre des actions choisies et les moyens
affectés,
- offrir aux décideurs des outils de pilotage et de
communication en direction des bénéficiaires leur
permettant de comprendre le sens de l’action publique,
- contribuer à l’émancipation d’une culture partagée de
l’évaluation au sein de l’organisation et vers le public » (*)
Mise en œuvre
ARBRE DES OBJECTIFS
- comprendre les conditions de leur mise en œuvre pour
anticiper leurs évolutions,
Objectif
Stratégique
APPRECIATION DES OBJECTIFS ET
DES ACTIONS PAR LES INDICATEURS
POSES SUR LE DLI
Objectif
Opérationnel
Le suivi-évaluation utilise les notions du suivi qu’il adapte aux
concepts de l’évaluation. Ainsi, il permet :
- de mettre en œuvre les moyens nécessaires pour répondre à
une problématique identifiée sur un territoire,
DEFINITION
DES PLANS
D’ACTIONS
- d’identifier les acteurs intervenant dans le cadre des
politiques/programmes
ainsi
que
leurs
niveaux
d’intervention,
- de mesurer au fil de l’eau les effets produits par une
politique de façon identifier des pistes d’amélioration.
Pour y parvenir, le suivi-évaluation s’appuie sur l’Arbre des
Objectifs, le sociogramme des acteurs et le Diagramme
Logique d’Impact pour clarifier et structurer les données de
la collectivité et identifier les informations utiles au pilotage.
Actions
Indicateur
de
réalisation
Indicateur
de
résultat
Indicateur
d’impact
Cible
Cible
Cible
Réalisations
Résultats
Impacts
DIAGRAMME LOGIQUE D’IMPACTS
L’utilisation conjointe de ces outils permet de fixer des
indicateurs visant à mesurer et apprécier en continu les
effets d’une politique.
Le suivi de ces indicateurs dans le temps vise à améliorer le
pilotage des activités et répondre aux objectifs préalablement
fixés.
(*) Extrait du livre blanc : Le suivi-évaluation pour un pilotage optimisé de l’action publique
15
L’arbre des objectifs :
un outil du management stratégique
Le Diagramme Logique d’Impact
Face à des enjeux stratégiques et à une problématique
Réalisations
Actions
Résultats
Indicateurs
Impacts
Cibles
identifiée sur un territoire, les élus formulent une
réponse politique. Dans ce cadre, ils s’engagent à mettre
en œuvre un projet politique, dans le cadre des
compétences de la collectivité, visant à répondre aux
Indicateurs
Indicateurs
Cibles
Contexte
besoins du territoire.
Cibles
Sur la base de ce contexte, la collectivité énonce une
stratégie et des priorités, qu’il convient de clarifier et
de partager pour faire converger les moyens affectés.
Face à ce constat, il faut s’outiller
Glossaire
Un plan d’action ou action rassemble les
Un impact est un effet systémique produit à
réalisations
long terme, résultant de la production de
concourant
à
l’atteinte
des
objectifs opérationnels.
Poser
plusieurs résultats. Il concerne aussi bien les
bénéficiaires directs et indirects de l’action
Une réalisation correspond aux moyens
(ressource financière, humaine ou matérielle)
mis en œuvre pour répondre à un objectif
opérationnel.
14
publique.
Un indicateur est un élément qualitatif ou
quantitatif qui permet d’apprécier les effets
de l’intervention publique.
Une
moyen terme résultant de la production de
atteindre pour l’indicateur. Elle est définie au
plusieurs réalisations.
regard des objectifs de différents niveaux.
est
une
valeur
arbre
des
objectifs
repose
sur
une
Réponse en
suivi-évaluation
L’arbre des objectifs (AO) constitue un outil permettant
de représenter sous forme arborescente la volonté, la
stratégie exprimée par les élus.
Il permet de structurer les priorités de l’entité, de façon
Un résultat est l’effet attendu à court ou
cible
un
convention entre les décideurs, qui clarifient les priorités
sous forme d’objectifs.
référence
à
hiérarchique, simple et visuelle.
3
Suivre l’action et mesurer les effets obtenus
Décliner les objectifs de la collectivité en objectifs
Formuler clairement les volontés de la collectivité
Quel vocabulaire
utiliser ?
Dans un contexte en perpétuel mouvement, les stratégies
politiques évoluent et s’adaptent pour viser une situation
stable.
Comment exprimer les actions ?
L’arbre des objectifs permet de clarifier l’ensemble des
projets politiques de la collectivité en les déclinant en objectifs
de différents niveaux.
Un objectif retrace un but fixé en réponse à une
problématique identifiée. Il doit donc être suffisamment
ambitieux puisqu’il traduit une aspiration au mieux, mais
également réaliste et partageable. En effet, l’objectif peut
parfois sembler non atteignable et de fait décourageant.
Quelle stratégie
mettre en place ?
Ainsi, les nuances apportées dans la formulation des objectifs
contribuent à le positionner sur un certain niveau de l’arbre.
Toutefois, il faut veiller à ne pas multiplier les objectifs
stratégiques et à les adapter à la taille de la structure pour
qu’ils demeurent réalistes et réalisables en fonction des
ressources dont elle dispose.
Une action est énoncée sous forme d’un verbe
à l’infinitif suivi d’un COD. Les verbes utilisés
sont des verbes
d’action (mettre en œuvre,
développer…).
Comment exprimer les réalisations ?
La réalisation est formulée à l’aide d’un nom
commun (adaptation, contribution…).
Etapes de mise en œuvre
1.
2.
Comment exprimer les résultats ?
Le résultat est décrit par un sujet suivi d’un
verbe au passé composé.
3.
4.
Elaborer le plan d’actions
en fonction des objectifs
Décliner le plan d’actions
en réalisations
Classer les effets produits
par les réalisations en
résultats et impacts
Poser les indicateurs
Comment exprimer les impacts ?
L’impact est décrit par un sujet suivi d’un
verbe au passé composé (l’offre de
logements sociaux est mieux répartie sur le
territoire).
Structurer la volonté des décideurs
L’arbre des objectifs est construit pour une politique, sur une
arborescence comprenant à minima deux niveaux :
– au sommet de l’arbre, les objectifs stratégiques
– en bas de l’arbre, les objectifs opérationnels.
Comment définir
les priorités ?
La construction de l’arbre des objectif est le fruit d’une réflexion
collective entre les décideurs, d’une concertation pour traduire
une vision stratégique commune. Ceci favorise la
transparence, le partage de la connaissance au sein de la
collectivité et responsabilise les acteurs aux vues des missions
qui leurs seront confiées.
L’arbre des objectifs résulte donc d’une démarche
participative qui nécessite réflexion et échange.
4
Eléments clés
Un objectif opérationnel est décliné en plans d’actions, eux-mêmes déclinés
en réalisations.
Les réalisations produisent des résultats (effets directs pour les bénéficiaires) ;
ces derniers doivent correspondre à une réponse aux objectifs opérationnels.
Des effets de long terme pourront alors être identifiés par le biais des impacts
(effets indirects). Ils sont à mettre en relation avec les objectifs stratégiques.
Ce travail effectué, les indicateurs de suivi des résultats et des impacts
pourront être identifiés.
13
Décliner la stratégie de la collectivité en objectifs
Suivre l’action et mesurer les effets obtenus
Formuler les plans d’actions
Le diagramme logique d’impact est l’outil qui relie les
activités des services aux orientations stratégiques définies
dans l’arbre des objectifs.
Ce lien s’effectue à partir des objectifs opérationnels qui se
déclinent en plans d’actions dans le logigramme.
Quel vocabulaire
utiliser ?
Quels moyens au
service de quels
objectifs ?
Ces plans d’actions correspondent à la mise en œuvre par les
services, des moyens matériels, humains et financiers formalisés
dans le logigramme par les réalisations.
La production des réalisations vise à obtenir des effets à court
et long terme, qualifiés dans le Diagramme Logique d’Impact de
résultats et impacts.
Les indicateurs posés au niveau des réalisations, des résultats et
des impacts permettront d’effectuer un suivi dans le temps et de
disposer d’information pertinentes en vue du pilotage.
Comment exprimer les volontés ?
Les objectifs doivent être énoncés sous forme
d’un verbe à l’infinitif + un COD (exemple:
promouvoir la mixité sociale)
1.
L’objectif exprime ce que nous souhaitons
faire, les verbes utilisés appartiennent au
registre de la volonté (ex: Développer,
renforcer, garantir, privilégier…).
2.
3.
4.
Plus l’objectif est opérationnel, plus le verbe
sera précis dans son énoncé, et fera référence à
l’action.
Etapes de mise en œuvre
5.
Identifier le contexte et les
problématiques
du
territoire et des habitants
Libeller les volontés
Définir les priorités
Décliner ses priorités en
objectifs
Hiérarchiser les objectifs
Traduire les objectifs dans le logigramme
La traduction de la volonté dans le logigramme s’articule en actions,
réalisations, résultats et impacts.
Un plan d’actions est élaboré de façon à répondre aux objectifs
préalablement fixés. Sa mise en œuvre se fait par des réalisations,
produisant des effets à moyen et long terme sur les bénéficiaires
directs ou indirects du service public (résultats-impacts).
Comment traduire
la volonté en
actions ?
Les indicateurs positionnés au niveau des réalisations, résultats et
impacts permettront d’effectuer, dans la durée, un suivi des
ressources et des effets obtenus. Ainsi, les résultats et impacts
obtenus seront analysés au regard des objectifs.
L’élaboration du DLI repose sur de nombreux échanges entre les
différentes parties prenantes identifiés au travers du sociogramme
des acteurs. La formulation des actions, réalisations, résultats et
impacts ainsi que l’identification des indicateurs résultent d’un
consensus entre les acteurs ; l’outil est donc amené à évoluer
au fil de l’eau.
12
Eléments clés
Un arbre des objectifs est élaboré pour chaque projet politique sur la base d’un
diagnostic, auquel les élus apportent des réponses politiques.
Un Objectif Stratégique correspond à l’objectif général dans lequel s’engage la
collectivité pour répondre à une problématique identifiée en amont.
Un Objectif Opérationnel correspond à une traduction des Objectifs Stratégiques
en actions concrètes qui s’assimilent aux missions confiées aux agents des
services.
5
Le Diagramme Logique d’Impact:
un outil du management basé sur les activités
L’Arbre des Objectifs
Projet politique
Une fois les objectifs fixés et les parties prenantes
Contexte
identifiées, il convient de
utilisées pour y répondre.
suivre
les
ressources
Dans ce cadre, la mesure des effets attendus de l’activité
des services est un élément structurant pour le pilotage.
Objectif stratégique
Cette mesure s’effectue par le biais d’indicateurs ; ces
derniers auront pour finalité d’alimenter les tableaux de
bord de pilotage.
Objectif opérationnel 2
Objectif opérationnel 1
Suivre les activités en continu et mesurer
les effets pour un meilleur pilotage
Glossaire
Un Objectif Opérationnel correspond à la
Le logigramme ou Diagramme Logique d’Impact (DLI) est
priorités politiques de la collectivité ; il
déclinaison
constitue
Stratégiques.
un outil, permettant de visualiser l’ensemble des
activités et des ressources mises en œuvre par la
Un
Objectif
une
Stratégique
réponse
à
définit
des
les
enjeux
opérationnelle
Il
peut
être
des
Objectifs
assimilé
aux
économiques, sociaux, environnementaux,
missions qui sont confiées aux services.
… identifiés sur un territoire. Il est défini par
L’objectif opérationnel constitue un repère
les décideurs (élus, direction générale) et
auquel les agents opérationnels doivent se
vise à améliorer la situation exposée par le
référer dans l’exercice de leur fonction. Pour
diagnostic.
cela, il doit être précis dans son énoncé.
La
pertinence
examine
la
concordance
La cohérence vérifie la concordance entre
entre les objectifs du programme et les
les objectifs et les plans d’actions.
problèmes socio-économiques. Elle sert à
La question est de savoir si les activités et
approuver la stratégie, déterminée sur un
ressources utilisées par les services sont bien
territoire particulier, comme une réponse
en adéquation avec la stratégie politique.
Réponse en
suivi-évaluation
collectivité, pour
préalablement.
atteindre
les
objectifs
fixés
Par conséquent, le Diagramme Logique d’Impact permet :
- de
mettre
budgétaires
et
des objectifs,
en
cohérence
humains
les
engagés
- de construire le système de
pilotage par le biais d’indicateurs.
moyens
au
suivi
regard
et
de
conforme aux problèmes définis.
6
11
Le sociogramme des acteurs :
un outil au service du management
Le sociogramme des acteurs
Partenaires
(Europe, état, organismes
publics et privés…)
L’atteinte des objectifs fixés par les décideurs passe par
un partage de connaissances, et une mobilisation des
acteurs.
Équipe opérationnelle
(agents concernés et leurs
responsables)
Experts
Contexte
(internes ou externes)
Les échanges entre les acteurs vont apporter un
éclairage en fonction de l’expérience et du niveau de
connaissance de chacun dans l’organisation.
Décideurs
(élus, direction générale..)
Ainsi, après avoir apporté une réponse politique aux
besoins des citoyens, il convient d’identifier:
Bénéficiaires
(citoyens, associations,
entreprises…)
- d’une
part
les
parties
contribueront aux résultats,
prenantes
- et d’autre
la donnée.
qui
part
les
référents
qui
renseigneront
Identifier les acteurs qui contribuent aux résultats
Glossaire
Un acteur dans le cluster, correspond à une
personne ou à un groupe représentatif de
La transparence se traduit par la nécessité
pour la collectivité d’expliciter la conduite
personnes disposant de
compétences
précises dans un domaine particulier.
de ses plans d’actions et ses résultats
(obtenus)
au
regard
Le
d’objectifs
préalablement identifiés.
La cohésion des acteurs consiste à fédérer
les
parties
prenantes
dans
l’atteinte
d’objectifs partagés. Ainsi l’utilisation du
Cluster des compétences facilite la cohésion.
Cette transparence se dirige tant vers
l’interne que l’externe, de manière à ce que
les acteurs fournissent et prennent
connaissance des informations relatives à
leurs actions.
sociogramme
des
acteurs
ou
cluster
des
compétences permet d’identifier les parties prenantes
qui contribuent à l’atteinte des objectifs fixés par les
Réponse en
suivi-évaluation
élus.
Il permet d’identifier de manière simple et visuelle
l’ensemble des acteurs, internes et externes à la
collectivité, qui contribuent au renseignement de
l’information ainsi qu’à la production des résultats.
10
7
Mobiliser les acteurs dans l’atteinte des objectifs
Mobiliser les acteurs dans l’atteinte des objectifs
Comment
représenter les
liens entre les
acteurs ?
Identifier le rôle et la contribution des acteurs
Avant d’élaborer le cluster des compétences, il convient de
recenser l’ensemble des acteurs intervenant dans le cadre du
pilotage de la collectivité. Cependant cela ne signifie pas dresser
une liste exhaustive, il faut en effet positionner le rôle de
chacun.
Le sociogramme des acteurs n’est pas une pâle copie de
l’organigramme de l’établissement, il intervient en complément
de celui-ci. Contrairement à l’organigramme il ne fait apparaitre
aucune hiérarchie entre les différents acteurs. Son rôle est de
faire apparaitre les liens fonctionnels unissant les diverses
parties prenantes à la politique ou au programme publique.
Quels acteurs au
service de quels
objectifs ?
Représenter dans l’espace les liens entre les acteurs
Pour visualiser l’ensemble des contributeurs à
l’accomplissement de la stratégie, il convient de
s’appuyer sur des codes couleurs et des
intersections de formes. Ces formes seront de
tailles différentes selon l’importance de la
contribution des acteurs.
Le cluster doit être harmonisé en fonction
des registres utilisés pour représenter les
acteurs selon que l’on considère, des fonctions
(élu, directeur de service,…), ou des organismes
(collectivité locale, cabinet d’experts,…).
Etapes de mise en œuvre
1.
2.
3.
4.
Identifier les différents
acteurs
Déterminer les liens qui
les regroupent
Déterminer
les
code
couleurs
Représenter les acteurs
dans l’espace
Le type d’acteurs représentatifs des parties prenantes, est
schématisé en fonction de son degré d’implication, mais aussi
en fonction de ses liens avec les autres acteurs. Cette
visualisation des contributions de chacun, facilite l’appropriation
et le partage des objectifs par les acteurs eux-mêmes, et
permet de les responsabiliser et de les impliquer dans la
réalisation des objectifs.
Comment
représenter les
acteurs ?
Le sociogramme va donc permettre d’identifier les acteurs
ainsi que leur contribution dans les résultats obtenus. En
effet, il permet d’inscrire les contributions individuelles dans un
contexte de vouloir global. Cela permettra de nourrir le système
d’informations par l’implication de chacun, d’accroitre et de
partager la connaissance des informations disponibles.
Eléments clés
Chaque acteur a son rôle et sa place au sein du cluster. Chacun dispose
d’une vision globale au sein de l’organisation (acteurs internes à l’organisation)
ou bien plus spécifique sur une thématique plus particulière (acteurs externes à
l’organisation).
Cependant, le but n’est pas d’obtenir une liste exhaustive de toutes les parties
prenantes, il convient d’identifier au préalable les acteurs dont le rôle aura un
impact significatif sur la démarche.
Il convient de déterminer et d’ajuster les codes couleurs en fonction de la
proximité fonctionnelle des organismes.
8
9