Annexe N° 1 Principes de pilotage et d’évaluation d’actions de prévention Introduction La préparation d’une politique nationale de prévention est l’occasion de réfléchir aux modalités de pilotage et d’évaluation des actions. Le pilotage permet d’assurer un suivi fiable d’une politique, d’un programme, d’un projet ou d’une action grâce à l’obtention d’une vue d’ensemble sur le projet, en mesurant précisément son avancement. L’évaluation est une mesure, aussi systématique et objective que possible, des résultats, d’une politique, d’un programme, d’un projet ou d’une action, en vue de déterminer sa pertinence, et sa cohérence, l’efficience de sa mise en œuvre, son efficacité et son impact ainsi que la pérennité des effets obtenus. Le pilotage et d’évaluation d’actions nationales ne sont ni un processus de contrôle ni un processus d’audit des résultats réalisés. L’évaluation d’une politique ou d’un programme nécessite en amont l’existence d’un modèle à priori reliant les différentes actions entreprises aux résultats visés. La définition d’une stratégie consiste à préciser la base d’un tel modèle et à l’améliorer grâce aux retours d’expérience, à leur analyse et à leur capitalisation. Les bilans intermédiaires et finaux permettront d’évaluer l’efficacité des actions menées. En rapprochant ces bilans des coûts des actions en terme de ressources déployées on aboutira alors à une évaluation de l’efficience du dispositif mis en place. Principes Les principes suivants sont nécessaires à la mise en œuvre du pilotage des actions : Le pilotage et l’évaluation nécessitent la mise en œuvre d’outils dédiés à ces processus. La réalisation d’un tableau de bord de pilotage et d’évaluation permet de guider les décisions. La démarche d’évaluation permet l’anticipation des dérives et l’amélioration continue. Son objectif n’est pas le contrôle des actions des personnes. La démarche est facilitée lorsque la façon d’interpréter les résultats a été discutée à l’avance. Si les résultats attendus ne sont pas atteints les personnes concernées cherchent à comprendre pourquoi le modèle utilisé n’a pas bien fonctionné et cherchent à Page 1 l’améliorer ensemble. On peut aussi chercher à améliorer les dispositifs en place même si l’indicateur est atteint. Un indicateur est une aide au pilotage. Il ne faut pas le confondre avec l’objectif. Audelà de l’indicateur ce qui est important c’est comment les choses se sont passées, quelles ont été les difficultés rencontrées et en quoi ces enseignements peuvent également être utilisés ailleurs. Méthode d’évaluation Le Plan Santé au Travail se décline en objectifs. Ces objectifs constituent les grandes orientations de la politique, et sont constitués d’un ensemble d’actions. Le pilotage et l’évaluation s’effectuent au niveau des actions, et sont consolidés pour procéder à l’évaluation et au pilotage des objectifs. . Afin de s’assurer que les objectifs sont compris, acceptés, réalistes et réalisables et que l’expérience acquise est capitalisée, un certain nombre de boucles de régulation/apprentissage (rétroaction) sont mises en place. Elles permettent l’expression et la prise en compte du point de vue du « terrain » par une démarche ascendante. Le système de pilotage permet de suivre le déroulement des actions et de réagir, avant la fin de la réalisation des programmes, aux inévitables aléas liés au changement du contexte et aux erreurs éventuelles de modélisation. Cela signifie que les objectifs, indicateurs, valeurs cibles, actions… sont à même d’évoluer dans le temps d’une façon réactive et dynamique. Eléments d’entrée du processus : éléments de contexte (démographie, sinistralité, évolutions technologiques, économiques, sociologiques, …) politique de l’Etat et des partenaires sociaux. Eléments de sortie : bilan de l’action nationale, capitalisation des bonnes pratiques et des compétences acquises. Points clefs Fixer des objectifs et les décliner en actions Rappels de quelques bonnes pratiques pour la définition d’objectifs : La phase de sélection des objectifs est la phase la plus cruciale du processus de pilotage et d’évaluation. C’est là que l’essentiel se joue. La participation des acteurs du processus, fournisseurs d’informations et utilisateurs des résultats est évidemment essentielle. La pertinence et la légitimité des objectifs doivent être vérifiées. Un objectif doit être rédigé clairement et précisément afin que les intéressés sachent ce que l’on attend d’eux. Un indicateur lié à un objectif ne mesure qu’une seule chose à la fois. A chaque objectif est attaché un délai et des ressources allouées. Chaque objectif doit être réaliste et réalisable pour pouvoir être considéré comme atteignable par l’intéressé/le service. Page 2 La formulation d’un objectif se fera en se posant les questions suivantes : quel est le public cible ? Quels sont les résultats attendus pour le public cible ? Sous quels délais ? Déterminer et sélectionner les indicateurs. Il n’existe pas d’indicateurs standards ou génériques. Les indicateurs sont choisis par celui qui fixe les objectifs mais ils doivent être compris et acceptés par les utilisateurs. Les indicateurs doivent inciter à l’action. L’élaboration d’un indicateur peut se faire en se posant les questions suivantes. Indicateurs pour des objectifs de résultats : Les données nécessaires au calcul de l’indicateur existent-elles dans une base de données? L’indicateur est-il pertinent par rapport à l’objectif ? L’indicateur est-il facilement mesurable ? L’indicateur est-il acceptable ? L’indicateur a-t-il une valeur cible ? L’indicateur est-il quantitatif / qualitatif ? Indicateurs pour des objectifs d’actions L’indicateur est-il représentatif de l’activité réelle ? L’indicateur est-il quantitatif / qualitatif ? Un indicateur performant est un indicateur simple. La méthode de mesure de chaque indicateur sera précisée (mode d’emploi) et l’on s’assurera que la mesure est bien réalisée de la même manière par chaque personne fournissant les informations. On définira une fréquence de mesure des indicateurs. Architecturer le réseau de tableaux de bord Les objectifs et indicateurs seront formalisés dans un tableau de synthèse. Le tableau de synthèse a pour finalité la connaissance de l’avancement de l’activité, du degré d’atteinte de l’objectif et la consommation des moyens. Il permet la consolidation des indicateurs et, construit sur un model commun, permet une remontée d’information, une synthèse et une analyse facilitée. . Des fiches complémentaires d’information permettront de remonter des informations qualitatives sur les actions. Un mode opératoire sera lié au tableau de synthèse. Evaluer régulièrement l’efficacité du dispositif et l’améliorer La structure globale objectifs/indicateurs n’est pas gravée dans le marbre. Elle doit évoluer et s’adapter en fonction des problèmes rencontrés et des besoins de pilotage. Il s’agit de disposer d’un modèle efficace d’action et non d’une structure formelle n’ayant pour but que l’établissement d’un bilan final en fin de période. Il faut également veiller à éviter les risques de rupture en modifiant l’indicateur. Page 3 ANNEXE Définitions Politique Orientations générales, valables sur le moyen ou le long terme, fixant pour le public cible l’esprit de l’action, la conduite générale, les axes des efforts. Public cible Organisation(s) ou personnes visées par la politique. Relais Organisation(s) ou personnes servant d’intermédiaires entre celui qui définit la politique et le public cible. Un relais apporte une valeur ajoutée au processus de déclinaison de la politique. Stratégie La stratégie consiste à décliner la politique en objectifs opérationnels. Elle compare différents scénarii d’évolution et en évalue la pertinence. Processus Ensemble d'activités corrélées ou interactives qui transforme des éléments d'entrée en éléments de sortie. Modèle Représentation simplifiée d’une réalité, réduite aux caractéristiques essentielles, servant de référence à l’appréciation ou à la réalisation d’objets, de systèmes, de procédures… Objectif But d’une politique, d’un programme, d’un projet ou d’une mission. Un objectif est généralement exprimé par un verbe (réduire…, stabiliser…,améliorer…) Dans le cadre du présent document on qualifiera d’objectifs stratégiques les objectifs fixés au niveau national par la CNAMTS et d’objectifs opérationnels les objectifs fixés localement par chaque CRAM en application des actions nationales. Résultat Ce qui résulte d’une action, d’un fait, d’un principe, d’un calcul. Finalité Résultat visé pour le public cible. Pilotage Action de conduire ce dont on a la responsabilité vers l’objectif visé en utilisant divers moyens : objectifs, outils de détection des écarts, accompagnés de dispositifs de correction et de systèmes de régulation. Indicateur Moyen de mesure de l’état d’avancement ou de l’atteinte d’un objectif. Un indicateur contribue à l’appréciation d’une situation par le(s) décideur(s). Un indicateur est généralement exprimé par un nom (nombre de salariés…, ratio de…, réalisation de…, taux de fréquence). L'ensemble des indicateurs est regroupé dans un tableau de bord. Valeur cible Valeur fixée à un indicateur. Il est exprimé par un chiffre. Tableau de bord Ensemble structuré d’indications élémentaires ou combinées choisies pour servir au pilotage pro-actif d’un système dans le cadre d’une démarche de progrès. Page 4