Evaluation (ECML Programme) discussion notes

STRUCTURE DE L'EVALUATION DU PROGRAMME DU CELV
rév. oct. 2008
Approche générale
Ce document présente le cadre général de l'évaluation du programme du Centre européen pour les
langues vivantes du Conseil de l'Europe. Le but de ce cadre est de mettre en place une base
institutionnelle commune afin de standardiser et de professionnaliser les méthodes d'évaluation et de
faciliter le dialogue avec les partenaires et les acteurs clés pertinents. 1
Le CELV doit prouver à ses personnes clés qu'il fonctionne de manière efficace et efficiente et que
son travail est utile et de haute qualité. Pour cela, il lui faut une procédure d'évaluation définissant les
intérêts des personnes clés, des indicateurs de performance, des résultats qui seront confirmés et
mettant en œuvre de manière systématique des instruments de collecte de preuves et de données.
Ce cadre tente donc d'accroître la transparence, la cohérence et l'efficacité en générant et en utilisant
les connaissances en évaluation afin d'obtenir des pratiques réflexives et formatives au sein du
programme et, par cela, au sein de tous les projets du programme et entre eux. Grâce à cette
approche, le cadre facilitera une gestion orientée sur les résultats efficace et une amélioration de la
transparence.
Le cadre devrait être en parfaite cohérence avec les normes, les standards et les bonnes pratiques
d'évaluation acceptés au niveau international. Dans ce but, le CELV continuera à développer sa
capacité et son savoir-faire actuels.
Nous attendons de la mise en œuvre du cadre proposé une amélioration à moyen terme des
pratiques et des processus de gestion, des résultats et des contributions des projets et du programme
en tant que tel. Les améliorations suivantes sont prévues:

une utilisation plus systématique de l'évaluation et de l'auto-évaluation;

un suivi des conclusions et des recommandations de l'évaluation;

des synergies et un partage des connaissances;

un retour d'information régulier de la part des équipes de projet et des participants aux
activités du CELV;

plus d'informations sur l'impact des activités et des produits du Centre.
Définition du concept d'évaluation sur lequel se fonde ce cadre
L'évaluation est un processus de collecte et d'analyse critique de données dans le but d'améliorer la
prise de décision, d'obtenir de meilleurs résultats et d'assurer un développement continu du projet et
des partenaires institutionnels concernés. Cela consiste entre autres à effectuer des jugements
qualitatifs, souvent subjectifs, sur différents aspects des résultats des projets et du programme.2
1
Ce texte est basé sur le "Projet de politique d'évaluation pour le Conseil de l'Europe", qui est un document de référence de la
Direction de la planification stratégique du Conseil de l'Europe. DSP (2007)30rev.
2 Les définitions suivantes sur l'évaluation sont disponibles dans Muresan, Laura et al. (2007), QualiTraining. Guide de
formation à l'assurance qualité dans l’éducation aux langues, Conseil de l'Europe et Newby, David et al. (2007), Portfolio
européen pour les enseignants en langues en formation initiale, Conseil de l'Europe.
Les procédures d'évaluation du Centre mettent l'accent sur les processus et les produits résultant des
projets au sein de son programme. Ces projets sont limités par des restrictions en termes de
ressources humaines et financières et de temps alloué. Sur la base de ces paramètres, l'approche à
l'évaluation adoptée se fonde sur les principes de base suivants:
 définition de descriptions claires et d'une évaluation constructive de la mesure dans laquelle
les résultats souhaités ont été atteints (accent mis sur les résultats);
 assistance au bon déroulement des projets (accent mis sur les processus);
 encouragement des pratiques d'autoréflexion;
 pratique en termes à la fois de temps administratif et de budget;
 utilité à la fois pour les coordinateurs et les équipes de projet;
 fourniture aux principales personnes concernées de données parlantes sur lesquelles elles
pourront développer les futures politiques du CELV.
Une évaluation du travail du CELV implique d'examiner des processus sociaux. Dans ce contexte, le
concept de description est souvent plus utile que celui de mesure. Il est rarement possible de
mesurer de manière valable les changements provoqués par un projet; le changement peut
cependant souvent être décrit de manière claire et utile. L'évaluation du programme du CELV a été
conçue pour collecter et résumer ces descriptions de manière efficace.
Définition d'autres termes clés
Les définitions suivantes de termes liés aux projets ont été utilisées lors de l'élaboration du système
d'évaluation du programme du CELV:
TERME
COMMENTAIRES ET DEFINITIONS
Programme
Processus de changement à grande échelle consistant en un certain nombre
de projets. Il est prévu que les réalisations combinées de ces derniers
permettront d'atteindre des résultats prédéfinis et d'exercer un certain impact
sur l'éducation aux langues en Europe. Le programme à moyen terme du
CELV est mis en place sur la base d'un groupe spécifique d'objectifs et seuls
les projets contribuant à atteindre ces objectifs sont sélectionnés pour en faire
partie.
Projet
Un processus de changement géré ayant lieu dans un contexte spécifique
dans le cadre de l'éducation aux langues en Europe et conçu pour exercer un
impact sur cet environnement. Il comprend une fonction et des résultats
prédéfinis, un calendrier fixe et un budget adopté et est mis en œuvre par une
équipe d'experts. Les projets du CELV ont des objectifs déclarés (résultats
des projets) et des objectifs spécifiques (réalisations des projets) conçus pour
permettre aux objectifs d'être atteints et aux plans de diffusion et de viabilité
d'être mis en œuvre.
Personnes clés
Les bénéficiaires auxquels un projet est destiné, les personnes impliquées
dans la mise en œuvre du projet (y compris les agences offrant un
financement, celles devant donner leur autorisation et les équipes de mise en
œuvre), ainsi que les personnes qui ne sont pas directement affectées par le
projet ou qui ne jouent pas le rôle d'intermédiaires dans le cadre des
processus de ce dernier, mais qui ont néanmoins une certaine influence sur
les prises de décision et la mise en œuvre. Les personnes clés dans le cadre
du travail du CELV incluent le Conseil de l'Europe, les autorités nationales,
les membres des équipes de projet, les consultants, les partenaires et les
participants aux activités des projets, les utilisateurs des produits et services
du Centre, les experts et le grand public.
-2-
Résultats du projet
(But)
Changement positif que les équipes de projet espèrent apporter dans
l'environnement professionnel. Celui-ci ne peut être contrôlé au sein du projet;
cependant, ce dernier est, en dernière instance, évalué par rapport à la
mesure dans laquelle ces changements ont été atteints.
Réalisations du
projet
(Objectifs
spécifiques)
Les principaux biens et services devant être développés pour que le projet
atteigne ses résultats sont définis comme étant ses réalisations. Dans le
cadre du travail du CELV, les "biens" incluent la publication de projet (livre,
site web, guide, etc.) et les "services" incluent les ateliers, événements
régionaux, réunions de réseau, etc.
"Contributions"
(événements,
activités)
Tout ce qui doit être fait ou fourni afin de produire les réalisations immédiates
du projet. Cela inclut les ressources humaines et le temps alloué.
Indicateurs de
réussite
Les standards qu'un projet espère atteindre. Les indicateurs de réussite
indiquent ce qui sera enregistré et mesuré en vue d'évaluer le succès de
l'impact. Les indicateurs liés aux REALISATIONS devraient décrire les biens
et services selon le principe SMART (Spécifiques, Mesurables, Adaptés,
Réalistes, définis dans le Temps); par exemple: "Cent multiplicateurs seront
formés à l'utilisation du kit d'ici à 2009."
Eléments du cadre
Sur la base des principes définis plus haut, l'approche concernant l'évaluation et la gestion de projet
au sein du CELV présente les caractéristiques clés suivantes:
Un cadre pour l'évaluation du programme du CELV expliquant le contexte, les objectifs, les
termes et la structure des mesures offertes (ce document).
Un cadre pour le système de consultants au programme expliquant le rôle consultatif et de
compte rendu des consultants dans le système d'évaluation; pour plus de détails, voir le document
"Le rôle des consultants au programme 2008-2011".
Un groupe d'instruments d'évaluation de base:
Des instruments de planification et de compte rendu pour les personnes chargées de mettre
en œuvre et de superviser les projets, ainsi que pour les multiplicateurs nationaux (participants
aux ateliers du CELV):

modèles de planification et de compte rendu pour les coordinateurs (destinataires:
Secrétariat du CELV et consultants au programme);

modèles de compte rendu pour les participants nommés aux ateliers du CELV
(destinataires: Autorités nationales de nomination);

modèles de compte rendu pour les consultants au programme (destinataires:
Secrétariat du CELV et équipes de projet).
Le document "Procédures de compte rendu pour le programme 2008-2011 du CELV"
fournit plus de détails sur ces instruments.
-3-
Des questionnaires pour les personnes en charge de mettre en œuvre et de superviser les
projets, pour les multiplicateurs nationaux (participants aux ateliers du CELV), ainsi que pour les
utilisateurs finaux des publications de projet (lecteurs des publications du CELV):

une évaluation formative des projets du CELV sera effectuée par le biais de
questionnaires destinés aux participants et aux équipes de projet à la fin des
événements (questionnaires après une activité). La collecte et l'analyse de ces
questionnaires fourniront un retour d'information immédiat aux coordinateurs et aux
équipes de projet;

des données pour une évaluation sommative seront fournies par un questionnaire
en ligne rempli par les participants 6 mois après chaque atelier (questionnaire de
suivi de l'atelier). Cela permettra de mesurer l'impact des projets du CELV;

afin de servir de base à l'évaluation sommative et de contribuer à long terme à la
conception des politiques, un questionnaire en ligne sera envoyé aux personnes
ayant téléchargé des publications du CELV (retour d'information sur les
publications) à partir du site web; ce questionnaire fournira des données sur l'utilité,
l'impact et la distribution des publications.
Les questionnaires traitent des trois domaines clés suivants: attentes (dans quelle
mesure l'expérience acquise au sein du CELV a-t-elle correspondu aux attentes des
personnes clés?), pertinence (quelle était l'utilité du contenu en termes de
développement professionnel?), impact (dans quelle mesure le travail du Centre a-t-il fait
la promotion d'un changement et d'une innovation efficaces?).
Evaluation des publications

Possibilité, pour tous les lecteurs des publications du CELV, de soumettre des commentaires
directement en ligne sur le site web du CELV ("Système d’évaluation globale des publications
par des pairs");

Questionnaire en ligne afin de collecter et d'analyser le retour d'information des lecteurs ayant
téléchargé des publications du CELV (voir plus haut);

Mise en place d'un Comité éditorial chargé d'évaluer la qualité des publications proposées et
de fournir des conseils concernant l'acceptation, les modifications et/ou la production des
traductions.
Supports auxiliaires
Sur Internet

Une plate-forme de communication en ligne pour les coordinateurs, les consultants et le
Secrétariat du CELV afin d'assurer un échange cohérent et efficace des informations et du
retour d'information concernant les activités de projet. Ce document et tous les autres
documents liés à l'évaluation du programme seront disponibles sur cette plate-forme qui sera
pilotée en 2008.
Supports

Notes sur les bonnes pratiques concernant la mise en place d'ateliers du CELV pour les
coordinateurs de projet, les membres de l'équipe et les modérateurs d'activités du CELV;

Un journal afin d'aider la réflexion des participants au cours de leur participation à un atelier
du CELV.
Vous trouverez plus bas un graphique présentant un aperçu des éléments mentionnés. Tous ces
éléments sont conçus pour être utilisés de manière cohérente, transparente, interactive et réflexive;
cela signifie par exemple que les résultats des questionnaires sont intégrés dans les comptes rendus,
que les personnes évaluées ont accès aux comptes rendus évaluatifs, que les consultants sont prêts
-4-
à fournir un retour d'information consultatif sur les procédures des projets, que les participants sont
encouragés à réfléchir à leurs propres expériences et à planifier des activités de suivi, etc.
Afin d'assurer une mise en œuvre et une gestion efficaces des outils en ligne de traitement de
données et une analyse efficace des données, le CELV utilise un logiciel fourni par un hébergeur
Internet externe appelé SurveyConsole.
Certains éléments ont déjà été pilotés, d'autres en sont encore à une phase de pilotage ou de
développement. Pendant la seconde moitié du troisième programme à moyen terme (à partir de
2010), le système d'évaluation devrait être mis en œuvre dans tout le programme. Pour chaque
étape, le Secrétariat du CELV requerra un retour d'information sur la procédure et les instruments
présentés dans ce document afin de réfléchir aux pratiques actuelles, d'identifier d'éventuels
domaines problématiques et de réagir aux changements et aux nouveaux besoins des personnes
clés; il s'efforcera donc de développer plus avant la qualité du travail du CELV.
Cadre pour l'évaluation du programme du CELV
Instruments de base
Système de
consultants
au
programme
Outils de
planification et
de compte
rendu
 pour les
coordinateurs
 pour les
participants
Evaluation des
publications
Soutien
Questionnaires
 pour les équipes
Comité
éditorial
En
ligne
 pour les
participants
 pour les lecteurs
des publications
du CELV
 pour les
consultants
-5-
Outils en
ligne
Supports