Le programme PISA dix ans plus tard

Le programme PISA
dix ans plus tard
Séminaire CRIFPE
Jouvence
Janvier 2011
Plan du séminaire
A- Introduction au séminaire : à propos de l’histoire récente
des évaluations internationales et du rôle de l’OCDE
Claude Lessard, CRIFPE-Montréal
B- PISA au Canada : ce qu’il est, comment il est géré et les
principaux résultats de 2009
Pierre Brochu, coordonnateur, évaluations internationales, Conseil
des ministres de l’Éducation , Canada.
C- PISA et l’efficacité et l’équité des systèmes éducatifs.
Jake Murdoch, professeur adjoint, Département d’Administration et
Fondements de l’Éducation, Université de Montréal.
D- La réception et les usages de PISA, ou les rapports entre
recherche et politique
Claude Lessard, CRIFPE-Montréal.
E- Discussion générale et conclusion
Introduction au séminaire: à propos de l’histoire
récente des évaluations internationales
et du rôle de l’OCDE
- PISA n’est pas la première enquête internationale
comparative sur les acquis des élèves. IEA, IAEP de
l’ETS.
- Dans les années 90, l’OCDE développe un programme
sur les indicateurs des systèmes d’enseignement
(INES). En 1997, PISA est créé pour compléter le
tout.
- Avec PISA, l’OCDE met la question des acquis
scolaires dans l’arène publique, met de l’avant une
conception de ces acquis en termes de compétences
assez générales, qui ne dépendent pas d’un
enseignement spécifique. La théorie du capital
humain.
L’OCDE: organisation internationale
(33 pays membres)
- Instance de régulation économique et structure
d’échanges et de coordination entre pays membres.
- Institution productrice de savoirs : Think tank
(Secrétariat à Paris) qui « collecte des données, suit
les tendances, mène des analyses et fournit des
prévisions sur le développement économique, les
échanges, l’environnement, l’éducation, l’agriculture,
les technologies, la fiscalité, etc. »
- Institution qui diffuse son savoir auprès des décideurs
et des personnes influentes. Aussi formidable machine
de diffusion auprès de l’opinion publique mondiale.
PISA comme événement médiatique fort.
Idéologie de l’OCDE
- Primat de l’économie de marché, vision utilitariste de
l’éducation
- « regroupe les gouvernements attachés aux principes de la
démocratie et de l’économie de marché en vue de :
soutenir une croissance économique durable, développer
l’emploi, élever le niveau de vie, maintenir la stabilité
financière, aider les pays membres et non membres à
développer leur économie, contribuer à la croissance du
commerce mondial. »
- L’éducation est un moteur de croissance et de
développement (du capital humain et du capital social), en
autant 1) que l’on « identifie l’éventail des qualifications
adapté pour parvenir à une croissance soutenue, durable
et équilibrée au 21e siècle » et 2) que l’investissement en
éducation soit « solide, efficace et juste ».
Au sein de l’OCDE, 4 sous-secteurs en éducation
- Analyse des politiques d’éducation.
- Centre pour la recherche et l’innovation dans
l’enseignement (CERI).
- La gestion de l’enseignement supérieur.
- PISA, +
1- TALIS (enquête internationale sur l’enseignement et
l’acquisition de connaissance, 90,000 enseignants et
directions, 23 pays,);
2- PIACC, l’évaluation internationale des compétences
des adultes (26 pays, 2013),
3- AHELO, l’évaluation internationale des résultats de
l’enseignement supérieur (étude de faisabilité).
Le consortium PISA
La construction des tests et des
questionnaires (infos contextuelles), la
collecte des données et l’analyse des
résultats sont « sous-traitées » à un
consortium international d’institutions de
recherche et d’enseignement dirigé par le
Conseil australien de la recherche en
éducation (ACER), le Netherlands National
Institue of Educational Measurement (CITO),
le service de pédagogie expérimentale,
Université de Liège (SPE) et Westat.
Réception et usages de PISA
-
« retenue » de L’OCDE
l’interprétation des résultats.
dans
- Une diversité d’acteurs : les médias et
l’opinion publique, les élites politiques, les
scientifiques et experts en éducation
(dans
les
structures
d’État, les
organisations internationales et dans
l’enseignement supérieur).
La conversation publique autour de PISA
1.
PISA lui-même, sa nature, ses outils, son ambition, ses
fondements scientifiques et idéologiques; sur l’évaluation des
acquis et sa valeur;
2.
Le rang du système d’éducation national par rapport à celui
d’autres pays auxquels on entend se comparer, et dans le temps;
3.
La recherche des explications (internes et externes),
(financement, facteurs socioéconomiques et socioculturels
familiaux, curriculum et son équilibre, la langue d’enseignement, le
« miracle » finlandais…); l’analyse des écarts de résultats
(problématique de l’efficacité et de l’équité);
4.
L’identification des solutions internes et externes (financement,
centralisation/décentralisation et gouvernance, curriculum, qualité
des enseignants, etc).
La réception de PISA
- Activité sociocognitive d’acceptation, de
refus ou de négociation des messages.
- Interface entre le scientifique et le
politique.Travail de traduction.
- Cas du Canada et du Québec, de la
France, de l’Écosse, de la Belgique
(francophone).
Le cas canadien: des manchettes
des journaux
- Canadian students perform well regardless of socioeconomic
status
- How Canada is becoming outclassed in school
- Canada is not becoming outclassed
- Canadian students slip in rankings
- The myth o f the Brainy immigrant
- The Shanghai surprise
- Education rankings: The new schoolyard bully
Un argumentaire canadien (CEMEC, OCDE,
CCE, médias anglophones hors Québec)
- Les données parlent…
- Attention : on glisse (moins de bons élèves et plus
d’élèves faibles).
- Nous sommes dépassés par des pays plus performants,
mais…
- Pas de remise en cause fondamentale, les provinces les
plus populeuses performent bien : efficacité et équité.
- Constance et détermination politique.
Les manchettes québécoises
-
On est vraiment très bons (Dubuc, la Presse)
PISA 2009 - Source d'inspiration (Chouinard, le Devoir)
La barre est placée haut
Les élèves canadiens doivent continuer à s'améliorer
pour maintenir leur avantage concurrentiel (CEMEC)
- COMPÉTENCES EN LECTURE: POURQUOI
L'ONTARIO RÉUSSIT-IL MIEUX? (Devoir)
- Quebec students still near top in math, global
assessment reveals (Gazette)
- Du bon usage des tests. (Rioux).
Le cas du Québec, suite et fin…
soit…
- on reprend l’argumentaire du CA avec des petites
nuances.
- on reprend l’argumentaire français du biais
(Rioux).
- on s’en sert pour mettre de l’avant une politique
(celle de l’ON ou la réforme du curriculum du
QC).
Dans des pays où les résultats placent le pays audessus de la moyenne, PISA n’est peut-être pas un
enjeu fort. Il rassure, légitime le statu quo ou
apaise les tensions autour de politiques
controversées.
Cas de la France
- Mons et Pons.
- Deux argumentaires opposés produits et diffusés par les médias.
- Vies différentes des deux.
Argumentaire du biais de l’instrument : les résultats mitigés de la France s’expliquent
par :
1. Le biais culturel inhérent à la conception de l’enquête PISA (items conçus par les anglosaxons…);
2. PISA ne mesure pas l’acquisition de connaissances (comme la France et l’IEA le font), mais
des habiletés et des compétences;
3. PISA n’est pas une mesure universelle : c’est plutôt un outil statistique pratique parmi
d’autres (aspect unidimensionnel et classements);
4. La structure de l’échantillon des élèves de 15 ans explique la dispersion des résultats ainsi
que leur caractéristique moyenne (différence entre les élèves inscrits dans cheminement
régulier, ceux dans programmes professionnels ou techniques, ceux en échecs ou à niveau,
etc.);
5. Les élèves français ne tentent pas de répondre à une question s’ils ne la comprennent pas
(stigma attaché à l’erreur inhibe toute tentative de deviner la bonne réponse ou de
prendre un risque).
Le cas de la France, suite et fin…
Argumentaire de la gouvernance idéale : les résultats mitigés de la
France s’expliquent par :
1.L’autonomie
insuffisante de l’établissement (plus ce dernier est autonome,
plus il peut s’ajuster de manière efficiente aux réalités du terrain);
2.La nature inégalitaire du système éducatif français (caractère hautement
sélectif de l’enseignement secondaire, effets pervers des retards, etc.);
3.Inefficience du système éducatif (absence de liens entre croissance du
financement et amélioration des résultats);
4.Action ciblée et intense limitée à propos de la persévérance scolaire;
5.Attitudes négatives des élèves à l’égard de l’école;
6.Découragement des profs;
7.Le climat de l’école et le rôle crucial de l’engagement de la direction dans la
réussite des élèves;
8.Les liens faibles entre les parents et l’école et leur faible engagement dans la
réussite des élèves.
Le cas de l’Écosse
Grek, Lawn, Ozga
- Entrevues avec hauts fonctionnaires et politiques.
-
Perception de l’OCDE comme partenaire digne de confiance,
produisant l’étalon or de la recherche internationale en éducation.
La crédibilité de l’OCDE, sa compétence technique et son
expertise, sa rigueur scientifique, l’impartialité d’une évaluation
externe = signature de PISA.
- Participer à PISA c’est montrer aux autres nations que l’on adhère à
l’agenda de réformes internationales et à la vision de l’OCDE.
Fonction d’intégration dans un ordre éducatif mondial, même si
cela passe par une reconfiguration du global, du national et du local.
Le cas de l’Écosse, suite…
- Pour autant que l’Écosse participe à PISA en tant
qu’entité distincte, et non pas comme partie du
Royaume Uni, PISA permet à l’Écosse de se faire
reconnaître comme système éducatif distinct,
membre du « club », capable de se mesurer à des
standards internationaux et d’être compétitif dans
la cour des grands…
- L’Écosse est « sur la map » !
- PISA permet de se mesurer aux meilleurs et
d’apprendre d’eux. L’Écosse peut se comparer à
d’autres pays que l’Angleterre, notamment les
pays nordiques voisins (l’arc de la prospérité des
états nordiques, Finlande, Islande et l’Irlande).
Le cas de l’Écosse, suite et fin…
-
Effet de rassurer l’Écosse sur la
performance de son système éducatif
(bonne performance).
- Effet de rassurer aussi l’Écosse à propos
de ses propres politiques éducatives.
- Pisa comme outil de légitimation de la
politique curriculaire nationale en place.
Le cas belge francophone
- Mangez, Cattonar
- La Belgique : société civile fragmentée, démocratie consociationnelle, état faible et
« décentralisé », autonomie des secteurs ou piliers, discrétion (double sens), compromis
et négociation. Nécessité d’accommoder des valeurs et des intérêts divergents.
-
Traditionnellement peu de données évaluatives sur l’éducation. « carence » reconnue par
les acteurs à partir des années 90.
-
PISA est reçu, parce qu’il est produit par une organisation internationale, il n’est pas logé
dans un secteur ou l’autre de la Belgique.
- Les résultats sont incorporés dans des débats autour d’options politiques préexistantes qui
renvoient à des clivages traditionnels en Belgique (catholiques, libéraux, socialistes). PISA
est récupéré pour légitimer ou délégitimer des positions établies.
-
Maroy et Mangez : politicisation de la connaissance et non pas rationalisation de la
politique.
Le cas belge, suite et fin…
- Démocratie de surveillance de Rosavallon.
- PISA : outil utilisé par le grand public pour contrôler les
actions des acteurs institutionnels et qui renforce la pression
des usagers sur le quasi marché éducatif belge.
-
PISA comme épée de Damoclès au-dessus des états
nationaux. L’État Évaluateur est évalué par un tiers, classé et
comparé à d’autres pourvoyeurs de services éducatifs.
-
Ce tiers est légitime et son outil n’est pas ou peu
questionné : il apparaît neutre et non politisé, alors qu’il
véhicule une vision spécifique de l’Éducation (compétences,
développement du capital humain, instrumentalisation de
l’éducation aux fins de la globalisation économique).
Conclusion
- PISA introduit, diffuse et universalise une manière
particulière d’échanger et de converser à propos
de l’éducation : par des chiffres, des classements,
des repères numériques, des comparaisons de
moyennes et d’écarts, etc.. Une conversation qui
se
veut
scientifiquement
fondée
et
universellement valable.
- En se développant, PISA élargit le cercle de la
conversation internationale, accélère en son sein
la circulation et la centralité d’un certain type
d’information (tous les trois ans). Aussi augmente
la force d’un agenda de réformes éducatives
axées sur l’efficacité et l’efficience des SÉ.
Conclusion, suite et fin…
-
PISA introduit dans la conversation politique
nationale les autres et leur donnent des identités: Le
miracle finlandais, les tigres asiatiques, les bons élèves
et les cancres, etc. comparaison et comparatisme. Les
SÉ perdent leur épaisseur historique et locale, sont
situés dans un même temps réel, celui du monde
actuel, et insérés dans la même course (dév. Écon).
- PISA et SCEDU :
1) la montée en puissance de la mesure et de
l’évaluation; le retour du quantitatif; la recherche
« appliquée » (What works).
2) La politisation de la recherche ou la rationalisation
des politiques ?
Merci
Claude Lessard
CRIFPE-Montréal
Département d’Administration et des Fondements de
l’Éducation
Université de Montréal