Document 3419971

Séminaire EHESS
Evaluation de la recherche universitaire
en Grande-Bretagne
(J-F Méla)
Février 2005
Introduction
La Grande-Bretagne est une référence
en matière d’enseignement supérieur et
de recherche fondamentale en Europe.
Top 10 Countries in the World – Nobel Prizes in Science 1951 to 2003
Country of
Citizenship
Chemistry
Physics
Medicine
Total Nobel
Prizes
Nobel
Prizes
Nobel
Prizes
Nobel
Prizes
In Science
1951-2002
96
117
123
334
1. United
States
45 (47%)
70
(60%)
70 (57%)
185 (55%) 0f
all Prizes
2. Great Britain
19 (20%)
7 (6%)
19 (15%)
45 (13%)
3. Germany
10 (11%)
12
(10%)
9 (7%)
31 (9%)
4. Russia
1 (1%)
9 (8%)
2 (2%)
12 (4%)
5. France
1(1%)
4 (3%)
5 (4%)
10 (3%)
6. Sweden
0
2 (2%)
6 (5%)
8 (2%)
7. Japan
4 (4%)
3 (3%)
1 (1%)
8 (2%)
8. Canada
3 (3%)
2 (2%)
0
5 (2%)
8. Dutch
1 (1%)
4 (3%)
0
5 (2%)
10. Switzerland
2 (1%)
0
3 (2%)
5 (2%)
Nobel PrizesScience
Universités
Dans le classement de Shanghai de 2004, parmi
les 25 premières universités classées, on trouve
19 universités américaines (dans l’ordre Harvard,
Stanford, Berkeley, MIT, CalTech, Princeton,
Columbia, Chicago, Yale, Cornell, etc.), 4
universités anglaises (Cambridge 3ème, Oxford
8ème, Imperial College London, University
College London) et 2 universités japonaises
(Tokyo 14ème, Kyoto 21ème).
Productivité



Moins de 6 chercheurs pour mille emplois (7,5 en
France)
Part mondiale de la Grande-Bretagne dans les
publications scientifiques supérieure à 8 % (5 %
pour la France), avec une très bonne fréquence de
citations.
Ces performances sont supérieures aux nôtres
pour un PIB comparable
- avec une dépense totale moindre
(1,8 % contre 2,2%)
- avec une part de financement public inférieure
(36 % au lieu de 39 %).

Les positions britanniques sont très fortes
dans les sciences de la vie ainsi qu'en optoélectronique.

En matière de brevets, la Grande-Bretagne
a une position comparable à la France, et
est nettement surclassée par l’Allemagne.
La Grande-Bretagne concilie un système
d’universités publiques très autonomes,
avec un pilotage étatique souple, d’une
très grande lisibilité.
Il est intéressant d’analyser le système
britannique car il comporte un
dispositif d’allocation des crédits
récurrents qui peut être mis en parallèle
avec notre « contrat recherche »
Structure des universités




L’Angleterre compte 131 établissements
d’enseignement supérieur, dont 77 universités.
Chaque université a son organisation propre, mais on
retrouve partout les mêmes principes d’organisation.
L’université est présidée par un « chancellor » qui a un
rôle honorifique.
Elle est dirigée par le « vice-chancellor » qui est un
« professionnel » du management universitaire. Nommé
par le « University Council » après consultation du
« University Senate », pour une période renouvelable, il
négocie son salaire.
University Council
C’est l’organe dirigeant de l’université du point de
vue de la stratégie (consultation du « Senate » pour
les aspects académique), du management et des
finances. De taille réduite (25-30 membres), la
communauté universitaire y est représentée (y
compris les étudiants) mais de façon minoritaire.
University Senate
Présidé par le vice-chancellor, il est compétent pour
les affaires académiques (recherche, enseignement)
et fait des recommandations au « university
council ».
Université de Sheffield

University Council :
The Chancellor
The Pro-Chancellors
The Treasurer
The Vice-Chancellor
The Pro-Vice-Chancellors
The Chairman of Convocation
One Person Elected by Convocation
Thirteen Persons Appointed by the Council
Two Deans of the Faculties
Five members of the Senate elected by the Senate
Two Officers of the Union of Students
One person to be elected by and from the employees of the University who
are not members of the academic or academic related staff.
Université de Sheffield

University Senate :
C’est une instance nombreuse qui comprend, outre
l’équipe de direction, les doyens de facultés (7) , les chefs
de départements (58), et des représentants élus des
professeurs (28) et des étudiants (15).
Système de financement de la
recherche


Financement structurel de l’enseignement supérieur et
de la recherche, assuré par les « Higher Education
Funding Councils » pour l’Angleterre (HEFCE),
l’Ecosse (SHEFC), le Pays de Galles (HEFCW), et
l’Irlande du Nord (DENI).
Financement sur projets par des agences sectorielles
(« research councils ») qui dépendent de l’OST (« Office
of Science and technology »), lui-même rattaché au
ministère de l’Industrie et du Commerce. L’OST est
dirigé par le « Chief Scientific Adviser » du
gouvernement.
Higher Education Funding Council
for England (HEFCE)


Créé en 1992, il a compétence sur l’ensemble des
universités et des instituts polytechniques
d’Angleterre (devenus universités).
Dirigé par un Conseil (« Board ») d’une vingtaine
de membres (scientifiques mais aussi industriels)
nommés par le ministre de l’Education
(« Secretary of State for Education ») sur
proposition conjointe de la Direction de
l’Enseignement (« Department for Education
and Skills ») et du HEFCE.
Les positions font l’objet d’une publicité.
HEFCE



Il comprend 5 comités principaux dont celui de
la recherche.
Le HEFCE finance les dépenses d’infrastructure
de la recherche, les bibliothèques et les
équipements informatiques collectifs.
Le financement comprend le soutien de base,
mais aussi des fonds pour la formation doctorale
et l’émergence de nouveaux sujets. Il a vocation
à être complété par les financements sur projets
distribués par les agences.
HEFCE



Il s’appuie essentiellement sur les évaluations du
« Research Assessment Exercise » (RAE) qui est une
campagne d’évaluation de la recherche universitaire
conduite, jusqu’ici, avec une périodicité variable, dans
l’ensemble du Royaume-Uni.
Le premier RAE date de 1986, suivi d’autres en 1989,
1992, 1996 et 2001.
Le budget recherche du HEFCE en 2004-2005 est de
1.081 M£. Il se répartit entre
- Crédits distribués en fonction de l’évaluation par le
RAE (« Quality-related funding ») : 1.061 M£ (98%)
- Crédits destinés à l’émergence (« Research capability
funding ») : 17 M£
HEFCE



Les dotations de QR funding distribuées par le HFCE
sont calculées à partir des notes attribuées par le RAE à
chaque département. Elles sont ensuite globalisées au
niveau de chaque université qui répartit sa subvention
comme elle l’entend.
Les notes délivrées par le RAE sont sur une échelle 1, 2,
3b, 3a, 4, 5, 5*.
Les départements de recherche qui ont obtenu une note
inférieure à 4 ne reçoivent aujourd’hui aucun QR
funding.
HEFCE

En 2004-2005, les coefficients de pondération suivants sont
appliqués en fonction des notes :
Notes :
3b
3a
4
5
5*
Coefficients :
0
0
1
2,793
3,362
http://www.hefce.ac.uk/research/funding/QRfunding/

Le « Research Capability Fund » (17 M£ en 2004-2005) est
destiné à soutenir des recherches émergentes dans de
nouveaux domaines où la recherche de base n’est pas aussi
forte que dans les domaines bien établis.
Research councils








- Biotechnology & Biological Sciences Research
Council (BBSRC)
- Council for the Central Laboratory of the Research
Councils (CCLRC)
- Engineering & Physical Sciences Research Councils
(EPSRC)
- Economic & Social Research Council (ESRC)
- Medical research Council (MRC)
- Natural Environment Research Council (NERC)
- Particle Physics & Astronomy Research Council
(PPARC)
- Arts & Humanities Research Board (AHRB)
Research Assessment Exercise
RAE 2001




La recherche est classée en 68 domaines
d’évaluation (« units of assessment ») avec pour
chacun un comité composé d’universitaires plus
quelques représentants du secteur des
entreprises.
Un comité comprend de 9 à 18 membres. La
moitié des comités a institué des sous-comités.
Les comités et sous-comités font appel à des
experts extérieurs, notamment étrangers.
Publicité des méthodes de travail des comités.
RAE 2001
Désignation des comités

Les HEFC désignent les présidents des comités,
puis les membres de chaque comité sur avis de
son président, parmi les propositions émanant
d’un grand nombre d’organisations (sociétés
savantes, associations scientifiques ou
professionnelles, monde industriel,..). .
RAE 2001
Procédures




Chaque établissement présente des dossiers,
département par département, dans autant de domaines
qu’il veut.
Ces dossiers ont une forme standard. Ils comprennent
une liste des « chercheurs actifs » avec 4 publications
(au plus).
La liste des chercheurs présentés est laissée à l’initiative
de l’université, mais indique quelle proportion de
l’effectif du département cela représente.
Notes attribuées : 1, 2, 3a, 3b, 4, 5, 5*
Bilan RAE 2001


Dans le RAE 2001, 80% des départements ont obtenu une note
4, 5 ou 5*, et 55% ont obtenu 5 ou 5*
La part de chercheurs actifs classés 4, 5 ou 5* est passée de 43%
en 1996 à 64% en 2001.

Coefficients de pondération pour le financement 1997-98 basé
sur le RAE de 1996 :
Notes :
3b
3a
4
5
5*
Coefficients :
1
1,5
2,25 3,375 4,05

Coefficients de pondération pour le financement 2002-03 basé
sur le RAE 2001 :
Notes :
3b
3a
4
5
5*
Coefficients :
0
0,31 1
1,89 2,71
Bilan RAE 2001


Coefficients de pondération pour le financement
2002-03 basé sur le RAE 2001 :
Notes :
3b 3a 4
5
5*
Coefficients : 0
0,31 1
1,89 2,71
Coefficients de pondération pour le financement
2004-05 basé sur le RAE 2001 :
Notes :
3b 3a 4
5
5*
Coefficients : 0
0
1
2,793 3,362
Bilan RAE 2001




Les HEFC maîtrisent complètement le « cahier des
charges » du RAE.
Ils déterminent ce que seront les unités d’évaluation
(« units of assessment ») et comment la qualité de la
recherche sera évaluée.
Ces indications sont publiées avant le démarrage du
RAE.
Les HEFC maîtrisent aussi la clé de répartition des
crédits en fonction de l’évaluation. Mais elle est publiée
après le RAE.
Critiques du RAE



Disproportion entre la quantité de temps et de travail
qui y est consacrée et le financement supplémentaire
éventuel correspondant à l’évaluation.
Le RAE tel qu’il a fonctionné a effectivement contribué
à développer la culture du management de la recherche
dans les universités. Mais aujourd’hui il a des effets
pervers (distorsions et lourdeurs).
C’est l’évaluation et ses règles qui dicte la politique, et
pas les objectifs scientifiques eux-mêmes.
Critiques du RAE



On peut se demander si la « peer review » est
réellement indispensable au niveau de
l’évaluation nationale. Une grande partie du
financement pourrait être attribué en fonction
des indicateurs, le détail des attributions étant
laissé à l’université.
Critique du processus de concentration induit
par le RAE.
Critique de la rationalité qui consiste à financer
la recherche séparément de l’enseignement.
Rapport Roberts


Un comité présidé par Sir Gareth Roberts a
procédé à un audit et a formulé des propositions
de réforme du RAE.
Rapport produit en mai 2003 qui a été l’objet
d’une large consultation dans les universités et
d’un vaste débat national.
http://www.ra-review.ac.uk/
Rapport Roberts
Recommandations




L’évaluation doit se baser sur le jugement
d’experts qui peuvent utiliser des indicateurs.
Evaluation tous les six ans avec un mi-parcours
de portée limitée.
Séparer l’évaluation de la qualité de la recherche
de l’évaluation stratégique.
(« competences assessment»)
Moduler l’importance de l’évaluation en
fonction des enjeux.
Rapport Roberts
Recommandations

On distinguerait trois catégories :
- Les institutions les moins actives en recherche :
modalités d’évaluation particulières déterminées par les
HEFC.
- Les départements les moins compétitifs des autres
établissements : application de critères automatiques
(« Research Capacity Assessment » RCA).
- Départements les plus compétitifs : véritable
évaluation par des experts (« Research Quality
Assessment » RQA).

Les institutions choisiraient de soumissionner au RCA
ou au RQA suivant les domaines.
Rapport Roberts
Recommandations



Remplacer les notes par un « profil de qualité »
(« quality profile ») des départements.
Une organisation un peu différente des comités
d’évaluation :
- 4 à 5 super comités chargés de superviser la
constitution des comités et leur fonctionnement.
- 20 à 25 comités responsables de l’évaluation.
- 60 à 70 sous-comités dans lesquels se fait une part
importante du travail effectif.
- Les comités doivent fixer des critères qui prennent en
compte l’excellence de la recherche appliquée.
Réforme du RAE
RAE 2008




Le principe du RAE a été réaffirmé, avec des
modifications limitées qui s’inspirent d’une partie
seulement des recommandations du rapport Roberts.
La périodicité sera désormais de 6 ans. Le prochain
RAE est prévu en 2008.
Le RAE est toujours basé sur un examen de dossiers
par des experts, piloté par 15-20 comités disciplinaires,
s’appuyant sur 70 sous-comités.
Il n’y aura pas d’évaluation séparée des « research
competences »
Réforme du RAE
RAE 2008



Des dispositions seront adoptées pour donner le
poids qu’il convient à la recherche appliquée,
ainsi qu’à l’émergence et à l’interdisciplinarité.
Les comités s’appuieront sur des indicateurs
quantitatifs.
Allègement de la charge de travail (les dossiers
ne feront toujours mention que de 4
publications au plus par chercheur)
Réforme du RAE
RAE 2008



Le résultat ne sera plus une note globale, mais un profil
de qualité (« quality profile ») pour chaque département,
qui consiste à classer les chercheurs en 4 niveaux, en
indiquant les proportions de chercheurs aux différents
niveaux.
Les unités d’évaluation sont les mêmes que pour le
RAE 2001. Mais chaque unité aura son sous-comité.
Les comités principaux contrôlent les critères et les
méthodes de travail des sous-comités. Ils décident des
profils de qualité à attribuer à chaque département
examiné.
Réforme du RAE
Composition des panels





Les présidents et les membres des comités et sous-comités sont
désignés par les directeurs des quatre HEFC.
Les présidents de comités seront choisis sur la base de
candidatures, après publicité.
Les autres membres de chaque comité seront désignés sur avis
du président, parmi des personnalités nominées par une grande
variété d’organisations.
Les présidents de sous-comités seront choisis en concertation
avec les présidents du comité principal dont ils dépendent, parmi
la liste des «nominés ».
Les présidents de sous-comités, conjointement avec les
présidents des comités dont ils dépendent, proposeront la
désignation de leurs membres, pris dans la liste des « nominés ».