Représentations linéaires des groupes compacts.

CHAPITRE 2
REPR´ ESENTATIONS LIN´ EAIRES DES GROUPES COMPACTS
COURS M1 ’GROUPES ET REPR´ ESENTATIONS’ - X 2011/12
(ANNA CADORET)
Contents
1. Introduction 1
2. Mesure de Haar 3
2.1. Existence et unicit´e 3
2.2. Applications aux repr´esentations lin´eaires continues des groupes compacts 6
3. Repr´esentations lin´eaires de dimension finie - le th´eor`eme de Peter-Weyl 7
3.1. Repr´esentations simples unitaires 8
3.2. Th´eor`eme de Peter-Weyl 9
3.2.1. Repr´esentations r´eguli`eres 9
3.2.2. Preuve du th´eor`eme de Peter-Weyl 10
4. Decomposition de la repr´esentation r´eguli`ere 11
4.1. Pr´eliminaires 12
4.2. Transform´ee de Fourier et transform´ee de Fourier inverse 13
4.3. Structure hermitienne 16
5. Fonctions centrales et caract`eres 17
References 17
1. Introduction
Un groupe fini muni de sa topologie discr`ete est compact. Dans ce chapitre, nous allons voir qu’un certain
nombre de propri´et´es des repr´esentations lin´eaires des groupes finis s’´etendent aux repr´esentations lin´eaires des
groupes compacts. Cependant, dans ce contexte, l’´el´egante th´eorie de la semisimplicit´e ne s’applique plus; il
faut lui substituer des outils d’analyse fonctionnelle relativement ´evolu´es (pour lesquels nous renverrons aux
classiques [B87] et [Ru73] ainsi qu’aux notes de cours [P11]).
Dans ce qui suit, Csera toujours muni de sa topologie transcendante, qui en fait un corps topologique i.e. dont
l’addition, la multiplication et l’inverse sont continues.
On notera Modtop(C) la cat´egorie des espaces vectoriels topologiques sur Cd´efinie par
- Objets: un objet de Modtop(C) est un espace vectoriel Vsur Cmuni d’une topologie pour laquelle
l’addition et le produit ext´erieur sont continus.
- Morphismes: un morphisme φ:V→V0dans Modtop(C) est un morphisme de C-espaces vectoriels qui
est continu.
On notera qu’un morphisme φ:V→V0dans Modtop(C) inversible dans Mod(C) l’est automatiquement dans
Modtop(C) (i.e. son inverse est automatiquement continu). Rappelons aussi que sur un espace vectoriel V
de dimension finie sur C, toutes les topologies (qui font de Vun espace vectoriel topologique sur Cs´epar´e)
sont ´equivalentes et que toute application lin´eaire entre deux espaces vectoriels de dimension finie sur Cest
automatiquement continue.
On notera GrpT op la cat´egorie des groupes topologiques d´efinie par
1

2 COURS M1 ’GROUPES ET REPR´ ESENTATIONS’ - X 2011/12 (ANNA CADORET)
- Objets: un objet de GrpT op est un groupe Gmuni d’une topologie s´epar´ee pour laquelle le produit et
l’inverse sont continus.
- Morphismes: un morphisme φ:G→G0dans GrpT op est un morphisme de groupes qui est continu.
Exercice 1.1. Soit Gun groupe topologique et Hun sous-groupe de G. Par d´efinition, la topologie quotient
sur G/H est la topologie la moins fine qui rend la projection pH:G→G/H continue. Montrer que G/H muni
de sa topologie quotient est un espace topologique s´epar´e si et seulement si Hest un sous-groupe ferm´e de G.
Cette observation illustre que dans la cat´egorie GrpT op la ’bonne’ notion de sous-groupe est celle de sous-groupe
ferm´e.
A tout groupe topologique G, on associe la cat´egorie Modtop
C(G) des repr´esentations lin´eaires continues de G
sur Cd´efinie par
- Objets: un objet de Modtop
C(G) est un couple (V, θ) tel que V∈Modtop(C) et θ:G→GL(V) est un
morphisme de groupes tel que l’application
G×V→V
(g, v)→θ(g)v
est continue.
- Morphismes: un morphisme φ: (V, θ)→(V0, θ0) dans Modtop
C(G) est un morphisme φ:V→V0dans
Modtop(C) tel que
θ0(g)◦φ=φ◦θ(g), g ∈G.
On utilisera parfois la terminologie ’morphisme G-´equivariant’ pour parler d’un morphisme dans Modtop
C(G).
Les op´erations ´el´ementaires (sous-repr´esentations, quotients, sommes directes, produits tensoriels, duales et
Hom) sur les repr´esentations lin´eaires continues de dimension finie de Gsont d´efinies comme pour les groupes
finis. Pour les repr´esentations lin´eaires continues de dimension infinie, il faut ˆetre un peu plus prudent ; par
exemple, une sous-repr´esentation (W, τ) de (V, θ) est un morphisme injectif φ: (W, τ)→(V, θ) dans Modtop
C(G)
d’image ferm´ee (c’est n´ecessaire pour que la repr´esentation quotient associ´ee V→V/W soit continue). Pour
le produit tensoriel, il faut supposer qu’une des deux repr´esentations est de dimension finie (ou alors, ajuster la
construction). La notion de repr´esentation induite est plus subtile etc.
On dit qu’une repr´esentation lin´eaire continue (V, θ) de Gest simple ou irreductible si elle est non nulle et
si les seules sous-repr´esentations de Vsont {0}et V. Le lemme de Schur reste valide si l’on se restreint aux
repr´esentations lin´eaires continues de dimension finie.
Lemme 1.2. (Schur) Si (V, θ),(V0, θ0)sont deux repr´esentations lin´eaires continues simples de dimension finie
de Gsur Calors
(1) Soit le seul morphisme G-´equivariant de (V, θ)vers (V0, θ0)est le morphisme nul;
(2) Soit il existe un isomorphisme G-´equivariant φ: (V, θ) ˜→(V0, θ0)qui d´efinit un isomorphisme dans
Mod(C)
φ−1◦ − : HomC((V, θ),(V0, θ0)) ˜→EndC(V, θ).
et on a un isomorphisme de corps
C˜→EndC(V, θ)
λ→λId
Mais au-del`a, on ne peut pas dire grand chose de plus sur les repr´esentations lin´eaires continues des groupes
topologiques sans faire d’hypoth`eses suppl´ementaires, par exemple que Gest compact ou, du moins, localement
compact. On dira qu’un groupe topologique est compact s’il est compact comme espace topologique et qu’il est
localement compact si tout point admet un voisinage compact.
Exemple 1.3.
(1) Tout groupe fini Gmuni de sa topologie discr`ete est compact.
(2) Tout sous-groupe ferm´e d’un groupe topologique compact est compact.

CHAPITRE 2 REPR´ ESENTATIONS LIN´ EAIRES DES GROUPES COMPACTS 3
(3) Les sous-groupes
SOn:= {M∈GL+
n(R)|tMM =In} ⊂ GL+ n(R)
et
Un:= {M∈GLn(C)|tMM =In} ⊂ GLn(C)
sont compacts et tout sous-groupe compact de GL+
n(R) (resp. de GLn(C)) est conjugu´e `a un sous-groupe
de SOn(resp. Un). Plus g´en´eralement, on a
Th´eor`eme 1.4. (Cartan-Iwasawa-Malcev) Tout groupe topologique connexe localement compact G
poss`ede un sous-groupe compact K⊂Gtel que tout sous-groupe compact de Gest conjugu´e `a un
sous-groupe de K.
Ce th´eor`eme montre l’importance des groupes compacts dans l’´etude des groupes topologiques locale-
ment compacts Gplus g´en´eraux. Par exemple, on peut essayer de d´eterminer toutes les repr´esentations
simples de Gen essayant de les r´ealiser comme induites (dans un sens `a d´efinir...) de repr´esentations
simples de K.
(4) Tout produit de groupes topologiques compacts est encore un groupe topologique compact (th´eor`eme
de Tychonoff).
(5) Soit φn+1 :Gn+1 →Gn,n≥0 une suite de morphismes de groupes finis. Notons
lim
←− Gn:= {g= (gn)n≥0∈Y
n≥0
Gn|φn+1(gn+1) = gn, n ≥0} ⊂ Y
n≥0
Gn.
C’est un groupe topologique lorsqu’on le munit de la topologie induite par la topologie produit des
topologies discr`etes. Les groupes topologiques de cette forme sont (des cas particuliers de) ce qu’on
appelle groupes profinis. En combinant (1), (2) et (4), on obtient que tout groupe profini est compact.
C’est par exemple le cas de
Zp= lim
←−
Z/pn,GLr(Zp) = lim
←− GLr(Z/pn)etc.
Exercice 1.5. Soit Gun groupe topologique compact. Montrer que pour toute repr´esentation lin´eaire continue
(V, θ)de Gde dimension finie et pour tout g∈Gles valeurs propres de θ(g)sont de module 1.
2. Mesure de Haar
2.1. Existence et unicit´e. Soit Xun espace topologique s´epar´e et localement compact. On note Cc(X) le
C-espace vectoriel des applications continues X→C`a support compact et on note C+
c(X)⊂ Cc(X) le sous-
ensemble des applications `a valeur dans R+. On dit qu’une forme C-lin´eaire Λ : Cc(X)→Cest positive
si
Λ(f)≥0, f ∈ C+
c(X).
Rappelons que les formes C-lin´eaires positives sur Cc(X) sont caract´eris´ees par le
Fait (Th´eor`eme de repr´esentation de Riesz): Avec les notations ci-dessus, pour toute forme lin´eaire positive
Λ : Cc(X)→Cil existe une σ-alg`ebre bor´elienne Msur Xet une unique mesure positive µ:M → R+∪ {∞}
telle que
Λ(f) = ZX fdµ, f ∈ Cc(X).
En outre, la mesure µ:M → R+∪ {∞} poss`ede les propri´et´es suivantes
(1) µ(K)<+∞pour tout compact K⊂X;
(2) µ(E) = inf{µ(U)|E⊂U, U ⊂Xouvert}pour tout E∈ M;
(3) µ(E) = sup{µ(K)|K⊂E, K ⊂Xcompact}pour tout E∈ M ouvert ou tel que µ(E)<+∞;
(4) Tout sous-ensemble d’un ensemble E∈ M tel que µ(E)=0est dans M.
Soit maintenant Gun groupe topologique localement compact. On dispose d’une action `a gauche de groupe
(abstrait) naturelle
G× Cc(G)→ Cc(G)
(g, f)→g·f=f◦L−1
g,
qui, `a son tour, induit une action duale sur Cc(G)∨:= HomC(Cc(G),C)
G× Cc(G)∨→ Cc(G)∨
(g, Λ) →g·Λ : f→Λ(g−1·f) = Λ(f◦Lg).

4 COURS M1 ’GROUPES ET REPR´ ESENTATIONS’ - X 2011/12 (ANNA CADORET)
De mˆeme, l’action `a droite de groupe (abstrait) naturelle
Cc(G)×G→ Cc(G)
(f, g)→f·g=f◦R−1
g,
induit une action duale sur C(G)∨
Cc(G)∨×G→ Cc(G)∨
(Λ, g)→Λ·g:f→Λ(f·g−1) = Λ(f◦R−1
g).
L’une des propri´et´es fondamentales des groupes topologiques localement compacts est l’existence et l’unicit´e
d’une mesure G-invariante `a gauche.
Th´eor`eme 2.1. (Mesure de Haar) Pour tout groupe topologique localement compact Gil existe une forme
lin´eaire positive ΛG:Cc(G)→Cunique modulo R>0et telle que
(1) g·ΛG= ΛG,g∈G
En outre, si Gest compact alors ΛG:C(G)→Cv´erifie ´egalement
(2) ΛG·g= ΛG,g∈G.
On dit que ’la’ mesure bor´elienne positive associ´ee `a ΛGpar le th´eor`eme de Riesz est la mesure de Haar sur G;
on la note µG:G→R+.A priori,µG:G→R+n’est d´efinie que modulo R>0mais lorsque Gest compact,
on prend implicitement pour µG:G→R+la mesure bor´elienne positive associ´ee `a l’unique ΛGtelle que
ΛG(˜ 1G) = 1 (la mesure de Haar ’normalis´ee’).
Exercice 2.2. Soit Gun groupe topologique compact. Montrer que pour tout f∈ C(G)on a
ZG
f(g)dµG(g) = ZG f(g−1)dµG(g).
Preuve du th´eor`eme 2.1 (esq.). On ne va traiter que le cas o`u Gest compact. Dans ce cas, l’´enonc´e r´esulte
essentiellement des deux r´esultats suivants d’analyse fonctionnelle.
Fait (Th´eor`eme d’Ascoli): Soit Xun espace topologique compact et Eun espace de Banach. Pour tout sous-
ensemble Φ⊂ C(X, E)les conditions suivantes sont ´equivalentes.
(1) Φ est relativement compacte1dans (C(X, E),|| − ||∞);
(2) (a) Φ(x) := {φ(x),|φ∈Φ}est relativement compacte dans E,x∈X;
(b) Φ est ´equicontinue2.
Fait (Th´eor`eme du point fixe de Kakutani): Soit Eun espace de Banach. On munit End(E)de la norme
||f||∞= sup{|f(e)|}e∈E| ||e||≤1.
Soit K⊂Eun compact convexe non vide et φ:G→GL(E)un morphisme de groupes topologique avec G
compact tel que
(1) φ(g)(K)⊂K,g∈G;
(2) φ(G)⊂ C(E, E)est ´equicontinue.
Alors il existe k∈Ktel que g(k) = k,g∈G.
Notons E=C(G), que l’on munit de la norme
||f||∞= sup{|f(g)|}g∈G.
Avec cette norme, Eest un espace de Banach. Pour tout f∈E, notons Cfl’enveloppe convexe de
G·f={f◦L−1
g|g∈G}
dans E.
1i.e. d’adh´erence compacte.
2i.e. pour tout  > 0 et pour tout x∈Xil existe un voisinage Ux, de xdans Xtel que pour tout x0∈Ux, et φ∈Φ on a
||φ(x)−φ(x0)||E< .

CHAPITRE 2 REPR´ ESENTATIONS LIN´ EAIRES DES GROUPES COMPACTS 5
(1) Cfest relativement compact dans E. Pour tout g∈Gl’ensemble Cf(g) est born´e donc relativement
compact dans C(observer que par d´efinition de l’enveloppe convexe on a |f0(g)|≤|f(g)|,f0∈Cf).
Comme Gest compact, fest uniform´ement continue (Cf. exercice 2.4 (1)) i.e. pour tout  > 0 il existe
un voisinage ouvert Uf, de eGtel que pour tout g, g0∈Gtels que gg0−1∈Uf, on a |f(g)−f(g0)|< 
. Or, pour tout g0∈Gon a (gg0)(g0g0)−1=gg0−1donc
|f◦L−1
g0(g)−f◦L−1 g0(g0)|< .
En prenant des combinaisons convexes on en d´eduit |f0(g)−f0(g0)|<  pour tout f0∈Cf. On peut
donc appliquer le th´eor`eme d’Ascoli `a Cfet en d´eduire que Cfest relativement compact dans E.
(2) Notons Kfl’adh´erence de Cfdans E; par construction c’est un compact convexe non vide de E. En
outre, si on note encore Gl’image du morphisme de groupes topologiques
G→GL(E)
g→f→g·f=f◦L−1
g
on a g(Kf)⊂Kfpour tout g∈G. Par le th´eor`eme du point fixe de Kakutani, il existe donc f0∈Kf
telle que g·f0=f0◦L−1
g=f0,g∈G. En particulier f0est constante sur G; on note Λ(f)∈Csa valeur.
(3) Unicit´e de Λ(f). On va montrer que Kfne contient qu’une seule fonction constante. Pour cela, con-
sid´erons
f∨:G→C
g→f(g−1)
et montrons que si Λ(f∨)∈Kf∨est constante, on a n´ecessairement (Cf. exercice 2.2)
Λ(f) = Λ(f∨).
Comme Λ(f)∈Kfet Λ(f∨)∈Kf∨, pour tout  > 0 on peut trouver g1, . . . , gn, h1, . . . , hn∈G,
a1,· · · , an, b1,· · · , bn≥0 tels que Pn
i=1 ai=1=Pn i=1 biet
||Λ(f)−
n
X
i=1
aif◦L−1
gi||∞< , ||Λ(f∨)−
n
X
i=1
bif∨◦L−1
hi||∞< .
En multipliant la deuxi`eme in´egalit´e par ai, on a en particulier
|aiΛ(f∨)−
n
X
j=1
aibjf(g−1
ihj)| ≤ ai||Λ(f∨)−
n
X
j=1
bjf∨◦L−1
hi||∞< ai
D’o`u, en sommant sur i= 1, . . . , n
|Λ(f∨)−
n
X
i,j=1
aibjf(g−1
ihj)|<
n
X
i=1
ai=.
Par sym´etrie, on obtient de mˆeme
|Λ(f)−
n
X
i,j=1
aibjf(g−1
ihj)|< .
D’o`u |Λ(f)−Λ(f∨)|<2... Et ceci pour tout  > 0.
(4) On v´erifie ensuite facilement (il faut utiliser l’unicit´e de Λ(f)) que Λ : E→Cest C-lin´eaire, positive et
invariante par translation. Pour montrer l’additivit´e, il faut travailler un peu plus, dans l’esprit de (3). 
Exemple 2.3. (1) La mesure de Haar sur un groupe fini Gest simplement la ’mesure de comptage’
µG(E) = |E|
|G|, E ⊂G
et la forme lin´eaire correspondante est
ΛG(f) = 1
|G|X
g∈G
f(g), f ∈ C(G).