1. Théorie de la représentation pour les groupes avec une moyenne

1. Th´ eorie de la repr´ esentation pour les groupes avec une moyenne
1.1. Alg`ebres de fonctions avec une moyenne. Si on ´etudie un espace topologique on s’int´eresse
surtout pour les fonctions continues. Si on ´etudie une vari´et´e alg´ebrique on s’int´eresse surtout pour
les fonctions r´eguli`eres. De mˆeme si on ´etudie un groupe topologique et ses actions sur des espaces
topologiques, les repr´esentations qui apparaissent naturellement sont des repr´esentations continues.
Si on ´etudie un groupe alg´ebrique et ses actions sur des vari´et´es alg´ebriques, les repr´esentations qui
apparaissent naturellement sont des repr´esentations alg´ebriques.
Un groupe topologique est un groupe qui a aussi la structure d’espace topologique telle que la
multiplication µ:G×G−→ G: (x, y)7→ xy et l’inverse ι:G−→ G:x7→ x−1sont des applications
continues. Un groupe alg´ebrique Gest un groupe qui est aussi une vari´et´e alg´ebrique telle que µet
ιsont des morphismes de vari´et´es. Si ρ:G−→ GL(n, C) est une repr´esentation, chaque coefficient
matricielle ρij :G−→ Cest une fonction: on exige que cette fonction soit continue (ou r´eguli`ere).
Si le groupe topologique est mˆeme compact, on peut int´egrer chaque fonction continue sur le
groupe. La cons´equence est qu’on a un th´eor`eme de Maschke pour les repr´esentations continues
de dimension finie. Si le groupe alg´ebrique est r´eductif, on peut int´egrer alg´ebriquement chaque
fonction r´eguli`ere sur le groupe. Comme cons´equence on aura aussi un th´eor`eme de Maschke pour
les repr´esentations alg´ebriques de dimension finies. Si le groupe n’est pas compact (ou r´eductif), la
th´eorie des repr´esentations continues (alg´ebriques) n’est pas aussi bien comprise.
On peut formaliser les deux cas, et le cas des repr´esentations complexes des groupes finis et
donner une preuve uniforme des th´eor`emes de Maschke qui est tr`es proche de la preuve pour les
groupes finis o`u |G| ∈ k×: on utilise le processus de la moyenne. On trouve aussi des analogues
des th´eor`emes de Schur et de Wedderburn et il existe une th´eorie de caract`eres. On n’aura pas
besoin de beaucoup de hypth`eses pour montrer des r´esultats int´eressants. Seulement l’existence
d’une moyenne.
Comme souvent dans l’alg`ebre on extrait des exemples pr´ec´edents les outils fondamentaux et on
les remplace par des axiomes! Puis on d´eduit des cons´equences `a partir de ces hypoth`eses.
Les th´eories des repr´esentation des groupes compactes et des repr´esentations alg´ebriques des
groupes r´eductifs sont trs semblables `a la th´eorie des repr´esentations complexes des groupese finies.
Mais chacune th´eorie a ses aspects sp´eciaux aussi, bien sˆur.
1.2. Axiomes. Soit Gun groupe et C[G] une alg`ebre de fonctions complexes sur G. La somme et
le produit de deux fonctions sont d´efinis comme d’habitude par
(c1f1+c2f2)(x):=c1f1(x) + c2f2(x); (f1f2)(x):=f1(x)f2(x),
pour c1, c2∈C,f1, f2∈C[G].
Nous supposerons que les trois axiomes suivants sont satisfaits.
(i) Les fonctions constantes complexes sont dans C[G].
(ii) Pour chaque fonction f:G−→ Cdans l’alg`ebre C[G] et pour chaque g∈Gaussi les fonctions
g·f:x7→ f(g−1x) et x7→ f(x−1)
sont dans C[G].
1

2
(iii) Il existe une moyenne invariante `a gauche, i.e., une application C-lin´eaire
IG:C[G]−→ C
telle que IG(g·f) = IG(f) et IG(c) = cpour chaque fonction constante c:G−→ C:g7→ c.
On ´ecrit aussi suggestivement
IG(f)=:ZG f(x)dx.
Mais en g´en´eral IGn’est pas une ”vraie” int´egration. Alors on r´e´ecrit les propri´et´es :
ZG
(a1f1(x) + a2f2(x))dx =a1ZG f1(x)dx +a2ZG f2(x)dx;
ZG
f(gx)dx =ZG f(x)dx;
ZG
dx = 1,
o`u a1, a2∈k,f, f1, f2∈C[G], g∈G.
Exemples 1.1.Nous donnons quelques exemples o`u les axiomes sont satisfaits. Si Gest fini on peut
prendre pour C[G] l’alg`ebre de toutes les fonctions f:G−→ Cavec la moyenne
IG(f) = 1
|G|X
g∈G
g·f.
Un exemple d’un groupe compacte. Soit G=S1=R/2πZle groupe du cercle. Pour C[G] on
prend les fonctions complexes continues sur S1. On peut identifier ces fonctions avec les fonctions
complexes continues 2π-p´eriodiques sur R, par exemple t7→ cos ntπ +isin mtπ. Pour la moyenne
on prend la vraie int´egrale
IG(f) := 1
2πZ2π
0
f(x)dx.
Soit Kun groupe continu compact comme SU(n) ou SO(n). On montre qu’il existe une mesure de
Haar sur K, alors une mesure invariante par translations `a gauche. Cela implique l’existence d’une
int´egrale RGf(x)dx pour les fonctions continues sur K.
Un exemple d’un groupe alg´ebrique r´eductif. Soit G=C×et C[G] = C[z, z−1], l’alg`ebre des
polynˆomes de Laurent. Ici zest la fonction r´eguli`ere
z:G−→ C:z(g) = g.
Chaque ´el´ement de C[G] s’´ecrit uniquement comme f=PM
i=−Naizi. On d´efinit alors
IG(f):=a0
pour la moyenne de f. Si G= GL(n, C) on prend pour C[G] l’alg`ebre des fonctions g7→
F(g)/det(g)i, o`u Fest une fonction polynomiale. Alors il existe aussi une moyenne IG, mais
ce n’est pas facile a donner une formule. Plus g´en´eralement si Gest un groupe alg´ebrique lin´eaire
complexe r´eductif, et C[G] est l’alg`ebre des fonctions alg´ebriques sur G, alors il existe une moyenne
invariante `a gauche.

3
1.3. Modules admissibles et fonctions repr´esentatives. On va principalement ´etudier les
repr´esentations de dimension finie, o`u chaque fonction coefficient matriciel est une fonction dans
G. Pour ˆetre capable d’inclure la repr´esentation r´eguli`ere it faut aussi admettre les repr´esentations
de dimension infinies qui sont localement admissible.
Plus pr´ecisement, on dit qu’une repr´esentation de dimension finie ρ:G−→ GL(V) est admissible
pour C[G] (ou est une C[G]-repr´esentation) si toutes les coefficients matricielles sont dans C[G],
c’est `a dire que pour chaque v∈Vet ω∈V∗la fonction
g7→ ω(g·v) = ω(ρ(g)(v))
est une fonction dans C[G]. Une repr´esentation de dimension infinie est admissible si pour chaque
v∈Vil existe un sous-module W⊂Vde dimension finie admissible qui contient v.
On va dire que f∈C[G] est une fonction repr´esentative s’il existe un module admissible de
dimension finie V, un vecteur v∈Vet une fonctionnelle ω∈V∗telle que
f(g) = ω(g·v),
pour chaque g∈G. Dans l’exercice suivant on montre que l’ensemble des fonctions repr´esentatives
C[G]rep est une sous-alg`ebre de C[G] qui aussi satisfait les trois axiomes.
Exercice 1.1.(i) Chaque sous-module ordinaire d’un module admissible est admissible, et chaque
module quotient d’un module admissible est admissible.
(ii) Supposons V1et V2sont admissible, alors V1⊕V2et V1⊗V2sont aussi admissible. Si Vest
admissible de dimension finie, alors V∗et Hom(V, V1) sont admissibles.
(iii) L’ensemble des fonctions repr´esentatives C[G]rep est une sous-alg`ebre de C[G] qui aussi
satisfait aux trois axiomes.
Dans l’´etude des G-modules admissibles on rencontre seulement des fonctions repr´esentatives.
Proposition 1.1. Une repr´esentation (ρ, V )est C[G]-admissible si et seulement si elle est C[G]rep-
admissible.
Exemple 1.2.On consid`ere le groupe du cercle G=R/2πZet l’alg`ebre des fonctions continues. Les
repr´esentations simples continues sont toutes de degr´e un, parce que S1est ab´elien :
zn:G−→ C×:t+ 2πZ7→ eint,
o`u n∈Z. Chaque fonction repr´esentative est une combinaison lin´eaire des zi, donc un polynˆome
en zet z−1. Alors
C[G]rep =C[z, z−1].
L’anneau de polynˆomes de Laurent est plus facile `a comprendre alg´ebriquement que l’anneau des
fonctions continues. Le processus de remplacer C[G] par C[G]rep est une processus de algebraisation,
mais l’alg`ebre C[G]rep est dense dans C[G]. Pour chaque groupe de Lie compact, l’alg`ebre C[G]rep
est isomorphe `a l’alg`ebre de fonctions r´eguli`ere sur un groupe alg´ebrique r´eductif GC(la complexi-
fication de G) et est dense dans C[G] (le th´eor`eme de Peter-Weyl, un th´eor`eme de l’analyse). Par
exemple, S1
C=C×.
Pour un groupe alg´ebrique r´eductif, rien ne change C[G] est ´egale `a C[G]rep.

4
1.4. Maschke. Un bon nombre de th´eor`emes pour les repr´esentations complexes des groupes finis
restent vrais pour les repr´esentations admissibles, avec des preuves semblables. Par exemple, les
th´eor`emes de Maschke et de Schur.
Th´eor`eme 1.1. Soit Wun sous-module d’un module admissible V. Alors il existe un sous-module
compl´ementaire W0tel que V=W⊕W0.
Preuve. (i) On commence par le cas o`u les dimensions sont finies. Dans ce cas Hom(V, V ) est
admissible par exercice 1.1. Pour v∈Vet ω∈V∗, l’application p7→ ω(p(v)) est une fonctionnelle
sur Hom(V, V ). Donc
x7→ ω(x·p(x−1·v))
est une fonction repr´esentative (ou admissible) sur G. Choisissons une projection p:V−→ Vsur
W, on va modifier pet obtenir une G-projection. Pour faire ¸ca on fixe une base e1, . . . , ende V
avec la base duale e∗
1, . . . , e∗
n. Fixons v∈V. On d´efinit pGpar
pG(v) :=
n
X
i=1 ZG
e∗
i(x·p(x−1·v)) dxei.
Pour montrer que pGest un G-morphisme, on va utiliser que si g·ej=Pi[g]ij ei, alors g−1·e∗
j=
P[g]jie∗
i.
pG(g·v) =
n
X
i=1 ZG
e∗
i(xp(x−1gv)) dxei
=
n
X
i=1 ZG
e∗
i(gxp((gx)−1gv)) dxei(par une propri´et´e de RGdx)
=
m
X
i=1 ZG
e∗
i(gxp(x−1v)) dxei
=
m
X
i=1 ZG
(g−1·e∗
i)(xp(x−1v)) dxei(par la d´efinition de l’action sur V∗)
=
m
X
i,s=1 ZG
([g]ise∗
s)(xp(x−1v)) dxei
=
m
X
i,s=1 ZG
e∗
s(xp(x−1v)) dx[g]isei
=
m
X
s=1 ZG
e∗
s(xp(x−1v)) dxg·es
=g·pG(v).
Et pGreste une projection, parce que si w∈Won aura
pG(w) =
n
X
i=1 ZG
e∗
i(x·p(x−1·w))dxei=
n
X
i=1 ZG
e∗
i(w))dxei=w.

5
Et dans l’exercice suivant on montre que pG(v)∈Wpour chaque v∈V.
Exercice 1.2.(a) Montrer que la d´efinition de pGne d´epend pas du choix de base.
(b) Montrer que pG(v)∈Wpour chaque v∈V.
(ii) On consid`ere maintenant le cas g´en´eral. Par le lemme de Zorn il existe une projection p:V
−→ Vsur W. On va modifier pet obtenir une G-projection pG.
Fixons v∈V, alors il existe un sous-module admissible de dimension finie V1qui contient v. La
restriction p1de p`a V1est une projection sur V1∩W. Dans (i) on a modifi´e p1`a une G-projection
p1,G de V1sur V1∩W. On d´efinit maintenant pG(v) := p1,G(v). Il faut montrer encore que la
d´efinition ne d´epend pas du choix de V1.
Supposons que V2est un autre module admissible de dimension finie qui contient v. Alors
V3=V1∩V2est un troisi`eme module admissible qui contient v. Prenons une base e1, . . . , ende V1,
telle que e1, . . . , emest une base de V3. Alors pour chaque x∈Gon a x·p(x−1·v)∈V3∩W, donc
pour chaque m < i ≤non a que e∗
i(x·p(x−1·v)) = 0.Alors
n
X
i=1 ZG
e∗
i(x·p1(x−1·v)) dxei=
m
X
i=1 ZG
e∗
i(x·p1(x−1·v)) dxei.
Donc la d´efinition de pGest la mˆeme si on utilise V3`a la place de V1. Donc pGest bien-d´efinie et
est une G-projection. 
On obtient par une induction sur la dimension un th´eor`eme de Maschke.
Corollaire 1.1. Chaque G-module admissible de dimension finie est la somme directe de G-
modules admissibles simples. Plus g´en´eralement, si la dimension d’un module admissible est au
plus d´enombrable, alors le module est la somme directe de G-modules simples.
Preuve. Supposons v1, v2, . . . est une base, alors il existe des sous-modules de dimension finie V1⊂
V2⊂. . ., tels que vi∈Vi, et donc V=P∞
i=1 Vi. Par le r´esultat avant il existe des sous-modules Wi
tels que Vi=⊕j≤iWi. Il suit que V=⊕∞
i=1Wi.
Exemple 1.3.Dans certains cas il y a une preuve alternative pour le th´eor`eme de Maschke. Soit
zle conjugu´e complexe de z. D´efinissons pour f∈C[G] la fonction f:G−→ C:g7→ f(g). En
g´en´eral fne reste pas dans C[G]. Supposons c’est le cas pour C[G]. Puis, supposons pour f∈C[G]
que si f(g)∈R≥0pour chaque g∈G, alors aussi RGf(g)dg ∈R≥0, et dans ce cas RGf(g)dg = 0 si
et seulement si f(g) = 0 pour chaque g∈G.
Ces hypoth`eses sont satisfaites si Gest un groupe compact et C[G] est l’alg`ebre des fonctions
continues sur G.
Soit Vun G-module continu de dimension finie. Fixons un produit scalaire complexe (,) sur
V, et e1, . . . , enune base orthonormale. Soit v=Pivieiet w=Piwiei, alors on peut ´ecrire la
fonction g7→ (g·v, g ·w) comme
g7→ X
i,j,r
viwjρri(g)ρrj (g),