Sous-espaces stables par un endomorphisme

Universit´e Claude Bernard–Lyon I
Agr´egation de Math´ematiques : Alg`ebre & g´eom´etrie
Ann´ee 2006–2007
Sous-espaces stables
par un endomorphisme
En guise d’introduction
L’existence de suppl´ementaires dans un espace vectoriel est un petit miracle (qui r´esulte du
th´eor`eme de la base incompl`ete). En effet, si Rest un anneau quelconque, fˆut-il aussi commu-
tatif, unitaire, int`egre et principal que Zou K[X], si Mest un R-module et Nun sous-module,
il est tr`es rare qu’il existe un sous-module N0tel que M'N⊕N0. Prendre, par exemple,
R=Z,M=Zet N= 2Z.
Si on se consacre d´esormais au cas R=K[X], polynˆomes en une ind´etermin´ee Xsur un corps
K, on sait que la donn´ee d’un R-module est ´equivalente `a la donn´ee d’un espace vectoriel sur
Ket d’un endomorphisme.
En effet, si on se donne un K[X]-module M, il est clair que c’est un K-espace vectoriel
(K⊂K[X] !), et on a un endomorphisme naturel u:M→M,v7→ X.v.
Inversement, si uest un endomorphisme d’un espace vectoriel M, on d´efinit une structure
de K[X]-module sur Men posant, pour f∈K[X] et v∈M:f.v =f(u)(v).
Un K[X]-module est donc d´etermin´e par un couple (M, u). Un morphisme de K[X]-modules
entre (M, u) et (M0, u0), c’est une application lin´eaire ϕ:M→M0telle que u0◦ϕ=ϕ◦u.
Un endomorphisme du K[X]-module (M, u), c’est une application lin´eaire ϕ:M→Mqui
commute `a u.
Dans ce vocabulaire, un sous-espace stable par uest un sous-K[X]-module. Si on revient au
probl`eme de suppl´ementaire, on voit que l’absence d’un sous-K[X]-module suppl´ementaire se
traduit par l’absence, en g´en´eral, d’un sous-espace suppl´ementaire stable par l’endomorphisme.
Tout ¸ca pour dire que “la th´eorie des sous-espaces stables” est plus compliqu´ee que “la th´eorie
des sous-espaces”, parce qu’en fait, on est pass´e du corps K`a un anneau K[X] qui n’est pas
un corps.
D’un tout autre point de vue, en dimension infinie, on peut citer le probl`eme ouvert dit “du
sous-espace invariant” : ´etant donn´e un op´erateur dans un espace de Banach, existe-t-il toujours
un sous-espace ferm´e propre stable par cet op´erateur.
Confidence d’un membre du jury : dans cette le¸con, si vous parlez d’autre chose que de sous-
espaces propres, quoi que ce soit, vous partez sur de bonnes bases.
A ne pas rater
•rˆole et int´erˆet de la commutation de deux endomorphismes pour ces probl`emes ;
•sous-espaces caract´eristiques, en particulier :
–un sous-espace est stable si et seulement si c’est la somme directe de ses intersections
avec les sous-espaces caract´eristiques, et ceux-ci sont stables ;
–d´ecomposition de Dunford ;
•sous-espaces propres, en particulier :
–diagonalisation simultan´ee d’endomorphismes diagonalisables qui commutent ;
–dans un espace hermitien/euclidien, cas des endomorphismes normaux, hermi-
tiens/sym´etriques, unitaires/orthogonaux (plans stables pour le dernier cas) ;
•l’orthogonal (dans le dual) d’un sous-espace stable est stable pour la transpos´ee ; (exem-
ple : hyperplans stables ↔sous-espaces propres de la transpos´ee).
1

Semblent int´eressants pour enrichir
•un endomorphisme sur un corps alg´ebriquement clos :
–preuve du th´eor`eme de Cayley-Hamilton et existence dans le th´eor`eme de Jordan
(les deux ensemble ; voir la le¸con “Endomorphismes nilpotents”) ;
–endomorphismes ayant un nombre fini de sous-espaces stables (V) ;
•un endomorphisme `a la fois sur un corps non alg´ebriquement clos : endomorphismes
semi-simples (VI) ;
•plusieurs endomorphismes `a la fois :
–formant un groupe fini : th´eor`eme de Maschke (VII) ;
–formant une alg`ebre de Lie nilpotente (resp. une alg`ebre de Lie r´esoluble) : th´eor`eme
d’Engel (resp. th´eor`eme de Lie) (voir VIII et surtout [Tauvel]) :
•divers :
–plusieurs sous-espaces `a la fois : drapeaux (voir ci-dessous) ;
–th´eor`eme de Skolem–Nœther (r´ef´erence : [Leichtnam–Schauer]) ; application : faire
de P GLn(K) = GLn(K)/K∗un sous-groupe d’un groupe de matrices : GLn2(K).
***
I Compl´ements sur le plan de Nolwenn Cozian
Notations : Eespace vectoriel de dimension finie sur K,u∈L(E) endomorphisme.
1◦Autour du lemme 3 : sous-espaces stables de petite dimension
(a) Notons l’´evidence suivante : une droite est stable par usi, et seulement si elle est engendr´ee
par un vecteur propre de u. Ainsi, si Kest alg´ebriquement clos, ua toujours une droite stable.
(b) Si K=R, le polynˆome caract´eristique de uposs`ede une valeur propre λ∈C. Si λ∈R,
on obtient ainsi une droite stable. Supposons que λ∈C\R. Fixons une base de E, ce qui
permet de remplacer upar sa matrice A∈Mn(R) et de travailler avec des vecteurs dans Cn.
Soit donc Z∈Cnun vecteur propre de Apour la valeur propre λ. Ecrivons λ=a+ib, o`u
a, b ∈R. Comme Aest r´eelle, on peut s´eparer parties r´eelle et imaginaire dans AZ =λZ :
AX +iAY =aX −bY +i(bX +aY ),d’o`u AX =aX −bY
AY =bX +aY.
Par suite, si Xet Y´etaient colin´eaires dans Rn,Xet Yseraient des vecteurs propres de A
(du moins, s’ils ne sont pas nuls), si bien que Zaurait une valeur propre r´eelle : absurde. Par
suite, l’espace engendr´e par Xet Yest un plan, et les ´egalit´es pr´ec´edentes montrent qu’il est
stable par U. On en d´eduit l’existence d’un plan de Estable par u.
On peut aussi proc´eder ainsi : on choisit un facteur irr´eductible Pde degr´e 2 du polynˆome
caract´eristique de uet un vecteur x6= 0 dans Ker P(u) : on v´erifie que l’espace engendr´e
engendr´e par xet u(x) est un vrai plan (sinon, xserait vecteur propre et Paurait une racine
r´eelle), et qu’il est stable par u(¸ca d´erive de P(u)(x) = 0).
(c) Si Kest un corps arbitraire, il est plausible que K[X] poss`ede un polynˆome irr´eductible
Pde degr´e n≥3. Alors le K[X]-module K[X]/(P) –c’est simplement l’espace K[X]/(P), de
dimension nsur K, muni de l’endomorphisme uinduit par la multiplication par X– est simple,
au sens qu’il ne poss`ede pas de sous-espace stable par u(cf. Proposition 14). Noter que la
matrice de u, dans la base induite par la famille (1, X, · · · , Xn−1), n’est autre que la matrice
compagnon de P; le polynˆome caract´eristique de uest donc P.
2

(d) Encore une ´evidence : l’intersection et la somme de deux sous-espaces stable par un
endomorphisme sont encore stables. On fait ainsi de l’ensemble des sous-espaces stables un
treillis (ensemble partiellement ordonn´e o`u deux ´el´ements ont toujours un max et un min).
2◦Proposition 17 bis
C’est un r´esultat-cl´e dans cette le¸con, si facile qu’il soit. Le th´eor`eme de Cayley-Hamilton,1et
l’application 13 donnent la r´eciproque suivante `a la proposition 17 :
Proposition (Notations de I 3.) Un sous-espace Fde Eest stable si, et seulement si son
intersection avec chaque sous-espace caract´eristique Niest stable par u. Dans ces conditions,
on a : F=Li(F∩Ni).
Remarque : Noter que si uest diagonalisable, on en d´eduit que la restriction `a tout sous-
espace stable l’est aussi ; inversement, les sous-espaces stables sont les sommes directes de
sous-espaces des espaces propres.
Extension : Noter aussi que si χun’est pas scind´e, on peut quand mˆeme factoriser χu=
QiPαi
i, o`u les Pisont irr´eductibles et deux `a deux distincts. On a alors les mˆemes ´enonc´es en
posant Ni= Ker Pαi
i(u).
3◦Sous-espaces stables dans le dual
(a) Rappelons que l’orthogonalit´e ´etablit une bijection entre sous-espaces de dimension dde
Eet sous-espaces de dimension n−ddu dual E∗. Si F⊂E, et si G⊂E∗, on pose :
F⊥={`∈E∗:∀x∈F, `(x) = 0}, G◦={x∈E:∀`∈G, `(x) = 0}.
On a de plus : (F⊥)◦=F. Si on identifie Eau dual E∗∗ de E∗,G◦s’identifie `a G⊥: `a ce
titre, l’orthogonalit´e est essentiellement une involution.
Si vous ne l’avez jamais fait, remarquez que si on d´ecrit G⊂E∗par une famille g´en´eratrice
(`1, . . . , `r), l’orthogonal G◦est l’ensemble des solutions du syst`eme lin´eaire `1(x) = · · · =
`r(x) = 0. Cette notion n’est donc pas plus myst´erieuse que la notion de “r´esoudre des
syst`emes” !
(b) Dans ce cadre, le r´esultat central, pour trivial qu’il soit, est la proposition 19 : un sous-
espace est stable par un endomorphisme, si et seulement si, son orthogonal est stable pour
la transpos´ee. En d’autres termes, l’orthogonalit´e ´etablit une bijection entre sous-espaces de
dimension dde E(stables par u) et sous-espaces de dimension n−dde E∗(stables par u).
(c) Une application simple de ce fait, c’est qu’en dimension 3, les droites stables par usont les
droites propres, et les plans stables sont les noyaux des vecteurs propres de la transpos´ee de u.
II Stabilit´e en pr´esence d’une forme quadratique ou hermitienne
On brasse beaucoup d’air chaud dans ce paragraphe !
1◦Cadre bilin´eaire : deux notions d’adjoint ?
(a) Le cadre
On choisit une forme bilin´eaire sym´etrique h·,·i non d´eg´en´er´ee sur E. Par exemple, si K=R,
un produit scalaire euclidien. Attention, sur C, ce serait une forme quadratique et pas un
produit scalaire hermitien.
Le choix d’une forme bilin´eaire permet d’associer, `a tout vecteur x∈E, une forme lin´eaire
`x∈E∗:`x=hx, ?i:y7→ hx, yi. On en d´eduit une application lin´eaire
Φ=Φh·,·i :E→E∗, x 7→ hx, ?i.
1Il faudra v´erifier lorsqu’on l’´enoncera plus loin qu’il n’y a pas de cercle vicieux.
3

Dire que la forme est non d´eg´en´er´ee, c’est dire qu’aucun vecteur non nul n’est orthogonal `a E:
pour x∈E,ona:
∀y∈E, hx, yi= 0 =⇒x= 0.
(Attention, le cˆone isotrope n’est pas n´ecessairement trivial : il peut y avoir des vecteurs xtels
que hx, xi= 0.) Ceci signifie exactement que le noyau de Φ est r´eduit `a {0}. Par ´egalit´e des
dimensions, Φ est un isomorphisme.
(b) Identification des orthogonaux
Montrons que Φ envoie l’orthogonal d’un sous-espace F⊂E, au sens de h·,·i, sur l’orthogonal
de Fdans E∗, au sens de la dualit´e. En effet, pour x∈E,ona:
x∈F⊥⇐⇒ ∀y∈F, hx, yi= 0 ⇐⇒ ∀y∈F, `x(y) = 0 ⇐⇒ Φ(x) = `x∈F⊥.
Ce n’est donc pas un abus grave d’avoir not´e les deux orthogonaux F⊥: Φ les identifie.
(c) Adjoint et transpos´ee
Soit alors u∈L(E). Son adjoint pour h·,·i est l’unique endomorphisme lin´eaire tel que
(§)∀x, y ∈E, hu∗(x), yi=hx, u(y)i.
Noter que cette ´egalit´e se traduit par :
∀x∈E, Φ(u∗(x)) = Φ(x)◦u=tu◦Φ(x),i.e. u∗= Φ−1◦tu◦Φ.
Ceci prouve du mˆeme coup l’existence et l’unicit´e de u∗. Et surtout, si on identifie Eet son
dual `a l’aide de Φ, u∗∈L(E) s’identifie `a tu∈L(E∗). Ouf.
(d) Matrices dans une base orthonorm´ee
Si Eposs`ede une base orthonorm´ee B= (ei)i=1,...,n pour h·,·i, la matrice de ua pour coefficient
d’indice (i, j)∈ {1, . . . , n}2:
hei, u(ej)i=hu∗(ei), eji=hej, u∗(ei)i.
On en d´eduit que la matrice de u∗dans Best la transpos´ee de la matrice de u. D’autre part,
la base duale de Best l’image de Bpar Φ, si bien que c’est aussi la matrice de tudans cette
base duale. On retrouve l’identification pr´ec´edente...
2◦Cadre sesquilin´eaire : deux notions d’adjoint ?
(a) Le cadre
Ici, K=Cet h·,·i est sesquilin´eaire `a sym´etrie hermitienne : pour λ∈Cet x, y, x0∈E,
hλx, yi=λhx, yi=hx, λyi,hx, yi=hy, xi,hx+x0, yi=hx, yi+hx0, yi.
On suppose de plus que h·,·i est d´efinie positive : hx, xi ≥ 0, avec ´egalit´e seulement pour x= 0.
Par exemple, si E=Cn, on peut prendre pour X, Y ∈Cn=Mn,1(C), hX, Y i=tXY .
On peut comme ci-dessus d´efinir une application Φ : E→E∗,x7→ hx, ?i, mais elle est anti-
lin´eaire2: pour λ∈Cet x, x0∈E,
Φ(x+x0) = Φ(x) + Φ(x0),Φ(λx) = λΦ(x).
Comme h·,·i est d´efinie positive, elle est non d´eg´en´er´ee et Φ est toujours bijective.
(b) Identification des orthogonaux
Rien `a changer, si ce n’est que la bijection Φ est d´esormais anti-lin´eaire.
2C’est en fait un isomorphisme si on munit E∗de la structure “tordue”, d´efinie par : λ·`:x7→ λ`(x) pour
λ∈Cet `∈E∗.
4

(c) Adjoint(s ?)
On d´efinit l’adjoint de u∈L(E) par l’´egalit´e (§), et on a toujours :
∀x∈E, Φ(u∗(x)) = Φ(x)◦u=tu◦Φ(x),i.e. u∗= Φ−1◦tu◦Φ.
D’o`u, encore, l’existence et l’unicit´e de u∗. Noter que puisque uest lin´eaire et que Φ et Φ−1
sont anti-lin´eaires, u∗est bien lin´eaire.
(d) Matrices dans une base orthonorm´ee
Soit B= (ei)i=1,...,n une base orthonorm´ee pour h·,·i, la matrice de ua pour coefficient d’indice
(i, j)∈ {1, . . . , n}2:
hei, u(ej)i=hu∗(ei), eji=hej, u∗(ei)i.
On en d´eduit que la matrice de u∗dans Best la transconjugu´ee de la matrice de u.
D’autre part, v´erifions que c’est bien la matrice de Φ−1tuΦ. La base duale B∗= (e∗
i)i=1,...,n de
Best l’image de Bpar Φ, donc la matrice de tudans B∗est la transpos´ee de la matrice (aij )
de udans B. Par anti-lin´earit´e de Φ−1,ona:
∀j∈ {1, . . . , n},Φ−1◦tu◦Φ(ej) = Φ−1◦tu(e∗
j) = Φ−1 n
X
i=1
ajie∗
i!=
n
X
i=1
aji ei.
D’o`u la coh´erence : les matrices de u∗et Φ−1◦tu◦Φ co¨ıncident. Ouf.
3◦Morale : propositions 19 et 20
La morale de cette histoire pesante, c’est que les propositions 19 et 20 du plan de Nolwenn
Cozian sont synonymes : elles s’obtiennent l’une de l’autre grˆace `a la bijection Φ.
III R´eduction des endomorphismes normaux
Soit Eun espace vectoriel de dimension finie sur C(resp. R), muni d’une forme sesquilin´eaire
(resp. bilin´eaire) `a sym´etrie hermitienne (resp. sym´etrique) d´efinie positive. Un endomor-
phisme est dit normal s’il commute `a son adjoint.
1◦Cadre hermitien
(a) Diagonalisation des endomorphismes hermitiens normaux
Th´eor`eme Un endomorphisme hermitien normal poss`ede une base orthonorm´ee de vecteurs
propres.
Par r´ecurrence sur la dimension de l’espace. En dimension 1, il n’y a rien `a prouver. Pour le
pas de r´ecurrence, soit unormal et xun vecteur propre de u∗. Alors la droite Cxest stable
par udonc xest propre pour u; de plus, Cxest stable par u∗, donc son orthogonal est stable
par uet sa dimension est strictement plus petite. Ane qui trotte.
(b) Cas particuliers
Les cas les plus utiles sont les suivants :
•u=u∗(endomorphisme hermitien) ; toute valeur propre λde uest alors r´eelle, puisque
si x∈E\ {0}est un vecteur propre :
λhx, xi=hλx, xi=hu(x)x, xi=hu∗(x), xi=hx, u(x)i=λhx, xi.
•uu∗= Id (endomorphisme unitaire) : toute valeur propre λde ua pour module 1 (calcul
analogue).
5