On d´esigne par Eun espace vectoriel euclidien de dimension 3 et on note (x|y) le produit scalaire de
deux vecteurs appartenant `a E. On d´esigne par uun vecteur unitaire de Eet par σla sym´etrie qui transforme
tout ´el´ement x∈Een σ(x) = x−2(x|u)u.
Soit Ω l’ensemble des x∈Etels que (x|σ(x)) ≤0 et (x|u)≥0. On d´esigne par Nl’ensemble des
endomorphismes αde Etels que α(Ω) ⊂Ω et par N+l’ensemble des endomorphismes de la forme β+γ,
o`u βet γsont deux ´el´ements de Nlin´eairement ind´ependants dans l’espace des endomorphismes de E. On
dira qu’un endomorphisme de Eest extr´emal s’il appartient `a Net n’appartient pas `a N+.
I
1o) Comparer Ω et l’ensemble des ´el´ements y∈Etels que (y|x)≥0 pour tout x∈Ω.
2o) D´eterminer les endomorphismes extr´emaux de rang ≤1.
3o) Existe-t-il des endomorphismes extr´emaux de rang 2.
4o) L’endomorphisme identit´e est-il extr´emal ?
5o) Soit αun endomorphisme de Etel que α(Ω) = Ω et soit βun endomorphisme extr´emal. Les endomor-
phismes compos´es α◦βet β◦αsont-ils extr´emaux ? l’endomorphisme αest-il extr´emal ?
II
1o) Soit yun ´el´ement de Enon nul et soit m= (y|σ(y)). Pour tout nombre r´eel t, on d´esigne par αt,y
l’endomorphisme de Etel que
αt,y(x) = x+µZt
0
emϑ dϑ¶(x|σ(y))y
pour tout x∈E. Montrer que, quel que soit t,αt,y est de rang 3 et calculer l’endomorphisme inverse.
2o) D´eterminer les valeurs de tpour lesquelles αt,y ∈Nainsi que les valeurs de tpour lesquelles αt,y ∈N+.
3o) Montrer que si αt,y ∈N, alors αt,y est somme d’un nombre fini d’endomorphismes extr´emaux.
4o) Soit Ple plan, ensemble des x∈Etels que (x|u) = 1, et soit Sune ellipse du plan Pcontenue dans Ω.
Montrer que si Sn’est pas le cercle de centre uet de rayon 1 du plan P, alors il existe un y∈E, diff´erent
de z´ero, et un nombre r´eel ttel que αt,y ∈N+et S⊂αt,y (Ω).
III
1o) Soient αet βdeux endomorphismes de Etels que
β(Ω) ⊂α(Ω) ⊂Ω
Montrer que si βest de rang 3 et si α∈N+, alors β∈N+.
2o) D´eterminer les endomorphismes extr´emaux de rang 3 (on utilisera les r´esultats de II). Le compos´e de
deux endomorphismes extr´emaux (de rang quelconque) est-il un endomorphisme extr´emal ?
3o) Tout endomorphisme de Eappartenant `a Nest-il la somme d’un nombre fini d’endomorphismes extr´e-
maux ? (on pourra commencer par ´etudier le cas d’un endomorphisme α∈Nde rang 3 tel que l’intersection
de α(Ω) et du plan Pd´efini en II-4) soit un cercle et son int´erieur ; on montrera que, dans ce cas, il existe
un z∈Ω tel que α(Ω) soit l’image de Ω par l’endomorphisme qui transforme tout x∈Een x+ (x|u)z).
4o) L’endomorphisme γde Ed´efini par γ(x) = −x+5
2(x|u)uest-il la somme d’un nombre fini d’endomor-
phismes extr´emaux de rang 1 ?