sous-espaces invariants d`un opérateur et factorisations de sa

Actes, Congrès intern. Math., 1970. Tome 2, p. 459 à 465.
SOUS-ESPACES INVARIANTS D'UN OPÉRATEUR
ET FACTORISATIONS
DE SA FONCTION CARACTÉRISTIQUE
par Béla SZ. - NAGY
1. - On s'est aperçu dès les commencements de l'étude des "fonctions carac-
téristiques" associées aux opérateurs T de certains types dans l'espace de Hilbert (*),
qu'il existe des relations entre les sous-espaces invariants pour T et les factorisa-
tions de la fonction caractéristique de T. Notamment, on a pu associer à tout
sous-espace invariant pour T une factorisation de la fonction caractéristique, et à
toute factorisation de la fonction caractéristique un sous-espace invariant, sinon
de T, mais d'un opérateur T = T® V où le terme V est un opérateur à structure
simple, par exemple unitaire ou autoadjoint, suivant le cas traité. Cf. en parti-
culier [1], [2], [3].
Le problème de trouver les relations exactes entre les factorisations de la fonc-
tion caractéristique et les sous-espaces invariants pour T lui-même, n'a été résolu
que vers la fin de l'année 1963, par Sz.-Nagy et Foiaç, pour les contractions
complètement non-unitaires (c.n.u.)(2); cf. [4] et [5], chap. VII. Ces résultats
ne sont donc pas tout récents. Mais ils semblent être peu connus, même les jour-
naux analytiques n'en ont donné qu'une idée vague, sinon incorrecte. Il ne nous
a pas semblé donc inutile de revenir à ce sujet dans cette conférence.
Notons que le cas des opérateurs à partie imaginaire positive se réduit à celui
des contractions par une transformation de Cayley.
2. - Pour un espace de Hilbert & on désignera par I?& l'espace de Hilbert des
fonctions u(-) définies sur le cercle unité, à valeurs vecteurs dans ô, mesurables et
de norme carrée integrable pour la mesure de Lebesgue normée. Soit H2 le sous-
o
espace formé des fonctions
u(eu) ~ u0 + eitui + e2itu2 + •• -.
On pose x(eit) — e"-
On envisagera aussi des fonctions $(•) à valeurs opérateurs ê -> ©, mesurables
et bornées par 1 : une telle fonction sera appelée contractive ; elle engendre
par (4>«)() = $(-) u() un opérateur $ : L\-+ L2&, notamment une contrac-
tion ; <È> permute à la multiplication par toute fonction scalaire mesurable bornée.
(1) Tout espace de Hilbert envisagé est supposé complexe et separable ; par opérateur
on entend un opérateur linéaire et borné.
(2) Toute contraction est la somme orthogonale d'un opérateur unitaire et d'une contrac-
tion c.n.u.

460 B. SZ.-NAGY D 3
Lorsque $ transforme le sous-espace H2 de L2& dans le sous-espace H2 de L2
nous disons que la fonction est analytique ; telle fonction est notamment la limite
radiale, p.p. sur le cercle unité, d'une fonction $(X) = 4>0 4- \$t + \2 <ï>2 4- • • •
analytique et contractive dans l'intérieur du cercle unité. (Ici on fait usage de ce
que les espaces envisagés sont séparables). La fonction analytique contractive
(f.a.c.) <£(•) est pure lorsque ||<ï>0 a\\ < \\a\\ pour tout a GS, a =£ 0. Toute f.a.c.
$(•) est la somme orthogonale d'une f.a.c. pure <È>°(-) et d'une fonction constante
unitaire &1 ( • ) = Z :
*(•)
*°(-)
*'(•)
La f.a.c. <&(•) s'appelle intérieure si ses valeurs sont des opérateurs isométriques
S -• <| en presque tous les points du cercle unité ; une définition équivalente est
que l'opérateur $ soit isométrique. Elle s'appelle extérieure si l'image de H\ par $
est dense dans H2 .
Si <£(•) est une f.a.c, il en est de même de la fonction 4>~() définie par
*~V0 = $(<r/f)* .
La fonction 4>() s'appelle »-intérieure ou »-extérieure si son associée est intérieure
ou extérieure, selon les cas.
Pour deux fonctions à valeurs^opéfatëurs on liit qu'elles"coïncident lorsqu'elles
ne diffèrent qu'à des facteurs constants unitaires de chaque côté.
3. — Pour une contraction quelconque T dans l'espace de Hilbert #€ on définit
les opérateurs de défaut DT= (I - T*T)l/2, DT* = (I - TT*)l/2 et les espaces
de défaut (DT = DTWl, <Dr, = D^M. La fonction
®r(A) = [-T+\DT*(I- \T*yl DT]\(DT
est analytique dans l'intérieur du cercle unité et on peut montrer qu'elle est
même contractive pure : ses valeurs sont des opérateurs (Op -> d>T*. Cette fonction,
ou plutôt la fonction 0r() qui en dérive comme limite radiale p.p. sur le cercle
unité, s'appelle la fonction caractéristique de la contraction T.
Les cas particuliers a) TGCQ, b) T£CA, c) TGC0 , d) T<ECt (l) corres-
pondent aux cas où la fonction caractéristique @r(-) est a) intérieure, b) exté-
rieure, c) »-intérieure, d) »-extérieure.
Les opérateurs Tt=C0 admettent un modèle fonctionnel simple. On prend
une fonction intérieure, à valeurs opérateurs £-* % ; ®H\ est alors un sous-espace
de H2. On pose
(1) On écrit TeÇ0 si T*nh -* 0 pour tout /z G S£ («-* °°), et TGCA si T*n h -• 0
pour h = 0 seulement. De même, Te C0m si T" h -• 0 pour tout h, et Tècx siTnh-+Q
pour h = 0 seulement. Enfin, Cdß = Ca HC[ß.

SOUS-ESPACES INVARIANTS D'UN OPERATEUR 461
9e(®) = Hl e®Hl ;
36(0) =£{0}sauf si 0(-) est une constante unitaire. On définit dans 36(0) l'opé-
rateur 5(0) par
S(Q)u = Psc(&)(xu) ou S(®)*u = x(u - u0) (u(=8e,(®))(1).
On obtient de cette façon toutes les contractions de type C0, à une équivalence
unitaire près. Pour T donné il n'y a qu'à prendre pour 0(0 la fonction caracté-
ristique 0r( ), ou n'importe quelle autre fonction intérieure dont la partie pure
0°(O coïncide avec 0r(O-
Dans ce cas à toute factorisation
(1) ©l(\ /®2()
de 0(-) en produit 02(O®i(O de deux fonctions intérieures il correspond
une décomposition de l'espace 36(0), notamment
36(0)=^e020j^ =02(#2 9 0,^)9(^^0^2^
= 02 .36(0,)e06(02)= 36, e ^ .
Il est facile de montrer que 36, est invariant pour 5(0). La matrice de 5(0) par
rapport à cette décomposition est donc de la forme
M
Lo sj
où Sj = 5(0)136! est unitairement équivalent à 5(0j), et de plus S2 = 5(02) .
Ainsi, les fonctions caractéristiques de 5t et S2 coïncident avec les parties pures
de 0,(0 et 02( )• H s'ensuit en particulier que si la factorisation (1) est non
banale (c'est-à-dire aucun des facteurs n'est une constante unitaire), 36, est un
sous-espace invariant propre pour 5(0).
Or on obtient de cette façon tous les sous-espaces 36! invariants pour 5(0),
ou, ce qui revient au même, tous les sous-espaces 362 invariants pour 5(0). Cela
résulte d'une manière simple du théorème bien connu de Beurling — Lax— Halmos
sur la relation entre les sous-espaces invariants d'une translation unilatérale et
les fonctions intérieures.
Ainsi, pour T€C0 il y a une correspondance complète entre les sous-espaces
invariants de T et les factorisations en fonctions intérieures de 0r(O- Malheu-
reusement, le problème de factoriser une fonction intérieure 0(0 en produit de
deux fonctions intérieures ne s'avère maniable (à nos connaissances actuelles)
que si 0(0 admet un multiple scalaire. Des cas importants où cette condition
est vérifiée sont traités dans les chapitres V et VIII de {5].
(1) P désigne la projection orthogonale sur l'espace indiqué comme indice.

462 B. SZ.-NAGY D 3
4. - Cela impose le problème d'étudier les contractions qui n'appartiennent
pas nécessairement à la classe C0.
Une telle étude exige des moyens plus fins et a été rendue possible notamment
par l'utilisation de la;théorie générale des dilatations isométriques des contractions
c.n.u. et du modèle fonctionnel général de ces contractions qui en dérive par une
analyse de Fourier.
Ce modèle est le suivant : On considère une fonction analytique contractive
quelconque 0(0, à valeurs opérateurs ê -> % et on y associe l'espace de Hilbert
36(0)= [#*©AZ*]e{0M©Aw : uEH2^
où A(0 = [/ - 0(0*0(O]1/2(*) ; on a 36(0) =É (0>sauf si 0(0 est une cons-
tante unitaire. Dans 36 (0) on définit l'opérateur 5(0) par
5(0) (u © v) = PH{ß)<xu © xv) ou S(S)*(u ®v) = x(u - u0) © w
(u © v E 36(0)). Ces définitions se réduisent à celles envisagées plus haut dans le
cas où 0(-) est intérieure, car alors A(0 = 0.
L'opérateur 5(0) est une contraction c.n.u. et sa fonction caractéristique
coincide avec la partie pure de 0(0- De plus, on obtient de cette façon, à une
équivalence unitaire près, toutes les contractions c.n.u. T. En effet, pour T donnée
il n'y a qu'à prendre pour 0(0 n'importe quelle f.a.c. dont ia partie pure coïncide
avec 0r(O-
Observons alors que si 0(0 = 02() ®i () est une factorisation de 0(0 en
produit de deux fonctions de même type suivant le diagramme (1), on a
(2) A(02 = 0,(0* A2(02 0,(0 +A,(02 ,
Il s'ensuit que l'application
A(eH)g-* Aa(«") e!(«")*« ax(eif)g (gSß)
est isométrique pour presque tout point fixé eif, donc se prolonge par conti-
nuité en une isométrie
Z(eu) : A(eH) ê -> A2 (eif) & © A, (eif) & .
De (2) il dérive aussi que l'application
A«-* A2 0,M © A,M iu^L2s)
est isométrique et se prolonge donc par continuité en une isométrie
Z : AL2->A2Z,2 ©AjZ,2 .
S,
(1) L'ensemble linéaire '{Su® Au : ueH2&} est fermé : conséquence de ce qu'il est
l'image de //* par l'application isométrique u -> @u © Au.

SOUS-ESPACES INVARIANTS D'UN OPERATEUR 463
On montre sans difficulté que les conditions suivantes sont équivalentes :
condition locale : Z(eif) est unitaire p.p.,
condition globale : Z est unitaire.
Lorsque ces conditions (équivalentes) sont vérifiées, on appelle la factorisation
0(0 = 02(')
0i(O
régulière.
Si c'est le cas, on peut identifier les éléments des espaces
AL
\ et A2L2 © A.L2
qui se correspondent par l'opérateur unitaire Z et on obtient alors pour 36(0)
la forme à trois composantes
36(0) = \H\ © A2L29® A1L25]e{020,M © A20,w © A,« : MG^},
Il en dérive la décomposition 36(0) = 36 j © 362 où
(3) 36j = <o2-36(0!) et 362 = 36(02) ©{0},
co2 étant la restriction à 36(0j) de l'isométrie
u © v ~+ 02 u © A2 u © v (uEH2 , vEL2) .
Il s'ensuit aussi que 36j est invariant pour 5(0) et que dans la matrice cor-
respondante
(4) 5(0)
Lo sj
les opérateurs 5j et 52 sont unitairement équivalents à 5(0t) et 5(02), selon
les cas ; en particulier 36j est un sous-espace invariant propre si la factorisation
n'est pas banale.
Ces calculs sont directs et relativement simples. Le point difficile (et c'est
ici où une étude approfondie de la structure des dilatations isométriques est
utilisée) est de montrer qu'on obtient de cette façon tous les sous-espaces inva-
riants 36î pour 5(0), et d'arriver ainsi au théorème suivant :
THEOREME. - Lorsque 0() = 02()®i() parcourt la totalité des factorisa-
tions régulières de 0(0» te sous-espace correspondant 361 (par (3)) parcourt la
totalité des sous-espaces invariants pour 5(0). (Cf. [4], [5]).
5. — En vertu de ce théorème il importe de trouver des critères maniables
pour qu'une factorisation
(F) 0(O = 02(O0!(O
d'une f.a.c. en facteurs de même type soit régulière. En voici quelques uns (cf. [5]
prop. VII. 3.3).