Éléments d`Optimisation Différentiable — Théorie et Algorithmes

Prenom Nom
Éléments
d’Optimisation Différentiable
—
Théorie et Algorithmes
Jean Charles Gilbert†
3 juillet 2013
Cet ouvrage est spécialement dédié à Prenom Nom, qui s’est engagé à ne pas le
modifier, à ne pas le céder à autrui sous quelque forme que ce soit même gratuitement
et/ou partiellement, et à n’en faire qu’un usage personnel.
Si vous êtes intéressé par cet ouvrage, veuillez vous connecter au site
https://who.rocq.inria.fr/Jean-Charles.Gilbert/ensta/optim.html
pour prendre connaissance des conditions d’obtention d’une copie du manuscrit.
Au cas où vous utiliseriez le contenu de ce document dans des écrits publiés sous
une forme quelconque, merci de le citer par la référence [216] (avec son lien internet),
même si cet ouvrage n’a pas encore été édité (il ne le sera peut-être jamais sous une
forme traditionnelle).
†INRIA Rocquencourt, BP 105, F-78153 Le Chesnay, France; malle: Jean-Charles.
[e-mail].

Prenom Nom

Prenom Nom
Préface
There are hardly any speculations in geometry more useful or
more entertaining than those which relate to maxima and
minima.
C. MacLaurin (1742). A treatise of Fluxions.
Voyager, c’est bien utile, ça fait travailler l’imagination. Tout
le reste n’est que déceptions et fatigues. Notre voyage à nous
est entièrement imaginaire. Voilà sa force.
Céline (1952). Voyage au bout de la nuit.
Telle est, bien sûr, l’ambition secrète et démesurée de tout
auteur d’anthologie. S’il la commence pour lui-même, c’est pour
d’autres qu’il la termine et la publie. Choisir, dans un domaine
déterminé, tout ce qui lui paraît digne et capable de provoquer
chez le lecteur le choc de la beauté, voilà l’objet de son effort.
G. Pompidou (1961). Anthologie de la poésie française
Si vous voulez savoir ce qu’une démonstration démontre,
regardez la démonstration.
L. Wittgenstein, cité par J. Bouveresse le 17 juin 1998 dans
une conférence sur l’affaire Sokal et ses conséquences.
Cette difficulté de la science contemporaine est-elle un obstacle
à la culture ou est-elle un attrait ? Elle est, croyons-nous, la
condition même du dynamisme psychologique de la recherche.
Le travail scientifique demande précisément que le chercheur se
crée des difficultés. [. . . ] L’orgueil de savoir réclame le mérite
de vaincre la difficulté de savoir.
G. Bachelard (1971). Épistémologie.
This paper is too long . . . please add information on topics X,
Y, and Z.
B. Stroustrup (1994), raillant les commentaires
contradictoires des rapports d’arbitrage sur son papier
résumant la partie historique de son livre [496].
v

Prenom Nom
vi Préface
Il s’étonnait de souffrir autant. Profondément éloignée des
catégories chrétiennes de la rédemption et de la grâce, étrangère
à la notion même de liberté et de pardon, sa vision du monde
en acquérait quelque chose de mécanique et d’impitoyable. [. . . ]
La nuit [il]rêvait d’espaces abstraits, recouverts de neige.
M. Houellebecq (1998). Les particules élémentaires.
L’optimisation numérique a ceci d’amusant que toute personne ayant une forma-
tion minimale en calcul scientifique et s’initiant à la discipline s’estime rapidement
suffisamment compétente pour introduire de nouveaux algorithmes ! Il faut dire que le
problème qui se pose en optimisation numérique différentiable sans contrainte renvoie
à une image familière, celle où il s’agit de descendre au plus bas dans une vallée, et
y trouver un chemin semble bien être à la portée de tous. Prendre en compte des
contraintes d’inégalité ne paraît guère plus difficile puisque cela revient à restreindre
la descente à un enclos à la frontière bien définie. Il n’est donc pas rare de rencontrer
des ingénieurs ou des chercheurs bricolant de « nouveaux » algorithmes aux propriétés
incertaines, à la convergence aléatoire, au temps de calcul démesuré, mais qui satis-
font pleinement leurs auteurs, . . . , jusqu’au jour où ceux-ci se rendent compte que le
problème n’est peut-être pas si simple, que leur algorithme a bien quelques faiblesses
rédhibitoires et qu’il serait sage de consulter un spécialiste. Il est donc sans doute
utile de rappeler ici, qu’il existe en effet une petite communauté de chercheurs dont
c’est le métier d’étudier et d’améliorer l’algorithmique en optimisation, ayant leurs
revues spécialisées, leurs vedettes, leurs maîtres vénérés et ne manquant pas leurs
conférences internationales régulières. Il reste probablement beaucoup d’algorithmes
à découvrir en optimisation et certainement beaucoup doivent être mieux compris,
rendus plus efficaces ou adaptés à des situations nouvelles ou particulières. Ceci est
d’autant plus vrai qu’aucun algorithme n’est entièrement satisfaisant, entraînant des
déceptions que l’on cherche naturellement à adoucir par de nouveaux remèdes, ou
mieux, par une nouvelle interprétation des algorithmes et de leur fondement permet-
tant leur amélioration. L’exploration du champ des possibles est donc souhaitable,
pourvu que ceci ne conduise pas à raviver de vieilles recettes périmées. La partie
numérique de cet ouvrage rend compte des principales solutions que les numériciens
ont apportées à quelques problèmes classiques de l’optimisation différentiable. Les
impasses et les écueils à éviter y sont aussi décrits. Nous espérons ainsi être utiles à
ceux qui se sentent une âme d’algorithmicien.
Si un objectif important de cet ouvrage est l’algorithmique en optimisation dif-
férentiable, le chemin pour y arriver pourra paraître long à certains. Les méthodes
numériques efficaces reposent en effet sur une bonne compréhension de la structure
et des propriétés des problèmes d’optimisation qu’elles cherchent à résoudre ; c’est
une raison suffisante pour étudier ces derniers. Par ailleurs, même si la démonstration
de la convergence d’un algorithme ne doit pas être la motivation première lors de sa
conception, les algorithmes ne sont vraiment acceptés que si l’on parvient à en décrire
les propriétés de convergence globale et locale, voire de complexité. Les numériciens
y consacrent une grande partie de leurs efforts. Ces différents aspects requièrent le
développement d’une théorie solide, ce qui explique la première partie du sous-titre
de cet ouvrage.

Prenom Nom
Préface vii
Ce livre est long ; il ne contient pourtant qu’une introduction aux différents sujets
qu’il aborde, que des éléments de ceux-ci. Presque tous ses chapitres, souvent une
simple de leurs sections, ont été développés en monographies par d’autres auteurs.
Le spécialiste sera donc parfois frustré par l’absence de certains concepts ou de leur
développement, par l’ignorance de certains algorithmes ou le côté superficiel de leur
étude ; par ailleurs, le néophyte pourra être découragé par le foisonnement des sujets
traités ou par la difficulté de certains passages. C’est donc dans la recherche d’un
équilibre, tout subjectif, entre ces deux pôles que s’est constitué cet ouvrage. Nous
avons essayé d’aborder de nombreux problèmes et algorithmes de résolution, en nous
efforçant chaque fois de les contenir dans un chapitre de quelques dizaines de pages.
Des notes de fin de chapitre invitent le lecteur à poursuivre son exploration, à enrichir
ses connaissances, le long de pistes que nous avons voulu variées.