2. Optimisation sans contrainte Fonctions à une seule variable 2.1. Méthodes n’utililisant que les valeurs des fonctions • Méthode de Fibonacci Hypothèse: La fonction f est définie sur l’intervalle [a, b] et est unimodal; i.e., f ne possède qu’un seul minimum local dans [a, b] • L’approche consiste – à choisir un certain nombre de points selon une stratégie basée sur les nombres de Fibonacci – à évaluer séquentiellement la valeur de la fonction à ces points – avec l’objectif de réduire la longuer de l’intervalle contenant le minimum local en se basant sur la propriété d’unimodalité de la fonction • Étant données les valeurs de la fonction en deux points de l’intervalle, l’unimodalité permet d’identifier une partie de l’intervalle où le minimum ne peut se retrouver a x1 x2 f x1 f x2 et x* a, x2 b a x1 x2 b f x1 f x2 et x* x1 , b a x1 x2 b f x1 f x2 et x* x1 , x2 a x3 x1 x4 x2 b Choisir deux points x1 et x2 symétrique et à la même distance de chaque extrémité de l’intervalle [a, b] Choisir le prochain point symétriquement par rapport au point déjà dans l’intervalle résultant. a x3 x1 x4 x2 Choisir le prochain point symétriquement par rapport au point déjà dans l’intervalle résultant. b Stratégie optimale de sélection des points d’évaluation • Notation: d1 = b – a, la longueur de l’intervalle initial dk = longueur de l’intervalle après avoir utilisé k points d’évaluation {Fk} la suite des nombres de Fibonacci définie comme suit: F0 = F1 = 1 Fn = Fn-1 + Fn-2 n = 2, 3, …. {1, 1, 2, 3, 5, 8, 13, 21, …} Stratégie optimale de sélection des points d’évaluation Supposons que nous décidons au départ d’utiliser N points d’évaluation. Procédure se résume comme suit: i. FN 1 d1 FN Les deux premiers points sont choisis symétriques à une distance de chacune des extrémités de l’intervalle [a, b]. Une partie de l’intervalle est éliminée en se basant sur l’unimodalité de la fonction. FN 1 Il en résulte un intervalle de longueur d 2 d1. FN ii. Le troisième point est choisi symétriquement par rapport au point déjà dans l’intervalle résultant. Ceci engendre un intervalle de longueur FN 2 d3 d1 F N Stratégie optimale de sélection des points d’évaluation i. Les deux premiers points sont choisis symétrique à une distance FN 1 d1 F N de chacune des extrémités de l’intervalle [a, b]. Une partie de l’intervalle est éliminée en se basant sur l’unimodalité de la fonction. FN 1 Il en résulte un intervalle de longueur d 2 d1. FN ii. Le troisième point est choisi symétriquement par rapport au point déjà dans l’intervalle résultant. Ceci engendre un intervalle de longueur F d3 N 2 d1 FN iii. En général le point suivant est choisi symétriquement par rapport au point déjà dans l’intervalle résultant. iii. En général le point suivant est choisi symétriquement par rapport au point déjà dans l’intervalle résultant. Note: Selon iii. , le dernier point N devrait être placé au centre de l’intervalle superposé à celui s’y trouvant déjà. En effet, puisqu’en utilisant cette stratégie de sélection des points d’évaluation, nous avons que FN k 1 dk d1 FN k 2,3, ,N Note: Selon iii. , le dernier point N devrait être placé au centre de l’intervalle superposé à celui s’y trouvant déjà. En effet, puisqu’en utilisant cette stratégie de sélection des points d’évaluation, nous avons que FN k 1 dk d1 FN k 2,3, ,N il s'ensuit que FN ( N 1) 1 F2 2 d N 1 d1 d1 d1 FN FN FN 1 d d N 1. N 2 FN N 1 F1 1 dN d1 d1 d1 FN FN FN Pour remédier à cette situation, le dernier point N est plutôt placé à une distance (à gauche ou à droite) de celui s'y trouvant déjà. • En utilisant cette stratégie de sélection des points d’évaluation, FN k 1 dk d1 FN k 2,3, ,N et il est possible de démontrer que dN FN N 1 F d d1 1 d1 1 FN FN FN est le plus petit intervalle qu’il est possible d’obtenir en utilisant N points d’évaluations • En utilisant cette stratégie de sélection des points d’évaluation, FN k 1 dk d1 FN k 2,3, ,N FN N 1 F1 d1 dN d1 d1 FN FN FN Ainsi, lorsque le nombre de points d’évaluation N devient très grand pour tendre vers l’infini, la suite des valeurs d 0 k plus rapidement qu’en utilisant toute autre stratégie. 0 3 8 N=5 {1, 1, 2, 3, 5, 8} F51 5 d2 d1 F5 8 1 5 8 FN 1 F4 5 FN F5 8 dk FN k 1 d1 FN k 2,3, ,N 0 2 8 3 8 1 5 8 N=5 {1, 1, 2, 3, 5, 8} F5 2 3 d3 d1 F5 8 dk FN k 1 d1 FN k 2,3, ,N 0 1 8 2 8 3 8 5 8 1 N=5 {1, 1, 2, 3, 5, 8} F53 2 d4 d1 F5 8 dk FN k 1 d1 FN k 2,3, ,N 0 1 8 2 8 3 8 1 8 1 5 8 N=5 {1, 1, 2, 3, 5, 8} F5 4 1 d5 d1 F5 8 dk FN k 1 d1 FN k 2,3, ,N • Méthode de la section dorée ( nombre d’or τ = 1.618…) La méthode de la section dorée utilise la même stratégie que la méthode de Fibonacci pour selectionner les points d’évaluation, mais le nombre de points d’évaluation n’est pas spécifié au départ. Pour spécifier les deux premiers points, nous procédons comme dans la FN 1 méthode de Fibonacci en les prenant symétriques à une distance d1 FN de chaque extrémité en considérant que N → ∞. • La méthode de la section dorée utilise la même stratégie que la méthode de Fibonacci pour selectionner les points d’évaluation, mais le nombre de points d’évaluation n’est pas spécifié au départ. Pour spécifier les deux premiers points, nous procédons comme dans la FN 1 méthode de Fibonacci en les prenant symétrique à une distance d1 FN de chaque extrémité en considérant que N → ∞. FN 1 1 . FN Par conséquent les deux premiers points sont choisis symétriquement à 1 une distance d1 de chaque extrémité. Il est possible de démontrer que lim N • Méthode de bisection (ou de bipartition) Méthode pour identifier le 0 d’une fonction g(x) sur un intervalle [a, b]. Si g x f x , alors la méthode de bisection peut être utilisée pour identifier un point où la dérivée d’une fonction s’annule. Hypothèse: Sur l’intervalle [a, b], la fonction g est continue et telle que g(a) g(b) < 0 (i.e., il existe x a, b où g x 0). • Principe de la méthode: à chaque itération, réduire la longueur de l’intervalle contenant x en la divisant en deux. Étape 0: Soit a et b tel que g a g b 0. Soit le niveau de tolérance sur la longueur de l'intervalle contenant la racine x à la fin de l'algorithme. ab le point milieu de l'intervalle a,b . 2 Si g c 0, alors x c et l'algorithme s'arrête. Si g c g a 0 i.e., g c et g a sont de même signe , alors a : c. Autrement b : c. Étape 1: Soit c Étape 2: Si b a , l'algorithme s'arrête. Autrement, reprendre l'étape 1. • Puisque par hypothèse g est continue sur [a, b] et g(a) g(b) < 0, – g change de signe entre a et b – g s’annule en un point entre a et b – la méthode génère une suite d’intervalles de longueur décroissante jouissant de la même propriété • La suite des valeurs des longueurs des intervalles est la suivante: L L L L, , , , 2 4 8 , L , n 2 où L b a Étape 0: Soit a et b tel que g a g b 0. Soit le niveau de tolérance sur la longueur de l'intervalle contenant la racine x à la fin de l'algorithme. ab le point milieu de l'intervalle a,b . 2 Si g c 0, alors x c et l'algorithme s'arrête. Si g c g a 0 i.e., g c et g a sont de même signe , alors a : c. Autrement b : c. Étape 1: Soit c Étape 2: Si b a , l'algorithme s'arrête. Autrement, reprendre l'étape 1. g a c b Étape 0: Soit a et b tel que g a g b 0. Soit le niveau de tolérance sur la longueur de l'intervalle contenant la racine x à la fin de l'algorithme. ab le point milieu de l'intervalle a,b . 2 Si g c 0, alors x c et l'algorithme s'arrête. Si g c g a 0 i.e., g c et g a sont de même signe , alors a : c. Autrement b : c. Étape 1: Soit c Étape 2: Si b a , l'algorithme s'arrête. Autrement, reprendre l'étape 1. g a c b Étape 0: Soit a et b tel que g a g b 0. Soit le niveau de tolérance sur la longueur de l'intervalle contenant la racine x à la fin de l'algorithme. ab le point milieu de l'intervalle a,b . 2 Si g c 0, alors x c et l'algorithme s'arrête. Si g c g a 0 i.e., g c et g a sont de même signe , alors a : c. Autrement b : c. Étape 1: Soit c Étape 2: Si b a , l'algorithme s'arrête. Autrement, reprendre l'étape 1. g c a b Étape 0: Soit a et b tel que g a g b 0. Soit le niveau de tolérance sur la longueur de l'intervalle contenant la racine x à la fin de l'algorithme. ab le point milieu de l'intervalle a,b . 2 Si g c 0, alors x c et l'algorithme s'arrête. Si g c g a 0 i.e., g c et g a sont de même signe , alors a : c. Autrement b : c. Étape 1: Soit c Étape 2: Si b a , l'algorithme s'arrête. Autrement, reprendre l'étape 1. g a b La suite des valeurs des longueurs d'intervalle est la suivante: L L L L où L b a L, , , , , n , 2 2 4 8 Le nombre n d'itérations requises pour atteindre une longueur inférieure ou égale à l : À la fin de l'itération k la longueur de l'intervalle est L egale à k . 2 Si n représente le nombre d'itérations requises, alors L L L n l 2 n log 2 . n 2 l l Donc en prenant n égale au plus petit entier plus grand ou L égale à log 2 , la longueur après n itérations sera l inférieure ou égale à l. Ainsi L n log 2 . l • La suite des valeurs des longueurs d’intervalle est la suivante: L L L L, , , , 2 4 8 L , n, 2 où L b a La suite des longueurs des intervalles converge vers 0: L lim 0. n n 2 La convergence est linéaire avec un rapport de convergence de L 0 k 1 L 2k 1 2 lim lim k 1 . k k L 2 L 2 0 2k 1 : 2 Hypothèse g(a) g(b)<0 est essentielle Étape 0: Soit a et b tel que g a g b 0. Soit le niveau de tolérance sur la longueur de l'intervalle contenant la racine x à la fin de l'algorithme. ab le point milieu de l'intervalle a,b . 2 Si g c 0, alors x c et l'algorithme s'arrête. Si g c g a 0 i.e., g c et g a sont de même signe , alors a : c. Autrement b : c. Étape 1: Soit c Étape 2: Si b a , l'algorithme s'arrête. Autrement, reprendre l'étape 1. a c b Hypothèse g(a) g(b)<0 est essentielle Étape 0: Soit a et b tel que g a g b 0. Soit le niveau de tolérance sur la longueur de l'intervalle contenant la racine x à la fin de l'algorithme. ab le point milieu de l'intervalle a,b . 2 Si g c 0, alors x c et l'algorithme s'arrête. Si g c g a 0 i.e., g c et g a sont de même signe , alors a : c. Autrement b : c. Étape 1: Soit c Étape 2: Si b a , l'algorithme s'arrête. Autrement, reprendre l'étape 1. a c b Hypothèse g(a) g(b)<0 est essentielle Étape 0: Soit a et b tel que g a g b 0. Soit le niveau de tolérance sur la longueur de l'intervalle contenant la racine x à la fin de l'algorithme. ab le point milieu de l'intervalle a,b . 2 Si g c 0, alors x c et l'algorithme s'arrête. Si g c g a 0 i.e., g c et g a sont de même signe , alors a : c. Autrement b : c. Étape 1: Soit c Étape 2: Si b a , l'algorithme s'arrête. Autrement, reprendre l'étape 1. a c b Hypothèse g(a) g(b)<0 est essentielle Étape 0: Soit a et b tel que g a g b 0. Soit le niveau de tolérance sur la longueur de l'intervalle contenant la racine x à la fin de l'algorithme. ab le point milieu de l'intervalle a,b . 2 Si g c 0, alors x c et l'algorithme s'arrête. Si g c g a 0 i.e., g c et g a sont de même signe , alors a : c. Autrement b : c. Étape 1: Soit c Étape 2: Si b a , l'algorithme s'arrête. Autrement, reprendre l'étape 1. Uniquement l’intervalle initial contient la racine a b 2.2 Méthode utilisant les dérivées • Méthode de Newton Rappel: Formule de Taylor d’ordre n Il existe un point z entre x et x k tel que f x f x f x k k f ( n 1) x k n 1! x x k x x k n 1 f x k 2! x x f (n) z n! k 2 x x k n • Méthode de Newton Hypothèses: Aux points d'évaluation x k , il est possible d'évaluer f x k , f x k , f x k , et de plus f x k 0. Étant donné un point d'évaluation x k , considérons l'approximation quadratique suivante de f à x k : qk x f x f x k f x f x f x k k k x x k x x z entre x et x k k f x k 2! f z 2! x x x xk k 2 2 qk x f x k f x k x x k f x k 2! qk x f x f x k x k x k k k x xk f x k 2! x k 2 x k 2 f xk qk x f x k 2 qk x k f x k 2 qk f x k 2! f x k qk xk f xk xk k k k k x x f x qk x f xk f 2! x x La méthode itérative de Newton determine le prochain point d'évaluation x k 1 en remplaçant f par qk et en annulant qk x : 0 qk x k 1 f x k f x k x k 1 x k x k 1 x k f xk f x k x k 1 x k qk f xk+1 xk f xk f x k Convergence de la méthode de Newton Théorème 2.1: Soit f une fonction possédant des dérivées continues d'ordre 3. Supposons que x * satisfait les conditions f x * 0 et f x * 0. Si x 0 (le point initial) est choisi suffisemment près de x*, alors la suite des points x k générés par la méthode de Newton converge vers x * avec un ordre de convergence d'au moins 2. Preuve. Soient k1 0 et k2 0 tels que f x * k1 et f x * k2 . Par continuité de f et de f , il existe un scalaire 1 0 tel que pour tout B1 x * : x * 1 f k1 et f k2 . Preuve. Soient k1 0 et k2 0 tels que f x * k1 et f x * k2 . Par continuité de f et de f , il existe un scalaire 1 0 tel que pour tout B1 x * : x * 1 f k1 et f k2 . Puisque f x * 0, alors la relation définissant x k 1 k f x k 1 k x x f x k devient k f x f x * k 1 k x x f x k k f x f x * k 1 k x x* x x * f x k k k k f x x x * f x f x * k 1 x x* . k f x 2.1 x k 1 x* f x k x k x * f x k f x * . 2.1 f x Se référant à la formule de Taylor d'ordre 2 appliquée à f , il existe un entre x * et x k tel que f k k k k 2 f x * f x f x x * x x * x 2! ce qui s'écrit également f k k k k 2 f x x * x f x f x * x * x 2! ou encore f k k k k 2 f x x x * f x f x * x * x . 2! Substituant dans 2.1 , 1 f 1 f k 1 k 2 k 1 k 2 x x* x * x x x * x * x . 2.2 k k 2 f x 2 f x k 1 f 1 f k 2 k 1 k 2 x x* x * x x x * x * x . 2.2 k k 2 f x 2 f x Posons maintenant 2k min 1 , 2 . k1 Démontrons maintenant que partant de n'importe lequel point x 0 B x * , nous convergeons vers x * et que la convergence est d'ordre au moins 2. En effet si x k x * , alors i) le point dans la formule de developpement de Taylor a la propriété que B1 x * , et ainsi (par définition de k1 et k2 ) k 1 Se référant à la formule de Taylor d'ordre 2 appliquée à f , il existe un entre x * et x k tel que f k k k k 2 f x * f x f x x * x x * x 2! Convergence de la méthode de Newton Théorème 2.1: Soit f une fonction possédant des dérivées continues d'ordre 3. Supposons que x * satisfait les conditions f x * 0 et f x * 0. Si x 0 (le point initial) est choisi suffisemment près de x*, alors la suite des points x k généréspar la méthode de Newton converge vers x * avec un ordre de convergence d'au moins 2. Preuve. Soient k1 0 et k2 0 tels que f x * k1 et f x * k2 . Par continuité de f et de f , il existe un scalaire 1 0 tel que pour tout B1 x * : x * 1 f k1 et f k2 . 1 f 1 f k 2 k 1 k 2 x x* x * x x x * x * x . 2.2 k k 2 f x 2 f x Posons maintenant 2k min 1 , 2 . k1 Démontrons maintenant que partant de n'importe lequel point x 0 B x * , nous convergeons vers x * et que la convergence est d'ordre au moins 2. En effet si x k x * , alors i ) le point dans la formule de developpement de Taylor a la propriété que B1 x * , et ainsi (par définition de k1 et k2 ) f k1 et f k2 . k 1 Puisque x k x * , alors également x k B1 x * et f x k k1 et f x k k2 . Substituant dans 2.2 , 1 k1 k 1 k 2 x x* x * x ; 2 k2 2k 2 min 1 , k 1 En effet si x k x * , alors i ) le point dans la formule de developpement de Taylor a la propriété que B1 x * , et ainsi (par définition de k1 et k2 ) f k1 et f k2 , Puisque x k x * , alors également x k B1 x * et f x k k1 et f x k k 2 . Substituant dans 2.2 x k 1 1 k1 k 2 x* x * x ; 2 k2 ii ) également 2k 2 x x* k1 k x k 1 1 k1 k 2 x* x * x ; 2 k2 ii ) également 2k 2 x x* k1 et par conséquent 1 k1 k x x* 1. 2 k2 Il s'ensuit que 1 k1 1 k1 k 1 k 2 k k x x* x * x = x x * x x * 2 k2 2 k2 x k 1 x * x k x * , et la méthode converge. De plus, la convergence est d'ordre au moins 2 puisque x k 1 x * 1 k1 . k 2 2 k2 x * x k • Note: hypothèse f x * 0 assure que x * est un maximun ou un minimum de f , et qu'il est possible d'utiliser un k2 0. • Méthode également utilisée pour déterminer un point où la fonction s’annule. Il suffit de considérer la fonction g x f x f x k 1 x k g f xk f x k x k 1 x k g xk g xk g xk g xk ou encore g xk g xk 0 x k x k 1 x k x k 1 f x k 1 x k g f xk x k 1 x k f x k g xk g xk ou encore g xk x k x k 1 Interprétation géométrique: g g xk g xk g xk 0 x k 1 choisi de telle sorte que de la droite passant par les points x k , g x k et x k 1 , 0 a pour pente g x k , celle de x k 1 xk g au point x k . xk 1 à l'intersection de l'axe des x et la tangente de g au point xk • Importance de l’hypothèse que x0 soit suffisemment près de x* g x1 x0 • Importance de l’hypothèse que x0 soit suffisemment près de x* g x1 x 02 x • Importance de l’hypothèse que x0 soit suffisemment près de x* g x13 x x2 • Importance de l’hypothèse que x0 soit suffisemment près de x* g x3 x 24 x • Importance de l’hypothèse que x0 soit suffisemment près de x* g x 2 k 1 x2k • Importance de l’hypothèse que x0 soit suffisemment près de x* g x 2 k 1 x2k 2 • Méthode de la fausse position Hypothèses: Aux points d'évaluation x k , il est possible d'évaluer f xk , f xk . Étant donné un point d'évaluation x k , considérons l'approximation quadratique suivante de f à x k ne nécessitant pas la connaissance de f x k : k 1 k f x f x 1 k k k k 2 qk x f x f x x x xx k 1 k 2 x x f x f x k f x k x x k z entre x et x k f z 2! x x k 2 qk x f x k f x k x x k f x k 2! x x k 2 La fonction k 1 k f x f x x xk 2 1 qk x f x k f x k x x k 2 x k 1 x k a les propriétés k 1 k f x f x 1 k k k k k k k 2 i ) qk x f x f x x x x x k 1 k 2 x x qk x k f x k ii ) qk x f x k qk x k f x k qk x k f x k iii ) qk x k 1 f x k qk x k 1 f x k 1 f x k 1 f x k x k 1 x k f x k 1 f x k x x x k 1 x k f x k 1 f x k x k 1 x k k x k x xk k 1 xk La méthode itérative de la fausse position determine le prochain point d'évaluation x k 1 en remplaçant f par qk et en annulant qk x : k 1 k f x f x 1 k k k k 2 qk x f x f x x x xx k 1 k 2 x x k 1 k f x f x k k qk x f x x x k 1 k x x k 1 k f x f x k 1 k k 1 k 0 qk x f x x x k 1 k x x k 1 k x x k 1 k k x x f x k 1 k f x f x x k 1 x k k 1 k k x x f x k 1 k f x f x Convergence de la méthode de la fausse position Théorème 2.2: Soit f une fonction possédant des dérivées continues d'ordre 3. Supposons que x * satisfait les conditions f x * 0 et f x * 0. Si x 0 et x1 (les points initiaux) sont choisis suffisemment près de x*, alors la suite des points x k générés par la méthode de la fausse position converge vers x * avec un ordre de convergence égal à =1.618 (le nombre d'or). Preuve: voir le livre de Luenberger p. 222. Méthode également utilisée pour déterminer un point où la fonction s'annule. Il suffit de considérer la fonction g x f x f k 1 k x x k 1 k k x x f x k 1 k f x f x g k 1 k k 1 k x x x x k 1 k k k k k 1 x x g x g x x x k 1 k k 1 k g x g x g x g x ou encore g xk 0 x k x k 1 g x k 1 g x k k 1 k x x g k 1 k x x k 1 k k x x g x k 1 k g x g x ou encore g xk 0 x k x k 1 g x k 1 g x k k 1 k x x Interprétation géométrique: g xk 1 x k 1 choisi a l'intersection de la droite passant par les g xk et de l'axe des x. x k 1 x k points x k , g x k et x k 1 , g x k 1 g x k 1 • Importance de l’hypothèse que x0 et x1 soit suffisemment près de x* g x1 x0