Optimisation Et Analyse Convexe Exercices Et Probl Mes Corrig s Avec Rappels de Cours

8/10/2019 Optimisation Et Analyse Convexe Exercices Et Probl Mes Corrig s Avec Rappels de Cours

1/345

EXERCICES CORRIGS

COLLECTION ENSEIGNEMENT SUP //// Mathmatiques

Jean-Baptiste Hiriart-Urruty

L3M1

Optimisation

et analyse convexe

Optimisation

et analyse convexe


2/345

This page intentionally left blank


3/345

OPTIMISATION

ET

ANALYSE CONVEXE

Exercices et problmes corrigs,

avec rappels de cours

Jean-Baptiste Hiriart-Urruty

Collection dirige par Daniel Guin

17, avenue du HoggarParc dactivits de Courtabuf, BP 112

91944 Les Ulis Cedex A, France


4/345


5/345

TABLE DES MATIRES

Introduction v

Abrviations et notations ix

I Rvision de bases : calcul diffrentiel, algbre linaireet bilinaire 1

I.1 Algbre linaire et bilinaire . . . . . . . . . . . . . . . . . . . 1

I.2 Calcul diffrentiel . . . . . . . . . . . . . . . . . . . . . . . . . 2I.3 Fonctions convexes . . . . . . . . . . . . . . . . . . . . . . . . 3

II Minimisation sans contraintes. Conditions de minimalit 41

II.1 Conditions de minimalit du premier ordre . . . . . . . . . . . 41

II.2 Conditions de minimalit du second ordre . . . . . . . . . . . . 42

III Minimisation avec contraintes. Conditions de minimalit 63

III.1 Conditions de minimalit du premier ordre . . . . . . . . . . . 63III.2 Cne tangent, cne normal un ensemble . . . . . . . . . . . . 65

III.3 Prise en compte de la convexit . . . . . . . . . . . . . . . . . 66

III.4 Conditions de minimalit du second ordre . . . . . . . . . . . . 66

IV Mini-maximisation. Dualisation de problmesde minimisation convexe 127

IV.1 Points-selles (ou cols) ; problmes de mini-maximisation . . . . 127

IV.2 Points-selles de lagrangiens . . . . . . . . . . . . . . . . . . . . 128IV.3 Premiers pas dans la thorie de la dualit . . . . . . . . . . . . 129


6/345

Optimisation et analyse convexe

V Polydres convexes ferms. Optimisation donnes affines(Programmation linaire) 165V.1 Polydres convexes ferms . . . . . . . . . . . . . . . . . . . . 165V.2 Optimisation donnes affines (Programmation linaire) . . . 168

V.2.1 Dfinitions et notations . . . . . . . . . . . . . . . . . 168V.2.2 Rsultats fondamentaux dexistence . . . . . . . . . . 170

V.3 La dualit en programmation linaire . . . . . . . . . . . . . . 171V.3.1 Formulations de problmes duaux . . . . . . . . . . . . 171V.3.2 Relations entre les valeurs optimales et les solutions

de programmes linaires en dualit . . . . . . . . . . . 172V.3.3 Caractrisation simultane des solutions du problme

primal et du problme dual . . . . . . . . . . . . . . . 173

VI Ensembles et fonctions convexes. Projection sur un convexeferm 217VI.1 Ensembles convexes . . . . . . . . . . . . . . . . . . . . . . . . 217

VI.1.1 Ensembles convexes associs un convexe donn . . . 217VI.1.2 Enveloppe convexe, enveloppe convexe ferme . . . . . 218VI.1.3 Hyperplan dappui, fonction dappui . . . . . . . . . . 219VI.1.4 Thormes de sparation par un hyperplan affine . . . 219

VI.2 Projection sur un convexe ferm . . . . . . . . . . . . . . . . . 220VI.3 Fonctions convexes . . . . . . . . . . . . . . . . . . . . . . . . 220

VII Initiation au calcul sous-diffrentiel et de transformesde Legendre-Fenchel 271VII.1 La transformation de Legendre-Fenchel . . . . . . . . . . . . . 271

VII.1.1 Dfinitions . . . . . . . . . . . . . . . . . . . . . . . . 271VII.1.2 Quelques proprits et rgles de calcul . . . . . . . . . 272

VII.2 Le sous-diffrentiel dune fonction . . . . . . . . . . . . . . . . 273VII.2.1 Dfinitions . . . . . . . . . . . . . . . . . . . . . . . . 273VII.2.2 Quelques proprits et rgles de calcul . . . . . . . . . 274

VII.3 La convexification dune fonction . . . . . . . . . . . . . . . . . 275

Sources 323

Rfrences gnrales 325

Notice historique 327

Index 331

iv


7/345

INTRODUCTION

Good modern science implies good variational problemsM.S. Berger (1983)

Le recueil dexercices et problmes corrigs que nous proposons ici concerneles domaines des Mathmatiques rpertories sous les vocables dOptimisationetAnalyse convexe. LOptimisation est traite dans ses aspects suivants : la clde vote que constituent les conditions doptimalit (chapitres II et III) ; le rle(incontournable) de la dualisation de problmes (chapitre IV) ; le monde particu-lier (et toujours en haut de laffiche depuis ses dbuts) de lOptimisation linaire

(chapitre V). LAnalyse convexe (moderne) nest pas traite en tant que telle maispar lutilisation quon peut en avoir en Optimisation ; il sagit en fait dune initia-tion la manipulation de concepts et de rsultats concernant essentiellement : laprojection sur un convexe ferm (au chapitre VI), le calcul sous-diffrentiel et detransformes de Legendre-Fenchel (chapitre VII). LAnalyse linaire et bilinaire(ou, plutt, lAnalyse matricielle) ainsi que le Calcul diffrentiel interviennent demanire harmonieuse en Optimisation et Analyse convexe : un chapitre de revi-sion des bases leur est consacr (chapitre I). Prs de 160 exercices et problmessont corrigs, parfois comments et situs dans un contexte dutilisation ou de

dveloppement historique, gradus dans leur difficult par un, deux ou trois: Exercices plutt faciles (applications immdiates dun rsultat du Cours,vrification dun savoir-faire de base, etc.) ;

Exercices que le lecteur-tudiant doit pouvoir aborder aprs une bonnecomprhension et assimilation du Cours. De difficult moyenne, ce sont de loinles plus nombreux ;

Exercices plus difficiles, soit cause de certains calculs mener bien,soit simplement en raison dun degr de maturit plus grand que leur rsolutionrequiert.

Comme tous les exercices de mathmatiques, ceux prsents ici ne seront pro-fitables au lecteur-tudiant que si celui-ci les travaille, un crayon la main, sans


8/345


regarder la correction dans un premier temps. Quil garde lesprit ce proverbechinois :

Jentends et joublie, (cours oral)

je vois et je retiens,(tude du cours)

je fais et je comprends . (exercices)

Le cadre de travailchoisi est volontairement simple (celui des espaces de di-mension finie), et nous avons voulu insister sur les ideset mcanismes de basedavantage que sur les gnralisations possibles ou les techniques particulires telou tel contexte. Les problmes dits variationnels requirent dans leur traitementune intervention plus grande de la Topologie et de lAnalyse fonctionnelle, com-mencer par le cadre fondamental des espaces de Hilbert ; ils seront abords

dans un prochain recueil.Lesconnaissances mathmatiquespour tirer profit des exercices et problmes

du recueil prsent sont maintenues minimales, celles normalement acquises aprsune formation scientifique Bac + 2 ou Bac + 3(suivant les cas).

Chaque chapitre dbute par des rappels de rsultats essentiels, ce qui ne doitpas empcher le lecteur-tudiant daller consulter les rfrences indiques lafin du livre. Lapproche retenue est celle dune progression en spirale plutt quelinaire au sens strict : ainsi, par exemple, la fonction A Mn(R)ln(dtA)

est dabord considre pour un calcul de diffrentielles, puis pour sa convexit,puis plus tard en raison de son rle comme fonction-barrire dans des problmesdoptimisation matricielle.

Pour ce qui est de lenseignement, les aspects de lOptimisation et Analyseconvexe traits en exercices ici trouvent leur place dans les formations de niveaudeuxime cycle universitaire (modules gnralistes ou professionnaliss) et dansla formation mathmatique des ingnieurs, sur une dure dun semestre environ ;la connaissance de ces aspects est un pralable des formations plus en aval, enoptimisation numrique par exemple.

La plupart des exercices et problmes proposs, sinon tous, ont t poss ensances dexercices ou examens lUniversit Paul Sabatier de Toulouse.

Je voudrais remercier les anciens tudiants ou jeunes collgues qui ont bienvoulu relire une premire version de ce document et y relever une multitude depetites fautes (il en reste srement...), parmi eux : D. Mallard, M. Torki, Y. Lucet,C. Imbert et J. Benoist. Enfin je ne voudrais pas oublier A. Andrei pour la partprimordiale qui a t la sienne dans la saisie informatique de louvrage.

Toulouse, 19891997J.-B. Hiriart-Urruty

vi


9/345

Introduction

Depuis sa publication il y a dix ans (en mars 1998), cet ouvrage a subi les vicis-situdes dun document de formation destin un public (dtudiants en sciences)en nette diminution. Il a t traduit en russe par des collgues de Kiev (Ukraine)en 2004, mais la version franaise originelle nest plus disponible depuis 2006.Ainsi, pour rpondre une demande de collgues et tudiants, un nouveau tiragea t envisag. Je remercie les ditions EDP Sciences, notamment mon collgueD. Guin (directeur de la collection Enseignement Sup Mathmatiques), davoiraccueilli ce projet. Aude Rondepierre a donn un coup de main pour reprendreles fichiers informatiques anciens ; quelle soit remercie de sa bonne volont etefficacit.

Toulouse, printemps 2009J.-B. Hiriart-Urruty

vii


10/345



11/345

ABRVIATIONS ET NOTATIONS

:= : gal par dfinition.cf. :confer, signifie se reporter .

i.e. :id est, signifie cest--dire .

ln : notation normalise pour le logarithme nprien.

R+, R+ ou]0, +[ :ensemble des rels strictement positifs.

u+ :partie positive du rel u.

x = (x1, . . . , xn) ou x = (1, . . . , n) : notation gnrique pour un vecteurde Rn.u+ signifie (u+1, . . . , u

+n )lorsqueu= (u1, . . . , un) Rn.

Lorque u et v sont deux vecteurs de Rn, u v signifie ui vi pour touti= 1, . . . , n.

{uk} ou (uk) : notations utilises pour les suites indexes par des entiersnaturels.

Pour une fonction fdiffrentiable en x (resp. deux fois diffrentiable en x),Df(x) dsigne la diffrentielle (premire) de f en x (resp. D2f(x) dsigne ladiffrentielle seconde de f en x).Si la variable est relle (et note t), on utilise lanotationf(t)(resp.f(t)) pour la drive de fent (resp. la drive seconde de fent) [ce sont des lments de lespace darrive et non des applications linaires].

Pour une fonction numrique fdfinie sur un ouvertO de Rn,diffrentiableen x O(resp. deux fois diffrentiable en x O),f(x)(resp.2f(x)) dsignele (vecteur)gradientde f en x(resp. la matrice hessiennede f en x).

Lorsquelle existe, la drive directionnelle de f en x dans la direction d estnote f(x, d).

Pour une fonction vectoriellef : O Rn

Rm

diffrentiable enx O,J f(x)dsigne la matrice jacobiennede f en x(matrice mlignes et ncolonnes).


12/345


Mm,n(R) :ensemble des matrices (m, n)(mlignes etncolonnes) coefficientsrels;Mn(R)est une abrviation deMn,n(R).

[aij ] :matrice de terme gnral aij ( la i-me ligne et j-me colonne).diag (1, . . . , n) : matrice diagonale dont les lments diagonaux sont

1, . . . , n.

In (ou I quand il ny a pas dambigut) : matrice-unit deMn(R), i.e.diag (1,. . .,1).

A ou tA : transpose de A Mm,n(R) [les deux notations sont dun usagetrs courant ; par contreAt est proscrire car gnratrice de confusions].

Lorsque Aest inversible, A dsigne linverse de A (ou, ce qui revient aumme, la transpose de A1).

tr A: trace de A Mn(R).dt A: dterminant de A Mn(R).cofA : matrice des cofacteurs de A Mn(R),i.e.celle dont le terme (i, j)est

(1)i+j dt Aij, oAij est obtenue partir de Aen enlevant la i-me ligne et laj-me colonne.

Sn(R) :ensemble des matrices deMn(R)qui sont symtriques.

symbolise la somme directe de sous-espaces vectoriels.vect

{v1, . . . , vk

}:sous-espace vectoriel engendr par les vecteurs v1, . . . , vk.

Sauf indication contraire, Rn est muni de sa base canonique; ainsi AMm,n(R) est canoniquement associe une application linaire de Rn dans Rm,do les notations Ker A, Im A, etc.

Lisomorphisme canonique de Rn sur Mn,1(R)est celui qui x = (x1, . . . , xn)

associe la matrice unicolonne X=

x1...xn

; des expressions comme AX(ouAx)nedevraient pas arrter ltudiant-lecteur. Si, par exemple, u et v sont deux vecteurs

de Rn

, uvest une matrice carre de taille ndont le terme gnral est uivj,alorsqueuv est la matrice-scalaire (ou scalaire)

ni=1

uivj .

, , , , ( | ) : notations utilises pour les produits scalaires (dansdes espaces euclidiens). Sauf indication contraire,, dsigne dans Rn le produitscalaire usuel (celui qui x = (1, . . . , n) et y = (1, . . . , n) associex, y :=n

i=1ii,soit encorexy(cf.supra)). Bien des problmes doptimisation se posent

dans des espaces de matrices : si X := Mm,n(R),le produit scalaire standard surXest dfini par M, N :=tr (MN).

x


13/345

Abrviations et notations

Soit A Mn(R), u et v des vecteurs de Rn : uAv est un(e) (matrice-)scalaire gal(e) (sa transpose)uAv ; un mcanisme plus commode dutilisationet engendrant moins de fautes est dcrire

u,Av

= Au, v .Si l est une application linaire dun espace euclidien (E, , ) dans un

autre espace euclidien (F, , ), ladjointe l de l est lapplication linaire de Fdans Edfinie par

l(y), x = y, l(x) pour tout (x, y) E F.

Si lon reprsente lensemble des formes linaires sur E par E via le produitscalaire , (idem pour F), prendre ladjointe de l ou sa transpose revientau mme. Lorsque E et F sont munies de bases orthonormales (comme cest le

cas des espaces euclidiens(Rn, , )munies de leurs bases canoniques), la matricereprsentant ladjointe de l(= sa transpose) dans ces bases est la transpose dela matrice reprsentant l.

: norme dans un espace vectoriel norm X. Si Xest muni dun produitscalaire, (exemples typiques : Rn, Mm,n(R)), et en labsence dautres pr-cisions, dsignera la norme drive du produit scalaire (i.e. = , ).Lorsquinterviennent la fois des normes de vecteurs et de matrices, on vite lesconfusions en utilisantpour les vecteurs et||| |||pour les matrices).

intSou S: intrieur de S ; S:adhrence de S;fr S :frontire de S.B(x, r) :boule ferme de centre xet de rayon r.

n : simplexe-unit de Rn, cest--dire lensemble des (1, . . . , n) Rn telsque 1+ . . . + n = 1et i 0pour tout i(coefficients qui servent dans la prisede combinaisons convexes).

A Sn(R) est dite (symtrique) semi-dfinie positive lorsqueAx,x 0pour toutx

Rn [cette appellation est prfrable positive qui peut signifier,

dans certains cas, coefficients positifs ]. On dsignera parPn(R) lensembledes matrices semi-dfinies positives de taille n.

A Sn(R)est dite (symtrique)dfinie positivelorsque Ax,x >0pour toutx= 0de Rn (ce qui revient :Asemi-dfinie positive et inversible). On dsignerapar

Pn(R)lensemble des matrices dfinies positives de taille n.Le caractre de semi-dfinie ou dfinie positivit ne sera considr dans ce

recueil que pour des matrices symtriques.

xi


14/345



15/345

I

RVISION DE BASES : CALCULDIFFRENTIEL, ALGBRE LINAIRE

ET BILINAIRE

Rappels

I.1. Algbre linaire et bilinaire

Sil : Rn R est linaire, il existe un unique v Rn tel quel(x) = v, x pourtoutx Rn ; les fonctions affines valeurs relles sont de la formex v, x+c,ov Rn etc R. Mme chose sil est une forme linaire sur un espace euclidien(E, , ) : lscrit de manire unique sous la formev, , o v E.

Si q : Rn R est une forme quadratique, il existe un unique Q Sn(R) telqueq(x) =

1

2Qx,x pour toutx Rn (le coefficient 1/2 est mis l pour simplifier

les calculs).

Rappel du mcanisme de transposition : Ax,y = x, Ay (produits scalairesdans Rm et Rn respectivement).

SiHest un sous-espace vectoriel de Rn,Hdsigne son sous-espace orthogo-nal. Rappel : si Aest linaire, (KerA) =Im(A).

Un rsultat-cl de lAlgbre linaire et bilinaire : si S Sn(R), toutes lesvaleurs propres i de S sont relles et il existe une matrice orthogonale U tellequeUSU= diag(1, . . . , n) ; ainsi il existe des vecteurs propres xiunitaires (xi

associ i) tels que S=n

i=1 ixixi (ceci est appel unedcomposition spectrale

de S).


16/345

Chapitre I. Rvision de bases : calcul diffrentiel...

Les formulations variationnelles suivantes de la plus grande et la plus petitevaleurs propres de S Sn(R)sont essentielles :

max(S) = maxx= 0

Sx,x x 2 , min(S) = minx= 0

Sx,x x 2

Sn(R)est muni de lordre (partiel) suivant : A Bdans Sn(R)lorsqueA Bestsemi-dfinie positive (A B Pn(R)).

Si X

Pn(R), la racine carre positive de X (note X1/2) est lunique SPn(R) telle que S2 = X. Lapplication X X1/2 a des proprits similaires celles de la fonction racine carre sur R+ ; prudence tout de mme... Mmesremarques pour lapplication X

X

1.SiKest un cne convexe ferm dun espace euclidien (E, , ),le cne polaire

K de Kest le cne convexe ferm de Edfini comme suit :

K := {s E| s, x 0pour tout x K}.

I.2. Calcul diffrentiel

f :O Rn R dfinie sur un ouvertO de Rn est dite diffrentiable enx

Osil existe l: Rn

Rlinaire telle que :

f(x + h) =f(x) + l(h) + h (h) , avec (h) 0quand h= 0. (1.1)

lest reprsente (dans (Rn, , ) euclidien) par un unique vecteur, appelgradientde f en x, et notf(x) (a se lit nabla f de x). Dsignant par jf(x) ladrive partielle en x de fpar rapport la je variable,f(x) est le vecteur deRn de composantes1f(x) ,...,nf(x). Une manire quivalente dexprimer (1.1)

est :

limt0+f(x+ td)

f(x)

t = f(x) , d (1.2)et la convergence est uniforme par rapport d lorsque celui-ci reste dans unensemble born de Rn (la sphre-unit par exemple).

Plus gnralement, F : O Rn Rm qui x O associe F(x) =f1(x)...fm(x)

est dite diffrentiable en x Osi chacune des fonctions-composantesf1,...,fm lest. On appelle alors matrice jacobiennede F en x, et on note JF(x)

la matrice de Mm,n(R)dont les lignes sont [f1(x)] ,..., [fm(x)], cest--direque le terme (i, j)de JF(x)est jfi(x) .

2


17/345

I.3. Fonctions convexes

Revenant une fonction numrique f :O Rn R diffrentiable surO,on dit que fest deux fois diffrentiable en x O lorsquef :O Rn Rnest diffrentiable en x. La matrice jacobienne de

f en x est appele matrice

hessiennedef enxet note2f(x) ; il sagit dune matrice symtrique de taillen dont le terme (i, j) est i(jf)(x) = 2ijf(x) (drive partielle dordre 2 en xde fpar rapport la ie et je variables).

Rappel : dans le cas o f est deux fois diffrentiable en x O, on a ledveloppement de Taylor-Young dordre deux suivant :

f(x + h) =f(x) + f(x) , h +122f(x) h, h + h 2 (h) , (1.3)

avec (h) 0quand h

= 0.Enfin deux ensembles de rsultats de Calcul diffrentiel sont essentiels en Op-

timisation : le thorme de la fonction implicite et le thorme dinversion locale ;les dveloppements de Taylor sous leurs formes diverses. revoir si ncessaire.


Soit C un convexe de Rn ; f : C

R est dite convexe sur C si pour tout

(x, x) C Cet tout ]0, 1[on a :f

x+ (1 ) x f(x) + (1 ) f(x). (1.4)f est dite strictement convexe sur Cquand lingalit (1.4) est stricte ds quex = x. Une proprit encore plus forte est comme suit : f est dite fortementconvexe sur C, de module de forte convexit c >0, lorsque

fx+ (1 ) x

f(x) + (1 ) f(x)

1

2

c (1

)

x

x

2 (1.5)

pour tout (x, x) C Cet tout ]0, 1[ .Rappelons deux rsultats essentiels :

Theoreme. Soit fdiffrentiable sur un ouvertO de Rn et C un convexe deO.Alors :

(i) fest convexe surCsi et seulement si

f(x) f(x) + f(x) , x x pour tout (x, x) C C ; (1.6)

3


18/345


(ii) fest strictement convexe surCsi et seulement si lingalit(1.6)est stricteds quex= x ;

(iii) fest fortement convexe surCde modulecsi et seulement si

f(x) f(x) + f(x) , xx+12

c xx 2, pour tout(x, x) C C. (1.7)

Theoreme. Soitfdeux fois diffrentiable sur un ouvert convexeO.Alors :(i) f est convexe surO si et seulement si2f(x) est semi-dfinie positive

pour toutx O ;(ii) Si2f(x) est dfinie positive pour tout x O, alors fest strictement

convexe sur

O;

(iii) f est fortement convexe surO de module c si et seulement si la pluspetite valeur propre de2f(x) est minore surO parc, soit encore :

2f(x) d, d c d 2 pour tout x O et tout d Rn.

Rfrences. Parmi les exercices de [15] figurent des applications simples lAna-lyse numrique matricielle et lOptimisation. Outre les rfrences suggres enpp. 305 307 de [15] (et rdites prsent), signalons [16], ouvrage complet et trsdiffus, dans lequel laspect matriciel (celui qui prvaut dans les applications) est

privilgi.Pour les fonctions convexes diffrentiables, on pourra consulter [12], Cha-pitre IV, Section 4, par exemple.

* ExerciceI.1.Soit f : Rn Rcontinment diffrentiable.1) Soit x0 tel quef(x0)= 0. Que reprsentef(x0)pour la surface de

niveau S:= {x Rn | f(x) =f(x0)} ?2) Rappeler lquation de lhyperplan affine (de Rn+1) tangent au graphe

de f en (x0, f(x0)) .

Donner laide def(x0)un vecteur normal cet hyperplan.3) On suppose quil existe L >0 tel que

f(x) fx L x x pour toutx, x Rn Rn.Montrer qualors

|f(x + d) f(x) f(x), d| L2 d 2 pour tout (x, d) Rn Rn.

4


19/345


Solution : 1) f(x0)est un vecteur normal Senx0; le sous-espace tangent Sen x0 est orthogonal f(x0).

2) Soit grf := {(x, f(x)) | x Rn}le graphe de f(partie de Rn+1 donc).Le sous-espace affine tangent grf en (x0, f(x0))a pour quation

y= f(x0) + f(x0), x x0.

Un vecteur normal cet hyperplan est fourni par (f(x0), 1) Rn R.On peut voir aussi grfcomme la surface de niveau 0 de la fonction

g: (x, r) Rn R g(x, r) :=f(x) r.

Comme g (x0, f(x0)) = (f(x0), 1) nest jamais nul, le vecteur(f(x0), 1)est normal grf en (x0, f(x0)) .

Figure1.

3)ftant continment diffrentiable, on a grce la formule de Taylor lordre zro avec reste sous forme dintgrale

f(x + d) =f(x) + 1

0f(x + td), ddt.

Sachant que f(x), d = 1

0f(x), ddt, on transforme lexpression pr-

cdente en

f(x + d) f(x) f(x), d =

1

0f(x + td) f(x), ddt.

5


20/345


Il sensuit grce lhypothse faite surf :

|f(x + td)

f(x), d

|

f(x + td)

f(x)

d

tL d 2,

do :

|f(x + d) f(x) f(x), d| 1

0(tL d 2)dt= L

2 d 2 .

Commentaire : Prolongement de lexercice. On suppose prsent que fest deux fois diff-

rentiable sur Rn. Comment traduire alors en termes de2f lhypothse dans la3e question ? Proposer ensuite une dmonstration de lingalit de la 3e questionqui sappuie sur une autre formule de Taylor.

Il importe de bien assimiler ce que reprsentent gomtriquement les objetsf(x)et2f(x)vis--vis des surfaces de niveau et du graphe de f.

* ExerciceI.2.

Situations : dterminer :

1) f : Rn R f(x), 2f(x)en tout point x.x f(x) := c, x + .

2) F : Rn Rm JF(x).x F(x) :=Lx + b, oL Mm,n(R).

3) f : Rn R f(x), 2f(x).x f(x) := 12Ax,x + d, x + ,

o A

Mn(R).

4) g: Rn R g(x), 2g(x).x g(x) :=

mi=1

[ri(x)]2 ,

o les ri: Rn R sont deuxfois diffrentiables.

Commentaire : Ne pas se lancer tte baisse dans le calcul de drives partielles !Pour les fonctions de base que sont les fonctions affines, quadratiques, sommes

de carrs, etc., il faut savoir dterminer f(x), 2

f(x)rapidement et sans erreur, mcaniquement presque.

6


21/345


Solution :1)f(x) = c,2f(x) = 0pour tout x Rn.2)JF(x) =L (Lest la partie linaire de la fonction affine F).3)f(x) = 12

A+ Ax + d,f(x) =Ax+ dsi Aest symtrique.

2f(x) = 12

A+ A

,2f(x) =A siAest symtrique.

4)g(x) = 2mi=1

ri(x)ri(x),

2g(x) = 2mi=1

ri(x) [ri(x)]+ ri(x)2ri(x)

.

Ainsi, si (r1(x),...,rm(x)) est proche de 0 dans Rm , on peut consid-

rer que 2mi=1

ri(x) [ri(x)] est une bonne approximation de 2g(x) ;approximation qui, de plus, ne fait appel quaux gradients des fonctions ri.

* ExerciceI.3.

Situations : Questions :

1) g : Rn R

x g(x) :=mi=1

f+i (x)2 ,o les fi : Rn R sont deuxfois diffrentiables eta+ dsigne max(0, a).

g est-elle diffrentiable deux foisdiffrentiable ?

2)

Rn

Rm

R

A

fg :=f A

o A : u Au = A0u+ b, avecA0 Mm,n(R),et fdeux fois diff-rentiable.

Dterminerg, 2g en fonction deslments correspondants fet 2f.

Application : Soit : Rn R deuxfois diffrentiable, x0 Rn, d Rn.On pose (t) :=f(x0+ td).

Calculer (t) (resp. (t)) en fonc-

tion def(x0+ td)(resp. 2f(x0+td)).

7


22/345


Solution : 1) La fonction u R (u+)2 est drivable une fois, mais pasdeux fois (daccord ?). Par suite, g est diffrentiable sur Rn et

g(x) = 2mi=1

f+i (x) fi(x)pour tout x Rn.

Mais, en gnral,g nest pas deux fois diffrentiable en les pointsxo lun desfi sannule.

Lorsque les fi sont de classeC2, la fonction g est dans une classe interm-diaire entreC2(Rn)etC1(Rn), celle des fonctions diffrentiables dont le gra-dient est localement lipschitzien.

2)g(u) =A0 f(Au) ;2g(u) =A0 2f(Au)A0.

Application :A : R Rn dfinie parAt := x0 + td. CommeA0 :t A0t=td, nous avons A0 : Rn Rqui x Rn associex, d. Par consquent, leslments deR que sont les drives premire et seconde (usuelles) de sontdonnes par :

(t) = f(x0+ td), d, (t) = 2f(x0+ td)d, d.

** ExerciceI.4.SoitMn(R)structur en espace euclidien grce au produit sca-laire A, B := tr AB ; soit louvert de Mn(R)constitu des matricesinversibles. On considre les applications suivantes :

1)tr : A Mn(R) trA R2)dt : A Mn(R) dtA R3)g: A g(A) :=ln|dtA| R4)f1 :A f1(A) :=A1 5)p

N, fp: A

Mn(R)

fp(A) :=Ap

Mn(R)

fp:A fp(A) :=Ap .

Indiquer rapidement pourquoi ces applications sont diffrentiables. Dter-miner en tout point de leurs domaines de dfinition le gradient pour les troispremires et la diffrentielle pour les dernires.

Commentaire : Si l :Mn(R) R est linaire (l est une forme linaire surMn(R)donc), lest continue et il existe un unique M Mn(R)tel que

l(H) = M, H pour tout H Mn(R).

8


23/345


Lorsque l est la diffrentielle Df(x0) dune fonction f : Mn(R) Rdiffrentiable en x0 , son reprsentant MdansMn(R)est le gradient def enx0 (et est not

f(x0)).

Bien matriser le calcul diffrentiel sur les fonctions de matrices est essentielen Analyse matricielle, Optimisation et (surtout) Statistique.

Solution : 1)A trAest linaire (continue) ; donc sa diffrentielle en toutA Mn(R)est elle-mme :

D tr (A) :H trH= In, H .

Par consquent

tr (A) =In pour toutA Mn(R).2) Lapplicationdtpeut tre vue comme une application multilinaire (conti-nue) deMn(R) Rn Rn dans R. Elle est donc diffrentiable en toutA=

a1,...,an

avec

Ddt (A) :H=

h1,...,hn n

j=1

dt

a1,...,aj1, hj , aj+1,...,an

.

En dveloppant dta1,...,aj1, hj , aj+1,...,anpar rapport laje colonne, onobtient :

dt

a1,...,aj1, hj , aj+1,...,an

=

ni=1

hji(cofA)ij,

o cof Adsigne la matrice des cofacteurs de A. Il sensuit :

[Ddt(A)] (H) =n

i,j=1hji(cofA)ij = cofA, H .

En dfinitive,dt(A) =cofAen tout A Mn(R).

3) Par application du thorme de composition des applications diffren-tiables, g est diffrentiable et

Dg(A) :H cofA, Hdt A

= A1 , H .Donc g(A) = A1en tout A .

9


24/345


4) LapplicationA cofAest diffrentiable car chacune de ses applications-composantes (qui sont des dterminants) est diffrentiable ; il sensuit que lap-

plication f1 : A A1 =(cofA)dtA est diffrentiable. Le calcul de la diff-rentielle de f1 en Ase fait rapidement partir de la relation

f1(A)f1(A) =In pour tout A ,que lon diffrentie. On trouve :

Df1(A) :H [D f1(A)] H= A1HA1.5) Lapplication qui (A1, . . . , Ap)

Mn(R)

. . .

Mn(R) associe le pro-

duit A1A2 . . . Ap est multilinaire (continue) ; elle est donc diffrentiable et sadiffrentielle en (A1, . . . , Ap)est :

(H1, . . . , H p) pi=1

A1 . . . Ai1HiAi+1 . . . Ap.

Il sensuit alors :

Dfp(A) :H [Dfp(A)] (H) =p

i=1Ai1HApi pour tout A Mn(R) ;

Dfp(A) :H [Dfp(A)] (H) = pi=1

AiHAi1p pour tout A .

** ExerciceI.5.SoitA Sn(R)et f :x Rn \ {0} f(x) :=Ax,x x 2 . Calcu-lerf(x) en x= 0 et le comparer la projection orthogonale de Ax sur lesous-espace vectoriel H

xorthogonal x.

Solution : On a aismentf(x) = 2 x 2 [Ax f(x)x] .

La dcompositionAx=

Ax Ax,x x 2 x

+

Ax,x x 2 xest la dcomposition

orthogonale de Axsuivant Hx et (Hx) = Rx. Donc,f(x)est au coefficient

multiplicatif 2

x 2

prs la projection orthogonale de Axsur Hx.

10


25/345


Enx Rn \{0} minimisant (ou maximisant) fsur Rn \{0}, on a ncessai-rementf(x) = 0, soitAx = f(x) x ; de telsx sont donc des vecteurs propres

associs la valeur propre f(x)( suivre dans lExercice III.4).

** ExerciceI.6.SoitMm,n(R) structur en espace euclidien grce au produitscalaire M, N :=trMN et soit B Sn(R).

On dfinit f, g: Mm,n(R) Rparf(A) := tr

ABA

etg(A) := dt

ABA

respectivement.

Dterminer les diffrentielles (premires) et les gradients de f et g en tout

A Mm,n(R).Solution : fpeut tre vue comme f2 f1, o

f1: A f1(A) :=ABA et f2:C f2(C) :=tr C.Puisque f1(A+ H) =f1(A) + HBA+ ABH+ HBH, il vient que f1 estdiffrentiable en A avec Df1(A) : H [Df1(A)] (H) = HBA +ABH.Quant f2 qui est linaire (continue), Df2(C) =f2. Il sensuit :

Df(A) :H [Df(A)] (H) = trHBA+ ABH= 2 tr(ABH)

car tr(HBA) = tr(ABH)en raison de la symtrie de B

= 2 AB,H .

Dof(A) = 2AB.Si f3 : C Sm(R) f3(C) := dt C, on a g = f3 f1 par dfinition

mme de g. Lapplication f3 est diffrentiable et

Df3(C) :K [Df3(C)] (K) = tr ((cof C) K) (cf.Exercice 1.4)Par suite :

Dg (A) :H [Dg (A)] (H) = 2 tr

cof

ABA

ABH

= 2 cof

ABA

AB,H

et

g(A) = 2cofABA

AB.En particulier,g(A) A = 2cofABAABA = 2dtABA Im.11


26/345


*** ExerciceI.7.Soit f : Rn R convexe et diffrentiable sur Rn. Montrerlquivalence des trois proprits suivantes (o Lest une constante >0) :

(i) f(x) f(x) L x xpour tout x,x (f est L-lipschitziennesur Rn).

(ii)f(x) f(x) f(x), x x 12L f(x) f(x) 2 pour toutx, x.(iii)f(x) f(x), x x 1L f(x) f(x) 2 pour tout x, x.

Indication. Pour [(i) (ii)] on pourra considrer :

fx : y f(y) f(x) f(x), y x.

Solution : [(i) (ii)]. Soit (x, x) Rn Rn et montrons que lingalit (ii)est vrifie pour ce couple de points. Considrons

fx : y Rn fx(y) :=f(y) f(x) f(x), y x.Il est clair que fx est convexe avecfx L-lipschitzienne sur Rn (puisque

fx= f f(x)). Par consquent, pour tout y Rn,fx(y) =fx(x

) + 1

0fx(x+ t(y x)), y xdt

=fx(x)+fx(x), yx+

10

fx(x+t(yx))fx(x), yxdt

fx(x) + fx(x), y x +

10

tL y x2 dt

fx(x) + fx(x), y x +L

2 y x2

. (1.8)Le point xminimise fx sur Rn. Par suite

0 =fx(x) fx

x fx(x

)L

.

Daprs lingalit (1.8)dans laquelle on fait y= x fx(x)

L

(0

) fxx fx(x)

L fx(x) 1Lfx(x), fx x +L2 fx(x)

L 2

,

12


27/345


soit

0 fx(x)

1

2L fx(x

)

2

ce qui nest autre que lingalit (ii) .[(ii) (iii)]. On crit (ii)pour (x, x)et (x, x)successivement, et on ad-

ditionne membre membre les ingalits pour obtenir (iii) .[(iii) (i)]. Rsulte de lingalit de Cauchy-Schwarz.

** ExerciceI.8.Soit A Mn(R) inversible, V Mm,n(R) et U Mn,m(R).

On suppose que Im V A1

Uest inversible.1 ) Montrer que A U Vest alors inversible, avec

(A U V)1 =A1 + A1UIm V A1U1 V A1.2) Application 1. Soit u, v Rn. Quelle condition assurerait que A+uv

est inversible? Quelle est alors linverse de A + uv?

3)Application 2. Rappeler pourquoi A+In est inversible pour| |suffi-samment petit ; donner alors une expression de(A + In)

1 .

4) Application 3. On remplace dans A la ke colonne

a1k...ank

para1k...

ank

,et on appelle Ala nouvelle matrice ainsi obtenue. Exprimer A1 sous la formeEkA

1, o Ekest une matrice que lon dterminera ; en dduire lexpression destermes a(1)ij de A

1 en fonction de ceux a(1)kl deA1.

5) Application 4.On suppose ici queAest de plus symtrique. Soit uet v

dans Rn

, et des rels ; on se propose de dterminer linverse de A + uu+vv.

On posed := (1 +

A1u, u

)(1+

A1v, v

) (A1u, v)2.Montrerque A + uu+ vv est inversible ds lors que d= 0,avec

A + uu+ vv1

=A1 1d

(1 +

A1v, v

)A1uuA1

+ (1 +

A1u, u

)A1vvA1

A

1u, v A1vuA1 + A1uvA1 .

13


28/345


Indication. Pour la 4e question, on utilisera le rsultat de la 2e question avec

u=

a1k a1k............

ank ank

et v=

0

...010...0

ke ligne.

Pour la 5e question, on utilisera le rsultat de la 1re question avec U :=

[u v] Mn,2(R

)etV := u

v M2,n(R)].Solution : U V Mn(R), V A1U Mm(R)par construction.

V

A1 U

V A1U

n

n

n

m

m

1) Puisquon propose une expressionEde (A U V)1, il suffit de vrifierque (A U V) E=In (ou bien E(A U V) =In).

On a :

(A

U V) E= (A

U V) A1 + A1UIm V A1U1 V A1=AA1 + AA1U

Im V A1U

1V A1 U V A1

U V A1UIm V A1U1 V A1=In U V A1 + U

Im V A1U

Im V A1U

1V A1

=In U V A1 + U V A1 =In.

2) On se place dans le cas o m= 1:

uet v sont dans Rn

Mn,1(R),

et la condition Im V A1Uest inversible revient 1 + v, A1u = 0.

14


29/345


Donc, siA1u, v =1,la matrice A+ uv est inversible avec

A + uv1 =A1 11 + A1u, vA1uvA1. (1.9)Cas particuliers :

A= In : Siu, v =1, In+ uv est inversible avec

In+ uv

1

=In 11 +

u, v

uv. (1.10)

A= In, u=v : In+ uu est inversible avecIn+ uu

1

=In 11+ u 2 uu

. (1.11)

La formule (1.9) donne linverse dune matrice perturbe par une matrice

de rang 1; on rappelle en liaison avec (1.10) le rsultat suivant sur les dter-minants :

dt

In+ uv

= 1 + u, v ( revoir si ncessaire) .

3) Lensemble des matrices n ninversibles est un ouvert deMn(R).Puisque A ,il existe donc >0 tel que A + In pour| | .

Appliquons le rsultat de la 1re question avec U=In et V = In:

(A + In)1 =A1 A1 In+ A11 A1.

4) En prenant u=

a1k a1k............

ank ank

et v=

0...010

...0

ke ligne,

15


30/345


on constate que A=A uv (cest fait pour !). Appliquons le rsultat de la2e question : si

A1u

k= 1, la matrice Aest inversible et

ke colonne

A1 =A1 + 1

1 (A1u)kA1

u10 ... 0un

A1

=

In+ 1

1 (A1u)k

A1u

1

0 ... 0A1u

n

Ek

A1.

Explicitons A1 =

a(1)ij

: Ek est de la forme

ke colonne

1 0 0...

0 1 0... 0

0 0 1......... 1 0 0

0 ... 0 1 0

... 0 0 1

,

et A1 =EkA1 ; do :

a(1)k,j =a

(1)k,j

1

1 (A1u)k

= a

(1)k,j

1nl=1

a(1)kl alk

;

si i =k, a(1)i,j =a(1)ij n

l=1 a(1)il

alk

nl=1

a(1)kl alk

a(1)kj =a(1)ij nl=1

a(1)il alk a(1)kj .16


31/345


5)Avec U := [u v]et V :=uv

,on a

I2 V A1U=1 + A1u, u A1u, v

A1u, v

1 +

A1v, v ( M2(R)) .

Cette matrice est inversible si et seulement si

d: =dt

I2 V A1U

= (1 +

A1u, u

)(1 +

A1v, v

) (A1u, v)2 = 0.Dans ce cas

I2 V A1U

1=

1

d

1 +

A1v, v

A1u, v A1u, v 1 + A1u, u

.

Lapplication de la formule dmontre la 1re question conduit alors aprs quelques calculs, certes la formule annonce.

** ExerciceI.9.Ingalit de Kantorovitch

SoitAsymtrique dfinie positive. Montrer que pour tout x Rn

x 4 Ax,x A1x, x 14

1n

+

n1

2 x 4, (1.12)

o 1 et n dsignent respectivement la plus grande et la plus petite valeurpropre de A.

Indication. Il y a intrt diagonaliserA(et doncA1). On utilisera ensuite lesproprits de convexit de la fonctionx >0 1/x.

Solution : Par homognit, il suffit de dmontrer lingalit (1.12) pour x = 1.

Rangeons les valeurs propres de Apar ordre dcroissant :1 2 . . . n, et considrons une matrice orthogonale Pdiagonalisant A:

A=tPP, avec := diag(1, 2, . . . , n).

17


32/345


A1 = (tPP)1 = tP1P, ou 1 = diag(1/1, 1/2, . . . , 1/n) ;Ax,x = tPPx,x = (P x), P x ;A1x, x = 1(P x), P x.

La transformation P : x S :={x | x = 1} y = P x Sest unebijection de la sphre-unit euclidienne sur elle-mme. Oprons alors le chan-gement de variables y = P x. Il faut donc dmontrer que pour tout vecteurunitaire yde Rn,

1 y, y 1y, y 14 1n +n12

. (1.13)

Considrons pour cela le graphe (et ce qui est au-dessus, appel lpigraphe)de la fonction : x > 0 1/x.(Il est suppos que n < 1, sinon il ny arien dmontrer.)

Figure 2.

tant donn y = (y1,...,yn) Rn de norme 1, posons i := y2i . Ainsiy, y =

ni=1

y2i i (resp.1y, y =ni=1

y2i1

i) est une combinaison convexe

des i (resp. des 1/i).

Pour k = 1, 2,...,n, soit Mk le point du graphe de de coordonnes ket 1/k.

18


33/345


Le point M, barycentre des pointsMk affects des coefficients i, est dansle domaine convexe Ddlimit par le graphe de et la droiteM1Mn(et mme

dans le polygone convexe de sommets M1,M2,..., Mn). Deux points de mmeabscisse que M(abscisse note ) jouent un rle particulier :

le premier, M,est le point correspondant du graphe de ;

le second, M,est le point correspondant sur la droite M1Mn.

Ainsi :

Mest dordonnen

i=1

i1

i; M est dordonne

1n

i=1 ii= 1

;

M est dordonne y() = 1

1+

1

n

1n(par un calcul algbrique

facile).crire que lordonne de Mest suprieure celle de M conduit

ni=1

i1

i

1

, soit 1y, y y, y 1.

De mme, crivons que lordonne de M est suprieure celle de M :ni=1

i1

i y(),

do ni=1

ii

ni=1

i1

i

y

=

1+ n

1n

Comme la fonction u u (1+ n u)1n

atteint son maximum pour

u=1+ n

2 , lexpression y

est majore par

1+ n

2

2 11n

, soit

encore

1

4

1n

+n1

+ 2

=

1

4

1n

+

n1

2.

La deuxime ingalit dans (1.13)est donc dmontre.

19


34/345


** ExerciceI.10.Gomtrie de lensemble des matrices symtriquessemi-dfinies positives

On part deSn(R), n 2, structur en espace euclidien laide du produitscalaire fondamental (A, B) A, B := tr(AB). On dsigne parPn(R)(resp.

Pn(R)) lensemble de A Sn(R) qui sont semi-dfinies positives (resp.

dfinies positives).

1)Montrer quePn(R)est un cne convexe ferm deSn(R)et que lintrieurdePn(R)est exactement

Pn(R).

2)Montrer que le cne polaire [Pn(R)] dePn(R)nest autre quePn(R).3) On suppose ici que n= 2.

a) Rappeler quelles conditions sur les rels a,b, et csont ncessaires et

suffisantes pour que A =

a bb c

soit semi-dfinie positive (resp. dfinie

positive).

b) On dfinit : S2(R) R3 par

A= a bb c (A) := (a,b,c).Dans R3 rapport un repre orthonorm (O;i,j, k), reprsenter

1 00 0

,

1 00 1

,

1 11 1

et (P2(R)).

c) Montrer que toutes les matrices non nulles A =

a bb c

se trouvant

sur la frontire deP2(R)sont de forme xx, o xest un lment non

nul de R2

. En dduire une description des A= a bb c se trouvant surcette frontire laide de conditions sur les coefficients a, b, cde A.

Indication. Parmi les matrices dePn(R), il y a celles de la formeA= xx, avecx Rn \ {0}. Pour ces matricesA et un B Sn(R), on note que A, B =Bx,x.

De plus, siS Sn(R), une dcomposition spectrale deS estS=n

i=1ixix

i ,

o les i sont les valeurs propres de A, xi Rn

est un vecteur propre unitaireassoci i.

20


35/345


Solution : 1) Soit A, B Pn(R)et [0, 1]. On a :

x

Rn,

(A+ (1

)B)x, x

=

Ax,x

+ (1

)

Bx,x

0,

ce qui implique A+ (1 )B Pn(R).De mme, il est immdiat de constater queA Pn(R)lorsqueA Pn(R)

et >0. DoncPn(R)est bien un cne convexe deSn(R).Soit{Ak}une suite dlments dePn(R)convergeant versA. Outre le fait

clair que A Sn(R), lingalitAkx, x 0 pour tout x Rn,

induit par passage la limite sur k :Ax,x 0 pour tout x Rn. ParconsquentA Pn(R). EtPn(R)est bien ferm dansSn(R).

Soit APn(R) et n > 0 la plus petite valeur propre de A. Rappe-

lons cet gard lingalit suivante (que lon reverra dans lExercice 3.4) :Ax,x n x 2 pour tout x Rn. Soit prsent M Sn(R). Puisque

M:=

M, M =ni=1

2i

1/2(1 . . .n, valeurs propres de M),

il suffit de prendre

M

n pour tre sr davoir

(A+ M)x, x (n+ n) x 2 0 pour tout x Rn,soit A + M Pn(R). Donc Aest bien lintrieur dePn(R).

Rciproquement, soitA lintrieur dePn(R). Il existe alors > 0assezpetit tel que A In Pn(R). En consquence, lingalit

(A In)x, x 0 pour toutx Rn

induit

Ax,x

x

2 pour tout x

Rn,

soit A Pn(R).Le rsultat de cette 1re question explique la notation

Pn(R) utilise pour

lensemble des matrices symtriques dfinies positives.La frontire dePn(R) est donc constitue des matrices semi-dfinies po-

sitives qui sont singulires ; parmi celles-l figurent les matrices de rang 1,cest--dire du type xxavec x= 0.

2) Soit B

Sn(R)dans le cne polaire de

Pn(R). Puisque

B, A

0

pour tout A Pn(R), en particulier B, xx= Bx,x 0pour tout x Rn ; donc B est semi-dfinie ngative.

21


36/345


Rciproquement, soit B semi-dfinie ngative et A Pn(R). En dcom-posant A sous la forme

n

i=1 ixixi (avec 1

n 0, valeurs propres

de A), on a

B, A = B,ni=1

ixixi =

ni=1

iBxi, xi 0.

DoB [Pn(R)].Ce rsultat [Pn(R)] =Pn(R) apparat ainsi comme la gnralisation

de la relation de polarit (Rn+) = Rn+ dans lespace euclidien standard

(Rn, , ).3) a)

A=

a bb c

P2 (R)

(a >0 et ac b2 >0) ;

A=

a bb c

P2(R)

a 0, c 0et ac b2 0

.

b)

Figure 3.

P1 =

1 00 0

P2 =

1 00 1

P

3= 1 11 1

Remarquons que le produit scalaire A, Bnest pas le produit sca-laire usuel de (A)et (B)dans R3 ; en effet

a bb c , a b

b c =aa+ 2bb+ cc,

22


37/345


tandis que

a bb c , a b

b c = aa+ bb+ cc.c) Les matrices de la frontire deP2(R)sont les matrices semi-dfinies po-

sitives singulires ; mise part la matrice nulle, il sagit donc de matricesde rang 1,i.e. du type

x1x2

[x1 x2] =

x21 x1x2x1x2 x

22

ox= (x1, x2)est un lment non nul de R2.

En dfinitive, la frontire deP2(R)peut tre dcrite comme a ac

ac c

, a 0 et c 0

.

Remarque : On aurait pu utiliser

: A :=

a bb c

S2(R) (A) := (a,

2b, c) R3

qui a lavantage de conserver les produits scalaires usuels dansS2(R)et R3, oumieux, :A =

a bb c

(A) := 1

2(2b, c a, c+ a)qui permet de repr-

senter (P2(R))par le cne de R3 dquationw

u2 + v2 et les lments de

x1x2

[x1 x2]

= 1

2

2x1x2

x22 x21x22+ x

21

par la frontire de ce cne, dquation :

w2

=u2

+ v2

, w 0.

** ExerciceI.11.Soit A Mn(R) symtrique et inversible, soit H un sous-espace vectoriel de Rn. Montrer quune condition ncessaire et suffisante pourque Asoit dfinie positive est :

(C)

Ax,x >0 pour tout x H\ {0}et

A1x, x

>0 pour tout x

H

\ {0

}.

23


38/345


Solution : La ncessit de (C) est immdiate puisque A1 est (symtrique)dfinie positive ds que Alest.

La dfinie positivit de A sous la condition (C) sera dmontre en deuxtapes. Montrons tout dabord que Rn =H A1(H).On a dimH+dimA1(H) =dimH+dimH=n.Il suffit donc de dmon-

trer que H A1(H) = {0}. Prenons pour cela x H A1(H).CommeAxH, Ax,y = 0pour tout y H. Ainsi : xH etAx,x = 0. Or,daprs le premier volet de la condition (C), ceci nest possible que si x= 0.

Montrons prsent que

A(x+ y), x + y 0pour tout x H et tout y A1(H),

ce qui assurera la semi-dfinie positivit de A.Soit donc x Het y A1(H).Alors

A(x+ y), x + y = Ax,x + 2x,Ay + Ay,y,

avec :

Ax,x 0 puisque x H,x,Ay = 0 puisque x H et Ay H,

etAy,y = x, A1x puisque x :=Ay H.

En dfinitive,A(x+ y), x+ y 0.

Commentaire : Il y a en fait une caractrisation de A dfinie positive plusgnrale que (C), avec un cne convexe ferm Kau lieu dun sous-espace vec-toriel H : dans (C) on remplace H par K et H par le cne polaire K. Maisla dmonstration est plus difficile. On retiendra nanmoins la belle symtrie dursultat puisque(A1)1 =A et (K) =K.

** ExerciceI.12.Soit A= [aij ] Sn(R). Rassemblez toutes les caractrisationsque vous connaissez de :

A est dfinie positive , et de Aest semi-dfinie positive .

24


39/345


Solution : DansSn(R)structur en espace euclidien grce au produit scalaire A, B:= tr(AB), on considre :

Pn(R) :=ensemble des matrices dfinies positives,Pn(R) :=ensemble des matrices semi-dfinies positives.

Nous serons aussi amens considrer la forme quadratique qA sur Rn

associe A, savoir : x Rn qA(x) = Ax,x.

* Proprits dePn(R)etPn(R)(cf.Exercice I.10) :

Pn(R) est un cne convexe ferm deSn(R), dont lintrieur est Pn(R)prcisment (

Pn(R)est donc un cne convexe ouvert deSn(R)). Le cne polaire dePn(R) est exactementPn(R)(le cne des matrices

semi-dfinies ngatives), cest--dire :

( B, A 0pour tout A Pn(R)) (B Pn(R)) .Cela se voit facilement en utilisant, pour S Sn(R), une dcomposition spec-trale de S :

S=ni=1

ixixi

(o lesisont les valeurs propres de S, xi Rn est un vecteur propre unitaireassoci i) et en observant que S,yy= Sy,y.

Sur la frontire du cnePn(R) se trouvent donc toutes les matrices semi-dfinies positives qui sont singulires ; il y a

la matrice nulle (cest la pointe du cne) ; les matrices de rang 1, i.e. celles de la forme xx avec x= 0 (ce sont

les gnratrices extrmales du cnePn(R)) ; les matrices de rang 2, 3, ..., n1.Lorsquen= 2, on peut visualiser P2(R)dans S2(R) R3 (cf.Exercice I.10)

mais ceci est trs particulier dans la mesure o la frontire deS2(R), prive delorigine, est lisse (ny figurent que des gnratrices extrmales).

*Caractrisations diverses de A

Pn(R) : Toutes les valeurs propres i de Asont strictement positives. dt Ak >0 pour tout k= 1, . . . , n ,o Ak = [aij ]1 i k

1 j k

.

Il existeB inversible telle queA = BB(auquel cas Ax,x = Bx2).

25


40/345


Il y a diffrentes factorisations possibles de Asous cette forme :

la factorisation de Cholesky, o B est triangulaire infrieure avec l-ments diagonaux strictement positifs ;

en prenant B symtrique dfinie positive (B est dans ce cas la racinecarre positive de A, note A1/2).

Les invariants principaux ik(A) de A, k = 1, . . . , n, sont strictementpositifs.

Si PA est le polynme caractristique de A, on a :

PA = (

X)n + i1(A)(

X)n1 +

+ ik(A)(

X)nk +

+ in(A).

Rappelons queik(A) =

1i10 pour tout x K \ {0}

(cf.Exercice I.11 pour une dmonstration dans le cas plus simple o Kest unsous-espace vectoriel de Rn).

Il y a dautres tests de dpistage du caractre dfini positif de A Sn(R),mais ils sont moins utiles dans la pratique ; titre dexemple :

A

Pn(R)

(A+ (1 )In est inversible pour tout ]0, 1]) ;

A

Pn(R) (Il existeB Sn(R)telle que A=exp B) .

*Caractrisations diverses de A Pn(R) : Toutes les valeurs propres de Asont positives. Il existe B telle que A = BB (alors la forme quadratique qA(x) =

Ax,xest minimise (nulle en fait) sur le noyau de B). Tous les mineurs principaux dordre k de A, k = 1, . . . , n, sont po-

sitifs (et pas seulement les dt (Ak), k = 1, . . . , n). On rappelle quun mi-neur principal dordre k de A est le dterminant dune matrice (k, k) ex-

traite de A en retenant les lignes et colonnes de numros n1, n2, . . . , nk, o1 n1< n2 < < nk < n.

26


41/345


Considrons par exemple

A= 2111 2111 2

S3(R).Le calcul des mineurs principaux de Ase dcompose en :

3 dterminants de matrices (1,1) (tous gaux 2 ici),

3 dterminants de matrices (2,2) (tous gaux 3 ici),

1 dterminant de matrice (3,3) (ici dt A= 0).

Donc Aest semi-dfinie positive.

Considrons prsent A =

0 001

S2(R). Bien que dt A1 0 et

dtA2 0, la matrice A nest pas semi-dfinie positive (elle est mme semi-dfinie ngative).

*Proprits de la forme quadratiqueqA :

(A Pn(R)) (qA est une fonction convexe sur Rn) A Pn(R) (qA est strictement convexe sur Rn)

(qA est fortement convexe sur Rn) .

** ExerciceI.13.SoitPn(R)lensemble desA Sn(R)qui sont dfinies positives

(cest un ouvert convexe deSn(R)). Soit

f :

Pn(R)

R

A f(A) :=ln(dt A1).

On se propose de montrer que fest strictement convexe sur

Pn(R). Pourcela, on prend X0

Pn(R), H Sn(R), et on considre la fonction de la

variable relle dfinie par

(t) :=ln(dt(X0+ tH)1).

1)Vrifier que est dfinie sur un intervalle ouvert (de R) contenant lori-gine ; on notera IX0,Hcet intervalle.

27


42/345


2)Montrer que

(t) (0) = n

i=1

ln(1 + ti)pour tout t IX0,H,

o les i dsignent les valeurs propres de X1/20 HX

1/20 .

3)Dduire de ce qui prcde la stricte convexit de f.

Solution : 1)

Pn(R)tant ouvert et convexe,

IX0,H := {t R|X0+ tH

Pn (R)}est galement ouvert et convexe : cest limage inverse de

Pn(R)par lapplica-tion affine (continue) t X0+ tH.

2)De : X0+ tH=X1/20

X

1/20 + tX

1/20 H

=X

1/20

In+ tX

1/20 HX

1/20

X

1/20 ,

on tire :

(X0+ tH)1 =X1/20 In+ tX1/20 HX1/20 1 X1/20 ,do :

ln

dt (X0+ tH)1= ln(dt X10 ) + lndt In+ tX1/20 HX1/20 1 .

Si {i| i= 1, . . . , n} est le spectre (entirement rel) de la matrice symtriqueX1/20 HX

1/20 , alors {1 + ti| i= 1, . . . , n} (resp. {(1 + ti)1 | i= 1, . . . , n})

est le spectre de In+ tX1/2

0 HX1/2

0 (resp. de In+ tX1/20 HX1/20 1). Enconsquence,

(t) =(0) ni=1

ln(1 + ti).

3) est strictement convexe sur IX0,H car > 0 sur IX0,H. Par suite, la

fonction fdont toute trace sur une droite passant par X0

Pn(R)et dirige par H Sn(R) est strictement convexe, est elle-mme strictementconvexe.

28


43/345


Commentaire :

La proprit dmontre dans lexercice se traduit par : si Aet B sont (sy-

mtriques) dfinies positives et diffrentes, et si ]0, 1[alorsdt(A+ (1 )B)>(dtA)(dtB)1.

Autre exemple de consquence :{A Pn (R)|dtA 1} est un ensemble

convexe (ce qui ne saute pas aux yeux...).

La proprit dmontre dans cet exercice est essentielle ; on y reviendramaintes et maintes fois.

** ExerciceI.14. Soit f :Sn(R) RA f(A) := dt A.

1) Rappeler ce quest la diffrentielle de f enA Sn(R).2)Soit g:

Pn (R) RA g(A) := ln(dt A).

Sachant que g est deux fois diffrentiable sur

Pn(R), dterminer le plusconomiquement possible la diffrentielle seconde de g en A

Pn (R).

Solution : 1) Df(A) : H Sn(R) cofA, H ; revoir ce sujetlExercice 1.4 si ncessaire.

2)Dg(A) :H Sn(R) A1, H (= tr(A1H)).On sait que D2g(A) : Sn(R) Sn(R) R

(H, K) D2g(A)(H, K)est une forme bilinaire symtrique sur Sn(R). La voie la plus conomique pourdterminer D2g(A)(H, K) est la suivante : D2g(A)(H, K) est la diffrentielle

(premire) en A de lapplication X

Pn (R)

Dg(X)H, applique K.

Dans le cas prsent :

D2g(A)(H, K) = A1KA1, H = tr(A1KA1H).Il sensuit notamment (par un dveloppement de Taylor-Young lordre

deux de g en A

Pn(R)) : pour tout H Sn(R),

ln(dt (A+ H)) = ln(dt (A)) + tr(A1H) tr(A1HA1H) + H2 (H),

o (H) 0quand H 0.

29


44/345


** ExerciceI.15. SoitO un ouvert convexe de Rn et f :O R+. On dit quef est logarithmiquement convexe (surO) lorsque la fonction ln f :O R estconvexe.

1) a) Montrer que si: O R est convexe, il en est de mme de la fonctionexp .

b) En dduire quune fonction logarithmiquement convexe est ncessaire-ment convexe.

2) a) On suppose ici que f est deux fois diffrentiable sur O. Montrerlquivalence des assertions suivantes :

(i) f est logarithmiquement convexe ;

(ii) f(x)2f(x) f(x) [f(x)] pour tout x O ;(iii) La fonction x ea,xf(x)est convexe pour tout a Rn.

b) En dduire que si f1 et f2 sont logarithmiquement convexes et deux foisdiffrentiables surO, il en est de mme de leur somme f1+ f2.

Solution : 1) a) La fonction : x O (x)est convexe par hypothse ;la fonction y

R

expy est croissante et convexe. Par suite, la fonction

compose qui x Oassocie exp (x)est convexe; en effet : ]0, 1[ , x, x O, (x+ (1 )x) (x) + (1 )(x),do

(exp )(x+ (1 )x) exp[(x) + (1 )(x)] exp(x) + (1 )(x).

b) Appliquons le rsultat prcdent := ln f; il vient que f= exp(ln f)

est convexe.2) a) [(i) (ii)].On sait que la fonction (deux fois diffrentiable):= ln f

est convexe si et seulement si :

2(x)est semi-dfinie positive pour tout x O.Mais

2(x) = f(x)2f(x) f(x)[f(x)]

f(x)2 pour toutx O ;

lquivalence annonce sensuit.

30


45/345


[(ii) (iii)]. Soit ga : x O ga(x) := ea,xf(x). La fonction ga estdeux fois diffrentiable surOavec

2

ga(x) = ea,x

f(x)aa+ f(x)a+ a[f(x)]+ 2f(x) pour toutx O.Par consquent, ce quexprime (iii)est exactement :f(x)(a, h)2 + 2 f(x), h a, h + 2f(x)h, h 0 pour tout x O,

tout a Rn et tout h Rn ;soit encoref(x)u2 + 2 f(x), h u+ 2f(x)h, h 0 pour tout x O,tout u R

et tout h Rn.Le trinme du second degr mis en vidence ci-dessus est positif sur R si

et seulement si son discriminant est ngatif ; cela se traduit par

(f(x), h)2 f(x) 2f(x)h, h 0.Lquivalence de (iii)et (ii)est claire prsent.b) Si f1 et f2 sont logarithmiquement convexes, toutes les fonctions x

ea,xf1(x)et x ea,xf2(x)sont convexes (daprs [(i) (iii)]de la ques-tion prcdente) ; par suite, toutes les fonctions x ea,x(f1+f2)(x) sontconvexes, et donc f1+ f2 est logarithmiquement convexe (daprs [(iii) (i)]

de la question prcdente).

Commentaire : Prolongement de lexercice : Dmontrer lquivalence entre (i)et(iii)de la question 2)a) et le rsultat de la question 2)b) pour des fonctionsqui ne sont pas ncessairement diffrentiables.

** ExerciceI.16. Soit Q Sp(R)et A Mm,p(R). Montrer lquivalence desdeux assertions suivantes :

(i)Qx,x >0 pour tout x Ker A \ {0} ;(ii) Il existe0 0tel que Q + 0AAsoit dfinie positive.

Solution : [(ii)(i)]. Immdiat : si x Ker A, x= 0,

Qx,x

=

Qx,x

+ 0

Ax

2=

(Q + 0A

A)x, x

>0.

31


46/345


[(i)(ii)]. Supposons que (ii) ne soit pas ralise. Pour tout n N il existedonc un vecteur xn= 0tel que

Qxn, xn + n Axn2 0,

soit encore, en posant un:=xn/ xn,

()n Qun, unn

+ Aun2 0.On peut alors extraire de{un}une sous-suite{unk}k convergeant, lorsque

k +,vers un vecteur ude norme 1. En passant la limite dans linga-lit()nk , on obtient Au= 0. Or, daprs(i),Qu,u >0,ce qui implique que

Qun

k

, unk

>0 pour k assez grand. Ceci contredit lingalit (

)nk

.

Commentaire : Il est clair que si Q+0AA est dfinie positive pour un cer-tain 0, il en est de mme de Q + AAds que 0.

** ExerciceI.17. SoitA et Bdans Sn(R),Atant de plus dfinie positive. Mon-trer que :

le spectre de AB est entirement rel ;

la plus grande valeur propre de AB est gal supu= 0Bu,u

A1u, u ; AB est diagonalisable.

Indication. ConsidrerC :=A1/2BA1/2 ou, ce qui revient au mme, la rductionde la forme quadratique associe B dans lespace euclidien (Rn, , A) avecu, vA := Au,v.

Solution : Les valeurs propres deAB sont les racines de la fonction polynmecaractristique P() = dt (AB In). Mais, en factorisant A1/2 gauchedans AB In, puis en multipliant droite par A1/2, on constate que

(dt (AB In) = 0) (dt (A1/2B A1/2) = 0) (dt (A1/2BA1/2 In) = 0).

Le spectre de AB est donc celui de la matrice symtrique A1/2BA1/2, entire-ment constitu de rels.

32


47/345


De plus

max(AB) =max(A1/2BA1/2) = supx= 0

A1/2BA1/2x, xx, x

= supu= 0

Bu,uA1u, u

en posantu=A1/2x

.

Soit Uune matrice orthogonale diagonalisant A1/2BA1/2 :

U1(A1/2BA1/2)U= diag(1, . . . , n).

Alors P :=A1/2

Udiagonalise AB :P1(AB)P= diag(1, . . . , n).

Remarque : Si B est semi-dfinie positive (resp. dfinie positive) il en est demme de A1/2BA1/2 ; le spectre de AB est alors constitu de rels 0(resp.>0).

** ProblemeI.18. Les donnes sont les suivantes : N, Mentiers 1,Amatricesymtrique dfinie positive de taille N, b RN, B matrice M lignes et Ncolonnes(M N)non nulle. On dsigne par , le produit scalaire usuel aussibien dans RN que dans RM, et par la norme euclidienne associe.

On considre le problme de minimisation (dans RN)suivant :

(P)

Minimiserf(x) := 12Ax,x b, xsous la contrainte Bx = 0.

A Existence, unicit, caractrisation des solutions de (

P):

1) Quelles sont les proprits defrelatives la diffrentiabilit, la convexit,et le comportement linfini ?

2) Dmontrer que (P) a une solution et une seule (que lon notera xpar lasuite).

3) a) Montrer que xest caractrise (parmi les lments de RN) par le systme

(S)

Bx = 0

Ax

b

Im(B).

b) Vrifier que f(x) = 12Ax,x = 12b, x:

33


48/345


B Lagrangien et lagrangien augment :

tant donn r 0, on dfinit les applicationsLetLr de RN RM dans Rpar :

L(x, ) :=f(x) + ,Bx (lagrangien usuel) ;

Lr(x, ) := L(x, ) + r2 Bx 2 (lagrangien augment).

On dit que(x, ) RNRM est un point-selle (ou un col) de L sur RNRMlorsque :

(x, ) RN RM, L(x, ) L(x, ) L(x, ).

Dfinition analogue dun point-selle deLr.1) a) Montrer que lon a toujours :

supRM

infxRN

L(x, ) inf

xRN

supRM

L(x, )

(Cette ingalit est dans R {}, et sa dmonstration ne fait pas appel lexpression particulire deLcomme fonction de xet ).

b) Soit (x, )un point-selle deL

. Montrer :

L(x, ) = maxRM(infxRNL(x, )) = minxRN(supRML(x, )) .2) Soit r 0et (x, ) RN RM.

a) tablir les quivalences suivantes :Lr(x, ) Lr(x, )pour tout RM (Bx = 0) ;Lr(x, ) Lr(x, )pour tout x RN

A + rBB

x + B=b

.

b) Quelles conclusions peut-on tirer de ce qui prcde concernant les liensexistant entre les points-selles deLr et la solution de (P) ?

C Algorithme dArrow-Uzawa ( pas variable) :

Les donnes sont :r 0, 0 RM, (n)une suite de rels > 0. On considreles suites (xn) de RN, (n) de RM construites de manire rcurrente commesuit :

n N, xn minimiseLr(, n)sur RN,n+1=n+ nBxn.

Soit (x, )un point-selle deLr.

34


49/345


1) tablir les relations suivantes :

(A+ rBB)(xn

x) + B(n

) = 0 ;

n+1 = n + nB(xn x).En dduire

n+1 2 = n 2 2nA(xn x), xn x+ n(n 2r) B(xn x) 2 .

2) On suppose dsormais n [0, 1]pour tout n, o:

0< 0 < 1


50/345


Si dsigne la plus petite valeur propre de A( >0 donc), on a :

Ax,x

x

2, do f(x)

2x

2

b

x

pour tout x.

Ainsi limx+

f(x)

x = +:fest ce quon appelle 1-coercive sur RN .

2) La 1-coercivit de f est plus quil nen faut pour assurer lexis-tence dun minimum de f sur Ker B. Servons-nous de la proprit :

lim x +

x

Ker B

f(x) = +.

Choisissons x0 Ker B ; il existe r > x0tel que(x Ker B et x > r) (f(x) f(x0)) .

De ce fait :infBx=0

f(x) = inf Bx = 0 x r

f(x).

Lexistence dun minimum xde f sur Ker Bsensuit. Lunicit de ce mini-mum vient de la stricte convexit de f.

3) (S)

Bx = 0

RM tel que Ax b+ B= 0.a) Faisons une dmonstration directe du fait que (S)caractrisela solution

xde (P). Partons de xvrifiant (S). Soit x Ker B ; a-t-on

1

2Ax,x b, x 1

2Ax,x b, x ?

La fonctionftant convexe, on sait que f(x) f(x) + f(x), x x,soit icif(x) f(x) + Ax b, x x.

MaisAx b Im(B) = (Ker B) et xx Ker B,donc Axb, xx = 0. On suppose que x minimise f surKer B. Tout dabord,Bx = 0. Ensuite

f(x + td) f(x)pour tout t R et d Ker B,i.e. 12 t

2

Ad,d

+ t

Ax

b, d

0 pour tout t

R et d

Ker B.

Ceci nest possible que siAx b, d = 0. Donc Ax b (Ker B) =Im(B).

36


51/345


Remarque : Lensemble des vrifiant Ax b+B= 0est lensemble desmultiplicateurs de Lagrange associ x. Cest un sous-espace affine de RM, de

la forme +Ker(B).Il est rduit {} lorsqueB est surjective (i.e., lorsqueles m vecteurs-lignes de B sont linairement indpendants), ce quindiquaitdj le thorme de Lagrange.

b) Puisque Axb Im(B) = (Ker B), on aAxb, x = 0, soitAx,x = b, x.

Do f(x) = 12Ax,x = 12b, x.

B 1) a) Soit (x0, 0) RN RM.Par dfinitions,

infxRNL(x, ) L(x0, 0) supRML(x, ).Do :

supRM

infxRN

L(x, ) inf

xRN

supRM

L(x, )

.

b) Considrons maintenant un point-selle (x, )de L sur RNRM.On a :

L(x, ) = infxRN

L(x, ) supRM

infxRN

L(x, )

;

L(x, ) = supRM

L(x, ) infxRN

supRM

L(x, )

.

Par suite :

supRM

infxRN

L(x, )

supremum atteint pour =

= inf xRN

supRM

L(x, )

infimum atteint pour x = x

= L(x, ).

2)a) L(x, ) =f(x) + ,Bx ;Lr(x, ) = L(x, ) + r2 BBx,x.Alors :

maximiseLr(x, )sur RM si et seulement siLr(x, ) =Bx= 0 ; x minimise la fonction quadratique convexeLr(, ) sur RN si et seule-

ment sixLr(x, ) =Ax b + B+ rBBx= 0.

b) Pour r 0donn, un point-selle deLr est exactement un couple (x, )deRN

RM vrifiant

Bx = 0 et (A+ rBB)x + B= b,

37


52/345


soit encoreBx = 0 et Ax+ B= b.

En comparant ceci (S), on voit donc que la solution xde (P)est prci-sment la premire composante de tout point-selle deL (ou deLr, ceci pourun r >0, ou quelque soit r 0).

C 1)Puisque xn est, par construction, un minimum deLr(, n)sur RN, ilest caractris comme suit :

(A+ rBB)xn+ Bn = b.

On a vu quil existe effectivement un point-selle (x, )deLr surR

N

RM

etque ce point-selle est caractris par les relations :

Bx = 0 et (A + rBB)x + B=b.

Par suite :(A+ rBB)(xn x) + B(n ) = 0,n+1 =n + nB(xn x).

()

()

On tire de ():

n+1 2= n 2 + 2 nB(xn x), n + 2n B(xn x) 2 .Il vient de(), en faisant le produit scalaire des deux membres avec xnx:

A(xn x), xn x + r B(xn x) 2 +B(xn x), n = 0.Les deux galits prcdentes conduisent :

n+1 2 n 2 =

2

nA(x

n x), x

n x

+ (2n

2n

r)

B(xn

x)

2 . ()

2)a) On doit sassurer que le second membre de ()est 0.Cest le cas siB(xn x) = 0. Sinon, il faut prouver que

n B(xn x) 2 2[A(xn x), xn x + r B(xn x) 2] 0,soit n 2

r+

A(xn x), xn x B(xn x) 2

()

Or : 1

Au,u

Bu2 pour tout utel que Bu= 0 et n 1


53/345


b) Par choix de n, on a : 2r n > 2 et n 0 >0pour tout n.Alors

n 2 n+1 2 =n[(2r n) B(xn x) 2

+ 2A(xn x), xn x] 0 2

B(xn x) 2 + 2A(xn x), xn x

.

CommeA(xn x), xn x 1 B(xn x)2 (voir la formulation va-riationnelle de et se rappeler que >0), le second membre de lingalitprcdente est 0.

Or n 2 n+1 2 0quand n +(puisque la suitede rels positifs ( n 2)n est dcroissante) ; donc

A(xn x), xn x 1

B(xn x) 2 0 quand n +.

Utilisons prsent lingalit stricte 1 0 2(r+ 1

)1>0.

Par consquent : limn+ B(xnx)

2 = 0, et limn+A(xnx), xnx = 0.

CommeA(xn x), xn x xn x 2

, avec >0 plus petite valeurpropre de A, il sensuit limn+ xn x = 0.

39


54/345


3)

RM =ImB KerB

Tout multiplicateur de Lagrange (i.e., toute seconde composante de point-selle deLr) se dcompose en = + s, oest la projection de lorigine surle sous-espace affine des multiplicateurs de Lagrange, et s Ker(B).

Dsignons par p2 le projecteur orthogonal de RM dimage Ker(B)(et denoyau ImB). Puisque n+1= n+ Bxn, on a :p2(n+1) =p2(n)pour toutn N, donc :

p2(n) =p2(0) =0,2 pour tout n.

On sait que limn+ xn x = 0, et lgalit

A+ rBB

(xn x) + B(n ) = 0

vue au 1)de C, donne : limn+ B

(n ) = 0.

Or lapplicationu ImB Bu est une normesur ImB. En crivant

n = (idRMp2)(n ) +p2(n )

dcomposition suivantImB Ker(B)

et

B(n ) =B

(idRMp2)(n )

,

on a donc limn+(idRMp2)(n ) = 0, soit limn+(idRMp2)(n) =

.

En rassemblant : n+ 0,2 quand n +.40


55/345

II

MINIMISATION SANS CONTRAINTES.CONDITIONS DE MINIMALIT

Rappels

f : Rn R(ou mme R {+}) est dite 0-coercive (resp. 1-coercive) surC Rn lorsque

lim x +

x C

f(x) = +

(resp. lim x +

x C

f(x)

x = +

).

Si Cest convexe et si f : C R est strictement convexe sur C, alors ilexiste au plus un x C minimisant f sur C.

II.1. Conditions de minimalit du premier ordre

SoitOun ouvert deR

n

et f : O R

. Si x O est un minimum local de f et si fest diffrentiable en x, alors

f(x) = 0. On supposeO convexe et f convexe surO. Alors les conditions suivantes

relatives x O sont quivalentes :(i) xest un minimum (global) de f surO ;(ii) xest un minimum local de f.

Et si fest diffrentiable en x, on a une troisime condition quivalente :

(iii)f(x) = 0.


56/345

Chapitre II. Minimisation sans contraintes. Conditions de minimalit

II.2. Conditions de minimalit du second ordre

Soit

Oun ouvert de Rn et f :

O R.

Si x O est un minimum local de fet si fest deux fois diffrentiable enx, alors

f(x) = 0 et2f(x) est semi-dfinie positive. Si x Oest un point o fest deux fois diffrentiable et si :

f(x) = 0,2f(x) est dfinie positive,alorsxest un minimum local strict de f.

Rfrences. Chapitre II de [11].

** ExerciceII.1. Soit f : Rn R {+}et S Rn. On suppose que :(i) Sest ferm;

(ii) f est semi-continue infrieurement sur Rn ;

(iii) Il existe un point deSen lequel fest finie;

(iv) lim

x +x S

f(x) = +

.

Montrer que fest borne infrieurement sur Set quil existe x Stel quef(x) = infxSf(x).

Indication. On montrera que toute suite minimisante pour f sur S est borne,ou bien on commencera par traiter le cas o Sest born et on ramnera le casgnral ce cas grce lhypothse de0-coercivit def surS (hypothse(iv)).

Solution : On rappelle tout dabord les diffrentes caractrisations de f estsemi-continue infrieurement sur Rn :

En tout point x Rn, on a lim infxx f(x) f(x) (ingalit dansR {+}) ;

R, {x Rn | f(x) }est ferm ; epif := {(x, r) Rn R | f(x) r}est ferm.

Soitf:= infSf(

R

{})et soit

{xk

} Sune suite minimisante pour f

sur S,i.e., telle que f(xk) fquand k +.

42


57/345


Montrons que{xk} est borne. Si ce ntait pas le cas, il existerait unesous-suite{xkl}l de{xk} telle que xkl + quand l +. Par la

0-coercivit def sur S(hypothse (iv)), cela impliqueraitf=

liml+

f(xkl) = +,

ce qui est impossible.La suite{xk} tant borne, il existe une sous-suite{xkl} qui converge vers

un lment xde S. Do, grce la semi-continuit infrieure de f,

f=

liml+

f(xkl) f(x).

Commef(x)> et f(x) f, on en dduit que la valeur fest finie etatteinte en x.

Autre dmonstration : Soit x0 Sen lequel fest finie; puisque f(x)+quand x +, x S, il existe r (> x0)tel que

f(x) f(x0)ds que x S, x > r.

Donc minimiser f sur Srevient minimiser f sur S B (0, r) .

Commentaire : Le rsultat de lexercice est utilis frquemment dans le contextesuivant. Soit un ouvert de Rn et g: Rvrifiant :

gest continue sur ; g(x) +quand x a fr ;lim

x +x

g(x) = +.

Alors, si Sest un ferm tel que S =, g est borne infrieurement surS et il existe x S tel que g(x) = infxS g(x). Il suffit pour voir celade considrerf :x Rn f(x) :=g(x)si x , +sinon.

** ExerciceII.2. Soit D1 := {A1+ tv1| t R} et D2 := {A2+ tv2| t R} deuxdroites affines de Rn dfinies laide des points Ai et des vecteurs directeursnon nulsvi.On cherche les points M1 D1 et M2 D2 minimisant la distance(euclidienne) de M1 M2.

1) Formaliser le problme ci-dessus comme un problme de minimisationconvexe sans contraintes.

43


58/345


2) Rsoudre le problme pos en prcisant : les conditions dexistence etdunicit des solutions, comment caractriser ces solutions, les proprits parti-culires des solutions.

Figure 4.

Solution : 1)SoitM1 =A1+ t1v1, t1 RM2 =A2+ t2v2, t2 R,

de sorte que M1M22 = A2A1+ t1v1 t2v22 .

Le problme consiste minimiser

f(t1, t2) := M1M22, (t1, t2) R2.On a :

f(t1, t2) =t21 v12 +t22 v22 2t1t2v1, v2 + 2t1A2A1, v1 2t2A2A1, v2 + A2A12 .

f est une fonction quadratique de la variable t = (t1, t2), convexe mmecar

2f(t1, t2) = 2 v12 v1, v2v1, v2 v22

est semi-dfinie positive pour tout (t1, t2) R2.

44


59/345


Le problme pos peut donc tre formalis en

(P) Minimiser f(t1, t2)(t1, t2) R2.

2) Les solutions

t1, t2

de (P) sont les solutions deft1, t2 = 0, soitencore

(S)

t1 v12 t2v1, v2 = A2A1, v1t2

v2

2

t1

v1, v2

=

A2A1, v2

.

1er cas:v1 etv2 sont colinaires, i.e.,D1 etD2 sont parallles. Il y a uneinfinit de solutions (S) ; en posantv2 =v1, ce sont les

t1, t2

vrifiant

t1 t2

v12 = A2A1, v1.Les points M1, M2 correspondants sont

M1 =A1+ t1v1, M2 =A2+A2A1, v1

v12 + t1

v1.

videmmentM1M2 =

A1A2+

A2A1, v1 v12 v1 est orthogonal v1 (et v2).

2e cas: v1 etv2 sont linairement indpendants. Dans ce cas,2f(t1, t2)est dfinie positive pour tout (t1, t2)

R

2 (

v1

2> 0 et dt

2f(t1, t2) =

4 v12 v22 (v1, v2)2 >0 ), et le problme (P) a une et une seulesolution

t1, t2

. Ce

t1, t2

est lunique solution de (S) :

t1 = A2A1, v1 v22 +A2A1, v2v1, v2

v12 v22 (v1, v2)2 ,

t2 =A2A1, v2 v12 A2A1, v1v1, v2

v12

v22

(v1, v2)2

45


60/345


Et on vrifie queM1M2 =

A1A2+t2v2 t1v1 est orthogonal v1 et v2 :

la droite (M1M2)est la perpendiculaire commune D1 etD2.La distance minimale entre deux points deD1 etD2 se dduit donc de

f

t1, t2

=M1M22 .

Dans le cas particulier o n= 3,

M1M2=

A1A2, v1, v2 v1 v2 ,

o

A1A2, v1, v2

dsigne le produit mixte de

A1A2, v1, v2, etv1 v2le produit

vectoriel dev1 etv2.

** ExerciceII.3. Condition ncessaire de minimalit prs dEkeland

Soit f : Rn R continue et borne infrieurement sur Rn. Soit > 0 etu une solution prs du problme de minimisation de f sur Rn, cest--direvrifiant f(u) inf

xRnf(x) + . tant donn >0 on considre

g: x Rn g(x) :=f(x) + x u .

1) Montrer quil existev Rn minimisant g sur Rn.Montrer que ce point v vrifie les conditions ci-aprs :

(i) f(v) f(u) ;(ii) v u ;(iii) x Rn, f(v) f(x) +

x v .

2) Soit f : Rn Rdiffrentiable et borne infrieurement sur Rn. Montrerque pour tout >0 il existe x tel que f(x) .

Solution : 1) g est continue ; de plus, f tant borne infrieurement,g(x) + quand x +. Par consquent, il existe un point v mi-nimisant gsur Rn :

x Rn, f(v) + v u f(x) +

x u . (2.1)

Faisons x= u dans (2.1) :

f(v) +

v u f(u), (2.2)

do f(v) f(u).

46


61/345


En notant f:= infxRnf(x), il vient de (2.2) :

f+

v u

f+ ,

do v u .Enfin lingalit x u x v+v u, introduite dans (2.1),

conduit f(v) f(x) +

x v .

2) Partant dun minimum 2 prs de f et choisissant = , il existedaprs la question prcdente un x tel que

x Rn, f(x) f(x) + x x .

Pourd Rn et >0 faisons successivement x= x+ det x = x ddanslingalit prcdente ; on obtient :

f(x+ d) f(x) d , soit f(x+ d) f(x)

d ;

f(x d) f(x) d , soit f(x d) f(x)

d .

Un passage la limite 0+ induit :

f(x) , d d et f(x) , d d ,

soit encore | f(x) , d| d .Cette dernire ingalit tant vraie pourtout d Rn, il sensuit f(x) .

* ExerciceII.4. Soitn 2et f : Rn Rla fonction polynomiale de degr cinqdfinie par

x= (x1, . . . , xn) Rn f(x) := (1 + xn)3n1i=1

x2i + x2n.

Montrer que 0 ( Rn

) est le seul point critique de f, quil est minimum localstrict de f, mais quil nest pas minimum global de f.

47


62/345


Solution : On a :

if(x) = 2xi(1 + xn)3 pour tout i= 1, . . . , n

1 ;

nf(x) = 3(1 + xn)2n1i=1

x2i + 2xn.

Ainsi le seul point x Rn vrifiantf(x) = 0est x= 0.Ce point x = 0 est un minimum local strict de f car 2f(x) =

diag (2, . . . , 2)est dfinie positive.Maisf(1, . . . , 1, xn) = (n 1) (1 + xn)3 + x2nest une fonction polynomiale

du 3e degr, prenant donc toutes les valeurs relles. Il ny a donc pas de mini-mum global de f sur Rn.

*** ExerciceII.5. Soit f : Rn Rcontinue et x Rn. Montrer :

(xest minimum global de f)

Toutx tel quef(x) =f(x)

est un minimum local de f

.

Solution : Limplication

tant vidente, considrons limplication in-

verse. Supposons donc que tout x au mme niveau que x soit un minimumlocal de f. Si x nest pas un minimum global de f, cest quil existe u Rntel que f(u) < f(x) . Dfinissons : t [0, 1] (t) := f(tx + (1 t)u)et posons S :={t [0, 1] | (t) =f(x)} . Ainsi S est une partie non vide(1 S) ferme (de par la continuit de fdonc de ) et minore. Dsignonspar t0 la borne infrieure de S: t0 S et 0< t0 1.

Le pointt0x+ (1 t0)utant au mme niveau que x, il est minimum localde f; par consquent t0 est un minimum local de : il existe >0 tel que :

|t t0| t [0, 1] ( (t) (t0)) .

Comme t0 est la borne infrieure de S, on en dduit :t0 < t < t0

0< t

( (t)> (t0)) .

Prenons un tel t, que nous appelons t1 :

t0 < t1< t0, 0< t1, et (t1)> (t0) .

48


63/345


Alors (1) = (t0) [ (0) , (t1)] et, daprs le thorme des valeursintermdiaires, il existe t2 [0, t1]tel que (t2) = (1) (=f(x)) .Par cons-

quent, t2 ]0, t1] S, et puisque t1 < t0, ceci contredit la dfinition de t0comme borne infrieure de S.

Figure5.

Remarque : Dans lassertion de droite de lnonc, on ne peut pas rempla-cer minimum local de f par point critique de f ; prendre lexemple def :x R f(x) =x3.

*** ExerciceII.6. On dsigne parPn(R)lensemble des matrices dfinies posi-

tives de taille n(cest un ouvert deSn(R)). tant donns Aet B dans

Pn(R),on considre le problme de minimisation suivant :

(P)

Minimiserf(X) := tr (AX) + tr

BX1

X

Pn(R).

1) Quelles proprits de f, utiles pour sa minimisation (diffrentiabilit,convexit, coercivit) peut-on dgager ? En dduire que le problme(P) a uneet une seule solution.

2) (i) Vrifier que la solution de (P) est la (seule) matrice X vrifiantXAX=B.

(ii) Donner, partir de BA (ou de AB), une procdure permettant deconstruire X.

(iii)En dduire la valeur optimale dans (P) .3) On fait n = 2 ici. Montrer que la valeur optimale dans (

P) est

2

tr (AB) + 2dt (AB).

49


64/345


Indication. Le cas simple on= 1 permet de guider la dmarche et de contrlerles rsultats.

Solution : Sn(R)est structur en espace euclidien grce au produit scalaire U, V = tr (U V) .Le problme (P) est celui de la minimisation sur (le cne convexe ou-

vert)

Pn (R) = : de la fonction-objectif X f(X) = A, X + B, X1 .

1) Lapplication X X1 est bijective et de classe C; ilsensuit que f est C sur .De lingalit de convexit

U, V dans ]0, 1[ [U+ (1 ) V]1 U1 + (1 ) V1 ,et de la (semi-) dfinie positivit de B, on dduit que X B, X1 estconvexe sur (daccord ?).

De manire concentrer sur une seule partie toute la contribution de AetB aux deux parties de f(X),posonsC :=A1/2BA1/2.Comme

f(X) = tr

A1/2

A1/2XA1/2

A1/2 + C

A1/2XA1/2

1= tr A1/2XA1/2 + CA1/2XA1/21

et que lapplication X Y := A1/2XA1/21 est visiblement unebijection de sur , le problme (P) est quivalent celui de la minimisa-tion de

Y g(Y) :=tr Y1 + CY= In, Y1 + C, Ysur .

La frontire fr de est exactement lensemble des matrices semi-dfiniespositives singulires (i.e., dont la plus petite valeur propre est nulle). En cons-quence :

Y Y0 fr (ou X X0 fr )

=

g(Y) +

(ou f(X) +)

.

De mme, un calcul (pas trop difficile) sur les matrices dfinies positives conduit lucider le comportement linfini :

Y , Y (ou X , X )= g(Y) +(ou f(X) +) .

50

Optimisation Et Analyse Convexe Exercices Et Probl Mes Corrig s Avec Rappels de Cours

Documents

Transcript of Optimisation Et Analyse Convexe Exercices Et Probl Mes Corrig s Avec Rappels de Cours