Optimierungsprobleme mit Nebenbedingungen - Einführung in ... · Optimierungsprobleme mit...

Optimierungsprobleme mit Nebenbedingungen -Einfuhrung in die Theorie, Numerische Methoden

und Anwendungen

Dr. Abebe Geletu

Ilmenau University of TechnologyDepartment of Simulation and Optimal Processes (SOP)

Optimierungsprobleme mit Nebenbedingungen - Einfuhrung in die Theorie, Numerische Methoden und Anwendungen

TU Ilmenau

Optimierungsprobleme mit NebenbedingungenAllgemeine Form eines Optimierungsproblems mit Nebenbedingungen

(NLP) minx

f (x)

s.t.

hi (x) = 0, i = 1, 2, . . . , p;

gj(x) ≤ 0, j = 1, 2, . . . ,m.

wobei f , gi , hj : Rn → R sind mindestens einmal differenzierbareFunktionen und x ∈ Rn.

Zulassigen Menge von NLP:

• x ∈ Rn ist einer zulassige Punkt fur NLP wennhi (x) = 0, i = 1, 2, . . . , p und gj(x) ≤ 0, j = 1, 2, . . . ,m.

• Die Menge alle zulassige Punkte von NLP ist

F :={x ∈ Rn | hi (x) = 0, i = 1, . . . , p; gj (x) ≤ 0, j = 1, . . . ,m

}.

bekannt als die zulassige Menge von NLP.Optimierungsprobleme mit Nebenbedingungen - Einfuhrung in die Theorie, Numerische Methoden und Anwendungen

TU Ilmenau

Optimierungsprobleme mit Nebenbedingungen ....• Manchmal ist es bequemer, die Nebenbedingungen des NLP inkompakter Form zu schreiben, wie

h(x) = 0, g(x) ≤ 0,

wobei

h(x) =

h1(x)h2(x)

...hp(x)

and g(x) =

g1(x)g2(x)

...gm(x)

Beispiel:

(NLP1) minx

{1

2x2

1 + x1x22

}s.t.

x1x22 − 1 = 0,

− x21 + x2 ≤ 0,

x2 ≥ 0.Optimierungsprobleme mit Nebenbedingungen - Einfuhrung in die Theorie, Numerische Methoden und Anwendungen

TU Ilmenau

Optimierungsprobleme mit Nebenbedingungen ....

Im Beispiel Problem NLP1 oben:• es gibt nur eine Gleichungsnebenbedingung h1(x) = x1x2

2 − 1 und• zwei Ungliechungsnebenbedingungen g1(x) = −x2

1 + x2 ≤ 0 und g2(x) = −x2 ≤ 0.

I Beachten Sie, dass der Punkt x> = (1, 1) ein zulassiger Punkt ist; wahrend der Punkt(0, 0) nicht zulassig ist (oder unzulassig); d.h. x> = (0, 0) gehort nicht in der zulassigenMenge

F =

{(x1

x2

)∈ R2 | x1x

22 − 1 = 0,−x2

1 + x2 ≤ 0, x2 ≥ 0

}.

Optimale Losung

Ein Punkt x∗ ∈ Rn eine optimale Losung des beschrankten ProblemsNLP genau dann, wenn(i) x∗ ist einer zulaassige Punkt fur NLP. D.h. x∗ ∈ F und(ii) f (x) ≥ f (x∗) fur alle x ∈ F .


TU Ilmenau

Optimierungsprobleme mit Nebenbedingungen ....• Fur das Beispiel Problem NLP1, der Punkt (x∗)> = (1, 1) ist eine optimale Losung.

I Im Allgemeinen ist es nicht einfach, eine optimale Losung einesbeschrankten Optimierungsproblems zu bestimmen.Frage:

(Q1) Wie konnen wir uberprufen, ob ein gegebener Punkt x ∈ Rn

eine optimale Losung des NLP ist? (Diese ist etwa uber Optimalitatskriterien. )

(Q2) Welche Methoden stehen zur Verfugung, um eine optimaleLosung des NLP zu finden?( Diese ist uber Berechnung von optimalen Losungen. )

Definition (Aktive Nebenbedingungen)

• Sei x ein zulassiger Punkt des NLP. Eine Ungleichungsnebenbedingung gi (x) ≤ 0 istaktiv in x wenn

gi (x) = 0.

• Die Menge A(x) = {i ∈ {1, 2, . . . ,m} | gi (x) = 0} ist die Indexmenge der aktivenNebenbedingungen in x .


TU Ilmenau

Optimierungsprobleme mit Nebenbedingungen ....... Optimalitatskriterien• Fur das Beispiel NLP1 Problem, die Nebenbedingung g1 = −x2

1 + x2 ist an der Stelle

x∗ = (1, 1) aktiv, wahrend g2(x) = −x2 ist nicht aktiv. Daher, A = {1}.

Abstiegsrichtung

Ein Vektor d ist Abstiegsrichtung fur die Zielfunktion f in Punkt xwenn

f (x + d) ≤ f (x).

Eine Bewegung vom Punkt x in Richtung d verringert die Funktion f .

• Jeder Vektor d mit der Eigenschaft d>f (x) ≤ 0 ist eineAbstiegsrichtung.Um dies zu uberprufen, verwenden Sie Taylor-Approximation 1. Ordnung: f (x + d) ≈ f (x) + d>∇f (x). Daraus folgt, dass

f (x + d) − f (x) = d>∇f (x) ≤ 0 ⇒ f (x + d) − f (x) ≤ 0.

Daher, f (x + d) ≤ f (x) und d ist eine Abstiegsrichtung.

INB: Wenn d ein Abstiegsrichtung ist, dann d = αd, α > 0, ist auch ein Abstiegsrichtung.


TU Ilmenau

Optimierungsprobleme mit Nebenbedingungen ....... Optimalitatskriterien

Zulassigerichtung

Sei x einer Zulassigepunkt (d.h. x ∈ F) und d einer Vektor in Rn.Wenn(i) hi (x + d) = 0, i = 1, . . . , p und(ii) gj(x + d) ≤ 0, j = 1, . . . ,m,dann d ist eine Zulassigerichtung fur das NLP.• Sei x einer Zulassiger Punkt. Wenn ein Vektor d erfullt

d>∇hi (x) = 0, i = 1, . . . ,m und d>∇gj(x) < 0, j ∈ A(x),

dann d = αd ist eine Zulassigerichtung in x fur ein α > 0.Um dies zu uberprufen, verwenden Sie die Taylor-Approximation 1. Ordnung.

i = 1, . . . , p : hi (x + αd) ≈ hi (x)︸︷︷︸=0

+α d>∇hi (x)︸︷︷︸=0

;⇒ hi (x + d) = 0,

j ∈ A(x) : gj (x + αd) ≈ gj (x)︸︷︷︸≤0

+α d>∇gj (x)︸︷︷︸<0

⇒ gj (x + d) ≤ 0;

j /∈ A(x)︸︷︷︸non active constraints

: gj (x + αd) ≈ gj (x)︸︷︷︸<0

+αd>∇gj (x) ⇒ gj (x + d) ≤ 0, for 0 < α ≤ −gj (x)

d>∇gj (x)if d>∇gj (x) > 0.


TU Ilmenau


Optimalitatskriterium

Wenn x∗ ist eine optimale Losung des NLP, dann gibt eskein Vektor d ∈ Rn das ist gleizeitg ein Abstieg Richtung fur f undeine zulaassigetichtung in x∗ ist.Das heißt, wenn x∗ eine optimale Losung des NLP, dann die folgende System von Ungleichungen

d>∇f (x∗) < 0, d>∇hi (x∗) = 0, i = 1, . . . , p; d>∇gj (x∗) < 0, j ∈ A(x∗)

aquivalent

[−∇f (x∗)]> d > 0,[∇hi (x∗)

]> d = 0, i = 1, . . . , p;[∇gj (x∗)

]>d < 0, j ∈ A(x∗) (1)

besitzt keine Losung d .

Satz vn FarkasGegeben sei einer Menge von Vektoren c, ai , bj ∈ Rn, i = 1, . . . ,m; j = 1, . . . , l . Dann genau nur eine der beiden folgenden Systems

hat eine Losung

System I: c>d > 0, a>i d = 0, i = 1, . . . , p; b>j d < 0, j = 1, . . . , m

System II: c =

p∑i=1

λi ai +l∑

j=1

µj bj , µ > 0, λ ∈ Rl .


TU Ilmenau

Optimierungsprobleme mit Nebenbedingungen ....... Optimalitatskriterien• Wenn nun c = −∇f (x∗), ai = ∇hi (x∗), i = 1, . . . , p undbj = ∇gj(x∗), j ∈ A(x∗), dann, da x∗ ein optimaler Punkt ist, dannnur System II verfugt uber ein Losung.• Wenn also x∗ ist eine optimale Losung des NLP, so gibt esVektorens λ ∈ Rm, λ> = (λ1, λ2, . . . , λm) undµ ∈ Rl , µ> = (µ1, µ2, . . . , µl) > 0 so dass

−∇f (x∗) =m∑i=1

λi∇hi (x∗) +l∑

j=1

µj∇gj(x∗)

wobei l = #A(x∗).

• Sei nun µj = 0 fur j ∈ {1, . . . ,m} \ A(x∗) , dann konnen wir

schreiben −∇f (x∗) =∑m

i=1 λi∇hi (x∗) +∑m

j=1 µj∇gj(x∗).


TU Ilmenau


Die Karush-Kuhn-Tucker (KKT) Optimalitatskriterium

Wenn x∗ ist ein Minimum von NLP, dann gibt es λ inRp undµ ∈ Rn, µ ≥ 0, so dass die folgenden Bedingungen gelten:

∇f (x∗) +m∑i=1

λi∇hi (x∗) +m∑j=1

µj∇gj(x∗) = 0 (Optimalitat)

h(x∗) = 0 (zulassigkeit)

g(x∗) ≤ 0

(Nichtnegativitatsbedingungen) µ ≥ 0

(Komplementaritat) µjgj(x∗) = 0, j = 1, . . . ,m.


TU Ilmenau

... Optimalitatskriterien• Die Funktion

L(x , λ, µ) = f (x) +m∑i=1

λihi (x) +m∑j=1

µjgj(x)

ist die Lagrange-Funktion des NLP.Beispiel: Losen Sie das folgende Optimierungsproblem:

(NLP2) minx

{f (x) = x2

1 − x22

}(2)

s.t. (3)

x1 + 2x2 + 1 = 0 (4)

x1 − x2 ≤ 3. (5)

Losung:Lagrange FunktionL(x , λ, µ) = (x2

1 − x22 ) + λ(x1 + 2x2 + 1) + µ(x1 − x2 − 3).


TU Ilmenau

... OptimalitatskriterienOptimalitatsbedingungen:

∂L∂x1

= 0⇒ 2x1 + λ + µ = 0⇒ x1 = −1

2(λ + µ) (6)

∂L∂x2

= 0⇒ −2x2 + 2λ− µ = 0⇒ x2 =1

2(2λ− µ) (7)

Zulassigkeit

h(x) = 0⇒ x1 + 2x2 + 1 = 0 ⇒ −1

2(λ + µ) + (2λ− µ) + 1 = 0

⇒ λ = µ−2

3

Komplementaritat

µg(x) = 0 ⇒ µ(x1 − x2 − 3) = 0⇒ µ

(−

1

2(λ + µ)−

1

2(2λ− µ)− 3

)= 0

⇒ µ

(−

1

2

[(µ−

2

3) + µ

]−

1

2

[2(µ−

2

3)− µ

]− 3

)= 0

⇒ µ

[−

3

2µ− 2

]= 0⇒ µ = 0 or µ = −

4

3.

µ = − 43 < 0 ist nicht erlaubt. Daher, µ∗ = 0 ist die einzige Moglichkeit. Damit erhalten wir

λ∗ = µ∗ − 23 = − 2

3 .


TU Ilmenau

... Optimalitatskriterien

Nut mit µ∗ = 0 und λ∗ = −1

x∗1 = −1

2(λ∗ + µ

∗) = −1

2(−

2

3+ 0) =

1

3(8)

x∗2 =1

2(2λ∗ − µ∗) =

1

2(2× (−

2

3)− 0) = −

2

3. (9)

Der Punkt x∗> =(

13 ,−

23

)ist ein Kandidat fur Optimalitat.

beachten Sie:, dass tder Nebenbedingung g(x) = x1 − x2 − 3 ≤ 0 ist nicht aktiv in x∗.

• Im Allgemeinen sind die KKT Bedingungen nur notwendigenOptimalitatsbedingungen.


TU Ilmenau

... Optimalitatskriterien

Hinreichende OptimalitatsbedingungenSeien die Funktionen f , hi , i = 1, . . . , p; gj , j = 1, . . . ,m zweimal differenzierbar und x∗ ein zulassigerPunkt des NLP. Wenn es Lagrange-Multiplikatoren λ∗ und µ∗ ≥ 0 gibt, so dass:(i) die KKT Bedingungen sind fur (x∗, µ∗, λ∗) erfullt; und(ii) und die Hesse-Matrix der Lagrange-Funktion

∇xL(x∗, λ∗, µ∗) = ∇2f (x∗) +

p∑i=1

λ∗i ∇

2hj (x∗) +

m∑j=1

µ∗j ∇

2gj (x∗)

ist positiv definite (d.h. d>∇xL(x∗, λ∗, µ∗)d > 0) fur d aus dem UnterraumS =

{d ∈ Rn | d>∇hi (x

∗) = 0, i = 1, . . . , p; d>∇gj (x∗) = 0, µj > 0, j ∈ A(x∗)

}, dann ist x∗ eine

optimale Losung des NLP.

Fur das Problem NLP2, da g(x∗) < 0 (inaktiv) haben wir

• S = {d ∈ R2 | d>∇h(x∗) = 0} = {d ∈ R2 | (d1, d2)

(12

)= 0} = {d ∈ R2 | d1 = −2d2}.

• ∇xL(x∗, λ∗, µ∗) =

(2 00 −2

). Fur d> = (d1.d2)> ∈ S, d 6= 0 (merke: wenn d1 6= 0, dann d2 6= 0 und

umgekehrt.)

(d1, d2)

(2 00 −2

)(d1d2

)= (−2d2, d2)

(2 00 −2

)(−2d2d2

)= 2d2 > 0.

Deshalb, x∗> =(

13,− 2

3

)ist eine optimale Losung von NLP2.


TU Ilmenau

Numerische Methoden fur Optimierungsproblememit NebenbedingungenI Außer in sehr trivial Falle, Losung eines Optimierungsproblems mitNebenbedingungen analytisch ist keine einfache Aufgabe.

• Deshalb derzeit gibt es mehrere numerische Methoden, um eineapproximative Losung (en) fur eine beschrankteOptimierungsproblemeaufgabe zu bestimmen. Einige bekannteGradienten-basierte Methoden sind:(I) Die sequentiell quadratische Programmierung (SQP)-Methode

(II) Das Interior Point Methode(III) Straffunktion Methoden(IV) Die Augmented Lagrange Verfahren, etcI Heutzutage sind SQP-basierte Algorithmen sehr beliebt fur dieLosung nichtlinearen Optimierungsproblemen mit Nebenbedingungen.I In der SQP-Verfahren: ausgehend von einem vorgegebenen Punkt x0 wird eine Itarations Folge xk+1 = xk + αkd

k

erzeugt, in dem dk durch Losen quadratische Optimierungsprobleme bestimmen ist.


TU Ilmenau

Quadratische Optimierung (Programmierung)Probleme• Quadratische Optimierung Probleme erscheinen in mehrerenIngenieurwissenschaftliche-Anwendungen.

Einige Anwendungsgebiete:

Approximationen durch Methode der kleinsten Quadrat(Regression),

Filterentwurf in der Signalverarbeitung,

Verbesserung der Bildscharfe und Entrauschung in derBildbearbeitung,

Optimale Entwurf Regelgroßen in der Regelungstechnik (z.B.Modellpradiktive Regelung (MPC)),

im SQP-Verfahren fur NLP,

u.s.w.Optimierungsprobleme mit Nebenbedingungen - Einfuhrung in die Theorie, Numerische Methoden und Anwendungen

TU Ilmenau

Quadratische Optimierung ...(I) Quadratische Programmierung Probleme mitGleichungsnebenbedingungen

(QP) minx

{f (x) = x>Qx + q>x

}(10)

s.t.

Ax = b, (11)

wobei:• Q ∈ Rn×n ist symmetrisch (d.h. Q> = Q) und positiv definit.• x ∈ Rn die (unbekannte) Optimierungsvariabel; q ∈ Rn ist einervorgegebener vektor.• A ∈ Rm×n und b ∈ Rm sing vorgegeben; d.h. es gibt mGleichungsnebenbedingungen.• Rang von A: rank(A) = m.


TU Ilmenau

Quadratische Optimierung ...Die Lagrange-Funktion fur (QP):

L(x , λ) = x>Qx + q>x + λ> (Ax − b) .

Karush-Kuhn-Tucker-Bedingungen:

∂L∂x

= 0⇒ Qx + A>λ = −q (12)

∂L∂λ

= 0⇒ Ax = b. (13)

Daraus folgt [Q A>

A 0

] [xλ

]=

[−qc

]• Wenn Q ist positiv definit und rank(A) = m, dann

[Q A>

A 0

]ist invertierbar und

[xλ

]=

[Q A>,A 0

]−1 [−qc

]

⇒ x∗ = −Q−1q + Q−1A>(AQ−1A>

)−1 (b + AQ−1q

)λ∗ = −

(AQ−1A>

)−1 (b + AQ−1q

).


TU Ilmenau

Quadratische Optimierung ...Beispiel:Ein Material Abfluss aus Behalter R1 und R2 fließt ins Behhalter R3.Die Fließgeschwindigkeit von R1 wird gemessen, um FM

1 = 6.5m3/h und von R2um FM

2 = 14.7m3/h. Als Ergebnis dieser beiden Zuflusse, wird die veranderung derZuflussgeschwindigkeit ins R3 um FM

3 = 19.8m3/h gemessen. Von derDurchflussmessgerate entstehen jeweils Messfehler mit Standardabweichungen:σ1 = 0.1m3/h, σ2 = 0.2m3/h and σ3 = 0.3m3/h.Formuliere ein Optimierungsproblem, um die tatsachlichen Volumenstrome zubestimmen.

Losung: Seien F1,F2 and F3 die tatsachlichen Volumenstromen.

•Beachte, dass Fi = FMi ± ηiσi , i = 1, 2, 3;

⇒ Die Große ±ηiσi = Fi − FMi stellt Messfehler.

⇒ Um die Summe alle diese Messfehler zu minimieren

min(F1,F2,F3)

{(F1 − FM

1

σ1

)+

(F2 − FM

2

σ2

)+

(F3 − FM

3

σ3

)}s.t.

F1 + F2 = F3.


TU Ilmenau

Quadratische Optimierung ...Zielfunktion:

f (x) =1

2(F1,F2,F3)

2σ2

12σ2

22σ2

3

︸︷︷︸

=Q

F1

F2

F3

+

(−

2

σ1FM

1 ,−2

σ2FM

2 ,−2

σ3FM

3

)︸︷︷︸

=q

F1

F2

F3

+

+

[FM

1

σ1

]2

+

[FM

2

σ2

]2

+

[FM

3

σ3

]2

︸︷︷︸=kconstant

Nebenbdinung: 11−1

︸︷︷︸

=A

F1

F2

F3

= 0


TU Ilmenau

Quadratische Optimierung ...(II) Quadratische Optimierungsprobleme mit Gleichungs- und Ungleichungsnebenbedingungen

(QP) minx

{f (x) = x>Qx + q>x

}(14)

s.t. (15)

a>i x = bi , i = 1, 2, . . . , p (16)

aix ≥ bi , i = p + 1, . . . ,m. (17)

wobie Q symmetrisch und positiv definit.Setze

A = [a1, a2, . . . , ap ], a> = (b1, b2, . . . , bp),B = [ap+1, ap+2, . . . , am] und b> = (bp+1, bp+2, . . . , bm)

Dann (QP) kann kompakt geschrieben werden als:

(QP) minx

{f (x) = x>Qx + q>x

}(18)

s.t. (19)

Ax = a (20)

Bx ≥ b. (21)

• Im Allgemeinen, (QP)s mit Ungleichungsnebenbedingungen sindnicht leicht analytisch zu losen.


TU Ilmenau

Quadratic optimization ... Active set MethodeActive Set Verfahren

Strategie:• Start mit einem beliebigen Punkt x0

• Finde den nachsten Iterationspunkt durch xk+1 = xk + αkdk ,

wobei αk ist ein Schritt-Lange und dk Suchrichtung.

Frage

• Wie bestimmt man die Suchrichtung dk?• Wie ermittelt man den Schritt-Lange αk?

(A) Bestimmung der Suchrichtung:• An der aktuellen Iterierten xk bestimme den Indexmenge deraktiven Nebenbedingungen

Ak = {i | aixk − bi = 0, i = p + 1, . . . ,m} ∪ {1, 2, . . . , p}.


TU Ilmenau

Quadratic optimization ... Active set Methode• Lose folgende (QP), um eine Suchrichtung dk zu bestimmen.

mind

{1

2(xk + d)>Q(xk + d) + q>(xk + d)

}s.t.

a>i (xk + d) = bi , i ∈ Ak.

Erweitern die Zielfunktion und die Nebenbedingungen• 1

2(xk + d)>Q(xk + d) + q>(xk + d) = 1

2d>Qd + 1

2d>Qxk + 1

2(xk )>Qd + 1

2(xk )>Qxk + q>d + q>xk

• ai>(xk + d

)= bi ⇒ ai>d = bi − a>i xk = 0.

• Vereinfachen diese Ausdrucke und vernachlassigen die Konstanten

mind

{1

2d>Q + d +

[Qxk + q

]d

}s.t.

a>i d = 0, i ∈ Ak.

Set

A =

a>1a>2

.

.

.

, i ∈ Ak.

• Losen Sie dieses Problem mit dem Hilfe der KKT Bedingungen um ein dk zu bestimmen.


TU Ilmenau

Quadratic optimization ... Active set Methode

(A) Bestimmung der Schrittlange:Sobald Sie dk bestimmt haben berechnen Sie αk durch

αk = min

[1,

bi − a>i xk

a>i dk

, fur a>i dk < 0 und i /∈ Ak

]


TU Ilmenau

Nichtlineare Optimierung mit Nebenbedingungen

AnwendungsbeispielEin Gleichstrom-Warmetauscher mit einer gegebenen Lange ist zuentwerfen. Die Warmeleitrohre, alle mit dem gleichen Durchmesser,werden in einer außeren Schale mit einem Durchmesser D = 1meingeschlossen (siehe Abbildung). Der Durchmesser von jedem derWarmeleitrohre darf 60mm nicht uberschreiten. Bestimmen Sie dieAnzahl der Rohre und deren Durchmesser, damit die Warmeleitflacheam großten wird.


TU Ilmenau

Nichtlineare Optimierung mit NebenbedingungenLosung:Zilefunktion:Sei n die Anzhal Warmeleitrohre.Zielfunktion Große der Warmeleitflache:

f (n, d) = n

[π

(d

2

)2]Nebenbdingungen:

nπ

(d

2

)2

≤ π

(D

2

)2

=pi

4(22)

d ≥ 60mm = 0.06m. (23)

Optimierungsaufgabe

(NLP) max(n,d)

{f (n, d) =

π

4nd2}

s.t.π

4nd2 ≤

π

4

− d ≤ −0.06.

n ganzzahlig.


TU Ilmenau

Optimierungsprobleme mit Nebenbedingungen - Einführung in ... · Optimierungsprobleme mit...

Documents

Transcript of Optimierungsprobleme mit Nebenbedingungen - Einführung in ... · Optimierungsprobleme mit...