Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis...

86
First Prev Next Last Go Back Full Screen Close Quit Line´ aris programoz´ as bels ˝ opontos odszerei Ill´ es Tibor [email protected] Oper´ aci´ okutat´ asi Tansz´ ek otv¨ os Lor´ and Tudom´ anyegyetem Budapest 2007. febru´ ar - ´ aprilis

Transcript of Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis...

Page 1: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Linearis programozas belsopontosmodszerei

Illes [email protected]

Operaciokutatasi TanszekEotvos Lorand Tudomanyegyetem

Budapest2007. februar - aprilis

Page 2: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Specialis linearis programozasi feladat (pelda)

Legyen adott a kovetkezo linearis programozasi (primal) feladat

min x2 + 2 x3

− 3 x2 + x3 ≥ 0

3 x1 − 2 x3 ≥ −1

− x1 + 2 x2 ≥ −2

ahol az x1, x2, x3 ≥ 0. Ekkor

A =

0 −3 1

3 0 −2

−1 2 0

, b =

0

−1

−2

es c =

0

1

2

.

Az A matrix, ferden szimmetrikus matrix, azaz A = −AT , tovabba a b = −c is teljesul.Egyszeruen megmutathato, hogy ekkor az x = 0 optimalis megoldasa a feladatnak.Az ilyen feladatot ferden szimmetrikus ondualis feladatnak nevezzuk.

Az xT = (2, 1, 3.25) es sT = (Ax)T = (0.25, 0.5, 2) megengedett megoldasa a feladatnak.(Belsopont.)

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 3: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A ferden szimmetrikus ondualis feladatTekintsuk a kovetkezo (specialis) linearis programozasi feladatot

min qTx

Mx ≥ −q

x ≥ 0

(SP ),

ahol M ∈ IRn×n ferden szimmetrikus matrix es q ∈ IRn⊕ vektor. Az (SP ) feladat megengedett

megoldasainak a halmazaF = {x ∈ IRn : x ≥ 0, Mx ≥ −q }.

Feladat. Bizonyıtsa be, hogy az (SP ) feladat ondualis, azaz a dualisa onmaga. /

Lemma. Az (SP ) feladat optimalis erteke nulla, tovabba az azonosan nulla vektor x = 0 megen-gedett es egyben optimalis megoldasa az (SP ) feladatnak. •

Ha (x, s(x)) adott megoldasa az (SP ) feladatnak, ahol s(x) = Mx + q, akkor

qTx = xT (s(x)−Mx) = xT s(x) = eT (x s(x)),

azaz tetszoleges optimalis megoldasra 0 = qTx = eT (x s(x)), azaz x s(x) = 0, amibol az iskovetkezik, hogy az x es s(x) vektorok komplementarisak, vagyis xi si(x) = 0 teljesul, barmelyi index eseten. Jelolje

F∗ := {x∗ ∈ F : qTx∗ ≤ qTx, ∀x ∈ F} = {x∗ ∈ F : qTx∗ = 0} = {x∗ ∈ F : x∗ s(x∗) = 0},

az (SP ) feladat optimalis megoldasainak a halmazat.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 4: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Dualitas resDualitas res: xT s(x) = qTx, ahol az x ∈ F es s(x) = Mx + q.

Lemma. Legyen x es y az (SP ) feladat megengedett megoldasa. Az x es y vektorok akkor escsak akkor optimalisak, ha

x s(y) = y s(x) = x s(x) = y s(y) = 0.

Bizonyıtas. Mivel M ferden szimmetrikus, ezert

(x− y)T (s(x)− s(y)) = (x− y)T M(x− y) = 0, es ekkor xT s(y) + yT s(x) = xT s(x) + yT s(y),

amely pontosan akkor nulla, ha x,y ∈ F∗. Masfelol, tudjuk, hogy x,y ∈ F es ıgy xT s(y) ≥ 0es yT s(x) ≥ 0 teljesul. Figyelembeveve, az xT s(y) + yT s(x) = 0 osszefuggest

xT s(y) = eT (x s(y)) = 0 es yT s(x) = eT (y s(x)) = 0

kovetkezik. Tehat x s(y) = y s(x) = 0 adodik. •

Az (SP ) feladat optimalitasi kriteriumat a kovetkezo alakban is megadhatjuk

−Mx + s = q

x ≥ 0, s ≥ 0

x s = 0

(LCPSP ),

amelyet az (SP ) feladathoz tartozo linearis komplementaritasi feladatnak nevezunk.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 5: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Az (SP ) feladat szinthalmazai

Definıcio. Legyen x ∈ F∗. Ha az x + s(x) > 0 akkor az (x, s(x)) megoldas part szigoruankomplementarisnak nevezzuk, ahol s(x) = M x + q. •

Vezessuk be a megengedett belsopontos megoldasok halmazat

F0 := {x ∈ F : (x, s(x)) > 0}.

Belso pont (BP) feltetel: F0 6= ∅ ⇐⇒ letezik x ∈ F : (x, s(x)) > 0.

Vezessuk be eloszor a kovetkezo szinthalmazt

LK = {x ∈ F : xT s(x) ≤ K} = {x ∈ F : qTx ≤ K},

ahol K ∈ IR⊕ es barmely w ∈ IRn+ vektor eseten az alabbi altalanosıtott szinthalmazt

Lw = {(x, s) ∈ IR2n⊕ : s = Mx + q es x s ∈ (w − IRn

⊕)}

is. Nyilvanvalo, hogy ha az (x, s) ∈ Lw teljesul, akkor x s ≤ w.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 6: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Lemmak

1. Lemma. Legyen adott az (SP ) feladat es tegyuk fel, hogy F0 6= ∅. Ekkor barmely K ∈ IR,K > 0 szam eseten az LK szinthalmaz korlatos es zart, azaz kompakt.

Bizonyıtas. Ket eset lehetseges: LK = ∅ illetve LK 6= ∅. Az elso eset trivialis.A F0 6= ∅ azaz x ∈ F : (x, s(x)) > 0 belso pont. Mivel az M matrix ferden szimmetrikus, ıgy

0 = (x− x)T M (x− x) = (x− x)T (s− s) = xT s + xT s− xT s− sT x,

ahol az x ∈ LK ⊆ F tetszoleges vektor es az s a hozzatartozo elteres vektor.Ebbol, az LK szinthalmaz definıcioja alapjan azt kapjuk, hogy

xj sj ≤ xT s + sT x = xT s + xT s ≤ K + xT s,

es ıgy az (x, s) > 0 belsopont feltetel miatt, barmely 1 ≤ j ≤ n indexre

xj ≤K + xT s

sj, hasonloan sj ≤

K + xT s

xj,

azaz az LK szinthalmaz korlatos. A zartsaga egyszeru kovetkezmenye a szinthalmaz masodikfelırasanak, azaz annak, hogy veges sok zart felter metszete. •

Megjegyzes. Az LK = ∅ esetrol kesobb megmutatjuk, hogy az F0 6= ∅ feltetel mellett nem allhatfenn. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 7: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Lemmak (folytatas)2. Lemma. Legyen adott az (SP ) feladat es tegyuk fel, hogy F0 6= ∅. Ekkor barmely w ∈ IRn

+,vektor eseten az Lw szinthalmaz korlatos es zart, azaz kompakt.

Bizonyıtas. Ha Lw = ∅ akkor igaz az allıtas.Legyen (x, s) ∈ Lw, azaz x ∈ F es x s ≤ w. Mivel M ferden szimmetrikus, ezert

(x− x)T (s− s) = 0, ahol x ∈ F0 es ekkor xT s + sT x = xT s + xT s, azazxj sj ≤ xT s ≤ xT s + xT s = eT (x s) + eT (x s) ≤ eT (w + w),

ahol w = x s. Ekkor barmely 1 ≤ j ≤ n index eseten

xj ≤eT (w + w)

sjilletve sj ≤

eT (w + w)

xj

teljesul, tehat az Lw szinthalmaz korlatos.

LegyenF := {(x, s) ∈ IR2 n : x ∈ F , es s = M x + q} ⊂ IR2 n

korlatos, zart halmaz es az f : IR2 n → IRn, f(x, s) = x s folytonos lekepezes. Ekkor az

f(F) ⊆ IRn⊕ zart halmaz es ıgy az f(F) ∩ (w − IRn

⊕) is zart,

tehat az oskepe Lw halmaz is zart. •

Megjegyzes. Az Lw = ∅ esetrol, szinten megmutatjuk, hogy a F0 6= ∅ feltetel mellett egyetlenegy w > 0 eseten sem fordulhat elo. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 8: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Lemmak (folytatas)

3. Lemma. Legyen adott az (SP ) feladat es tegyuk fel, hogy F0 6= ∅. Definialjuk a kovetkezohalmazt

G := {w ∈ IRn⊕ : ∃(x, s) ∈ F amelyre x s = w}.

Ekkor a G halmaz nem ures es zart.

Bizonyıtas. Mivel F0 6= ∅, ezert letezik (x, s) > 0 es x ∈ F0, tehat x s = w > 0, es ıgy w ∈ G.Azt kell belatni meg, hogy a G halmaz tartalmazza az osszes limeszpontjat is. Legyen w ≥ 0, ame-lyhez letezik wk ∈ G sorozat, ugy, hogy limk→∞wk = w. Legyen tovabba w olyan, hogy w > wk

teljesul, barmely k indexre es w > w is igaz. Az elozo lemma es az Lw szinthalmaz konstrukciojaalapjan, Lw nem ures es kompkat halmaz. Tovabba, tegyuk fel, hogy letezik (xk, sk) ∈ Lw, ame-lyekre xk sk = wk. Az Lw halmaz kompaktsaga miatt, az altalanossag korlatozasa nalkul felteheto,hogy limk→∞(xk, sk) = (x, s).Figyelembe veve a szorzas folytonossagat es a pontsorozatok definıciojat kapjuk, hogy

x s = limk→∞

xk sk = limk→∞

wk = w,

azaz a G halmaz zart, mert tartalmazza a limeszpontjait. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 9: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

TetelTetel. Legyen adott az (SP ) feladat es tegyuk fel, hogy F0 6= ∅. Ekkor barmely w ∈ IRn

+, vektoreseten az Lw szinthalmaz nem ures.

Bizonyıtas. A 2. Lemma szerint az Lw halmaz kompkat. Indirekt modon tegyuk fel, hogy letezikegy w ∈ IRn

+, vektor, amelyre Lw = ∅.Az F0 6= ∅, azaz ∃ x ∈ F0 : w = x s > 0. Ekkor az Lw 6= ∅ kompakt halmaz.Legyen w′ > w es w′ > w. Ekkor az A := {w ∈ IRn

⊕ : eTw ≤ eTw′} nem ures es kompakthalmaz. Tovabba az A ∩ G halmaz is nem ures es kompakt. Definialjuk az f : A ∩ G → IRn

⊕fuggvenyt a kovetkezo kifejezessel

fi(w) :=

0, ha wi ≤ wi

wi − wi, kulonben

Az ‖f(.)‖∞ folytonos fuggveny, hiszen a norma es az f is folytonos fuggvenyek. Ekkor aWeirstrass–tetele miatt, letezik

γ = ‖f(w)‖∞ = minw∈A∩G

‖f(w)‖∞ ≤ ‖f(w)‖∞.

Mivel az Lw = ∅ (indirekt felteves), ezert γ = ‖f(w)‖∞ > 0.Ha intT (w, w) 6= ∅ akkor letezik α ∈ (0, 1), amelyre x+ = x + α ∆x es s+ = s + α ∆s olyanvektorok, amelyekre w+ = x+ s+ ∈ intT (w, w), azaz‖f(w+)‖∞ < ‖f(w)‖∞ = γ

ami ellentmond a Weirstrass–tetelnek.Ha intT (w, w) = ∅ akkor legyen w∗ ∈ Bγ/3(w) ∩ intT (0, w) vektor, amely eseten intT (w∗, w) 6=∅ es megismetelhetjuk az elozo gondolatmenetet. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 10: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Az (SP ) feladat optimalis megoldas halmazarol

Kovetkezmeny. Legyen adott az (SP ) feladat. Az F∗ halmaz nem ures, konvex polieder. Sot, haaz F0 6= ∅ akkor az F∗ halmaz kompakt is.

Bizonyıtas. Legyen wi ∈ IRn⊕ es wi > wi+1, valamint limi→∞ wi = 0. Ekkor

Lwi+1 ⊂ Lwi

teljesul. EbbolF∗ = L0 = ∩∞i=1 Lwi

adodik, azaz az F∗ halmaz zart es mivel F∗ ⊆ Lwi kovetkezik barmely i indexre, ezert korlatos is.Tehat az F∗ kompakt halmaz is. •

Allıtas. Legyen adott az (SP ) feladat es tegyuk fel, hogy F 6= ∅. Ekkor az alabbi allıtasokekvivalensek:

(i) az F0 6= ∅

(ii) az Lw kompakt, nem ures halmaz;

(iii) az LK kompakt, nem ures halmaz;

(iv) az F∗ kompakt, nem ures halmaz. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 11: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A Newton lepes es tulajdonsagaiLegyen adott (x, s) > 0, melyre s = M x + q. Celunk, hogy adott w > 0 vektorra meghatarozzuka (4x, 4s) lepest ugy, hogy

M (x +4x) + q = s +4s

(x +4x) (s +4s) = w.

Sot, azt is szeretnenk biztosıtani, hogy x + 4x > 0 es s + 4s > 0, teljesuljon. Ekkor a(∆x, ∆s) ismeretlenekre vonatkozoan a kovetkezo egyenletrendszert kapjuk

M ∆x = ∆s

x∆s + s∆x + ∆x∆s = w − x s

egyenletrendszerre redukalodik, amely meg mindig nemlinearis. A masodrendu ∆x∆s tag elha-gyasaval a

M ∆x− ∆s = 0

S ∆x + X ∆s = w − x s

Newton egyenletrendszer adodik, ahol X = diag(x) es S = diag(s) pozitıv diagonalis matrixok.Ez mar egy linearis egyenletrendszer, amelynek a matrixa

M =

M −I

S X

∈ IR2n×2n

alaku, mıg az egyenlet, a ∆s = M ∆x behelyettesıtese utan

(S + X M) ∆x = w − x s

lesz.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 12: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Newton–rendszer megoldhatosagaAllıtas. Legyenek ax X, S, I, M ∈ IRn×n matrixok. Az X es S pozitıv diagonalisak, az I egyseg,mıg az M ferden szimmetrikus matrix. Ekkor az M matrix regularis, tehat a Newton egyenle-trendszer megoldasa egyertelmu.

Bizonyıtas. Indirekt, azaz tegyuk fel, hogy az M matrix szingularis. Ez azt jelenti, hogy letezikz ∈ IR2n : M z = 0, de z 6= 0.

Legyen z = (u, v) alaku, es ekkor az M z = 0 egyenletet

M u− I v = 0

S u + X v = 0

alakban ırhatjuk. Ekkor nyilvan v = M u lesz.

Mivel a z 6= 0 vektor, ezert nyilvan az u 6= 0 osszefugges is teljesul, vagyis letezik olyan 1 ≤ i ≤ nindex, amelyre ui 6= 0. Figyelembe veve, az S es X matrixok diagonalitasat si ui + xi vi = 0teljesul, barmely i indexre. Mivel az xi > 0 es az si > 0, ezert, ha ui = 0 akkor vi = 0 teljesul,viszont, ha ui 6= 0 akkor

−vi

ui=

si

xi> 0

teljesul, azaz az ui es vi elojele kulonbozo. Az M matrix ferden szimmetrikussaga miatt

0 = uT M u = uTv =n∑

i=1

ui vi < 0,

ellentmondas adodik, tehat az M matrix regularis. Ekkor a Newton-egyenletnek is egyertelmumegoldasa van, es, ıgy az S + X M matrix is invertalhato. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 13: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Newton iranyokA ∆x es ∆s, Newton iranyok az alabbi formaban adhatok meg

∆x = (S + X M)−1 (w − x s) es ∆s = M (S + X M)−1 (w − x s). (1)

Miutan a Newton iranyban egy α lepeshosszu lepest teszunk, az uj (x+, s+) megoldasra a kovet-kezo kifejezest kapjuk:

x+s+ := (x + α∆x)(s + α ∆s) = x s + α (x∆s + s∆x) + α2 ∆x∆s = x s + α (w− x s) + α2 ∆x∆s.

Ez az osszefugges vilagossa teszi, hogy az x s vektor lokalis megvaltozasat a w − x s vektorhatarozza meg.

Allıtas. Legyen az M ferden szimmetrikus matrix es x ∈ F0, azaz (x, s(x)) > 0. Legyen tovabba,w ∈ IRn, w > 0 es w = x s(x). Definialjuk a

T (w, w) = {u ∈ IRn : wi ≤ ui ≤ wi vagy wi ≤ ui ≤ wi, ∀ i }

tegla halmazt. Ha int T (w, w) 6= ∅ akkor letezik α ∈ (0, 1) es (∆x, ∆s) ugy, hogy az

x+ := x + α∆x, s+ := s + α ∆s, w+ := x+s+

es w+ ∈ int T (w, w), valamint x+ ∈ F0 teljesul.

Bizonyıtas. Az int T (w, w) 6= ∅ feltetel miatt w −w 6= 0 es ıgy a (1) kepletek miatt, a ∆x es ∆svektoroknak nem lehet minden komponense nulla.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 14: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Az allıtas bizonyıtasaAz α > 0 szamot ugy kell meghatarozni, hogy

x+ := x + α∆x > 0 es s+ := s + α ∆s > 0 (2)

teljesuljon, hiszen ekkor x+ ∈ F0, tovabba azt szeretnenk, hogy legyen w+ ∈ int T (w, w), ehhezpedig az kell, hogy barmely 1 ≤ i ≤ n index eseten

min{wi, wi} < w+i = x+

i s+i < max{wi, wi} (3)

egyenlotlensegek teljesuljenek. Vilagos, hogy az (2) egyenlotlensegek teljesulese a ∆x es ∆svektorok koordinatainak az elojeletol fugg.

Ha 4xi ≥ 0 akkor barmely α > 0 eseten x+i = xi + α4xi > 0 adodik. Ezzel szemben, ha 4xi < 0

akkor α ≤ α1 := min

{− xi

4xi: 4xi < 0

}. Hasonloan α ≤ α2 := min

{− si

4si: 4si < 0

}.

A (3) egyenlotlensegek teljesulesenek az elemzesekor szuksegunk lesz a kovetkezo ket index hal-mazra Iw := {i : wi < wi} es Iw := {i : wi < wi}.

Amikor az i ∈ Iw akkor azt szeretnenk, hogy wi < w+i < wi teljesuljon, azaz

wi < w+i = x+

i s+i = (xi + α4xi) (si + α4si) = wi + α (wi − wi) + α24xi4si.

Figyelembe veve az α > 0 osszefuggest, a kovetkezo korlatot kapjuk

α ≤ α3 := mini∈Iw

{− wi − wi

4xi4si: 4xi4si < 0

}.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 15: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Bizonyıtas folytatasaAmennyiben a w+

i < wi egyenlotlenseget vizsgaljuk akkor

wi > w+i = x+

i s+i = (xi + α4xi) (si + α4si) = wi + α (wi − wi) + α24xi4si,

adodik es ezt tovabb alakıtva a

0 < (wi − wi)− α (wi − wi)− α24xi4si

egyenlotlenseget kapjuk, amely az α ismeretlenben masodfoku. Ha a 4xi4si ≤ 0 akkor barmelyα ∈ (0, 1) eseten, az elozo egyenlotlenseg teljesul. Az ellenkezo esetben, amikor 4xi4si > 0akkor

α ≤ α4 := mini∈Iw

{−

(wi − wi)−√

(wi − wi)2 + 4 (wi − wi)4xi4si

24xi4si: 4xi4si > 0

}.

Hasonloan elemezheto ki az i ∈ Iw eset is. Ekkor az

α ≤ α5 := mini∈Iw

{(wi − wi)−

√(wi − wi)2 − 4 (wi − wi)4xi4si

24xi4si: 4xi4si < 0

}

illetve α ≤ α6 := mini∈Iw

{− wi − wi

4xi4si: 4xi4si > 0

}.

Legyen az α∗ := min{1, α1, α2, . . . , α6} es ekkor barmely α ∈ (0, α∗) lepeshossz eseten

x+ ∈ F0 es w+ ∈ int T (w, w) teljesul. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 16: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Centralis utAz (SP ) feladat optimalitasi kriteriumanak a relaxaltja

−Mx + s = q

x ≥ 0, s ≥ 0

x s = µ e, µ > 0

Definıcio. Az alabbi halmazt

C := {(x(µ), s(x(µ))) : x(µ) ∈ F0, x(µ) s(µ) = µ e, valamely µ > 0}

az (SP ) feladat centralis utjanak nevezzuk. •

Segedtetel. Legyen M ∈ IRn×n egy ferden szimmetrikus matrix. Ekkor minden z ∈ IRn \ {0}letezik olyan j index, melyre zj 6= 0 es zj(Mz)j ≥ 0.

Bizonyıtas. Indirekt tegyuk fel, hogy letezik olyan z 6= 0, hogy minden j-re, amelyre zj 6= 0,zj(Mz)j < 0. Ez esetben

0 = zT Mz =n∑

j=1

zj(Mz)j =∑

j:zj 6=0

zj(Mz)j < 0 ,

ami nyilvanvalo ellentmondas. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 17: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A centralis ut letezesenek a felteteleTetel. Legyen adott az (SP ) feladat es tegyuk fel, hogy F 6= ∅. Ekkor a kovetkezo allıtasokekvivalensek:

(i) F0 6= ∅

(ii) ∀w ∈ IRn+ eseten ∃! (x, s) > 0 : Mx + q = s es xs = w

(iii) ∀µ > 0 eseten ∃! (x, s) > 0 : Mx + q = s es xs = µe

Bizonyıtas. Az (iii) az (ii) allıtas specialis esete, ıgy (ii) ⇒ (iii).A (iii) feltetelbolbol kovetkezik (i) ugyanis x(µ) s(µ) = µ e eseten x(µ) ∈ F0 teljesul.Az (i) ⇒ (ii) implikaciot indirekt bizonyıtjuk. Tegyuk fel, hogy ∃w ∈ IRn

+ : @x ∈ F0 ess = M x+q, amire teljesulne w = x s. Mivel teljesul a belso pont feltetel, Lw 6= ∅ es kompakt.Legyen f : Lw → IR+ fuggveny, f(x, s) = xT s. Az indirekt feltevesunk miatt

f(x, s) = xT s < eT w, minden (x, s) ∈ Lw.

Az f folytonos fuggveny, ıgy Weierstrass tetele miatt felveszi a maximumat az Lw kompakthalmazon:

eT w = xT s = f(x, s) = max(x,s)∈Lw

f(x, s) = max(x,s)∈Lw

xT s < eT w, (4)

ahol w := x s es w ≤ w, de w 6= w az indirekt feltevesunk miatt.

Ket eset lehetseges:1. Ha intT (w, w) 6= ∅ akkor ∃w+ ∈ T (w, w) : w < w+ < w es w+ = x+ s+, ahol x+ ∈ F0.

Igy eT w < eTw+, ez ellentmond a (4) egyenlotlensegnek hiszen (x+, s+) ∈ Lw.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 18: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Tetel bizonyıtasa (2. eset)2. Ha intT (w, w) = ∅, akkor legyen δ := eT (w − w) > 0 es definialjuk

w ∈ IRn+ : w > w > w − δ

ne.

Ekkor a w valasztasi szabalya miatt T (w, w) 6= ∅, azaz letezik w+ ∈ T (w, w) ugy, hogyw+ = x+ s+, x+ = x + α ∆x, s+ = s + α ∆s, ahol x+ ∈ F0 es α ∈ (0, 1). A tovabbiakbanmegmutatjuk, hogy eTw+ > eT w, ami ellentmondas (4) miatt. Felhasznalva a ∆x, ∆s vektorokortogonalitasat, illetve az s∆x + x∆s = w − x s egyenloseget a kovetkezot kapjuk:

eT (w+−w) = xT s+α (sT ∆x+xT ∆s)+α2 (∆x)T ∆s−xT s = α (sT ∆x+xT ∆s) = α eT (w−w) (5)

es a w definıcioja miatt w − w > (w − w) − δn e, ıgy eT (w − w) > eT (w − w) − δ

n eTe =

δ − δ = 0. A (5) egyenloseget figyelembe veve: eTw+ > eT w, amit igazolni szerettunk volna,azaz ellentmondasra jutottunk.A fentiekben belattuk, ∀w ∈ IRn

+ eseten ∃(x, s) > 0 : Mx + q = s, w = x s.

Egyertelmuseg igazolasa: tegyuk fel hogy w ∈ IRn+ vektornak letezik ket kulonbozo eloallıtasa,

azaz letezik (x1, s1) > 0 es (x2, s2) > 0, ugy, hogy

Mx1 + q = s1, w = x1 s1 es Mx2 + q = s2, w = x2 s2, tovabba (x1, s1) 6= (x2, s2).

Legyen z = x1 − x2 6= 0. A segedtetel alapjan letezik j index, ugy, hogy

x1j 6= x2

j es 0 ≥ (x1j − x2

j)(M(x1 − x2))j = (x1j − x2

j)(s1j − s2

j).

Felteheto, hogy x1j > x2

j (a masik eset hasonloan bizonyıthato), ıgy s1j > s2

j . Mivel x1js

1j = wj =

x2js

2j , ezert

1 <x1

j

x2j

=s2j

s1j

⇒ s1j < s2

j ami ellentmond az elobbi feltevesunknek. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 19: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A centralis ut tulajdonsagaiTetel. Legyen adott az (SP ) feladat, melyre teljesul a belso pont feltetel. Ekkor letezik (x∗, s∗) azalabbi tulajdonsagokkal:

(1) (x∗, s∗) = limµ→0 (x(µ), s(µ))

(2) x∗ ∈ F∗

(3) Goldmann-Tucker tetel. (x∗, s∗) szigoruan komlementaris megoldas.

Bizonyıtas. Legyen µk → 0 (k = 1, 2, . . . ) egy monoton csokkeno sorozat. Ekkor barmely kindexre fennall, hogy (x(µk), s(µk)) ∈ Lw0 , ahol w0 = x0s0. Mivel az Lw0 halmaz kompakt,letezik a sorozatnak legalabb egy (x∗, s∗) torlodasi pontja. Az altalanossag korlatozasa nelkulfelteheto, hogy (x∗, s∗) = limk→∞ (x(µk), s(µk)).

A masodik allıtas nyilvanvalo, ugyanis x∗s∗ = limk→∞ x(µk) s(µk) = limk→∞ µk e = 0.

A (3) allıtast igazoljuk. Legyen x ∈ IRn⊕ es jelolje σ(x) = {i : xi > 0} az x vektor tartojat.

Felhasznalva az M matrix ferden szimetrikussagat

0 = (x∗ − x(µ))T (s∗ − s(µ)) = (x∗)T s∗ + x(µ)T s(µ)− (x∗)T s(µ)− (s∗)Tx(µ)

egyenlet adodik. Figyelembe veve a masodik allıtast es az x(µ)i s(µ)i = µ osszefuggest

µ n = (x∗)T s(µ) + (s∗)Tx(µ) =∑

i : x∗i >0

x∗i (s(µ))i +∑

i : s∗i >0

s∗i (x(µ))i

n =∑

i : x∗i >0

x∗i(s(µ))i

µ+∑

i : s∗i >0

s∗i(x(µ))i

µ=

∑i : x∗i >0

x∗i(x(µ))i

+∑

i : s∗i >0

s∗i(s(µ))i

Hataratmenettel, amikor µ → 0 akkor |σ(x∗)|+ |σ(s∗)| = n ami csak ugy teljesulhet, ha az (x∗, s∗)egy szigoruan komplementaris megoldas. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 20: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Optimalis partıcio, analitikus centrum

Definıcio. Legyen B : = {i : xi > 0, valamely x ∈ F∗ eseten}N : = {i : s(x)i > 0, valamely x ∈ F∗ eseten}

Ekkor az indexeknek a (B, N) felbontasat optimalis partıcionak nevezzuk. •

Allıtas. Legyen adott az (SP ) feladat, es tegyuk fel, hogy teljesul a belso pont feltetel. EkkorI = {1, 2, . . . , n} indexhalmaznak a (B, N) valoban partıcioja.

Bizonyıtas. B ∪ N = I, mert az elozo tetel miatt letezik (x∗, s∗) szigoruan komplementaris me-goldas. A B ∩ N = ∅ is teljesul, az optimalis megoldasok komplementaritasat targyalo lemmaalapjan. •

Definıcio. Jelolje x ∈ F∗, s = s(x) azon vektorokat, melyek maximalizaljak a∏i∈B

xi

∏i∈N

si

szorzatot az F∗ optimalis halmazon. Ekkor az x vektort az F∗ optimalis halmaz analitikus cen-trumanak nevezzuk. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 21: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Sonnevend–tetel (1985)

Tetel. Legyen a centralis ut hatarpontja (x∗, s∗). Ekkor x∗ az F∗ halmaz analitikus centruma.

Bizonyıtas. Legyen x ∈ F∗ tetszoleges, es s = s(x). Induljunk ki a

0 = (x− x(µ))T (s− s(µ)) ,

osszefuggesbol. A centralis ut tulajdonsagaival foglalkozo tetel bizonyıtasaban leırtakhoz ha-sonloan az alabbi osszefuggesre jutunk:∑

i∈B

xi

x∗i+∑i∈N

si

s∗i= n.

Mivel x∗i > 0 ∀i ∈ B es s∗i > 0 ∀i ∈ N , alkalmazhatjuk a szamtani–mertani kozep koztiegyenlotlenseget: (∏

i∈B

xi

x∗i

∏i∈N

si

s∗i

) 1n

≤ 1

n

(∑i∈B

xi

x∗i+∑i∈N

si

s∗i

)= 1.

Igy ∏i∈B

xi

∏i∈N

si ≤∏i∈B

x∗i∏i∈N

s∗i •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 22: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Az optimalis megoldashalmaz jellemzese

Az x ∈ F vektorra pontosan akkor igaz, hogy x ∈ F∗, ha az xN = 0 es sB = 0 teljesul.

Tetszoleges x ∈ F∗ optimalis megoldasra fennall az

x s(x) = 0 es x + s(x) ≥ 0

osszefugges. Definialjuk az (SP ) feladat kondıcioszamat, amely az F∗ optimalis halmazon anemnulla koordinatak nagysagrendjet jellemzi, azaz

σxSP =

mini∈B

maxx∈F∗

{xi}, ha B 6= ∅

+∞, kulonbenes σs

SP =

mini∈N

maxx∈F∗

{si}, ha N 6= ∅

+∞, kulonben

Az (SP ) feladat kondıcioszama: σSP := min{σxSP , σs

SP} = mini∈B∪N

maxx∈F∗

{xi + si}

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 23: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Egy segedallıtasAz x ∈ IRn tartoja a supp(x) = {j ∈ I : xj > 0} halmaz, ahol I = {1, 2, . . . , n}.

Lemma. Tekintsuk a kovetkezo megengedettsegi feladatot

M = {x ∈ IRn : Ax = b, x ≥ 0},

ahol az A ∈ IRm×n matrix es a b ∈ IRm,b 6= 0 vektor es tegyuk fel, hogy M 6= ∅ halmaz es azA matrixnak nincsen azonosan nulla oszlopa. Legyen x ∈ M olyan vektor, amely eseten supp(x)minimalis. Ekkor az

{aj : j ∈ supp(x)} = {aj : xj > 0, j ∈ I}

vektor rendszer elemei linearisan fuggetlen vektorok.

Bizonyıtas. Indirekt, tegyuk fel, hogy az {aj : j ∈ supp(x)} vektorok linearisan osszefuggok.Mivel az x 6= 0 vektor, ezert a supp(x) > 0. Ekkor letezik z ∈ IRn, z 6= 0, ugy, hogy∑

j∈supp(x)

zj aj = 0 es zk = 0, ha k 6∈ supp(x), azaz A z = 0.

Nyilvan x + ε z ∈M, barmely ε ∈ IR eseten. Sot, megvalaszthato az ε > 0 ugy, hogy

supp(x + ε z) = supp(x) legyen, es xj + ε zj > 0, ha j ∈ supp(x).

Mivel a z 6= 0, ezert letezik j ∈ supp(x) ugy, hogy zj < 0, vagy zj > 0. Ekkor pedig az

ε = min

{−

xj

zj: zj < 0

}> 0

(ε = max

{−

xj

zj: zj > 0

}< 0

)eseten a supp(x + ε z) < supp(x) ellentmond annak feltevesnek, hogy a supp(x) minimalis. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 24: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Kondıcioszam becslesere szolgalo lemmaLemma. Tekintsuk a kovetkezo megengedettsegi feladatot

M = {x ∈ IRn : Ax = b, x ≥ 0},

ahol az A ∈ ZZm×n matrix es b ∈ ZZm,b 6= 0 vektor. Legyen az M halmaz korlatos es tegyuk fel,hogy van szigoruan pozitıv vektora. Ekkor barmely i ∈ I index eseten

maxx∈M

xi ≥1

n∏j=1

‖aj‖.

Bizonyıtas. Az M halmaz korlatos, ezert az A matrixnak nem lehet azonosan nulla oszlopa.

Ket eset lehetseges: 1. eset: rang(A) = m (ıgy szuksegkeppen m ≤ n).Az M halmaz korlatossagat es belsopont letezeset is figyelembe veve, barmely rogzıtett i ∈ Iindex eseten letezik x ∈M ugy, hogy

xi = maxx∈M

xi > 0.

Az altalanossag korlatozasa nelkul felteheto, hogy x bazis megoldas, es jelolje B a bazismatrixot. Ekkor a Cramer-szabaly miatt

xi =det(Bi)

det(B)> 0,

ahol a Bi matrixot a B matrixbol ugy nyertuk, hogy az i. valtozohoz tartozo oszlop helyere a bvektort raktuk be. Az xi > 0 feltetel es az egeszerteku adatok miatt |det(Bi)| ≥ 1. Masfelol

det(B) ≤ |det(B)| ≤∏

j∈supp(x)

‖aj‖ ≤n∏

j=1

‖aj‖

egyenlotlensegeket nyerjuk, a Hadamard-egyenlotlenseg alkalmazasaval.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 25: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Lemma (bizonyıtas folytatasa)Az eddigiek alapjan

maxx∈M

xi = xi =det(Bi)

det(B)=|det(Bi)||det(B)|

≥ 1

|det(B)|≥ 1

n∏j=1

‖aj‖.

2. eset: q = rang(A) < m.

A redundans feltetelek elhagyasaval egy A′ ∈ ZZq×n, b′ ∈ ZZq feladatot kapunk, ahol a matrixunkmar teljes rangu, azaz az elso esethez jutottunk. Vegyuk eszre, hogy

‖a′j‖ ≤ ‖aj‖ (j = 1, 2, . . . , n),

ıgy a masodik esetben is igaz az allıtasunk. •

Tetel. Legyen adott az (SP ) feladat, melyre teljesul a belso pont feltetel. Ha az M matrix es a qvektor racionalis erteku, akkor az (SP ) feladat kondıcioszamara a kovetkezo also becsles teljesul:

σSP ≥ 1n∏

j=1‖mj‖

Bizonyıtas. Tegyuk fel, hogy a (B, N) partıciot ismerjuk, ekkor sB

sN

=

MBB MBN

MNB MNN

xB

xN

+

qB

qN

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 26: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Tetel bizonyıtasa (folytatas)Legyen x ∈ F∗, azaz qTx = 0, sot az (x, s) szigoruan komplementaris megoldas par. Tovabbafelhasznalva a (B, N) partıcio definıciojat (xN = 0) kapjuk, hogy qT

BxB = 0. Figyelembe vevea szigoru komplementaritast xB > 0, ıgy szuksegszeruen qB = 0. Ezeket felhasznalva a fentirendszerunk a kovetkezo alaku: 0

sN

=

MBB MBN

MNB MNN

xB

0

+

0

qN

0

sN

=

MBBxB

MNBxB + qN

Tehat MBB 0BN

MNB −INN

xB

sN

=

0B

−qN

xB ≥ 0, xN = 0, sB = 0, sN ≥ 0

Az utobbi rendszer eppen az F∗ leırasa, ami nem ures es tartalmaz szigoruan komplementarismegoldast, ıgy az

A =

MBB 0BN

MNB −INN

, y =

xB

sN

, b =

0B

−qN

valasztassal alkalmazhatjuk az elozo lemmat. Tehat

maxx∈F∗

xi ≥1∏

j∈B‖mj‖

, barmely i ∈ B, es maxx∈F∗

si ≥1∏

j∈B‖mj‖

, barmely i ∈ N.

Ebbol kovetkezik, hogy σSP ≥ 1∏j∈B

‖mj‖≥ 1

n∏j=1

‖mj‖•

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 27: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A valtozok merete a centralis ut mentenLemma. Barmely (x(µ), s(µ)) ∈ C, µ > 0 eseten igazak az alabbi egyenlotlensegek:

xi(µ) ≥σSP

ni ∈ B, xi(µ) ≤ nµ

σSP

i ∈ N,

si(µ) ≤ nµ

σSP

i ∈ B, si(µ) ≥σSP

ni ∈ N.

Bizonyıtas. Legyen x∗ ∈ F∗ tetszoleges. Ekkor az ortogonalitasi tulajdonsag miatt

(x(µ)− x∗)T (s(µ)− s∗) = 0, azaz x(µ)T s∗ + s(µ)Tx∗ = n µ.

Amibol kovetkezik az xi(µ) s∗i ≤ x(µ)T s∗ ≤ n µ, 1 ≤ i ≤ n.

Mivel s∗i ≥ σ es xi(µ) si(µ) = µ, minden i ∈ N eseten, ıgy

xi(µ) ≤ nµ

s∗i≤ nµ

σSP

es si(µ) ≥σSP

n, i ∈ N.

A tobbi korlat hasonloan bizonyıthato. •

Definıcio. Legyen (x(µ), s(µ)) ∈ C, µ > 0. Ekkor az xi(µ) koordinatat nagynak mondjuk, ha i ∈ B,illetve az si(µ) koordinatat nagynak mondjuk, ha i ∈ N . Ellenkezo esetben kicsinek nevezzuk. •

Kovetkezmeny. Ha µ < σ2SP

n2 centralis ut parameterhez ismert egy (x(µ), s(µ)) ∈ C megoldas,akkor meghatarozhatjuk a (B, N) partıciot.Bizonyıtas. A megadott µ ertek mellett nµ

σ < σn teljesul, ıgy a kovetkezo szetosztas egyertelmu es

megfeleloB := {i : xi(µ) ≥

σSP

n} es N := {i : si(µ) ≥

σSP

n} •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 28: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Ket lemma

Lemma. Legyen a D ∈ IRn×n pozitıv definit, es az M ∈ IRn×n ferden szimmetrikus matrix.Ekkor a D + M es az I + DMD pozitıv definit matrixok.

Bizonyıtas. Barmely x ∈ IRn, x 6= 0 vektor eseten az

xT (D + M)x = xT D x + xT M x = xT D x > 0, es

xT (I + DMD)x = xTx + xT DMD x = xTx + (xT D) M (D x) = xTx > 0. •

Lemma. Legyenek A, B ∈ IRn×n pozitıv definit matrixok. Ekkor az A−1B ∈ IRn×n is pozitıvdefinit matrix.

Bizonyıtas. Legyen A−1B matrix λ sajatertekehez tartozo sajatvektora q ∈ IRn, azaz A−1Bq = λq.Ekkor Bq = λAq . Szorozzuk meg balrol qT vektorral, adodik a

qT Bq = λqT Aq

Mivel A es B pozitıv definit, es q 6= 0, ezert qT Aq > 0 illetve qT Bq > 0 es ıgy

λ =qT Bq

qT Aq> 0 •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 29: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Csokkenesi irany meghatarozasaTekintsunk az (SP ) feladatot, es legyen x ∈ F0, s = s(x) > 0. Keressuk a (∆x, ∆s) ∈ IR2n:

−M∆x + ∆s = 0

x + ∆x, s + ∆s ≥ 0

Szeretnenk ha: 1. x+ = x + ∆x > 0 es s+ = s + ∆s > 0, es 2. csokkenjen a dualitasres is. Az ujdualitasres erteke:

qTx+ = (x+)T s+ = (x + ∆x)T (s + ∆s) = xT s + sT ∆x + xT ∆s + (∆x)T ∆s =

= xT s + sT ∆x + xT ∆s = qTx + sT ∆x + xT ∆s.

A dualitasres csokkenesenek a feltetele az, hogy qTx+ < qTx, azaz sT ∆x + xT ∆s < 0. Ebbenaz esetben, azt mondjuk, hogy a (∆x, ∆s) ∈ IR2n csokkenesi irany. A csokkenesi irany kereseset,mint optimalizalasi (linearis programozasi) feladat is megfogalmazhatjuk

min {sT ∆x + xT ∆s}

−M∆x + ∆s = 0

x + ∆x ≥ 0 , s + ∆s ≥ 0

(IF )

Az (IF ) az eredeti feladattal azonos feladatosztalyba tartozik !

Dikin (1967) otlete: Keressunk egy konnyebben megoldhato feladatot, amely valamekkora dua-litasrescsokkenest azert biztosıt. Tegyuk ezt ugy, hogy a pozitivitasi megkotest ”relaxaljuk”. Akozelıtest egy (konvex) zart ellipszoiddal kepzeli el.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 30: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Dikin–ellipszoidDikin–ellipszoid: ED := { (x + ∆x, s + ∆s) ∈ IR2n :

∥∥∥∥∆x

x+

∆s

s

∥∥∥∥ ≤ 1}

F0s := {(x, s) ∈ IR2n : x ∈ F0 , s > 0}

Ekkor F0s ∩ ED 6= ∅, mert (x, s) ∈ F0

s ∩ int ED . Belathato, hogy F0s ∩ ED 6= ∅ kompakt halmaz.

Legyen (x, s) ∈ F0s ∩ ED, ekkor

1 ≥∥∥∥∥∆x

x+

∆s

s

∥∥∥∥ =

∥∥∥∥s∆x + xM∆x

xs

∥∥∥∥ = ‖(XS)−1(S + XM)∆x‖ = ‖S−1(X−1S + M)∆x‖.

Az S−1(X−1S + M) pozitıv definit matrix, ezert az f(∆x) = ‖S−1(X−1S + M)∆x‖ szigoruankonvex, kvadratikus fuggveny, azaz {∆x ∈ IRn : ‖S−1(x−1S + M)∆x‖ ≤ 1} 6= ∅ kompakt halmaz.Az (IF) feladat relaxalhato a kovetkezo modon:

min {sT ∆x + xT M∆x}

‖S−1(X−1S + M)∆x‖ ≤ 1

(IF )

Az (IF ) linearis celfuggveny minimalizalasa (szigoruan) konvex, kompakt, nemures halmaz felett,es ıgy a Weierstrass tetele miatt letezik optimalis megoldasa. Az (IF ) helyett tekinthetjuk az

min {sT ∆x + xT ∆s}

−M∆x + ∆s = 0∥∥∆xx + ∆s

s

∥∥ ≤ 1

(SF ) feladatot.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 31: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A segedfeladat atskalazasa

Legyen µ :=xT s

n, d :=

√x

s, u :=

√xs

µ.

Ekkor√

xs =√

µu es d−1x =√

µu = ds. Vezessuk be a px es ps vektorokat ugy, hogy

d−1∆x =√

µpx es d∆s =√

µps. Ekkor

∆x

x=

d−1∆x

d−1x=

õpxõu

=px

ues

∆s

s=

d∆x

dx=

õpsõu

=ps

uazaz

∆x

x+

∆s

s=

px + ps

u.

Bevezetve a p := px + ps jelolest p

u=

∆x

x+

∆s

s,

illetves∆x + x∆s = (sd)(d−1∆x) + (xd−1)(d∆s) =

√µu√

µpx +√

µu√

µps = µup

Tehat az (SF ) atskalazott alakja, rogzıtett µ parameter mellett

min µuTp

‖pu‖ ≤ 1

felhasznalva a p :=p

ubehelyettesıtest

min µ(u2)T p

‖p‖ ≤ 1

adodik.

A segedfeladat utolso alakja, egy linearis fuggveny minimalizazlasa, egy gomb felett, tehat letezikegyertelmu minimuma:

p = − u2

‖u2‖, azaz p = − u3

‖u2‖.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 32: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A (∆x, ∆s) csokkenesi irany meghatarozasa

0 = −M∆x + ∆s = −MD(D−1∆x) + D−1(D∆s) = −√µ (MD px −D−1ps),

tehat ps = DMD px, es ekkor p = px + ps = (I + DMD)px.

Mivel az I + DMD pozitıv definit matrix, ıgy

px = (I + DMD)−1p es ps = DMD(I + DMD)−1p.

Figyelembe veve a d−1∆x =√

µpx es d∆s =√

µps osszefuggeseket

∆x =√

µD(I + DMD)−1p es ∆s =√

µMD(I + DMD)−1p

adodik.

Feladat. Bizonyıtsa be, hogy a∆x = −(S + XM)−1 x2s2

‖x s‖.

Hasznalja fel a D matrix es a p vektor definıciojat. •

Az ıgy kapott (∆x, ∆s) vektort Dikin iranynak nevezzuk.

Ezt meglepve a dualitasres csokkenese:

µ(u2)T p = µ(u2)T (− u2

‖u2‖) = −µ

‖u2‖2

‖u2‖= −µ‖u2‖ = −µ

∥∥∥∥xs

µ

∥∥∥∥ = −‖xs‖.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 33: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Dikin–fele affin skalazasu algoritmusInput:megallasi parameter: ε > 0

lepes hossz parameter: α, 0 < α ≤ 1

indulo megoldas: x0 ∈ F0, s(x0) > 0,

kezdeti dualitasres: xT s.

BeginLegyen x := x0, s := s(x);

while xT s ≥ ε dobegin

∆x := −(S + XM)−1 x2s2

||x s|| ;

x := x + α ∆x, s := s(x);

Szamıtsuk ki az xT s dualitasrest;end

end.

centralitasi merteke: legyen x ∈ F0, s = s(x) > 0, definialjuk a

δ(x) =max(x · s(x))

min(x · s(x))=

maxu2

minu2≥ 1

szamot. A δ(x) = 1 pontosan akkor teljesul, ha x ∈ F0 : x s(x) = µ e.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 34: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Dualitas res csokkenesemegengedett α lepeshossz: ha az x + α∆x > 0, es s + α∆s > 0.

Lemma. Ha az α lepeshossz megengedett, akkor

(x+)T s+ ≤(

1− α√n

)xT s.

Bizonyıtas. Mivel az x+ = x + α ∆x = d√

µu + αd√

µpx =√

µd (u + αpx) ess+ = s + α ∆s =

√µd−1(u + αps), ezert az

x+s(x+) = (x + α ∆x) (s + α ∆s) = µ (u + αpx) (u + αps) = µ (u2 + α (px + ps)u + α2 px ps).

Figyelembe veve a p = px + ps = − u3

||u2||osszefuggest

x+s(x+) = µ (u2 − αu4

||u2||+ α2 px ps) adodik.

Mivel az α megengedett lepeshossz ezertu2 − α

u4

||u2||+ α2 px ps > 0.

Az M matrix ferden szimmetrikus, ezert pTx ps = eT (d−1 ∆xd∆s) 1

µ = 1µ(∆x)T ∆s = 0.

Szamıtsuk ki az uj dualitasresnek es a µ parameternek a hanyadosat

(x+)T s+

µ= eTu2 − α

eTu4

||u2||+ α2pT

x ps = ||u||2 − α ||u2||,

ahol figyelembe vettuk a px es ps vektorok ortogonalitasat.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 35: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A lemma bizonyıtasa

A Cauchy-Schwarz egyenlotlenseg alapjan

||u2|| = 1√n||e|| ||u2|| ≥ eTu2

√n

=||u||2√

n,

behelyettesıtve

(x+)T s+ = µ (||u||2 − α ||u2||) ≤ µ (1− α√n

) ||u||2 = (1− α√n

)xT s. •

Legyen τ > 1, τ ∈ IR es x ∈ F : δ(x) ≤ τ . Tovabba legyen u :=√

x sµ ekkor

δ(x) =maxu2

minu2≤ τ ⇐⇒ maxu2 ≤ τ minu2

osszefuggesbol kovetkezik, hogy letezik τ1, τ2 > 0 es τ2 = ττ1, amelyekre

τ1e ≤ u2 ≤ τ2e.

Allıtas. ‖px ps‖∞ ≤ 1

4‖px + ps‖2 =

‖p‖2

4

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 36: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Az allıtas igazolasaBizonyıtas. Irjuk fel a pxps szorzatot a kovetkezo alakban

pxps =1

4

((px + ps)

2 − (px − ps)2)

ekkor trivialis also es felso becslesek nyerhetok

−1

4(px − ps)

2 ≤ pxps ≤1

4(px + ps)

2.

Mivel a px es a ps vektorok ortogonalisak, ezert ‖px + ps‖2 = ‖px − ps‖2. A

pxps ≤1

4‖px + ps‖2e,

hiszen, barmely i indexre igaz a kovetkezo egyenlotlenseg

(px)i(ps)i ≤1

4((px)i + (ps)i)

2, tehat

maxi

((px)i(ps)i) ≤1

4

n∑i=1

((px)i + (ps)i)2, teljesul, ami ıgy is ırhato

‖pxps‖∞ ≤ ‖1

4‖px + ps‖2e‖∞ =

1

4‖px + ps‖2 =

‖p‖2

4,

ahol az utolso elotti egyenloseg a vegtelen norma definıcioja miatt teljesul, mıg az utolso a pvektor ertelmezese miatt igaz. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 37: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Feltetelek a lepeshossz megengedettsegereLemma. Legyen τ ∈ IR, τ > 1. Tegyuk fel, hogy x > 0, s := s(x) > 0,x ∈ F es δ(x) ≤ τ . Ekkorbarmely α lepeshossz amely kielegıti az

α ≤ ||u2||2τ2

es α <4τ1

||u2||

egyenlotlensegeket, megengedett lepeshossz es az x+ := x + α∆x vektorra δ(x+) ≤ τ .

Bizonyıtas. Mivelx+s(x+) = µ (u2 − α

u4

||u2||+ α2 px ps)

a baloldalon zarojelben levo elso ket tagjaban az u2 vektor helyett egy t valtozot ırva a

t 7→ t− αt2

||u2||

fuggvenyt nyerjuk. Az α ertekere kirott elso felsokorlat alapjan a fuggveny novekvo a t ∈ [0, τ2]intervallumon, mert az

f ′(t) = 1− 2αt

||u2||≥ 0 egyenerteku az α ≤ ||u2||

2t

feltetellel, amely igaz a lemmaban szerepelo elso felsokorlat miatt. Alkalmazzuk ezt a lekepezestaz u2 vektor minden komponensere, ekkor(

τ1 − ατ21

||u2||

)e ≤ u2 − α

u4

||u2||≤(

τ2 − ατ22

||u2||

)e, es ıgy

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 38: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A lemma bizonyıtasa (folytatas)

µ

((τ1 − α

τ21

||u2||

)e + α2pxps

)≤ µ

(u2 − α

u4

||u2||+ α2pxps

)≤ µ

(τ2 − α

τ22

||u2||+ α2pxps

)azaz x+s(x+) vektorra also es felso korlatot kaptunk. Nyivan, ha az α megengedett lepeshossz,akkor δ(x+) ≤ τ , azaz max (u+)2 ≤ τ min (u+)2, ehhez pedig elegendo belatni, hogy a kovetkezoegyenlotlenseg teljesul

τ

((τ1 − α

τ21

||u2||

)e + α2pxps

)>

(τ2 − α

τ22

||u2||

)e + α2pxps (A)

Masfelol, ha az elozo egyenlotlenseg teljesul akkor az α nyilvan megengedett lepeshossz. Mivela µ > 0, ezert az elozo egyenlotlenseg teljesulese eseten igaz a

τ

((τ1 − α

τ21

||u2||

)e + α2pxps

)>

(τ1 − α

τ21

||u2||

)e + α2pxps

es mivel τ > 1 es ezert tudjuk, hogy (τ1 − α

τ21

||u2||

)e + α2pxps > 0

azaz x+s(x+) nem tunhet el egyetlen olyan α ertekre sem, amely kielegıti a korlatokat, es ekkorα megengedett lepeshossz. Tehat azt kell megmutatni, hogy az α kielegıti az (A) osszefuggest.Azaz

ττ1e− αττ2

1

||u2||e + τα2pxps > τ2e− α

τ22

||u2||e + α2pxps,

teljesul, mivel τ2 = ττ1 ezert egyszerusıteni lehet a kifejezest es α > 0 miatt α szammal elosztvaaz egyenlotlenseg mindket oldalat a relacio iranya nem valtozik meg.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 39: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Bizonyıtas (vege)Atrendezes utan a kovetkezo egyenlotlenseget nyerjuk

τ22 − ττ2

1

||u2||e + α(τ − 1)pxps > 0.

A baloldali kifejezes elso osszegenek a szamlalojat atalakıthajuk az alabbi modon

τ22 − ττ2

1 = τ22 − τ1τ2 =

(τ2

τ1− 1

)τ1τ2 = (τ − 1)τ1τ2,

ahol az elso es az utolso azonossagnal a τ definıciojat hasznaltuk. Ekkor az elozo egyenlotlensegeteloszthatjuk (τ − 1) kifejezessel es az egyenlotlenseg iranya nem valtozik meg, mert τ > 1

τ1τ2e

||u2||+ αpxps > 0. (B)

Mivel a pTx ps = 0, ezert a pxps ≤ 0 nem lehet igaz. Az elozo Allıtas miatt

||pxps||∞ ≤ 1

4||px + ps||2 =

||p||2

4illetve ||p|| =

∥∥∥∥ u3

||u2||

∥∥∥∥ ≤ ||u||∞∥∥∥∥ u2

||u2||

∥∥∥∥ = ||u||∞ ≤√

τ2.

A (B) egyenlotlensegben szerepelo vektorok vegtelen normajat veve, tovabba alkalmazva az elozoket becslest, eloszor az alabbi egyenlotlenseget

τ1τ2

||u2||− α||p||2

4> 0, majd pedig a kovetkezo osszefuggest kapjuk

τ1τ2

||u2||− ατ2

4> 0,

amelyik ekvivalens az α ertekere adott masodik felsokorlattal. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 40: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Dikin–fele affin skalazasu algoritmus a ferden szimmetrikus feladatra

Tetel. Legyen τ := max(2, δ(x0)) es α = 1/(τ√

n). Ha n ≥ 2 akkor a Dikin–fele affin skalazasualgoritmus a ferden szimmetrikus linearis programozasi feladatot legfeljebb

dτn logqTx0

εe

lepesben megoldja. A megoldas x ∈ F , amelyre δ(x) ≤ τ es qTx ≤ ε.

Bizonyıtas. Az x0 ∈ F0 indulo megoldasra δ(x0) ≤ τ osszefugges teljesult. Az elozo lemmaalapjan a lepeshossz megvalaszthato ugy, hogy minden egyes lepesben az uj megoldas pozitıv,megengedett megoldas legyen es a centralitas merteke τ ertekenel kisebb maradjon. Azt kellmegmutatni, hogy a tetel felteteleiben megadott α ertek kielegıti a lemmaban adott korlatokat.Mivel n ≥ 2 ezert

α =1

τ√

n=

τ1

τ2√

n≤ τ1

√n

2τ2=‖τ1e‖2τ2

≤ ‖u2‖2τ2

,

ahol felhasznaltuk azt is, hogy 0 ≤ τ1e ≤ u2. Az ‖u2‖ ≤ τ2√

n miatt

4τ1

‖u2‖≥ 4τ1

τ2√

n=

4

τ√

n> α

adodik, azaz a tetel felteteleiben megadott lepeshossz megengedett.

Az indulo megoldasnal a celfuggveny erteke qTx0 volt. Tudjuk, hogy a dualitas res mindenlepesben (1− 1/(nτ)) nagysagrenddel csokken. Ahhoz, hogy a celfuggveny k lepesben az ε ertekala csokkenjen, (

1− 1

)k

qTx0 ≤ ε kell, hogy teljesuljon.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 41: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Tetel bizonyıtasaSzeretnenk meghatarozni a k erteket. Vegyuk a logaritmusat az elozo kifejezesnek, ekkor

k log

(1− 1

)+ log(qTx0) ≤ log ε.

Mivel− log

(1− 1

)≤ 1

nτ,

ezertk

nτ≥ log

qTx0

ε.

Ebbol kovetkezik a tetel allıtasa. •

Pelda. Tekintsuk a kovetkezo ferden szimmetrikus linearis programozasi feladatot:min 5 z5 :

0 0 1 −1 1

0 0 0 0 1

−1 0 0 2 0

1 0 −2 0 2

−1 −1 0 −2 0

z1

z2

z3

z4

z5

+

0

0

0

0

5

≥ 0,

z1

z2

z3

z4

z5

≥ 0

Termeszetesen z = e es s(z) = e megoldasa a feladatnak.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 42: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

PeldaMegmutathato, hogy a z = (3/2, 1, 3/4, 3/4, 0)T megengedett megoldasa a feladatnak es azs(z) = (0, 0, 0, 0, 1)T az elteres valtozo. A feladat celfuggvenyerteke qT z = 0, tehat a zoptimalis megoldasa a feladatnak, sot z + s(z) = (3/2, 1, 3/4, 3/4, 1)T > 0, azaz a (z, s(z))szigoruan komplementaris optimalis megoldas.

Legyen τ = 2 es n = 5, ekkor az algoritmus legfeljebb⌈10 log

5

ε

⌉iteracioban megoldja a linearis programozasi feladatot. Ha ε = 10−2 akkor

log 5/ε = log 500 = 6.2146,

es ıgy az iteraciok szamara 63 adodik, mint felsokorlat. Amennyiben a megadott ε pontossaggaloldjuk meg a feladatot akkor 58 iteraciora lesz szuksegunk. A megoldasunk

z = (1.5985, 0.0025, 0.7998, 0.8005, 0.0020)T es qT z = z5 = 0.0020

lesz es az elteres valtozonk

s(z) = (0.0012, 0.8005, 0.0025, 0.0025, 1.0000)T .

Megfigyelheto, hogy a z2 es a z5 valtozok erteke kicsi lesz, ebbol arra kovetkeztethetunk, hogya B = {1, 3, 4} es az N = {2, 5} lesz. /

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 43: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A (B,N) partıcio meghatarozasa a centralis ut egy kornyezeteben

Legyen adott x0 ∈ F0, s0 > 0, amelyek eseten (x0)T s0 = qTx0 = nµ0 = n teljesul, azaz a µ0 = 1.Legyen τ = 2, ekkor a Dikin–fele affin skalazasu algoritmus a ferden szimmetrikus, ondualislinearis programozasi feladatnak d2n log n

ε e iteracioban eloallıt egy x ∈ F0 : δ(x) ≤ 2 es qTx ≤ εtulajdonsagu pontjat.

Lemma. Legyen x ∈ F0, s > 0, amelyekre δ(x) ≤ τ . Ekkor

xi ≥σSP

τni ∈ B, xi ≤

xT s

σSP

i ∈ N,

si ≤xT s

σSP

i ∈ B, si ≥σSP

τni ∈ N,

ahol σSP a feladat kondıcioszama.

Bizonyıtas. Mivel a τ > 1, tehat letezik τ1, τ2 > 0, hogy τ2 = ττ1 es τ1 ≥ xisi ≥ τ2 teljesulbarmely i indexre. Legyen x ∈ F∗, s > 0 olyan, amelyre xi maximalis, azaz xi ≥ σSP > 0,ezert i ∈ B. Felhasznalva az x komplementaritasat es az (x− x)(s− s) = 0 egyenloseget, adodik,hogy xT s + xT s = xT s. Figyelembe veve a vektorok nemnegativitasat kapjuk a lemma harmadikallıtasat

si xi ≤ sT x ≤ xT s + xT s = xT s ⇒ si ≤xT s

xi≤ xT s

σSP

.

Ezt felhasznalva egyszeruen adodik az elso egyenlotlenseg

τ1 ≤ xi si ≤ xixT s

xi≤ xi

nτ2

σ⇒ xi ≥

τ1 σSP

n τ2=

σSP

n τ.

A masodik es a negyedik allıtas hasonloan bizonyıthato. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 44: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

AllıtasokLemma. Legyen x ∈ F0, s > 0, melyekre δ(x) ≤ τ . Ha

xT s ≤σ2

SP

τ n,

akkor a (B, N) partıcioja az (SP ) feladatnak a kovetkezo modon kaphato meg:

B := {i : xi > si} es N := {i : xi < si}.

Bizonyıtas. A kicsi es nagy valtozokat szet tudjuk valasztani, ha

xT s

σSP

<σSP

τn, azaz xT s <

σ2SP

τ n.

Tehat a B es N halmazok jol definialtak, es az indexhalmaz partıciojat adjak (elozo lemma). •

Kovetkezmeny. Legyen x0 ∈ F0, s0 > 0, melyekre δ(x0) ≤ τ es (x0)T s0 = n, τ = 2. Ekkora Dikin–fele affin skalazasu algoritmus a ferden szimmetrikus, ondualis linearis programozasifeladat eseten d2n log 2n2

σ2 e lepesben megtalal egy olyan x ∈ F0 megoldast, amely eseten (B, N)partıciot meg tudjuk hatarozni. /

Tetel. Legyen F0 6= ∅. Ekkor x = 0 az (SP ) feladat egyetlen optimalis megoldasa akkor es csakakkor, ha q > 0. Ez az eset pontosan akkor fordul elo, ha B = ∅.

Bizonyıtas. Ha B = ∅, akkor x = 0 optimalis, sot szigoruan komplementaris is az F0 6= ∅ mellett,azaz s(x) = q > 0 kell hogy teljesuljon.Masfelol s(0) = q es s(0) > 0 miatt q > 0, ıgy x = 0 egyertelmu optimum. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 45: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Az ε–optimalis megoldas tulajdonsagaiTekintsunk egy olyan x ∈ F0, s(x) = s > 0 ε-optimalis megoldast, amely eseten az ε kelloenkicsi, akkor a (B, N) partıcio ismert, ıgy az egyenletrendszerunk a kovetkezo alaku lesz sB

sN

=

MBB MBN

MNB MNN

xB

xN

+

qB

qN

Az optimalis megoldas meghatorazasa szempontjabol a B = ∅ eset trivialis (elozo tetel), ezerttegyuk fel, hogy B 6= ∅, ekkor az optimalitas miatt (korabban mar belattuk) qB = 0 ekkor az elsoegyenlet

sB = MBB xB + MBN xN + qB alaku, tehat MBB xB = sB −MBN xN

azaz felırtuk az egyenletet olyan formaban, hogy a baloldalon un. nagy valtozok (xB), mıg ajobboldalon kicsik (xN , sB) allnak.Ha az x ∈ F∗, s = s(x), olyan optimalis megoldas, amely meg szigoruan komplementaris is,akkor xN = 0, sB = 0, es xB > 0, miatt az MBBxB = 0, azaz az MBB matrix szingularis, tehat

0 = MBB ξ = sB −MBN xN (∗)

egyenlet megoldasa, nem egyertelmu es egy lehetseges megoldasa a ξ = xB is. Legyen a ξtetszoleges megoldasa a (∗) egyenletnek, ekkor definialhatjuk, az xB = xB − ξ, xN = 0 me-goldast (x ∈ F0 ε–optimalis megoldas) es s = s(x) elteresvaltozot, ahol

sB = MBB xB + MBN xN + qB = MBB (xB − ξ) + qB = 0.

Tehat az (x, s) komplementaris megoldas, de nem feltetlenul pozitıv vektorok.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 46: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Optimalis megoldas meghatarozasa ε–optimalis megoldasbol

Az (x, s) pozitivitasahoz szukseges xB = xB − ξ > 0, illetve

sN = MNB xB + MNN xN + qN = MNB xB −MNB ξ + qN = sN −MNN xN −MNB ξ > 0

ami egyben az optimalitas szukseges feltetele is, hiszen nemnegatıv es komplementaris megoldasegyben optimalis megoldas is. Tehat az ε > 0 alkalmas (kicsi) erteke mellett elo tudjuk allıtaniaz (x, s) vektort, az (SP ) feladat optimalis megoldasat, egy x ∈ F0, s = s(x) > 0, ε–optimalismegoldasbol.

Vezessuk be a kovetkezo jeloleseket:

w := ‖M‖∞ , B∗ := {i ∈ B : MBi oszlopvektor nem azonosan nulla }.

Definialjuk a πB ∈ IN szamot a kovetkezo modon

πB :=

1, ha B∗ = ∅∏j∈B∗

‖MBj‖, kulonben

Lemma. Legyen adott egy egesz egyutthatos (SP ) feladat. Legyen x ∈ F0, s > 0, melyekreδ(x) ≤ τ = 2. Ha

xT s ≤ ε, ahol ε =σ2

SP

6 n w2√|B|πB

,

akkor a kerekıtesi eljaras O(|B∗|3) aritmetikai muvelettel eloallıtja az (SP ) feladat egy szigoruankomplementaris megoldasat.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 47: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A lemma bizonyıtasaBizonyıtas. A definıciokbol kozvetlenul kovetkezik, hogy w, πB, |B| ≥ 1. A pontunk a centralisut τ kornyezeteben van, valamint

ε =σ2

SP

6 n w2√|B|πB

<σ2

SP

2n=

σ2SP

τ n,

azaz az ε elegendoen kicsi ahhoz, hogy a (B, N) partıciot meg tudjuk hatarozni. Mivel a partıcioismert, az MBB ξ = sB −MBN xN egyenletet fel tudjuk ırni. Megmutatjuk, hogy letezik olyan ξmegoldasa, amelyre xB− ξ > 0 es sN = sN −MNN xN −MNB ξ > 0 teljesul. Ket eset lehetseges:

(i) eset: MBB = 0, ekkor ξ = 0, azaz sN −MNN xN > 0 kell hogy teljesuljon.Ha MNN = 0, akkor a feltetel mindig igaz.

Ellenkezo esetben (MNN 6= 0) elegendo az sN ≥ σSP

2n e > MNN xN egyenlotlenseget belatni. Azelso resze az N halmaz definıcioja miatt teljesul. A vegtelen norma tulajdonsaga miatt

‖MNN xN‖∞ ≤ ‖MNN‖∞ |xN‖∞ ≤ wε

σ

A lemmaban megadottak szerint ε < σ2SP

2 n w , tehat w εσSP

< σSP

2n , azaz az egyenlotlenseg masodik feleis igaz.(ii) eset: MBB 6= 0.Oldjuk meg az MBB ξ = sB −MBN xN egyenletet Gauss–Jordan eliminacioval (ez a kerekıtesieljaras).Ha MBB szingularis matrix, akkor hatarozzuk meg az MBB maximalis regularis reszmatrixat,jelolje ezt az MB1B2

matrix. Majd ezek utan az MB1B2ρ = sB1

−MB1N xN egyenlet megoldasatkeressuk.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 48: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A lemma bizonyıtasanak a folytatasaBarmely i ∈ B eseten a ρi erteket a Cramer–szaballyal is kiszamıthatjuk, azaz

ρi =det(M

(i)B1B2

)

det(MB1B2),

ahol M(i)B1B2

az a matrix, amelyet ugy kapunk, hogy az MB1B2matrix i. oszlopat a jobb oldal

vektorraval kicsereljuk. Mivel az MB1B2matrix egesz szamokbol all, ezert | det(MB1B2

)| ≥ 1. AHadamard egyenlotlenseget hasznalva

|ρi| ≤ | det(M(i)B1B2

)| ≤ ‖sB1−MB1N xN‖

∏j∈B2\{i}

‖MBj‖ ≤ ‖sB1−MB1N xN‖ πB.

Felhasznalva a normak tulajdonsagait es az eddigi eredmenyeket tovabbi becsleseket adhatunk

‖sB −MBN xN‖ ≤√|B| ‖sB −MBN xN‖∞ ≤

√|B| (‖sB‖∞ + ‖MBN xN‖∞)

≤√|B|

σSP

σSP

‖MBN‖∞)≤ ε

σSP

√|B| (1 + w) ≤

2 w ε√|B|

σSP

.

Ezt felhasznalva a ρ komponenseire a kovetkezo becslest kapjuk:

ρi ≤2 w ε

√|B|πB

σSP

, i ∈ B2.

Legyen

ξi :=

ρi, ha i ∈ B2

0, kulonben

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 49: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A lemma bizonyıtasanak a folytatasa II.Egyszeruen ellenorizheto, hogy ξ a megadott egyenlet megoldasa, ıgy mar csak a ket pozitivitasifeltetelt kell ellenorizni. Konnyen lethato, hogy az xB−ξ > 0 feltetel az i /∈ B2 indexeknel mindigteljesul. A becsleseket felhasznalva az xB − ξ > 0 elegseges feltetele az i ∈ B2 indexekre

σSP

2 n−

2 w√|B|πB

σSP

ε > 0,

am ez a lemmaban megadott ε ertekre teljesul, ugyanis

σ2SP

4 n w√|B|πB

> ε.

Az sN −MNN xN −MNB ξ > 0 feltetel helyett pedig az erosebb

σSP

2 n− ‖MNN xN‖∞ − ‖MNB ξ‖∞ > 0 teljesuleset vizsgaljuk. Ekkor

‖MNN xN‖∞ ≤ ‖MNN‖∞ ‖xN‖∞ ≤ wε

σSP

, es ‖MNB ξ‖∞ ≤ ‖MNB‖∞ ‖ξ‖∞ ≤ w2 w√|B| πB

σSP

ε

adodik. A felso becsleseket beırva egy (meg) szigorubb feltetelt kapunk:

σSP

2 n− w

σSP

ε−2 w2

√|B|πB

σSP

ε > 0.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 50: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Dikin–fele algoritmus lepesigenye pontos megoldas eloallıtasahoz

Mivel ε =σ2

SP

6 n w2√|B|πB

<σ2

SP

2 n w (1 + 2 w√|B|πB)

, ezertw

σSP

(1 + 2 w

√|B|πB

)ε <

σSP

2 n,

azaz a megadott ε ertek mellett teljesul a szigorubb feltetel is, tehat igaz az eredetileg kituzottpozitivitasi feltetel.

Figyelembe veve a Gauss–Jordan eliminacio lepesszamat a lemmat belattuk. •

Tetel. A Dikin–fele affin skalazasi algoritmussal, a ferden szimmetrikus, ondualis linearis prog-ramozasi feladatot, egy olyan x0 ∈ F0 (s0 > 0) megengedett megoldasbol indulva, amelyreδ(x0) ≤ τ = 2 es (x0)T s0 = n teljesul, eloallıthato egy olyan x ∈ F0 (s > 0) ε–optimalis me-goldas, amelybol a kerekıtesi eljarassal (Gauss–Jordan eliminacios modszer egy specialis linearisegyenletrendszerre) szigoruan komplementaris megoldas szamolhato ki. Az (x, s) ε–optimalismegoldas eloallıtasahoz ⌈

2 n log6 n2 w2

√|B|πB

σ2SP

⌉iteracio szukseges. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 51: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A kanonikus linearis programozasi feladatTekintsuk az alabbi primal- es dual linearis programozasi feladat part

(P ) min{cTx : Ax ≥ b, x ≥ 0

},

(D) max{bTy : ATy ≤ c, y ≥ 0

},

ahol A ∈ IRm×k matrix, b,y ∈ IRm es c,x ∈ IRk vektorok. Az elozo feladat part, kanonikus linearisprogramozasi feladat parnak nevezzuk.

Jol ismert, hogy elemi transzformaciok segıtsegevel tetszoleges LP feladat egy ”minimalis” kano-nikus alakba transzformalhato. Ezen transzformaciok az alabbiak:

• ha egy valtozonak also es felso korlatja is van, akkor ezek kozul az egyiket altalanosegyenlotlensegnek tekintjuk;

• vezessunk be elteres valtozokat azert, hogy egyenloseges felteteleket kapjunk;• az also vagy felso korlatos valtozokat toljuk ugy el, hogy a korlat nulla legyen es amennyiben

szukseges, helyettesıtsuk a valtozot a minusz egyszeresevel ugy, hogy nemnegatıv valtozokatkapjunk;

• eliminaljuk a szabad valtozokat;• Gauss eliminacio segıtsegevel eliminaljuk a fuggo felteteleket;• az aktualis bazis segıtsegevel felırhatjuk a kanonikus feladatot.

Vezessuk be a primal- es dual megengedett megoldasok halmazat

P = {x ∈ IRn : Ax ≥ b, x ≥ 0} illetve D = {y ∈ IRm : ATy ≤ c, y ≥ 0}.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 52: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Gyenge dualitas tetel

A kanonikus LP feladatra a gyenge dualitas tetel egyszeruen bizonyıthato.

Gyenge dualitas tetel. Legyen x ∈ P es y ∈ D, ekkor cTx ≥ bTy, ahol egyenlosegpontosan akkor all fenn, ha

x (c− ATy) = 0, es y (Ax− b) = 0. (komplementaritasi feltetelek)

Bizonyıtas. Az x es y vektorok primal es dual megengedettseget hasznalva kapjuk, hogy

(c− ATy)Tx ≥ 0 es yT (Ax− b) ≥ 0. (A)

A ket egyenlotlenseget osszeadva

0 ≤ (c− ATy)Tx + yT (Ax− b) = cTx− bTy (B)

a celfuggvenyertekekre a a kivant egyenlotlenseg adodik.Ha a komplementaritasi feltetel teljesul, akkor az (A) egyenlotlensegek egyenloseggel teljesulnek,es ıgy a (B) egyenlotlensegben is egyenloseg all.Megfordıtva, ha a (B) egyenlotlensegben egyenloseg van akkor az x, y, Ax−b es c−ATy vekto-rok nemnegativitasat is figyelembe veve, az (A) egyenlotlensegek, egyenloseggel teljesulnek. Ezpedig azt jelenti, hogy a komplementaritasi feltetelek fennallnak. •

Gyenge equilibrium tetel. Legyen x ∈ P es y ∈ D, olyan vektorok, amelyekre cTx = bTyteljesul. Ekkor az x a primal feladat es y a dual feladat egy optimalis megoldasa. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 53: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A Goldman–Tucker modellTekintsuk a primal–dual kanonikus linearis programozasi feladatpart es a gyenge dualitas tetelaltal definialt egyenlotlenseget a celfuggvenyertekek kozott, azaz

Ax− z = b, x ≥ 0, z ≥ 0

ATy + s = c, y ≥ 0, s ≥ 0

bTy − cTx− ζ = 0, ζ ≥ 0,

ahol bevezettuk a z, s, ζ szukseges elteres valtozokat. Homogenizalva az egyenleteket a Goldman–Tucker feladatot kapjuk:

Ax −ξb −z = 0, x ≥ 0, z ≥ 0

−ATy +ξc −s = 0, y ≥ 0, s ≥ 0

bTy −cTx −ζ = 0, ξ ≥ 0, ζ ≥ 0.

(GT )

Vezessuk be a kovetkezo jelolest M =

0 A −b

−AT 0 c

bT −cT 0

, u =

y

x

ξ

, ekkor az alabbi

min {0Tu : Mu ≥ 0, u ≥ 0} (SP )

(homogen) ferden szimmetrikus, ondualis linearis programozasi feladat, ekvivalens a (GT ) fe-ladattal. Tehat azt kaptuk, hogy barmely primal–dual linearis programozasi feladatbol elo lehetallıtani egy veluk ekvivalens (SP ) feladatot.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 54: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A Goldman–Tucker feladat megoldhatosagarolTetel. Legyen adott egy primal–dual linearis programozasi feladatpar. Az alabbi allıtasok igazak:

1. A (P ) es (D) feladatok tetszoleges (x,y) optimalis megoldas parja, melyre a dualitasres nulla,a megfelelo Goldman–Tucker rendszer egy megoldasat adja ξ = 1, ζ = 0 valasztassal.

2. Ha (y,x, ξ, z, s, ζ) a Goldman–Tucker rendszer egy megoldasa, akkor vagy ξ = 0 vagy ζ = 0,azaz ξζ > 0 nem lehet igaz.

3. A Goldman–Tucker rendszer tetszoleges (y,x, ξ, z, s, ζ) megoldasa, ahol ξ > 0 es ζ = 0,a primal (P ) es dual (D) feladatok egy (x

ξ , yξ ) optimalis megoldas parjat adja, amelyre a

dualitasres nulla.

4. Ha a Goldman–Tucker rendszernek van olyan megoldasa (y, x, ξ, z, s, ζ), ahol ξ = 0 es ζ > 0,akkor vagy a (P ), vagy a (D) feladat, vagy mindketto nemmegengedett.

Bizonyıtas. Az elso es a harmadik allıtas behelyettesıtessel konnyen ellenorizheto.A masodik allıtast indirekt bizonyıtjuk. Ha ξζ pozitıv lenne, akkor

0 < ξζ = ξbTy − ξcTx = xT Ay − zTy − xT ATy − sTx = −zTy − sTx ≤ 0

egyenlotlenseget kapnank, ami nyilvanvalo ellentmondas.Az utolso allıtas igazolasanal a ξ = 0 feltetelbol kovetkezik, hogy Ax ≥ 0 es AT y ≤ 0. Tovabba,ha ζ > 0, akkor vagy bT y > 0, vagy cT x < 0, vagy mindketto fennall. Ha bT y > 0, akkor,feltetelezve, hogy a (P ) feladatnak van egy x ≥ 0 megoldasa a

0 < bT y ≤ xT AT y ≤ 0

ellentmondashoz jutunk. Tehat ha bT y > 0, akkor (P ) nemmegengedett.Hasonloan, ha cT x < 0, akkor a dual feladat nemmegengedettseget kapjuk. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 55: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Eros dualitas tetel

Vegyuk eszre, hogy a Goldman–Tucker feladat az alabbi alakba ırhato:

M u ≥ 0, u ≥ 0, s(u) = M u. (GT )

szigoruan komplementaris megoldas: u s(u) = 0 es u + s(u) > 0

Goldman–Tucker tetel. A Goldman–Tucker egyenlotlensegrendszernek van szigoruan komple-mentaris megoldasa, azaz olyan megoldasa, melyre u + s(u) > 0. /

Eros dualitas tetel. Legyen adott egy primal–dual linearis programozasi feladatpar. Az alabbi ketallıtas kozul pontosan az egyik igaz:

• Vagy a (P ), vagy a (D) feladat, vagy mindketto nem megengedett.

• Letezik x∗ ∈ P es y∗ ∈ D megoldasok, amelyekre cTx∗ = bTy∗.

Bizonyıtas. A Goldman–Tucker tetelbol kovetkezik, hogy a linearis programozasi feladatparbolszarmaztatott Goldman–Tucker rendszerenek van egy szigoruan komplementaris megoldasa. Egyilyen megoldasban vagy ξ > 0, es ebben az esetben az elozo tetel 3. pontjabol kovetkezik, hogyletezik optimalis megoldas par nulla dualitasressel, vagy ζ > 0 a Goldmann–Tucker rendszerszigoruan komplementaris megoldasaban. Az utobbi esetben az elozo tetel 4. pontja miatt (P )vagy (D) vagy mindketto nem megengedett. •

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 56: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A Goldmann–Tucker tetel bizonyıtasa (altalanos eset)

A Goldmann–Tucker tetelt mar igazoltuk a belsopont feltetel teljesulese mellett az (SP ) ferdenszimmetrikus, ondualis linearis programozasi feladatokra.

Legyen u = s = e. Ezek a vektorok pozitıvak, de nem elegıtik ki a (GT ) feladatot. Definialjuk azr hibavektort

r := e−M e, es legyen λ := K + 1 = (m + n + 1) + 1. Ekkor M r

−rT 0

e

1

+

0

λ

=

Me + r

−rTe + λ

=

e

1

.

A fenti konstrukcio alapjan az

(SP ) min

λ ϑ : −

M r

−rT 0

u

ϑ

+

s

ν

=

0

λ

;

u

ϑ

,

s

ν

≥ 0

feladat, ferden szimmetrikus, ondualis linearis programozasi feladat es kielegıti a belsopontfeltetelt, mivel a csupa egyesbol allo vektor megengedett megoldast ad. A Goldman–Tuckertetel specialis esetebol kovetkezik, hogy az (SP ) feladatnak letezik szigoruan komplementarismegoldasa.

Mivel az (SP ) feladat celfuggvenye a ϑ valtozo egy pozitıv tobbszorose, ıgy a ϑ valtozonak min-den optimalis megoldasban nulla az erteke. Tehat az (u, ϑ, s, ν), ϑ = 0 szigoruan komplementarismegoldasa az (SP ) feladatnak, akkor es csak akkor, ha (u, s) szigoruan komplementaris megoldasaa Goldmann–Tucker modellnek.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 57: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Dikin-algoritmus: gyakorlati szempontok

µ :=xT s

λ, d :=

√x

s, u :=

√xs

µ, es p = − u3

‖u2‖

∆x =√

µD(I + DMD)−1p es ∆s =√

µMD(I + DMD)−1p

A Dikin-fele-affin-skalazasi-algoritmus szamıtogepes megvalosıtasa soran ket parameternek vanjelentos hatasa: a kornyezeti parameter, τ ≥ 1 megvalasztasanak, illetve a τ rogzıtese utan, aleheto legnagyobb α megengedett lepeshossz meghatarozasanak.A gyakorlati alkalmazasok soran akar τ = 10 000 is lehet. Ekkor peldaul τ1 = 1/100 es τ2 = 100 islehetseges.

Eloszor azt szeretnenk elerni, hogy az uj megoldas vektorok pozitıvak legyenek, azaz x+α∆x ≥ 0es s + α∆s ≥ 0, ami

0 < α < α = min

{α1 = min

i∈I

{− xi

∆xi: ∆xi < 0

}, α2 = min

i∈I

{− si

∆si: ∆si < 0

}, 1

}(6)

τ1 e ≤ x+s+

µ= u2 − α

u4

‖u2‖+ α2pxps ≤ τ2 e, azaz barmely i index eseten (7)

τ1 ≤ u2i − α

u4i

‖u2‖+ α2(pxps)i ≤ τ2. (8)

Megoldjuk a ket kvadratikus egyenlotlenseget.

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 58: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Dikin-algoritmus: lepeshossz meghatarozasa

A bal oldali, az α ismeretlenre nezve kvadratikus, egyenlotlensegbol az alabbi korlatokat kapjuk

α3 = mini∈I

u4

i

‖u2‖ +√

ϑ1

2 (pxps)i: ϑ1 ≥ 0, (pxps)i > 0

, es

α4 = mini∈I

u4

i

‖u2‖ −√

ϑ1

2 (pxps)i: ϑ1 ≥ 0, (pxps)i < 0

,

ahol ϑ1 = u8i /∥∥u2

∥∥2 − 4 (pxpx)i(u2

i − τ1

).

Hasonloan a jobboldali egyenlotlensegbol a kovetkezo korlatok adodnak α ertekere

α5 = mini∈I

−u4

i

‖u2‖ −√

ϑ2

−2 (pxps)i: ϑ2 ≥ 0, (pxps)i > 0

, es

α6 = mini∈I

−u4

i

‖u2‖ +√

ϑ2

−2 (pxps)i: ϑ2 ≥ 0, (pxps)i < 0

,

ahol ϑ2 = u8i /∥∥u2

∥∥2 − 4 (pxps)i(u2

i − τ2

). A lepeshossz ekkor

α = min{α1, α2, α3, α4, α5, α6}

Illes Tibor Eotvos Lorand Tudomanyegyetem

Page 59: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Page 60: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Az ellipszoid algoritmus

Page 61: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Bevezeto

Az ellipszoid modszert a nemlinearis porgramozasra Shor [1970,1977] illetveYudin es Nemirovskiı [1976] feljlesztettek ki. Khachiyan [1979, 1980] megmu-tatta, hogy az algorimtus egy kiterjesztese a linearis programozasi feladatotpolinom idoben megoldja.

Az ellipszoid algoritmusnak szerepe a kombinatorikus optimalizalasaval,hogy segıtsegevel jopar algoritmus polinomialis futasideje bizonyıthato.Belathato, hogy valojaban a polieder teljes leırasara nem is lesz szuksege azalgoritmusnak, elegendo ha az ugynevezett szeparalast el tudjuk vegezni: haadott a P ⊆ Rn polieder, illetve egy x vektor, akkor eldontendo hogy x ∈ Pteljesul-e, illetve ha nem, megadando egy a P leırasaban szereplo feltetel, me-lyet az x megsert. Vagyis a szeparalas elegendo az ellipszoid algoritmus fut-tatasahoz [2].

Gyakorlati szempontbol az ellipszoid algoritmus nem hatekony. Az algo-ritmus numerikusan instabil, es a szukseges iteraciok szama rendkıvul nagy. Akovetkezokben feltetelezzuk hogy pontosan tudunk szamolni. A gyakorlatbanez a felteves kivalthato, ha minden iteracioban egy picit nagyobb epszilont te-kintunk.

Page 62: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Az ellipszoid tulajdonsag

0.1. Definıcio. Legyen D ∈ Rn×n pozitıv definit matrix. Az

E(D,y) := {x ∈ Rn : (x− y)TD−1(x− y) ≤ 1}

halmazt az y kozeppontu ellipszoidnak nevezzuk.

Legyen adott egy E(D,y) ellipszoid es valamely d ∈ Rn vektor eseten te-kintsuk a H = E(D,y) ∩ {x ∈ Rn : dTx ≤ dTy} felellipszoidot. Ekkorazt mondjuk hogy teljesul az ellipszoid tulajdonsag, ha ∃E ′ ellipszoid, melyreH ⊆ E ′ es

vol(E ′)

vol(E)≤ e−

12(n+1) < 1

Vegyuk eszre, hogylimn→∞

e−1

2(n+1) = 1

Page 63: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Az ellipszoid algoritmus

Input:

P< ⊆ E0 = E(D0,x0)

Begin

t := 1, t∗ := d2(n + 1)(log V − log ν)e

While (xt /∈ P<)

Legyen i :(a(i))T

xt > bi

d := a(i), D := Dt

Ht := Et ∩{x ∈ Rn : dTx ≤ dTxt

}Dt+1 := n2

n2−1

(D − 2

n+1(Dd)(Dd)T

dT Dd

)xt+1 := xt − 1

n+1Dd√dT Dd

t := t + 1

If (t ≥ t∗) then

STOP: P< ures

Endif

Endwhile

xt belso pont

End

Tegyuk fel, hogy teljesul az ellipszoid tulajdonsag. Megmutatjuk, hogy ekkor az algoritmus veges.

Page 64: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Az ellipszoid tartalmazza a tartomanyt

0.1. Lemma. Tegyuk fel hogy P< ⊆ E0, teljesul az ellipszoid tulajdonsag, il-letve hogy az algoritmus t ≤ t∗ iteraciot vegez. Ekkor P< ⊆ Et barmelyt := 0, 1, . . . , t eseten.Bizonyıtas. Teljes indukcioval bizonyıtunk.t = 0 esete a lemma feltetele, tegyuk fel hogy az allıtast t = 0, . . . , k esetenmar igazoltuk. Legyen i az algoritmus altal a k-ik iteracioban valasztott index,azaz

(a(i))T

xk > bi es d := a(i). Ekkor

P< ⊆ Ek ∩ {x ∈ Rn : dTx ≤ dTxk} ⊆ {x ∈ Rn : dTx ≤ dTxk}

ıgy az ellipszoid tulajdonsagot hasznalva

P< ⊆ Ek ∩ {x ∈ Rn : dTx ≤ dTxk} = Hk ⊆ Ek+1

Page 65: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Lepesszam

0.1. Tetel. Tegyuk fel hogy P< ⊆ E0, teljesul az ellipszoid tulajdonsag, adotta V, ν > 0 es legyen t∗ := d2(n + 1)(log V − log ν)e. Ekkor az ellipszoidalgoritmus a P< feladatot legfeljebb t∗ iteracioban megoldja.

Bizonyıtas. Megmutatjuk, hogy ha xt /∈ P< az osszes t := 0, 1, . . . , t∗ esetenakkor P< = ∅.Kiszamıtjuk az Et∗ terfogatat. Mivel

vol(Et+1)

vol(Et)≤ e−

12(n+1)

ezertvol(Et∗)

vol(E0)=

vol(E1)

vol(E0)· · · · · vol(Et∗)

vol(Et∗−1)≤ e−

t∗2(n+1)

vagyis

vol(Et∗) ≤ vol(E0)e− t∗

2(n+1) ≤ V e−2(n+1)(log V−log ν)

2(n+1) = V e− log Vν = ν

Azonban a feltevesek szerint vol(P>) > v, illeve a 3. lemma alapjan P< ⊆ Et∗

vagyis vol(P<) ≤ vol(Et∗) = ν. Ellentmondas. �A tovabbiakban raterunk az ellipszoid tulajdonsag teljesulesenek a bi-zonyıtasara.

Page 66: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Affin transzformaciok

0.2. Definıcio. Legyen A ∈ Rn×n,b ∈ Rn es TA(x) := Ax + b. EkkorTA : Rn → R affin transzformacio.

0.2. Lemma. Ha L ⊆ L′ ⊆ Rn akkor TA(L) ⊆ TA(L′) ⊆ Rn

0.3. Lemma. Ha L ⊆ Rn L konvex, akkor vol(TA(L)) = |det(A)| vol(L).Bizonyıtas. Analızisbol volt. Ha masnem teglakra. De L konvex, tudodilyenekkel kozelıteni. �

0.4. Lemma. Legyen E = E(D, y) ahol D = QTQ. Legyen tovabba T (x) =(QT )−1x − (QT )−1y egy affin traszformacio. Ekkor T (E) = Sn, ahol Sn azn dimenzios egyseggomb.Bizonyıtas.

T (E) ={ξ : ξ = (QT )−1(x− y), ahol (x− y)TD−1(x− y) ≤ 1

}={ξ : (QTξ)TD−1(QTξ) ≤ 1

}={ξ : ξTQD−1QTξ ≤ 1

}={ξ : ξTξ ≤ 1

}= Sn.

Page 67: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Rotacios lemma

0.3. Definıcio. A TQ affin transzformaciot rotacionak nevezzuk, ha QT Q = I.

0.5. Lemma. Legyen d ∈ Rn\ {0} tetszoleges. Ekkor ∃Q2 ∈ Rn×n rotacio, hogy Q2d = −‖d‖ e1.

Bizonyıtas. Vagyis minden vektor beforgathato akarmilyen iranyba. �

0.6. Lemma. Legyen Q1 ∈ Rn×n, d ∈ Rn tetszoleges, QT1 Q1 = D := Dt, Q2 rotacio melyre

Q2Q1d = −‖Q1d‖ e1 es Q = Q2Q1. Legyen tovabba

T (x) = (QT )−1(x− xt)

es ξ := T (x) vagyis ξ =(QT)−1

x−(QT)−1

xt. Ekkor

1. ‖Qd‖ =√

dT Qd

2. QD−1QT = I

3. (QT )−1D = Q

4. T (Et) = T (E(D,xt)) ={ξ : ξT ξ ≤ 1

}5. T

({x : dTx ≤ dTxt

})= {ξ : ξ1 ≥ 0}

6. T (xt+1) = 1n+1e1

7. T (Et+1) =

{ξ :(ξ − e1

n+1

) (n2

n2−1

(I − 2

n+1e1eT1

))−1 (ξ − e1

n+1

)≤ 1

}

Page 68: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Rotacios lemma bizonyıtas

Bizonyıtas.

1.‖Qd‖ = ‖Q2Q1d‖ =

√(Q2Q1d)T (Q2Q1d) =

√dT QT

1 QT2 Q2Q1d =

√dT Dd

2.QD−1QT = Q2Q1

(QT

1 Q1

)−1QT

1 QT2 = I

3. Kovetkezik az elozobol.

4.

T (Et) ={

ξ : (QT ξ)T D−1(QT ξ) ≤ 1}

={

ξ : ξT(QD−1QT

)ξ ≤ 1

}(2)={

ξ : ξT ξ ≤ 1}

5.T({

x : dTx ≤ dTxt

})={

ξ : dT QT ξ ≤ 0}

={

ξ : (Q2Q1d)T ξ ≤ 0}

={

ξ : −‖Q1d‖ eT1 ξ ≤ 0

}= {ξ : ξ1 ≥ 0}

Page 69: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Rotacios lemma bizonyıtas ...

6.

T (xt+1) = T

(xt −

1

n + 1

Dd√dT Dd

)=(QT)−1

(xt −

1

n + 1

Dd√dT Dd

− xt

)=(QT)−1

(− 1

n + 1

Dd√dT Dd

)= − 1

n + 1

(QT)−1

Dd√

dT Dd(3)= − 1

n + 1

Qd

‖Qd‖= − 1

n + 1

−‖Qd‖‖Qd‖

e1 =1

n + 1e1

7. Jelolje ξt+1 := T (xt+1), azaz xt+1 − xt = QT ξt+1. Ekkor

T (Et+1) ={

ξ : QT ξ = x− xt, (x− xt+1)D−1t+1(x− xt+1) ≤ 1

}={

ξ : (QT (ξ − ξt+1))T D−1

t+1(QT (ξ − ξt+1)) ≤ 1

}mivel QT ξ = x− xt es QT ξt+1 = xt+1 − xt ıgy

QT (ξ − ξt+1) = x− xt − xt+1 + xt = x− xt+1

esT (Et+1) = {ξ : (ξ − ξt+1)

T QD−1t+1Q

T (ξ − ξt+1) ≤ 1}

ıgy mivel QD−1t+1Q

T = I = (QT )−1Dt+1Q

T (Et+1) = {ξ : (ξ − ξt+1)T ((QT )−1Dt+1Q)−1(ξ − ξt+1) ≤ 1}

Page 70: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Rotacios lemma bizonyıtas ...

Felhasznalva, hogy

Dt+1 =n2

n2 − 1

(Dt −

2

n + 1

(Dtd)(Dtd)T

dT Dtd

)kapjuk, hogy

(QT )−1Dt+1Q−1 = (QT )−1 n2

n2 − 1

(Dt −

2

n + 1

(Dtd)(Dtd)T

dT Dtd

)Q−1

=n2

n2 − 1

((QT )−1DtQ

−1 − 2

n + 1

(QT )−1(Dtd)(Dtd)T Q−1

dT Dtd

)(3)=

n2

n2 − 1

(I − 2

n + 1

(Qd)(Qd)T

dT Dtd

)=

n2

n2 − 1

(I − 2

n + 1e1e

T1

)Vagyis hasznalva (6)-ot adodik hogy

T (Et+1) =

{ξ :

(ξ − e1

n + 1

)(n2

n2 − 1

(I − 2

n + 1e1e

T2

))−1(ξ − e1

n + 1

)≤ 1

}

Page 71: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

0.7. Lemma. Legyen n ≥ 3. Ekkor teljesul az ellipszoid tulajdonsag, vagyis

1. Dt+1 ∈ PD

2. vol(Et+1)vol(Et)

≤ e−1

2(n+1)

3. Ht = Et ∩ {x ∈ Rn : dTx ≤ dTxt} ⊆ Et+1

Bizonyıtas.

1. Az elozo lemma 7. pontja szerint Dt+1 = QT ∆Q ahol ∆ = n2

n2−1

(I − 2

n+1e1eT2

)∈ PD

diagonalis matrix ha n ≥ 3.

xT Dt+1x = xT QT ∆Qx = xT QT ∆12 ∆

12 Qx =

∥∥∥∆ 12 Qx

∥∥∥ > 0

2.

vol(Et+1)

vol(Et)=

vol(T (Et+1))

vol(T (Et))

(4)=

vol(E(∆, 1

n+1e1

))vol (Sn)

=√

det(∆) =

√det

(n2

n2 − 1

(I − 2

n + 1e1eT

1

))

=

√(n2

n2 − 1

)nn− 1

n + 1=

√(n2

n2 − 1

)n−1n2

n2 − 1

n− 1

n + 1

=

√(n2

n2 − 1

)n−1(n

n + 1

)2

=

√(1 +

1

n2 − 1

)n−1(1− 1

n + 1

)2

Felhasznalva hogy 1 + α ≤ eα kapjuk, hogy

vol(Et+1)

vol(Et)≤√(

e1

n2−1

)n−1 (e−

1n+1

)2=

√e

1n+1 e−

2n+1 = e−

12(n+1)

Page 72: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Ellipszoid tulajdonsag bizonyıtas ...

3. T (Et+1) = E(∆, 1

n+1e1

), ahol ∆ = n2

n2−1

(I − 2

n+1e1eT2

)es T (Ht) =

{ξ : ξT ξ ≤ 1 es ξ1 ≥ 0

}.

T (Et+1) =

{ξ :

(ξ − 1

n + 1e1

)T

∆−1

(ξ − 1

n + 1e1

)≤ 1

}

ahol

∆−1 =

(n+1)2

n2 0 . . . 0

0 n2−1n2

...... . . . 0

0 . . . 0 n2−1n2

∈ Rn×n

pozitıv definit diagonalis matrix.

Page 73: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Ellipszoid tulajdonsag bizonyıtas ...(ξ − 1

n + 1e1

)T

∆−1

(ξ − 1

n + 1e1

)=

(n + 1)2

n2

(ξ1 −

1

n + 1

)2

+n2 − 1

n2

n∑i=2

ξ2i

=n2 − 1

n2

n∑i=2

ξ2i +

(n + 1)2

n2ξ21 −

2ξ1(n + 1)

n2+

(n + 1)2

n2

1

(n + 1)2

=n2 − 1

n2

n∑i=1

ξ2i +

2(n + 1)

n2ξ21 −

2(n + 1)

n2ξ1 +

1

n2

=n2 − 1

n2

n∑i=1

ξ2i +

1

n2+

2(n + 1)

n2ξ1(ξ1 − 1)

azaz

T (Et+1) =

{ξ :

n2 − 1

n2

n∑i=1

ξ2i +

1

n2+

2(n + 1)

n2ξ1(ξ1 − 1) ≤ 1

}Ha ξ ∈ T (Ht) akkor

n2 − 1

n2

n∑i=1

ξ2i +

1

n2+

2(n + 1)

n2ξ1(ξ1 − 1) ≤ n2 − 1

n2+

1

n2+

2(n + 1)

n2ξ1(ξ1 − 1)

= 1 +2(n + 1)

n2ξ1(ξ1 − 1)

Mivel 0 ≤ ξ1 ≤ 1, ezert ξ1(ξ1 − 1) ≤ 0 es ıgy ξ1(ξ1 − 1) ≤ 0 azaz ξ ∈ T (Et+1). Megmutattuk hogyT (Ht) ⊆ T (Et+1), de T bijektıv leven keszen vagyunk.

�A tovabbiakban megmutatjuk hogyan lehet minden LP feladatot egy, az algoritmus felteteleinekmegfelelo megengedettsegi feladatta alakıtani.

Page 74: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Becsles a determinansra0.8. Lemma. Legyen A ∈ Rm×n, I ∈ Rm×m,b ∈ Rm, I egysegmatrix. Legyen B ∈ Rm×m az(A, I,b) reszmatrixa. Ekkor

|det(B)| < 2L/n

ahol

L =

1 + log2 n + log2 m +m∑

i=1

n∑j=1

(1 + log2(1 + |aij |)) +m∑

j=1

(1 + log2(1 + |bi|))

az adatok tarolasi igenye.Bizonyıtas.

|det(B)| =

∣∣∣∣∣ ∑π∈Sm

(−1)σ(π)α1π(1) . . . αmπ(m)

∣∣∣∣∣≤∑

π∈Sm

(∣∣α1π(1)

∣∣+ · · ·+∣∣αnπ(n)

∣∣)≤

m∏i=1

m∏j=1

(|αij |+ 1)

≤m∏

i=1

n∏j=1

(|aij |+ 1)m∏

i=1

(|bi|+ 1)

<2L

nm<

2L

n

Page 75: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Bazismegoldasok becslese

0.9. Lemma. Tekintsuk az Ax ≤ b,x ≥ 0 megengedettsegi feladatot, aholA ∈ Zm×n, b ∈ Zm. Ekkor barmely x bazis megoldasa a megengedettsegifeladatnak olyan, hogy ‖x‖ < 2L.Bizonyıtas. Ha xj 6= 0 akkor a Cramer-szabaly szerint

|xj| =|det Bj||det B|

< |det Bj| <2L

n

mivel det B > 0 vagyis det B ≥ 1 leven egesz, es ıgy

‖x‖ < 2L

Page 76: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Polieder terfogatanak becslese

0.10. Lemma. Legyen P = {x ∈ Rm : Ax ≤ b,x ≥ 0}, ahol A ∈ Zm×n,b ∈ Zm ahol int(P ) 6= 0.Ekkor

vol(E0 ∩ P ) ≥ 2−(n+1)L.

Bizonyıtas. Legyen x ∈ intP , illetve x ∈ P bazismegoldas. Ekkor

|xj | <2L

n

illetve ∃δ hogy B(x, δ) ⊂ P. Mivel P konvex, ıgy tetszoleges x ∈ P eseten a conv(x, B(x, δ)) kupis P -ben van, ıgy a

P =

{x ∈ Rn : Ax ≤ b,x ≥ 0,x ≤ 2L

ne

}(9)

polieder mar korlatos es tovabbra is van belso pontja.Mivel P korlatos, ıgy eloall mint extremalis pontjainak a konvex burka. Mivel P -nak belso pontja,ıgy teljes dimenzios, ezert kivalaszthato {v0, . . . ,vn} ⊂ P extremalis pontjai, melyek affin fugget-lenek, vagyis a

∆v = conv{v0, . . . , vn} ⊂ P

egy n dimenzios szimplex. Felhasznalva hogy az n dimenzios egysegszimplex terfogata 1n! illetve

a 7. lemmat adodik, hogy

vol(∆v) =1

n!

∣∣∣∣∣∣det

1 1 . . . 1

v0 v1 . . . vn

∣∣∣∣∣∣

Page 77: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Bizonyıtas ... es felfujt polieder

Legyen vi = ui

diahol ui ∈ Zn, di ∈ Z es i ∈ {0, . . . , n} felhasznalva, hogy a vi pontok egyben

bazismegoldasai a P poliedernek, ıgy a Cramer szabaly miatt racionalisak. es egyben |vi| = ui

di<

2L

n , vagyis ha ui 6= 0 akkor di > n2−L. Amennyiben ui = 0 akkor di valaszthato ilyennek. Eztfelhasznalva adodik, hogy

vol(∆v) =1

n!

∣∣∣∣∣∣ 1

d0d1 . . . dndet

do d1 . . . dn

u0 u1 . . . un

∣∣∣∣∣∣≥ 1

n!d0d1 . . . dn≥ 2−(n+1)Lnn+1

n!≥ 2−(n+1)L

Mivel ∆v ⊂ P ezertvol(E0 ∩ P ) ≥ vol(P ) ≥ vol(∆v) ≥ 2−(n+1)L

�A kovetkezokben megkonstrualunk egy uj poliedert az eredetibol, melynek mar van belso pontja,de egy megengedett megoldasabol meghatarozhato az erdeti egy megengedett megoldasa.Legyen A ∈ Zm×n es b ∈ Zm.

P1 := {x ∈ Rn : Ax ≤ b}

esP2 := {x ∈ Rn : 2L(a(i))Tx < 2Lbi + 1} (10)

Az egyszerubb jeloles kedveert legyen Θi(x) := (a(i))Tx−bi minden i ∈ {1, . . . ,m} eseten. Vagyis(a(i))Tx ≤ bi ⇐⇒ Θi(x) ≤ 0.

Page 78: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Technikai segedlemma

0.11. Lemma. Legyen x0 ∈ Rn tetszoleges pont. Ekkor ∃x ∈ Rn :

Θi(x) ≤ max{0, Θi(x0)} ∀i

es ha J := {i : Θi(x) ≥ 0} akkora(j) =

∑i∈J

λia(i)

mindıg megoldhato.Bizonyıtas. Felteheto, hogy {i : Θi(x

0) ≥ 0} = {1, . . . , k}. Az elso feltetelt teljesıto vektormindenkeppen van, leven maha az x0 ilyen.Tekintsuk az {a(1), . . . , a(k)} sorvektorokat, es tegyuk fel hogy nem feszıtik ki az A matrix sorteret.Felteheto, hogy a(k+1) /∈ L

({a(1), . . . , a(k)}

). A kovetkezo egyenletrendszer

(a(i))T

y = 0 i = 1, . . . , k(a(k+1)

)Ty = 1

megoldhato, legyen y0 egy megoldas. Legyen

λ0 := min

{λ : λ

(a(k+1)

)Ty0 + Θi(x

0) ≤ 0, i = k + 1, . . . ,m

}

Page 79: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Technikai segedlemma bizonyıtas ...

Mivel(a(k+1)

)Ty0 = 1 es Θi(x

0) < 0 i = k + 1, . . . ,m ezert

λ0(a(k+1)

)Ty0 + Θi(x

0) ≤ 0

miatt λ0 ≤ −Θk+1(x0). Mivel Θi(x

0) < 0 ezert λ0 > 0 es ıgy 0 < λ0 ≤−Θk+1(x

0) adodik. Legyen

x1 = x0 + λ0y0

es ıgy

Θi(x1) = Θi(x

0) + λ0(a(i))T

y0 = Θi(x0) i = {1, . . . , k}

es Θi(x1) ≤ 0 i = k+1, . . . ,m eseten. A λ0 definıcioja miatt viszont legalabb

egy esetben nulla a Θi(x1) erteke az i ∈ {k + 1, . . . ,m} halmazon, azaz

J elemszamat noveltuk legalabb eggyel. Ha x1 nem megfelelo, iteraljuk azeljarast. �

Page 80: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A felfujt polielder ekvivalenciaja

0.2. Tetel. P1 6= ∅ ⇐⇒ P2 6= ∅. Tovabba barmely x ∈ P2 vektorbol polinom idoben konstrualhatoy ∈ P1 vektor.

Bizonyıtas. P1 ⊂ P2 nyilvanvalo, azaz P1 6= ∅ ⇒ P2 6= ∅.Tehat a megfordıtasat igazoljuk. Legyen x0 ∈ P2 es x0 /∈ P1. Ekkor az x0-bol konstualunk egyx ∈ P1 vektort.

x0 ∈ P2 ⇒ Θi(x0) < 2−L i = 1, . . . ,m

Felteheto hogy J(x0) = {i : Θi(x0) ≥ 0} = {1, . . . , k} es ıgy Θi(x

0) < 0 ha i = k + 1, . . . ,m.Felhasznalva az elozo lemmat, legyen x olyan, hogy Θi(x) ≤ max(0, Θi(x

0)) es {a(i) : i ∈ J(x) ={i : Θi(x) ≥ 0}} kifeszıti az A matrix sorteret. Keressuk meg az {a(i) : i ∈ J(x)} vektorrendszermaximalis fuggetlen reszet, legyen ez I. Ekkor a J(x) definıcoja es a fuggetlenseg miatt |I| ≤m− 1 ≤ n− 1.Oldjuk meg az (

a(i))T

x = bi i ∈ I (11)

rendszert. Megmutatjuk hogy a 11 rendszer barmely x megoldasa egyben a P1 megoldasa is.Legyen l ∈ {1, . . . ,m}. Ekkor az

a(l) =∑i∈I

λia(i)

rendszer megoldhato az I konstrukcioja miatt. Mivel az {a(i) : i ∈ I} rendszer linearisan fuggetlen,ıgy a megoldas egyertelmu. Legyen λi = di

d ahol di, d ∈ Z. A d > 0 egy esetleges −1 -el valoszorzas aran felteheto (Cramer szabaly: λi racionalis).

Page 81: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A felfujt polielder ekvivalenciaja bizonyıtas ...

A korabbiak alapjan

d, di <2L

n

Igy

d

((a(l))T

x− bl

)=∑i∈I

di

(a(i))T

x− dbl =∑i∈I

dibi − dbl

mivel x megoldasa a 11 egyenletnek, masfelol

∑i∈I

dibi − dbl =∑i∈I

di

((a(i))T

x−Θi(x)

)− d

((a(l))T

x−Θl(x)

)

=

∑6i∈I

di

(a(i))T

x− d(a(l))T

x

︸ ︷︷ ︸

=0

+ dΘl(x)−∑i∈I

diΘi(x)

Felhasznalva, hogy i ∈ {1, . . . ,m} eseten 0 ≤ Θi(x) ≤ 2−L

dΘl(x)−∑i∈I

diΘi(x) ≤ d2−L −∑i∈I

diΘi(x)

<2L

n2−L +

∑i∈I

|di|Θi(x) <1

n+∑i∈I

2L

n2−L =

1

n+|I|n

=|I|+ 1

n≤ n

n= 1

Page 82: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

A felfujt polielder ekvivalenciaja bizonyıtas ...

Tehat∑

i∈I dibi − dbl < 1 egesz, ıgy szuksegszeruen∑i∈I

dibi ≤ dbl

azaz ∑i∈I

di

dbi ≤ bl∑

i∈I

λibi ≤ bl

Mivel ez tetszoleges l indexre teljesul, az allıtast igazoltuk. �

Page 83: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

LPbol megengedettsegi feladatHatra van meg megmutatnukn, hogyan lehet egy LP feladatot megengedettsegifeladatta alakıtani. Megjegyzendo, hogy az ellipszoid algoritmus kozvetlenulis modosıthato olymodon, hogy linearis celfugveny eseten kozelıto megoldastkeressen [1].Tekintsuk a szokasos primal-dual feladatpart.

min cTx

Ax ≥ b

x ≥ 0

(P )

max bTy

ATy ≤ c

y ≥ 0

(D)

Az LP feladat megoldasa ekvivalens a fenti feldatpar megoldasaval, ıgy a

Ax ≥ b, x ≥ 0

ATy ≤ cT , y ≥ 0

cTx ≤ bTy

optimalitasi kriteriumok (12)

rendszerrel is. Legyen tovabba A ∈ Zm×n, b ∈ Zm es c ∈ Zn. A fenti op-timalitasi kriteriumok segıtsegevel az LP feladat Ax ≤ b formara alakıthato,es az Ax ≤ b + 2−L rendszerre pedig alkalmazhato az ellipszoid modszer.

Page 84: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Lepesszam megint

Osszefoglalasul keszıtsuk el a kapott lepesszambecslest a bizonyıtott alakra.Legyen tehat adott az LP feladat, es hozzuk 12 megengedettsegi feladat alakjara, ıgy kapjuk a P0

poliedert. Szamıtsuk ki a feladat leırasahoz szukseges bithosszt:

L0 :=

1 + log2 n + log2 m + 2

m∑i=1

n∑j=1

(1 + log2(1 + |aij |)) +m∑

j=1

(1 + log2(1 + |bi|))

Ezt a feladatot meg korlatossa tesszuk 9 es beagyazzuk hogy legyen belso pontja 10. Ez az elobbiesetben a jobboldal, mıg utobbi esetben a felteteli matrix es a jobboldal eseten jelent egy 2L0-ostobbletvektort, illetve szorzast. Az ıgy modosıtott feladat leırasahoz szukseges

L :=

1 + log2 n + log2 m + 2

m∑i=1

n∑j=1

(1 + log2(1 + |aij | 2L0)) +m∑

j=1

(1 + log2(1 +(|bi|+ 2L0

)2L0))

L ' 2L2

0

Ezen leıras segıtsegevel a belso terfogat becslese:

ν := 2−2(n+1)L

A kezdeti kore ırt ellipszoid terfogatbecslese: velhasznalva az extremalis pontokra kapott ‖x‖ <2L becslest

V ≤ cn2nL

Illetve a teljes lepesszam:d2(n + 1)(log V − log ν)e

Page 85: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Pontos es kozelıto aritmetika

Page 86: Linearis programoz´ as bels´ opontos˝ modszerei´web.cs.elte.hu/~illes/Tantargyak/Linearis Optimalizalas/LPBPMeaf07.pdf · •First •Prev •Next •Last •Go Back •Full Screen

•First •Prev •Next •Last •Go Back •Full Screen •Close •Quit

Koszonom a figyelmet

Hivatkozasok[1] George L. Nemhauser, Larence A. Wolsey, Integer and Combinatorical Op-

timization, Wiley-Interscience, John Wiley & Sons, Inc, 1998

[2] Manfred PAdberg, Linear Optimization and Extensions, Springer