Presentacion Examen de titulo DIM

Implementacion de un metodo de programacion

semidefinida usando computacion paralela

Oscar Francisco Peredo Andrade

Presentacion para optar al Tıtulo de Ingeniero Civil Matematico

Facultad de Ciencias Fısicas y Matematicas, Universidad de Chile

3 de Junio de 2010

Esquema

Introduccion

AntecedentesProgramacion semidefinida lineal (SDP)Filter-SDPComputacion paralela

Trabajo realizadoEstudio de sistemas de calculo paraleloImplementacion en C: fnlsdpDiseno de distintas fases de restauracion

Resultados numericos

Conclusiones

Trabajo futuro

Esquema

Introduccion

Conclusiones

Trabajo futuro

Motivacion

• Experimentar el proceso de desarrollo de una aplicacion cientıficadesde su diseno, realizado en sistemas de alto nivel (MATLAB),hasta su implementacion basada en calculo paralelo, realizada ensistemas de bajo nivel (C ).

• Resolver un problema de programacion semidefinida no lineal:

minx∈Rn

s.a h(x) = 0G (x) � 0

donde f : Rn → R, h : Rn → Rp y G : Rn → Sm son clase C 2,usando una version del algoritmo Filter-SDP desarrollado en[GR06].

Motivacion

minx∈Rn

s.a h(x) = 0G (x) � 0

Motivacion

minx∈Rn

s.a h(x) = 0G (x) � 0

Objetivos

• Estudio de herramientas de calculo paralelo aplicables en elalgoritmo Filter-SDP.

• Implementacion del algoritmo Filter-SDP utilizando C.

• Diseno de nuevas fases de restauracion para el algoritmoFilter-SDP utilizando MATLAB.

• Realizacion de pruebas numericas (implementacion C y nuevasfases de restauracion).

Objetivos

Esquema

Introduccion

Conclusiones

Trabajo futuro

Esquema

Introduccion

Conclusiones

Trabajo futuro

Programacion semidefinida lineal (SDP)

Formulacion primal ([VB96]):

minx∈Rm

s.a F0 +m∑

xi Fi � 0(2)

con c ∈ Rm y F0, . . . ,Fn ∈ Sn.Formulacion dual:

maxZ∈Sn

−Tr(F0Z )

s.a Tr(Fi Z ) = ci , i = 1, ...,mZ � 0

minx∈Rm

s.a F0 +m∑

xi Fi � 0(2)

con c ∈ Rm y F0, . . . ,Fn ∈ Sn.

Formulacion dual:

maxZ∈Sn

−Tr(F0Z )

s.a Tr(Fi Z ) = ci , i = 1, ...,mZ � 0

minx∈Rm

s.a F0 +m∑

xi Fi � 0(2)

con c ∈ Rm y F0, . . . ,Fn ∈ Sn.Formulacion dual:

maxZ∈Sn

−Tr(F0Z )

s.a Tr(Fi Z ) = ci , i = 1, ...,mZ � 0

Programacion semidefinida: aplicaciones

El problema de programacion lineal:

minx∈Rn

s.a Ax + b ≥ 0(4)

tiene una formulacion SDP:

minx∈Rn

s.a diag(Ax + b) � 0(5)

o equivalentemente:

minx∈Rn

s.a diag(b)︸︷︷︸F0

i=1 xi diag(A·,i )︸︷︷︸Fi

� 0 (6)

minx∈Rn

s.a Ax + b ≥ 0(4)

minx∈Rn

s.a diag(Ax + b) � 0(5)

o equivalentemente:

minx∈Rn

� 0 (6)

minx∈Rn

s.a Ax + b ≥ 0(4)

minx∈Rn

s.a diag(Ax + b) � 0(5)

o equivalentemente:

minx∈Rn

� 0 (6)

minx∈Rn

s.a Ax + b ≥ 0(4)

minx∈Rn

s.a diag(Ax + b) � 0(5)

o equivalentemente:

minx∈Rn

� 0 (6)

minx∈Rn

s.a Ax + b ≥ 0(4)

minx∈Rn

s.a diag(Ax + b) � 0(5)

o equivalentemente:

minx∈Rn

� 0 (6)

El problema de programacion cuadratica convexa tambien se puedeformular como SDP. Para c ∈ Rn, b, g ∈ Rm, d ∈ R,A,H ∈ Rm×n:

minx∈Rn

(Ax + b)T (Ax + b)− cT x − d

s.a Hx + g ≥ 0(7)

Equivalentemente:

minx∈Rn,t∈R

s.a (Ax + b)T (Ax + b)− cT x − d ≤ tHx + g ≥ 0

y utilizando el complemento de Schur ( Ir a Apendice ) se tiene:

minx∈Rn,t∈R

Im×m Ax + b(Ax + b)T cT x + d + t

]� 0

diag(Hx + g) � 0

El problema de programacion cuadratica convexa tambien se puedeformular como SDP.

Para c ∈ Rn, b, g ∈ Rm, d ∈ R,A,H ∈ Rm×n:

minx∈Rn

(Ax + b)T (Ax + b)− cT x − d

s.a Hx + g ≥ 0(7)

Equivalentemente:

minx∈Rn,t∈R

]� 0

diag(Hx + g) � 0

minx∈Rn

(Ax + b)T (Ax + b)− cT x − d

s.a Hx + g ≥ 0(7)

Equivalentemente:

minx∈Rn,t∈R

]� 0

diag(Hx + g) � 0

minx∈Rn

(Ax + b)T (Ax + b)− cT x − d

s.a Hx + g ≥ 0(7)

Equivalentemente:

minx∈Rn,t∈R

]� 0

diag(Hx + g) � 0

minx∈Rn

(Ax + b)T (Ax + b)− cT x − d

s.a Hx + g ≥ 0(7)

Equivalentemente:

minx∈Rn,t∈R

]� 0

diag(Hx + g) � 0

minx∈Rn

(Ax + b)T (Ax + b)− cT x − d

s.a Hx + g ≥ 0(7)

Equivalentemente:

minx∈Rn,t∈R

]� 0

diag(Hx + g) � 0

minx∈Rn

(Ax + b)T (Ax + b)− cT x − d

s.a Hx + g ≥ 0(7)

Equivalentemente:

minx∈Rn,t∈R

]� 0

diag(Hx + g) � 0

Programacion semidefinida: metodos de resolucion

• Punto interior

• Paquete o haz espectral (bundle methods)

• Punto interior

Esquema

Introduccion

Conclusiones

Trabajo futuro

Filter-SDP

• Algoritmo desarrollado por Gomez & Ramirez [GR06] para resolverproblemas del tipo:

minx∈Rn

s.a h(x) = 0G (x) � 0

• Basado en el algoritmo de filter-SQP, desarrollado en [FGLT01]para resolver problemas de programacion no lineal.

• Principales aspectos: utilizacion de un filtro, resolucion de unproblema tangencial cuadratico y desarrollo de una fase derestauracion.

Filter-SDP

minx∈Rn

s.a h(x) = 0G (x) � 0

Filter-SDP

minx∈Rn

s.a h(x) = 0G (x) � 0

Filter-SDP

minx∈Rn

s.a h(x) = 0G (x) � 0

Filter-SDP: filtro

• Idea central: utilizar un enfoque multiobjetivo, donde se minimicela funcion objetivo f (x) y una funcion de merito θ(x), quecuantifica la factibilidad de un punto, donde:

θ(x) = ‖h(x)‖2 + max{0, λ1(G (x))} (11)

• El filtro F = {(θ(xi ), f (xi ))}ni=1 almacena informacion de puntos

que no se dominan entre si:

xk domina a xp ⇔ f (xk) ≤ f (xp) y θ(xk ) ≤ θ(xp)

• Se utiliza como criterio para escoger nuevos puntos xk de lasucesion convergente (salvo subsucesiones) al optimo (local).

• Todos los puntos xk que se guarden en el filtro deben seraceptables:

x es aceptable por F⇔

∀i ∈ {1, . . . , n} : θ(x) ≤ βθ(xi ) o f (x) + γθ(x) ≤ f (xi )

Filter-SDP: filtro

θ(x) = ‖h(x)‖2 + max{0, λ1(G (x))} (11)

xk domina a xp ⇔ f (xk) ≤ f (xp) y θ(xk ) ≤ θ(xp)

Filter-SDP: filtro

θ(x) = ‖h(x)‖2 + max{0, λ1(G (x))} (11)

xk domina a xp ⇔ f (xk ) ≤ f (xp) y θ(xk ) ≤ θ(xp)

Filter-SDP: filtro

θ(x) = ‖h(x)‖2 + max{0, λ1(G (x))} (11)

Filter-SDP: filtro

θ(x) = ‖h(x)‖2 + max{0, λ1(G (x))} (11)

Filter-SDP: filtro

A domina a B

Filter-SDP: filtro

A no domina a B

Filter-SDP: filtro

F es aceptable por el filtro{A,B,C ,D,E}

Filter-SDP: filtro

Agregar punto F al filtro{A,B,C ,D,E}.Nuevo filtro: {A,B,C ,F ,E}

Filter-SDP: problema tangencial cuadratico

En cada iteracion del algoritmo, un punto xk+1 = xk + dk se contruyeutilizando la solucion dk de un problema tangencial cuadratico (trustregion local semidefinite approximation), asociado al punto xk y a unradio ρ:

QP(x , ρ) : mind∈Rn

∇f (x)d +1

2dT Bd

s.a. h(x) + Dh(x)d = 0

G (x) + DG (x)d � 0

‖d‖∞ ≤ ρ

∇f (x)d +1

2dT Bd

s.a. h(x) + Dh(x)d = 0

G (x) + DG (x)d � 0

‖d‖∞ ≤ ρ

∇f (x)d +1

2dT Bd

s.a. h(x) + Dh(x)d = 0

G (x) + DG (x)d � 0

‖d‖∞ ≤ ρ

Filter-SDP: fase de restauracion

La fase de restauracion tiene como objetivo generar un punto xk quecumpla con las siguientes condiciones:

A1 (θ(xk ), f (xk )) es aceptable para el filtro Fk−1.

B1 QP(xk , ρ) es factible.

donde Fk−1 es el filtro obtenido de la iteracion anterior y θ(x) es lafuncion de merito escogida.

Filter-SDP: algoritmo Ir a pseudocodigo

Esquema

Introduccion

Conclusiones

Trabajo futuro

Computacion paralela

• Situacion en la que al menos 2 procesadores cooperanintercambiando informacion mientras trabajan en diferentes partesde uno o mas problemas.

• Diferentes clasificaciones segun: numero de procesadores, acceso ala memoria, redes que comunican a los procesadores, I/O, etc.

• En este trabajo se estudiaron sistemas que funcionan enarquitecturas de memoria distribuıda:

Computacion paralela: aspectos paralelizables deFilter-SDP

• Calculo de θ(x)

• Resolucion de QP(x , ρ)

• Otras operaciones algebraicas

Esquema

Introduccion

Conclusiones

Trabajo futuro

Esquema

Introduccion

Conclusiones

Trabajo futuro

Estudio de sistemas de calculo paralelo

• ScaLAPACK: Scalable Linear Algebra Package

• PCSDP: C Library for Parallel Linear Semidefinite Programming

ScaLAPACK

• Estudio de laslibrerıas basicas:BLAS, LAPACK,BLACS, PBLAS.

• Intel Math KernelLibrary.

• DGEMM, PDPOTRF,PDPOTRS y PDSYEVX.

• Se genero unadocumentacion conejemplos simples parainstalar, conectar yutilizar esta librerıa.

ScaLAPACK

• CSDP: librerıa/solver (FLOSS) para SDP desarrollada por B.Borchers, U. New Mexico ([Bor99]).

• PCSDP: librerıa/solver (FLOSS) basado en CSDP, desarrolladopara sistemas de memoria distribuıda (Beowulf) por Ivan Ivanov,TU Delft ([IK07]).

• Utilizacion de ScaLAPACK para operaciones algebraicas.

• Claridad en el codigo, ademas de reutilizacion de rutinas.

• Se utiliza para resolver QP(x , ρ).

Esquema

Introduccion

Conclusiones

Trabajo futuro

fnlsdp

Esquema

Introduccion

Conclusiones

Trabajo futuro

Diseno de distintas fases de restauracion

• Fase de restauracion: encontrar xk que satisface A1 y B1.

A1 (θ(xk ), f (xk )) es aceptable para el filtro Fk−1.B1 QP(xk , ρ) es factible.

• Enfoques estudiados:

◦ Enfoque original (implementacion MATLAB)◦ Restauracion inexacta◦ Soluciones suboptimales SOF (Static Output Feedback)◦ Posicionamiento de polos

• Enfoques estudiados:◦ Enfoque original (implementacion MATLAB)

◦ Restauracion inexacta◦ Soluciones suboptimales SOF (Static Output Feedback)◦ Posicionamiento de polos

• Enfoques estudiados:◦ Enfoque original (implementacion MATLAB)◦ Restauracion inexacta

◦ Soluciones suboptimales SOF (Static Output Feedback)◦ Posicionamiento de polos

• Enfoques estudiados:◦ Enfoque original (implementacion MATLAB)◦ Restauracion inexacta◦ Soluciones suboptimales SOF (Static Output Feedback)

◦ Posicionamiento de polos

• Enfoques estudiados:◦ Enfoque original (implementacion MATLAB)◦ Restauracion inexacta◦ Soluciones suboptimales SOF (Static Output Feedback)◦ Posicionamiento de polos

Enfoque original Ir a pseudocodigo

Restauracion inexacta

• Metodo desarrollado en [SM08] para programacion no lineal, queutiliza 2 fases: factibilidad y optimalidad.

• Etapa de factibilidad entrega una direccion de descenso para θ(x).• Se adapto la etapa de factibilidad para nuestro problema

min{f (x) : h(x) = 0,G (x) � 0, x ∈ Rn}:

LP(xk ) : mind∈Rn

P|J+G|

i=1 λi (G(xk ) + DG(xk )d)

j∈J ‖hj (xk ) + Dhj (xk )d‖2

s.a hj (xk ) + Dhj (xk )d = 0, j ∈ J∗

E T (G(xk ) + DG(xk )d)E � 0

• Este metodo entrega como resultado un punto zk = xk + αd , cond solucion de LP(xk) y α el paso de descenso (backtracking), y seinterpreta como un punto suficientemente mas factible que xk detal manera que es aceptable por el filtro.

min{f (x) : h(x) = 0,G (x) � 0, x ∈ Rn}:

LP(xk ) : mind∈Rn

P|J+G|

s.a hj (xk ) + Dhj (xk )d = 0, j ∈ J∗

E T (G(xk ) + DG(xk )d)E � 0

• Etapa de factibilidad entrega una direccion de descenso para θ(x).

• Se adapto la etapa de factibilidad para nuestro problemamin{f (x) : h(x) = 0,G (x) � 0, x ∈ Rn}:

LP(xk ) : mind∈Rn

P|J+G|

s.a hj (xk ) + Dhj (xk )d = 0, j ∈ J∗

E T (G(xk ) + DG(xk )d)E � 0

min{f (x) : h(x) = 0,G (x) � 0, x ∈ Rn}:

LP(xk ) : mind∈Rn

P|J+G|

s.a hj (xk ) + Dhj (xk )d = 0, j ∈ J∗

E T (G(xk ) + DG(xk )d)E � 0

min{f (x) : h(x) = 0,G (x) � 0, x ∈ Rn}:

LP(xk ) : mind∈Rn

P|J+G|

s.a hj (xk ) + Dhj (xk )d = 0, j ∈ J∗

E T (G(xk ) + DG(xk )d)E � 0

• Este metodo entrega como resultado un punto zk = xk + αd , cond solucion de LP(xk ) y α el paso de descenso (backtracking), y seinterpreta como un punto suficientemente mas factible que xk detal manera que es aceptable por el filtro.

Restauracion inexacta Ir a pseudocodigo

Soluciones suboptimales SOF

• En los 2 metodos anteriores se puede caer en una situacion de loopque desencadena la detencion del algoritmo (fallo en la fase derestauracion).

• Se decidio investigar metodos para generar soluciones suboptimalesasociadas al problema aplicado que se intenta resolver (diseno decontroles SOF). Esas soluciones se usaran como puntos iniciales enla fase de restauracion (se espera que hayan mas puntos aceptablespor el filtro).

• En [Mos08] se describen metodos para generar solucionessuboptimas para una aplicacion simplificada de diseno de controlesSOF.

Soluciones suboptimales SOF Ir a pseudocodigo

Posicionamiento de polos

• Consiste en un upgrade del metodo de soluciones optimales SOF.

• Utiliza una rutina descrita en [YO07] que permite encontrar unamatrız F dado un vector de valores propios λD de tal forma queλ(A + BFC ) = λD .

• Con esto se pueden generar una serie de nuevos puntos de partidapara el algoritmo.

• En caso de que falle la fase de restauracion, se genera un nuevopunto xk y se pasa como input nuevamente a esta fase, el numerode veces que se defina.

Posicionamiento de polos Ir a pseudocodigo

Esquema

Introduccion

Conclusiones

Trabajo futuro

Resultados

• Comparacion fnlsdp e implementacion MATLAB

• Speedup de fnlsdp

• Comparacion de fases de restauracion

Resultados: fnlsdp vs. MATLAB

• 54 problemas ((A,B)-controlables y (A,C )-observables).

• Igual fase de restauracion (enfoque original, distintasimplementaciones).

• Igual punto inicial (F0,Q0,V0) (generado por metodo deposicionamiento de polos).

• εTOL = 10−4

Resultados: fnlsdp vs. MATLAB

Eje Y: numero de problemas que satisfacen ‖d‖ < U (izquierda),f (x) < U (centro) y θ(x) < U (derecha).

Resultados: speedup

• Speedup =tparalelo

tsecuencial(mientras mas pequeno, mejor).

• Se escogieron los tests de tamano grande cuyo tiempo de ejecucionfuera mayor a 100 segundos (4 de 54 problemas).

• Se realizaron pruebas de speedup para las componentesparalelizadas, de manera independiente (resolucion de QP(x , ρ) ycalculo de θ(x)).

• Cluster leloo: 4 servidores con 8 procesadores c/u. Solo se utilizo1 servidor, pues no estan conectados por una red ad-hoc(disminuye la velocidad de transferencia de mensajes y perturba lasmediciones).

Resultados: speedup fnlsdp

Tiempos de ejecucion de fnlsdp:

Problema 1 proceso 2 procesos 4 procesos 8 procesos

HE4 102.62 100.97 119.42 1153.21

HE5 138.33 222.38 248.03 858.92

BDT1 234.70 211.07 187.33 436.45

ROC8 795.10 814.02 653.07 2095.69

Speedup de fnlsdp:

Problema 1 proceso 2 procesos 4 procesos 8 procesos

HE1 1 0.98 1.16 11.24

HE5 1 1.61 1.79 6.21

BDT1 1 0.89 0.79 1.86

ROC8 1 1.02 0.82 2.63

Resultados: resolucion de QP(x , ρ)

Speedup de PCSDP:

Problema m n 1 proceso 2 procesos 4 procesos 8 procesos

truss4 12 19 1 7.66 8.1 9.71

truss3 27 31 1 6.58 6.9 13.83

qap5 136 26 1 5.55 5.65 6.27

gpp124-1 125 124 1 2.52 2.56 4.33

arch0 174 335 1 0.93 0.81 1.39

gpp250-1 250 250 1 4.27 1.43 1.33

gpp500-1 501 500 1 2.5 0.75 1.37

equalG11 801 801 1 0.78 0.85 0.82

qap10 1021 101 1 1.02 0.84 0.84

control10 1326 150 1 0.7 0.53 0.64

qpG51 1000 2000 1 1.04 1 1.49

Resultados: calculo de θ(x)

Speedup de PDSYEVX:

Problema Dimension 1 proceso 2 procesos 4 procesos 8 procesos

sherman1 1000 1 2.16 2.09 2.25

lshp1009 1009 1 2.38 2.3 3.91

rajat02 1960 1 0.77 0.52 0.73

ex14 3251 1 0.61 0.4 0.41

c-26 4307 1 0.6 0.43 0.46

c-30 5321 1 0.64 0.47 0.48

bcsstk17 10974 1 0.63 0.45 0.54

Resultados: fases de restauracion

• Se compararon 4 metodos:

1. Enfoque original + SOF2. Enfoque original + posicionamiento de polos3. Restauracion inexacta + SOF4. Restauracion inexacta + posicionamiento de polos

• Se escogio la baterıa de 54 problemas utilizada anteriormente.

Resultados: fases de restauracion

Eje Y: numero de problemas que satisfacen ‖d‖ < U (izquierda),f (x) < U (centro) y θ(x) < U (derecha).

metodo 1, metodo 2, metodo 3, metodo 4

Esquema

Introduccion

Conclusiones

Trabajo futuro

Conclusiones

• Implementacion C:

◦ Mejores resultados que la implementacion desarrollada en MATLABen terminos del valor de la funcion objetivo y de merito, sin embargono se puede asegurar nada con respecto a la terminacion delalgoritmo, pues solo en 1 caso se llego a una solucion donde ‖dx‖ ≈ 0.

◦ La utilizacion de calculo paralelo tiene utilidad solo si el problema esde grandes dimensiones. Se logro obtener un speedup adecuado enpocos casos de prueba.

• Diseno de fases de restauracion:

◦ Metodo 1a y metodo 4b, entregan los mejores rendimientosestadısticos con respecto a la baterıa de prueba COMPleib. Sinembargo, el metodo 1 entrega mejores resultados para la funcionobjetivo.

◦ En varios casos, un metodo encontro una solucion (suboptimal) y losotros no. Conviene tener varias fases de restauracion activassimultaneamente.

aEnfoque original + SOF suboptimales

bRestauracion inexacta + posicionamiento de polos

Conclusiones

• Implementacion C:

◦ Mejores resultados que la implementacion desarrollada en MATLABen terminos del valor de la funcion objetivo y de merito, sin embargono se puede asegurar nada con respecto a la terminacion delalgoritmo, pues solo en 1 caso se llego a una solucion donde ‖dx‖ ≈ 0.

Conclusiones

• Implementacion C:◦ Mejores resultados que la implementacion desarrollada en MATLAB

en terminos del valor de la funcion objetivo y de merito, sin embargono se puede asegurar nada con respecto a la terminacion delalgoritmo, pues solo en 1 caso se llego a una solucion donde ‖dx‖ ≈ 0.

Conclusiones

• Diseno de fases de restauracion:◦ Metodo 1a y metodo 4b, entregan los mejores rendimientos

estadısticos con respecto a la baterıa de prueba COMPleib. Sinembargo, el metodo 1 entrega mejores resultados para la funcionobjetivo.

Conclusiones

• Diseno de fases de restauracion:◦ Metodo 1a y metodo 4b, entregan los mejores rendimientos

estadısticos con respecto a la baterıa de prueba COMPleib. Sinembargo, el metodo 1 entrega mejores resultados para la funcionobjetivo.

Esquema

Introduccion

Conclusiones

Trabajo futuro

• Implementacion de una fase de restauracion en C que garantice laconvergencia y buen funcionamiento de la aplicacion fnlsdp.

• Diseno de otras fases de restauracion, o modificacion de las yaexistentes.

• Depuracion de la aplicacion fnlsdp para generar resultadosutilizando problemas mas grandes y verificar el speedup obtenido.

• Utilizacion de distintos solvers de programacion semidefinida odistintas formas de calcular valores propios.

Trabajo futuro

¿Preguntas?

Bibliografıa

B. Borchers, Csdp, a c library for semidefinite programming, Optimization Methods and Software 11/12 (1999),

613–623.

R. Fletcher, N.I.M. Gould, S. Leyffer, and Ph.L. Toint, Global convergence of trust region sqp filter algorithms for

nonlinear programming, Tech. report, 99/03, Department of Mathematics, University of Namur, Belgium, 2001.

W. Gomez and H. Ramırez, A filter algorithm for nonlinear semidefinite programming, Tech. report, Centro de

Modelamiento Matematico, 2006.

I.D. Ivanov and E. de Klerk, Parallel implementation of a semidefinite programming solver based on csdp in a

distributed memory cluster, Discussion Paper 2007-20, Tilburg University, Center for Economic Research, 2007.

El-S. M.E. Mostafa, First-order penalty methods for computing suboptimal output feedback controllers, Appl.

and Comput. Math. 7 (2008), no. 1, pp. 66–83.

C. Silva and M. Monteiro, A filter inexact-restoration method for nonlinear programming, TOP: An Official

Journal of the Spanish Society of Statistics and Operations Research 16 (2008), no. 1, 126–146.

L. Vandenberghe and S. Boyd, Semidefinite programming, SIAM Review 38 (1996), no. 1, pp. 49–95.

K. Yang and R. Orsi, Static output feedback pole placement via a trust region approach, IEEE Transactions on

Automatic Control 52 (2007), no. 11, pp. 2146–2150.

Apendice

Regresar a Ejemplos SDP

Propiedad (Complemento de Schur)

Para U =

)con A,C simetricas y A � 0, se tiene que

U � 0 sı y solo sı C − BT A−1B � 0. A la matrız C − BT A−1B se lellama complemento de Schur de A en U.

Propiedad (Criterio de Sylvester)

A � 0 sı y solo sı todo menor principal (diagonal) de A (submatrız quese obtiene como resultado de eliminar filas de ındices I y columnas deındices J a la matrız A, con I = J) es semidefinido positivo.

Apendice

Propiedad (Complemento de Schur)

Para U =

)con A,C simetricas y A � 0, se tiene que

U � 0 sı y solo sı C − BT A−1B � 0. A la matrız C − BT A−1B se lellama complemento de Schur de A en U.

Propiedad (Criterio de Sylvester)

A � 0 sı y solo sı todo menor principal (diagonal) de A (submatrız quese obtiene como resultado de eliminar filas de ındices I y columnas deındices J a la matrız A, con I = J) es semidefinido positivo.

Regresar a Filter-SDP

1: (INICIALIZACION) k ← 1, F0 = {(u,−∞)}, dk ←∞n , β ∈ (0, 1), γ ∈ (0, β), u > 0, σ ∈ (0, 1), ρ > 0,ρinicial > ρ, max iteraciones > 1.

2: Mientras k < max iteraciones hacer3: (FASE RESTAURACION) Encontrar xk y ρinicial ≥ ρ > ρ tales que: (θ(xk ), f (xk )) es aceptable para Fk−1

y QP(xk , ρ) es factible.

4: ρ← ρ.

5: (PROBLEMA TANGENCIAL) Resolver QP(xk , ρ).

6: Si ‖dk‖ < +∞ (QP(xk , ρ) es factible) entonces

7: Si ‖dk‖ < ε entonces

8: Fin del algoritmo. Solucion: xk .

9: Fin (Si)

10: Si (θ(xk + dk ), f (xk + dk )) no es aceptable por Fk−1 ∪ {(θ(xk ), f (xk ))} entonces

11: ρ← ρ2

. Ir a PROBLEMA TANGENCIAL.

12: De lo contrario,13: Si ∇f (xk )T dk + 1

k Bdk < 0 y f (xk ) + σ(∇f (xk )T dk + 12

dTk Bdk ) < f (xk + dk ) entonces

14: ρ← ρ2

k Bdk ≥ 0 entonces

17: Fk ← Add((θ(xk ), f (xk )),Fk−1) Iteracion tipo θ

18: De lo contrario,19: Fk ← Fk−1 Iteracion tipo f

20: Fin (Si)

21: xk+1 ← xk + dk , k ← k + 1, ρ← ρinicial , Ir a PROBLEMA TANGENCIAL.

22: Fin (Si)

23: Fin (Si)

24: De lo contrario,25: Fk ← Add((θ(xk ), f (xk )),Fk−1) Iteracion tipo θ

26: k ← k + 1. Ir a FASE RESTAURACION.27: Fin (Si)

28: Fin (Mientras)

Regresar a Filter-SDP

1: (INICIALIZACION) k ← 1, F0 = {(u,−∞)}, dk ←∞n , β ∈ (0, 1), γ ∈ (0, β), u > 0, σ ∈ (0, 1), ρ > 0,ρinicial > ρ, max iteraciones > 1.

2: Mientras k < max iteraciones hacer3: (FASE RESTAURACION) Encontrar xk y ρinicial ≥ ρ > ρ tales que: (θ(xk ), f (xk )) es aceptable para Fk−1

y QP(xk , ρ) es factible.

4: ρ← ρ.

5: (PROBLEMA TANGENCIAL) Resolver QP(xk , ρ).

6: Si ‖dk‖ < +∞ (QP(xk , ρ) es factible) entonces

7: Si ‖dk‖ < ε entonces

8: Fin del algoritmo. Solucion: xk .

9: Fin (Si)

10: Si (θ(xk + dk ), f (xk + dk )) no es aceptable por Fk−1 ∪ {(θ(xk ), f (xk ))} entonces

11: ρ← ρ2

k Bdk < 0 y f (xk ) + σ(∇f (xk )T dk + 12

dTk Bdk ) < f (xk + dk ) entonces

14: ρ← ρ2

k Bdk ≥ 0 entonces

17: Fk ← Add((θ(xk ), f (xk )),Fk−1) Iteracion tipo θ

18: De lo contrario,19: Fk ← Fk−1 Iteracion tipo f

20: Fin (Si)

21: xk+1 ← xk + dk , k ← k + 1, ρ← ρinicial , Ir a PROBLEMA TANGENCIAL.

22: Fin (Si)

23: Fin (Si)

24: De lo contrario,25: Fk ← Add((θ(xk ), f (xk )),Fk−1) Iteracion tipo θ

26: k ← k + 1. Ir a FASE RESTAURACION.27: Fin (Si)

28: Fin (Mientras)

Enfoque original

Regresar a Enfoque original

1: N ← numero de veces que se realiza la busqueda2: ρmax ← radio maximo de la region de confianza de QP(xk , ρ)3: ρ← (0, ρmax)4: xk ← punto inicial o proveniente de la iteracion k − 15: Mientras ((xk no es aceptable para Fk−1) ∨ (QP(xk , ρ) no es factible))∧ paso ≤ N hacer

6: xk ← fminsearch(θ(·), xk )7: Si xk es aceptable para Fk−1 entonces8: Mientras (QP(xk , ρ) no es factible) ∧ (ρ < ρmax) hacer9: ρ← 2 ∗ ρ

10: dk ← QP(xk , ρ) (si QP(xk , ρ) no es factible, dk queda indefinido)11: Fin (Mientras)12: Fin (Si)13: paso← paso + 114: Fin (Mientras)

Enfoque original

Regresar a Enfoque original

1: N ← numero de veces que se realiza la busqueda2: ρmax ← radio maximo de la region de confianza de QP(xk , ρ)3: ρ← (0, ρmax)4: xk ← punto inicial o proveniente de la iteracion k − 15: Mientras ((xk no es aceptable para Fk−1) ∨ (QP(xk , ρ) no es factible))∧ paso ≤ N hacer

6: xk ← fminsearch(θ(·), xk )7: Si xk es aceptable para Fk−1 entonces8: Mientras (QP(xk , ρ) no es factible) ∧ (ρ < ρmax) hacer9: ρ← 2 ∗ ρ

10: dk ← QP(xk , ρ) (si QP(xk , ρ) no es factible, dk queda indefinido)11: Fin (Mientras)12: Fin (Si)13: paso← paso + 114: Fin (Mientras)

Restauracion inexactaRegresar a R. inexacta

1: INPUT: xk ,Fk−1, β, γ2: α← ±1 (elegir el signo del descenso)3: ac ← 04: ε← 10−4

5: Contruir problema:

mint1,t2,s∈R,d∈Rn,Z∈Sn

t1 + σt2

s.a hj (xk ) + Dhj (xk )d = 0, j ∈ J∗

E T (G(xk ) + DG(xk )d)E � 0t1 − rs − Tr(Z) ≥ 0

Z − (G(xk ) + DG(xk )d) + sI � 0t2 − ‖(hj (xk ) + Dhj (xk )d)j∈J‖ ≥ 0

Z � 0

para el punto xk .6: Obtener d solucion de (13).7: Mientras ac = 0 ∧ |α| ≥ ε hacer8: z = xk + αd9: Si z es aceptable por Fk−1 ∧ θ(xk ) > θ(z) entonces

10: ac ← 111: De lo contrario,12: α← α

13: Fin (Si)14: Fin (Mientras)

Restauracion inexactaRegresar a R. inexacta

1: INPUT: xk ,Fk−1, β, γ2: α← ±1 (elegir el signo del descenso)3: ac ← 04: ε← 10−4

5: Contruir problema:

mint1,t2,s∈R,d∈Rn,Z∈Sn

t1 + σt2

s.a hj (xk ) + Dhj (xk )d = 0, j ∈ J∗

E T (G(xk ) + DG(xk )d)E � 0t1 − rs − Tr(Z) ≥ 0

Z − (G(xk ) + DG(xk )d) + sI � 0t2 − ‖(hj (xk ) + Dhj (xk )d)j∈J‖ ≥ 0

Z � 0

para el punto xk .6: Obtener d solucion de (13).7: Mientras ac = 0 ∧ |α| ≥ ε hacer8: z = xk + αd9: Si z es aceptable por Fk−1 ∧ θ(xk ) > θ(z) entonces

10: ac ← 111: De lo contrario,12: α← α

13: Fin (Si)14: Fin (Mientras)

Soluciones suboptimales SOFRegresar a SOF

1: N ← numero de veces que se realiza la busqueda2: ρmax ← radio maximo de la region de confianza de QP(xk , ρ)3: ρ← (0, ρmax)4: Si k = 0 entonces5: xk ← sof

6: De lo contrario,7: xk ← punto inicial o proveniente de la iteracion k − 18: Fin (Si)9: Mientras ((xk no es aceptable para Fk−1) ∨ (QP(xk , ρ) no es factible))∧ paso ≤ N hacer

10: xk ← fminsearch(θ(·), xk ) o xk ← lsdp(θ(·), xk ,Fk , β, γ)11: Si xk es aceptable para Fk−1 entonces12: Mientras (QP(xk , ρ) no es factible) ∧ (ρ < ρmax) hacer13: ρ← 2 ∗ ρ14: dk ← QP(xk , ρ) (si QP(xk , ρ) no es factible, dk queda indefinido)15: Fin (Mientras)16: Fin (Si)17: paso← paso + 118: Fin (Mientras)

Soluciones suboptimales SOFRegresar a SOF

1: N ← numero de veces que se realiza la busqueda2: ρmax ← radio maximo de la region de confianza de QP(xk , ρ)3: ρ← (0, ρmax)4: Si k = 0 entonces5: xk ← sof

6: De lo contrario,7: xk ← punto inicial o proveniente de la iteracion k − 18: Fin (Si)9: Mientras ((xk no es aceptable para Fk−1) ∨ (QP(xk , ρ) no es factible))∧ paso ≤ N hacer

10: xk ← fminsearch(θ(·), xk ) o xk ← lsdp(θ(·), xk ,Fk , β, γ)11: Si xk es aceptable para Fk−1 entonces12: Mientras (QP(xk , ρ) no es factible) ∧ (ρ < ρmax) hacer13: ρ← 2 ∗ ρ14: dk ← QP(xk , ρ) (si QP(xk , ρ) no es factible, dk queda indefinido)15: Fin (Mientras)16: Fin (Si)17: paso← paso + 118: Fin (Mientras)

Posicionamiento de polosRegresar a Polos

1: N ← numero de veces que se realiza la busqueda2: ρmax ← radio maximo de la region de confianza de QP(xk , ρ)3: ρ← (0, ρmax)4: Si k = 0 entonces5: xk ← polos(k)6: De lo contrario,7: xk ← punto inicial o proveniente de la iteracion k − 18: Fin (Si)9: Mientras ((xk no es aceptable para Fk−1) ∨ (QP(xk , ρ) no es factible))∧ paso ≤ N hacer

10: xk ← fminsearch(θ(·), xk ) o xk ← lsdp(θ(·), xk ,Fk , β, γ)11: Si xk es aceptable para Fk−1 entonces12: Mientras (QP(xk , ρ) no es factible) ∧ (ρ < ρmax) hacer13: ρ← 2 ∗ ρ14: dk ← QP(xk , ρ) (si QP(xk , ρ) no es factible, dk queda indefinido)15: Fin (Mientras)16: Fin (Si)17: paso← paso + 118: Fin (Mientras)19: Si paso > N entonces20: xk ← polos(k)21: Ir al paso 9.22: Fin (Si)

Posicionamiento de polosRegresar a Polos

1: N ← numero de veces que se realiza la busqueda2: ρmax ← radio maximo de la region de confianza de QP(xk , ρ)3: ρ← (0, ρmax)4: Si k = 0 entonces5: xk ← polos(k)6: De lo contrario,7: xk ← punto inicial o proveniente de la iteracion k − 18: Fin (Si)9: Mientras ((xk no es aceptable para Fk−1) ∨ (QP(xk , ρ) no es factible))∧ paso ≤ N hacer

10: xk ← fminsearch(θ(·), xk ) o xk ← lsdp(θ(·), xk ,Fk , β, γ)11: Si xk es aceptable para Fk−1 entonces12: Mientras (QP(xk , ρ) no es factible) ∧ (ρ < ρmax) hacer13: ρ← 2 ∗ ρ14: dk ← QP(xk , ρ) (si QP(xk , ρ) no es factible, dk queda indefinido)15: Fin (Mientras)16: Fin (Si)17: paso← paso + 118: Fin (Mientras)19: Si paso > N entonces20: xk ← polos(k)21: Ir al paso 9.22: Fin (Si)

Enfoque original

Presentacion Examen de titulo DIM

Technology

Transcript of Presentacion Examen de titulo DIM