ControlÓptimo - Inicio | División de Estudios de...

50
Introducción al control óptimo Control Óptimo Introducción al Control Óptimo Dr. Fernando Ornelas Tellez Universidad Michoacana de San Nicolás de Hidalgo División de Estudios de Posgrado Facultad de Ingeniería Eléctrica Morelia, Michoacan Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 1/47

Transcript of ControlÓptimo - Inicio | División de Estudios de...

Page 1: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Control Óptimo

Introducción al Control Óptimo

Dr. Fernando Ornelas Tellez

Universidad Michoacana de San Nicolás de HidalgoDivisión de Estudios de PosgradoFacultad de Ingeniería Eléctrica

Morelia, Michoacan

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 1/47

Page 2: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Contenido del Curso

1 Introducción al control óptimo2 Cálculo de variaciones y control óptimo3 El regulador cuadrático lineal (LQR)4 Propiedades y diseño del LQR5 Introducción al control adaptivo6 Estimación de parámetros (control adaptivo)7 Sistemas de control adaptivo con modelo de referencia

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 2/47

Page 3: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Bibliografía

1 Desineni Subbaram Naidu, “Optimal Control Systems”, CRCPress, 2003.

2 Brian D. O. Anderson and John B. Moore. “Optimal Control:Linear Quadratic Methods”, Dover Publications, 2007.

3 Donald E. Kirk. “Optimal Control Theory. An introduction”,Dover Publications Inc., 1970.

4 Huibert Kwakernaak and Raphael Sivan, “Linear OptimalControl Systems”, John Wiley and Sons Inc., 1972.

5 Karl J. Astrom and Bjorn Wittenmark, “Adaptive Control”,Second Edition, Addison Wesley Publishing Co., 1995.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 3/47

Page 4: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Contenido

1 Introducción al control óptimo

Problema de optimización y control óptimo

Índice de desempeño y las restricciones

Formulación del problema de control óptimo

Revisión histórica

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 4/47

Page 5: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Introducción al control óptimo

El proceso común para el diseño de controladores clásicos esmediante un procedimiento a prueba y error hasta alcanzar undesempeño “aceptable” [3].Un desempeño aceptable en términos clásicos involucra:tiempo de subida, tiempo de asentamiento, sobre-impulso,margenes de fase y ganancia, ancho de banda, etc.Sin embargo, para sistemas MIMO el problema de diseño secomplica considerablemente.Por otro lado, el enfoque de control óptimo permite laobtención de sistemas de control eficientes y con relativafacilidad.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 5/47

Page 6: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Sistemas dinámicos mediante variables de estado

VentajasProveen de un marco para el estudio tanto de sistemas linealescomo no lineales;Tienen interpretación física.

DefinitionEl estado de un sistema es un conjunto de cantidades x1, x2, ..., xn,las cuales si se conocen en el instante t = t0, entonces éstas sepueden determinar para t ≥ t0, considerando también que seconocen las entras aplicadas al sistema.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 6/47

Page 7: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Clasificación de sistemas

Lineal: x = Ax +Bu con salida y = Cx +Du;No lineal: x = f (x , u) con salida y = c(x , u);Invariante en el tiempo: x = Ax +Bu, x = f (x , u);Variante en el tiempo: x = A(t)x +B(t)u, x = f (x , u, t).

De igual forma la salida del sistema:

Lineal: y = Cx +Du;No lineal: y = c(x , u), etc.Invariante en el tiempo:y = Cx +Du, y = c(x , u);Variante en el tiempo: y = C (t)x +D(t)u, y = c(x , u, t).

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 7/47

Page 8: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Outline

1 Introducción al control óptimo

Problema de optimización y control óptimo

Índice de desempeño y las restricciones

Formulación del problema de control óptimo

Revisión histórica

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 8/47

Page 9: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Optimización [1]

La optimización (obtener buenos resultados en determinadosentido) siempre es deseable, por ejemplo, usar de formaoptima el tiempo, buen uso de cierto recurso, etc.

La optimización puede ser clasificada en estática y dinámica.

Optimizacion estáticaAborda el problema de controlar un sistema bajo condiciones enestado estable (las variables no cambian en el tiempo). En estecaso, la planta o sistema esta descrito por ecuaciones algebraicas.Las herramientas utilizadas son el calculo, multiplicadores deLagrange y programación lineal y no lineal.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 9/47

Page 10: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Optimización

Optimizacion dinámicaAborda el problema de controlar un sistema bajo condicionesdinámicas (las variables del sistema cambian en el tiempo). En esteproblema la planta está descrita por ecuaciones diferenciales o endiferencias. Las técnicas utilizadas son programación dinámica,calculo variacional y el principio de Pontriagyn.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 10/47

Page 11: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Control óptimo

El control óptimo es en realidad el caso de la optimización dinámica.

Objetivo de Control ÓptimoDeterminar acciones de control tal que una planta o procesosatisfaga restricciones físicas y al mismo tiempo minimice (omaximice) cierto criterio de desempeño [3].

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 11/47

Page 12: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Outline

1 Introducción al control óptimo

Problema de optimización y control óptimo

Índice de desempeño y las restricciones

Formulación del problema de control óptimo

Revisión histórica

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 12/47

Page 13: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Índice de desempeño (PI)

En el análisis de control clásico, los criterios de desempeño típicosen el dominio del tiempo son: tiempo de subida, tiempo de asen-tamiento, sobre-impulso y error en estado estable. Mientras que enel dominio de la frecuencia: margen de fase, margen de ganancia yancho de banda.

En teoría de control moderno, el problema de control óptimo (PCO)es determinar un control que mueva al sistema hacia un objetivo osiga una trayectoria, satisfaciendo un indice de desempeño, mismoque puede evaluar diferentes intereses.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 13/47

Page 14: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Índice de desempeño de tiempo mínimo

En este problema se está interesado en llevar al sistema de un puntoinicial arbitrario x(t0) a un punto final predeterminado x(tf ) en elmenor tiempo.

En este caso el índice puede plantearse como

J =∫ tf

t0dt = tf − t0 = t∗.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 14/47

Page 15: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Índice de desempeño de consumo óptimo de combustible

Considere el control de un avión. Sea u(t) la entrada que impulsa losmotores del avión y considere que la magnitud de tal entrada |u(t)| esproporcional a la razón de consumo de combustible. La minimizacióndel consumo de combustible puede plantearse como la minimizacióndel siguiente índice

J =∫ tf

t0|u(t)|dt

o para el caso de múltiples entradas

J =∫ tf

t0

m

∑i=1

Ri |ui (t)|dt

donde Ri es un factor que pondera el consumo de la entrada i-ésima.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 15/47

Page 16: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Índice de desempeño de mínima energía

Considere a ui (t) como la corriente en el i-ésimo lazo de un circuitoeléctrico. Entonces ∑

mi=1 u

2i (t)ri , donde ri es la resistencia del i-ésimo

lazo, es la potencia total o la razón de gasto de energía del circui-to. Si se desea minimizar la energía, se puede plantear el indice dedesempeño como

J =∫ tf

t0

m

∑i=1

riu2i (t)dt

o de manera general (utilizando matrices)

J =∫ tf

t0uT (t)R u(t)dt

donde R es una matriz definida positiva.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 16/47

Page 17: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Índice de desempeño de seguimiento de trayectorias

De manera semejante se puede considerar el problema de seguimien-to, al minimizar un funcional o índice de desempeño como

J =∫ tf

t0eT (t)Q e(t)dt

donde e(t) = x(t)−xd (t), x(t) es el valor actual del sistema y xd (t)es el valor deseado para x(t). Q es una matriz semidefinida positiva.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 17/47

Page 18: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Índice de desempeño de condición final o terminal

Este problema aborda el caso del minimizar el error entre el valordeseado xd (tf ) y la posición del sistema x(tf ). El índice podría plan-tearse como

J = eT (tf )F e(tf )

donde e(tf ) = x(tf )−xd (tf ) y F es una matriz semidefinida positiva.Al índice anterior también se lo conoce como funcional de costoterminal.

Índice de desempeño general

J =

Problema de Bolza︷ ︸︸ ︷eT (tf )F e(tf )︸ ︷︷ ︸

Problema de Mayer

+∫ tf

t0

[eT (t)Q e(t)+uT (t)R u(t)

]dt︸ ︷︷ ︸

Problema de Lagrange

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 18/47

Page 19: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Índice de desempeño: comentarios adicionales

NotaSe pueden plantear diferentes índices de desempeño que considereotras especificaciones, sin embargo, las mencionadas previamente(principalmente las de tipo cuadrático) resultan en solucionessencillas y elegantes a los problemas de control óptimo.

Se podrían considerar en una funcional de costo especificaciones co-mo: tiempo de subida, tiempo de asentamiento, sobre-impulso, fun-ciones no lineales tanto para el estado como para el control; sin em-bargo, la solución al problema de control óptimo resultaría complica-da y cuya solución seguramente vendría dada de manera aproximadautilizando algoritmos de optimización.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 19/47

Page 20: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Outline

1 Introducción al control óptimo

Problema de optimización y control óptimo

Índice de desempeño y las restricciones

Formulación del problema de control óptimo

Revisión histórica

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 20/47

Page 21: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimo

Cuando un problema está bien planteado, se tiene la mitad de susolución.

1 La descripción (modelo matemático) del proceso a controlar.2 Descripción de las restricciones físicas.3 Especificación de un criterio de desempeño.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 21/47

Page 22: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoEl modelo matemático

El modelado de un sistema es paso importantes para un buen diseñode control. Este proceso no es trivial. El objetivo es obtener un mo-delo lo más simple posible que describa adecuadamente la dinámicadel sistema.

Los sistemas que se estudiarán en este curso estarán restringidos aecuaciones diferenciales ordinarias.

Considerandox1, x2, ..., xn

como variables de estado del proceso y

u1, u2, ..., um

como las entradas de control para el proceso ...Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 22/47

Page 23: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoEl modelo matemático

Entonces un sistema dinámico puede ser descrito por un conjunto den ecuaciones diferenciales de primer orden como:

x1 = f1 (x1, x2, ...,xn,u1, u2, ..., um, t)x2 = f2 (x1, x2, ...,xn,u1, u2, ..., um, t)

...xn = fn (x1, x2, ...,xn,u1, u2, ..., um, t)

donde fi es una función no lineal (o bien lineal). En forma compactase puede representar como

x = f (x , u, t)

donde x =[x1 x2 · · · xn

]T y u =[u1 u2 · · · um

]T .Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 23/47

Page 24: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoEl modelo matemático

Ejemplo: Aceleración/desaceleración de un carro

Se desea mover el carro a partir del punto O. La distancia del carrodesde O es denotada por d . Por facilidad, represente el carromediante una masa puntual que puede ser acelerada usando undispositivo acelerador o desacelerada usando el freno.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 24/47

Page 25: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoEl modelo matemático

La ecuación diferencial que describe el movimiento del carro vienedada por

d = α +β

donde α es la acción de aceleración y β representa la acción dedesaceleración. Definiendo las variables como x1 = d , x2 = d , u1 = α

y u2 = β , se puede obtener una representación en espacio de estadoscomo

x1 = x2

x2 = u1 +u2

o de forma matricial x = Ax + Bu, donde A =

[0 10 0

]y B =[

0 01 1

].

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 25/47

Page 26: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoRestricciones físicas

Considerando el ejemplo de la aceleración/desaceleración del carro,en seguida se describen algunas restricciones físicas:

Restricciones sobre la aceleración/desaceleración de un carro

Considere el problema de llevar al carro de la posición O al punto e.Asuma que el carro parte del reposo y se detiene una vez alcanzadoel punto e.

Las restricciones para el estado pueden plantearse como:x1(t0) = 0, x1(tf ) = e, x2(t0) = 0 y x2(tf ) = 0.Considerando que el carro no puede ir hacia atrás, entonces:0≤ x1 ≤ e y 0≤ x2 .Los límites para la aceleración y desaceleración,respectivamente, son: M1 > 0 y M2 > 0.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 26/47

Page 27: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoRestricciones físicas

Considerando el ejemplo de la aceleración/desaceleración del carro,en seguida se describen algunas restricciones físicas:

Restricciones sobre la aceleración/desaceleración de un carro

Considere el problema de llevar al carro de la posición O al punto e.Asuma que el carro parte del reposo y se detiene una vez alcanzadoel punto e.

Las restricciones para el estado pueden plantearse como:x1(t0) = 0, x1(tf ) = e, x2(t0) = 0 y x2(tf ) = 0.Considerando que el carro no puede ir hacia atrás, entonces:0≤ x1 ≤ e y 0≤ x2 .Los límites para la aceleración y desaceleración,respectivamente, son: M1 > 0 y M2 > 0.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 26/47

Page 28: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoRestricciones físicas

En relación a los límites M1 y M2, las acciones de controldeben satisfacer: 0≤ u1 ≤M1 y −M2 ≤ u2 ≤ 0.Si además, el carro cuanta con G litros de gasolina pararealizar el recorrido, se puede plantear la siguiente restricción:∫ tf

t0[k1u1 +k2x2]dt ≤ G

la cual considera que el gasto de combustible es proporcional ala aceleración y velocidad del carro, con constantes deproporcionalidad k1 y k2, respectivamente.

DefinitionUna acción de control que satisface todas restricciones se dicellamar control admisible.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 27/47

Page 29: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoRestricciones físicas

En relación a los límites M1 y M2, las acciones de controldeben satisfacer: 0≤ u1 ≤M1 y −M2 ≤ u2 ≤ 0.Si además, el carro cuanta con G litros de gasolina pararealizar el recorrido, se puede plantear la siguiente restricción:∫ tf

t0[k1u1 +k2x2]dt ≤ G

la cual considera que el gasto de combustible es proporcional ala aceleración y velocidad del carro, con constantes deproporcionalidad k1 y k2, respectivamente.

DefinitionUna acción de control que satisface todas restricciones se dicellamar control admisible.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 27/47

Page 30: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoRestricciones físicas

DefinitionUna trayectoria del estado la cual satisface las restricciones para elestado para todo tiempo es llamada trayectoria admisible.

El concepto de admisible es muy importante en los sistemas de con-trol, ya que este reduce el rango de valores que pueden tomar tantoel estado como las acciones de control.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 28/47

Page 31: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoÍndice de desempeño

Para evaluar el desempeño de un sistema de control cuantitativa-mente, el ingeniero de control debe seleccionar un índice o medidade desempeño.

Una estrategia de control óptimo está definida como una que mini-miza (o maximiza) un índice de desempeño.

En algunos casos, plantear el indice de desempeño pude seleccionarsepara incorporar restricciones físicas, mientras que en otros problemas,la elección del índice de desempeño es un asunto subjetivo del dise-ñador. Por ejemplo: “llevar al sistema de un punto A a un punto Btan rápido como sea posible”, claramente indica que lo que se deseaminimizar el el tiempo; por otro lado, “mantener la posición y velo-cidad de un sistema cerca de cero can la menor cantidad de energía”no sugiere un índice de desempeño único.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 29/47

Page 32: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoÍndice de desempeño

Para evaluar el desempeño de un sistema de control cuantitativa-mente, el ingeniero de control debe seleccionar un índice o medidade desempeño.

Una estrategia de control óptimo está definida como una que mini-miza (o maximiza) un índice de desempeño.

En algunos casos, plantear el indice de desempeño pude seleccionarsepara incorporar restricciones físicas, mientras que en otros problemas,la elección del índice de desempeño es un asunto subjetivo del dise-ñador. Por ejemplo: “llevar al sistema de un punto A a un punto Btan rápido como sea posible”, claramente indica que lo que se deseaminimizar el el tiempo; por otro lado, “mantener la posición y velo-cidad de un sistema cerca de cero can la menor cantidad de energía”no sugiere un índice de desempeño único.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 29/47

Page 33: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Componentes de un problema de control óptimoÍndice de desempeño

Ejemplo: Índice de desempeño para el carroSuponga que el objetivo es que el carro alcance el punto e tanrápido como sea posible.

Entonces el indice de desempeño podría plantearse como

J = tf − t0.

Un índice de desempeño general a considerarse puede ser

J = h (x(tf ), tf )+∫ tf

t0g (x , u, t)dt

donde h y g son funciones escalares. El tiempo tf puede ser especi-ficado o “libre”, dependiendo del planteamiento del problema.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 30/47

Page 34: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Planteamiento del problema de control óptimo

Problema de control óptimoDeterminar un control admisible u∗ el cual cause que el sistema

x = f (x , u, t)

siga una trayectoria admisible x∗ que minimice el índice dedesempeño

J = h (x(tf ), tf )+∫ tf

t0g (x , u, t)dt.

u∗ es llamado control óptimo y x∗ una trayectoria óptima.

Comentarios adicionales: no es posible determinar con anticipaciónsi un control óptimo existe, y además podría no ser único.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 31/47

Page 35: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Planteamiento del problema de control óptimoComentarios adicionales

Cuando se dice que u∗ causa que el índice de desempeño es minimi-zado, esto significa que

J∗ , h (x∗(tf ), tf )+∫ tf

t0g (x∗, u∗, t)dt

≤ h (x(tf ), tf )+∫ tf

t0g (x , u, t)dt

para todo u y x . La desigualdad anterior establece que un controlóptimo y su trayectoria produce un valor del índice de desempeñomás pequeño o igual al índice de desempeño para cualquier otrocontrol admisible y su respectiva trayectoria.

Por tanto, es deseable determinar el mínimo global de J y no unresultado de carácter local.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 32/47

Page 36: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Planteamiento del problema de control óptimoComentarios adicionales

DefinitionSi se encuentra una relación funcional de la forma

u∗ = k(x , t)

para el control óptimo, entonces k es llamada ley de control óptima.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 33/47

Page 37: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Outline

1 Introducción al control óptimo

Problema de optimización y control óptimo

Índice de desempeño y las restricciones

Formulación del problema de control óptimo

Revisión histórica

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 34/47

Page 38: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Revisión histórica del desarrollo del control óptimo [1]Cálculo de variaciones

El control óptimo, bajo la técnica de calculo de variaciones, buscadeterminar una función la cual sea un extremo (máximo o mínimo) deuna funcional. Muchos científicos han contribuido a su desarrollo bajodiferentes enfoques: cálculo de variaciones, programación dinámicade Bellman, principio de Pontriagyn.

Se iniciará esta reseña histórica con los trabajos de Bernoulli, con-siderando los indicios matemáticos para dar solución al problema decontrol óptimo, aunque en épocas anteriores ya se tenia el conceptode optimizar o elegir la mejor solución a un problema.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 35/47

Page 39: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Revisión histórica del desarrollo del control óptimoCálculo de variaciones

En 1699, Johannes Bernoulli (1667-1748) planteo el problemade la braquistócrona: encontrar la trayectoria para el descensomás rápido de una partícula entre dos puntos, no considerandoque los puntos estén sobre la horizontal o sobre la vertical.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 36/47

Page 40: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Revisión histórica del desarrollo del control óptimoCálculo de variaciones

El problema de la braquistócrona inicialmente fue bosquejadopor Galileo (1564-1642) in 1638, y posteriormente fue resueltopor Bernoulli, su hermano Jacob Bernoulli (1654-1705), porGottfried Leibniz (1646-1716) y de forma anónima por IsaacNewton (1642-1727).Leonard Euler (1707-1783) en colaboración con JohnBernoulli, y que al mismo tiempo influenciaron sobreJoseph-Louis Lagrange (1736-1813), realizaron contribucionesimportantes al campo, quienes de forma elegante resolvieronproblemas de control óptimo usando el método de la primeravariación. Lo anterior lleva a Euler en 1755 a introducir elconcepto de cálculo de variaciones.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 37/47

Page 41: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Revisión histórica del desarrollo del control óptimoCálculo de variaciones

Posteriormente, el calculo de la primera variación (condiciónnecesaria para la optimalidad) fue llamada ecuación deEuler-Lagrange.Lagrange introdujo también el método del multiplicador(multiplicadores de Lagrange), el cual es una de lasherramientas más sólidas para resolver problemas deoptimización.Las condiciones suficientes para la determinación de extremosde funcionales fue desarrollado por Andrien Marie Legendre(1752-1833) en 1786, mediante la segunda variación.Carl Gustav Jacob Jacobi (1804-1851) en 1836 introdujo unanálisis más riguroso de las condiciones de suficiencia, mismaque posteriormente fue llamada condición de Legendre-Jacobi.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 38/47

Page 42: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Revisión histórica del desarrollo del control óptimoCálculo de variaciones

Sir William Rowan Hamilton (1788-1856) realizócontribuciones en mecánica, describiendo el movimiento deuna partícula en el espacio. En 1838 Jacobi modificó losresultados de Hamilton, lo que llevo al desarrollo de laecuación de Hamilton-Jacobi.La ecuación de Hamilton-Jacobi influencio considerablementeen el calculo de variaciones y programación dinámica, controloptimo y áreas de la mecánica.Adolph Mayer planteo de una manera elegante el problemageneral del calculo de variaciones.En 1913, Bolza generalizo los problemas planteados porLagrange y Mayer para el problema de variaciones.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 39/47

Page 43: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Revisión histórica del desarrollo del control óptimo [1]Teoría de control óptimo (LQR)

El LQR tiene sus orígenes en el trabajo de N. Wiener sobrefiltrado en promedio cuadrático utilizado durante la segundaguerra mundial (1940-1945).Wiener resolvió el problema del diseño de filtros que minimizanun criterio de error cuadrático medio de la formaJ = E

{e2(t)

}, donde e(t) es el error y E {x} representa el

valor esperado para la variable aleatoria x .R. Bellman in 1957 introdujo la programación dinámica pararesolver problemas de control óptimo en tiempo discreto.La contribución más importante al control óptimo fue la de L.S. Pontryagin (Rusia) en 1956 y su grupo, al desarrollar elprincipio del máximo.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 40/47

Page 44: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Revisión histórica del desarrollo del control óptimoTeoría de control óptimo (LQR)

En 1960, R. E. Kalman (83 años a la fecha 2013) desarrolla lateoría del LQR y LQG para el diseño de controladores por retrode estado.Kalman introdujo también la representacion en espacio deestados para un sistema dinámico y definió la controlabilidad yla observabilidad en ese marco.Lo anterior derivo en el filtro de Kalman (para sistemasdiscretos) y en el filtro de Kalman-Bucy (para sistemascontinuos).La ecuación de Riccati aparece en la solución para el filtro deKalman y control óptimo (basado programación dinámica).

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 41/47

Page 45: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Revisión histórica del desarrollo del control óptimoTeoría de control óptimo (LQR)

J. F. Riccati (1676-1754) publico sus resultados en 1724,donde describía la solución para algunas ecuacionesdiferenciales no lineales. Este resultado tomó importanciadespués de más de 200 años.El LQR, en general, no se considera como robusto anteperturbaciones, de ahí que en los años 1980 surge el controlH∞ por G. Zames. Al control LQR también se le etiqueto comoH2.

Control clásico y control moderno

La teoría de control clásico analiza los sistemas (SISOparticularmente) en el dominio de la frecuencia, mientras que elcontrol moderno trabaja en el dominio del tiempo para sistemasSISO y MIMO, lineales y no lineales, etc.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 42/47

Page 46: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Introducción al control óptimoVentajas del Control Óptimo: Caso Lineal

La estabilidad del control óptimo lineal (LQR) en lazo cerradoes garantizada si el sistema de control cumple que: R > 0,Q ≥ 0, el par (A, B) es estabilizable y el par (A, C ) esdetectable, donde Q = CTC [2].El control óptimo (LQR), “por default” provee de un margende ganancia infinito, i.e., GM = ∞ y un margen de fase (FM)de al menos 60◦. Lo anterior se puede considerar como“buenos” márgenes de estabilidad, y son propiedades de“robustez” que todo diseño de control debería proveer. Laprimera propiedad permitiría aumentar una ganancia(teóricamente) infinita sin que el sistema se desestabilice. Porotro lado, la segunda propiedad permite tener ciertasvariaciones paramétricas o retardos en el sistema de control,los cuales afectarían el margen de fase del sistema, sin llegar adesestabilizar al sistema de control [2].Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 43/47

Page 47: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Introducción al control óptimoVentajas del Control Óptimo: Caso Lineal

Un LQR tiene un índice de funcionamiento (funcional de costo)que justamente evalúa el desempeño del sistema de control.La sintonización del LQR se hace regularmente a prueba yerror, pero cumpliendo las condiciones del punto uno, no seafectaría la estabilidad en lazo cerrado, independientemente dela elección de Q y R [2].Los valores Qii y Rii son seleccionados de acuerdo a laimportancia relativa de cada variable de estado y de control.Lo anterior permite que la selección de las matrices Q y R , seaun método intuitivo para determinar su valor.Existen métodos (Reglas de Bryson), que incluso permitenincorporar restricciones para las variables de estado y decontrol, mediante una elección adecuada de los valores Qii yRii .

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 44/47

Page 48: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Introducción al control óptimo

Problema de optimización y control óptimoÍndice de desempeño y las restriccionesFormulación del problema de control óptimoRevisión histórica

Introducción al control óptimoVentajas del Control Óptimo: Caso Lineal

En los diseños tradicionales (ubicación de polos, por ejemplo)para un sistema MIMO, el seleccionar la ganancia K en uncontrolador u =−Kx , tiene múltiples soluciones, es decir, engeneral se pueden tener varias K ’s, para ubicar los polos en elmismo lugar. ¿Cuál ganancia es la mejor?El control óptimo busca mover al sistema mediante unaentrada, tal que la energía necesario para lograrlo sea mínima[3].La solución al problema de control óptimo es sumamenteelegante y formal.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 45/47

Page 49: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Appendix For Further Reading

For Further Reading I

Desineni Subbaram Naidu,Optimal Control Systems,CRC Press, 2003.

Brian D. O. Anderson and John B. Moore,Optimal Control: Linear Quadratic Methods,Dover Publications, 2007.

Donald E. Kirk,Optimal Control Theory. An introduction,Dover Publications, 1970.

Huibert Kwakernaak and Raphael Sivan,Linear Optimal Control Systems,John Wiley and Sons Inc., 1972.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 46/47

Page 50: ControlÓptimo - Inicio | División de Estudios de …dep.fie.umich.mx/~fornelas/data/uploads/intro_optimo.pdfIntroducción al control óptimo Problema de optimización y control óptimo

Appendix For Further Reading

For Further Reading II

S. Someone.On this and that.Journal on This and That. 2(1):50–100, 2000.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 47/47