Resumen Conte Nidos

Modelos Estocásticos

Javier Parra Peña

Ingeniería de ProducciónFacultad Tecnológica

Universidad Distrital Francisco José de Caldas

Agosto de 2015

Este documento está preparado para ser imprimido a doble cara.

Modelos Estocásticos

Notas de clase para la asignatura

Ingeniería de ProducciónFacultad Tecnológica

Universidad Distrital Francisco José de Caldas

Agosto de 2015

Copyright c©

Resumen

Caminante no hay camino...

Antonio Machado

La incertidumbre está presente en todas las decisiones que se toman en ejercicio dela gestión de los sistemas productivos, y si bien muchos de los escenarios de la tomade decisiones pueden asimilarse a escenarios en los cuales se asume la certidumbre,hay muchas decisiones que se deben tomar teniendo en cuenta la existencia de unriesgo que debe ser estimado para trabajar con él.

El conocimiento de la probabilidad, con la que se presentan los diferentes estadosde la naturaleza asociados a un sistema, puede tener un impacto considerable enla toma de decisiones. Los modelos estocásticos son una elección de modelizadoque incluye el factor riesgo como determinante de la toma de decisiones. Es útilel empleo de diferentes modelos, el saber que información se puede obtener y elsaber cómo obtener y cómo utilizar la información.

A lo largo de este documento se presentan algunos de los principales modelosestocásticos que permiten representar los sistemas de producción, para la toma dedecisiones.

Estas notas de clase inician con el análisis de decisiones bajo incertidumbre, enlo que se conoce como análisis de decisiones. Al respecto se presentan diferentestipos de criterios a tener en cuenta dependiendo de la información disponible yde la propensión o aversión al riesgo. Se finaliza con los modelos de decisionesque contienen información probabilística a priori, con información perfecta y coninformación experimental.

En segundo lugar se analizan las cadenas de Markov, como forma de representaciónde sistemas con probabilidades estacionarias, al respecto se analiza el comporta-miento de los sistemas, las probabilidades de estado estable y los tiempos promedio

v

de primer paso. Posteriormente, se presentan los Procesos de decisión de Marvov(MDP, del inglés Markov decision process).

vi

Índice general

Resumen v

Índice general vii

Índice de Tablas ix

Índice de Figuras xi

1 Análisis de decisiones 11.1 Clases de modelos de decisión . . . . . . . . . . . . . . . . . . . . . 1

1.1.1 Criterios de decisión . . . . . . . . . . . . . . . . . . . . . . 11.1.2 Valor esperado de la información perfecta . . . . . . . . . . 11.1.3 Valor esperado de la información experimental . . . . . . . 11.1.4 Árboles de decisión . . . . . . . . . . . . . . . . . . . . . . . 1

2 Cadenas de Markov 32.1 Proceso Estocástico . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2.1.1 Cadena de Markov . . . . . . . . . . . . . . . . . . . . . . . 42.1.2 Probabilidades de transición de n etapas . . . . . . . . . . . 52.1.3 Clasificación de los estados en una cadena de Markov . . . 62.1.4 Probabilidades de estado estable y tiempos promedio de pri-

mer paso . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.1.5 Análisis transitorio . . . . . . . . . . . . . . . . . . . . . . . 82.1.6 Interpretación de las probabilidades de estado estable . . . 82.1.7 Tiempos promedio de primer paso . . . . . . . . . . . . . . 92.1.8 Cadenas absorbentes . . . . . . . . . . . . . . . . . . . . . . 9

2.2 Procesos de decisión de Markov . . . . . . . . . . . . . . . . . . . . 112.2.1 Proceso de decisión de Markov . . . . . . . . . . . . . . . . 112.2.2 Política óptima . . . . . . . . . . . . . . . . . . . . . . . . . 122.2.3 Métodos para determinar una política óptima . . . . . . . . 13

3 Proceso de simulación 173.1 Análisis de entrada . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

vii

Índice general

3.1.1 Observaci´on del sistema . . . . . . . . . . . . . . . . . . . 17

4 Planeación de la producción 194.1 El modelizado y el enfoque de optimización . . . . . . . . . . . . . 204.2 Pautas para construir un modelo . . . . . . . . . . . . . . . . . . . 214.3 Análisis y programación de las capacidades productivas . . . . . . 21

4.3.1 Capacidad Teórica . . . . . . . . . . . . . . . . . . . . . . . 224.3.2 Capacidad Instalada . . . . . . . . . . . . . . . . . . . . . . 224.3.3 Capacidad Disponible . . . . . . . . . . . . . . . . . . . . . 234.3.4 Capacidad Necesaria . . . . . . . . . . . . . . . . . . . . . . 234.3.5 Capacidad Utilizada . . . . . . . . . . . . . . . . . . . . . . 23

4.4 Modelos de optimización de producción con restricciones de capacidad 23

Bibliografía 27

Índice alfabético 29

viii

Índice de tablas

ix

Índice de figuras

xi

Capítulo 1

Análisis de decisiones

1.1 Clases de modelos de decisión

Bajo Certidumbre: son aquellos modelos bajo los cuales es conocido lo queva a pasar. Dentro de tales modelos se encuentran los de planeación de laproducción en los cuales el comportamiento del sistema es explicable.

Bajo Riesgo: se utilizan cuando no se tiene certeza absoluta de lo que va aocurrir (comportamiento del sistema). Por lo general se tienen probabilidadespara la ocurrencia de los diferentes eventos o hechos de la naturaleza.

Bajo incertidumbre: Se refiere al desconocimiento total de lo que va a ocurrir,tiene lugar una toma de decisiones basada en reglas claramente establecidas.

1.1.1 Criterios de decisión

1.1.2 Valor esperado de la información perfecta

1.1.3 Valor esperado de la información experimental

1.1.4 Árboles de decisión

1

Capítulo 1. Análisis de decisiones

2

Capítulo 2

Cadenas de Markov

A veces conviene analizar el comportamiento de una variable aleatoria a lo largodel tiempo, tal estudio recibe el nombre de proceso estocástico. Vamos a analizarel comportamiento de las cadenas de Markov como uno de los principales procesosestocásticos.

2.1 Proceso Estocástico

Al analizar una característica de un sistema en puntos discretos en el tiempo,donde Xt es el valor de la característica (variable aleatoria) en el tiempo t, y Xt

no se conoce con certeza antes de que se llegue al tiempo t. Un proceso estocásticode tiempo discreto es la descripción de la relación entre las variables aleatorias X0,X1, X2, . . . .

Ejemplo: La ruina del jugador

Un proceso estocástico de tiempo continuo es un proceso estocástico en el queel estado del sistema se puede revisar en cualquier momento (no sólo en puntosdiscretos).

Ejemplo: Sistema de línea de espera

3

Capítulo 2. Cadenas de Markov

2.1.1 Cadena de Markov

Una cadena de Markov es un proceso estocástico de tiempo discreto que en cual-quier tiempo puede estar en un número finito de estados 1, 2, . . . , s.

Definición

Un proceso estocástico de tiempo discreto es una cadena de Markov si, para t =0, 1, 2, . . . , s y todos los estados:

P (Xt+1 = it+1 | Xt = it, Xt−1 = it−1, Xt−2 = it−2, . . . , X1 = i1, X0 = i0) = P (Xt+1 = it+1 | Xt = it)(2.1)

En la ecuación 2.1 se dice que lo que suceda en el periodo t+1 depende únicamentedel estado en el tiempo t, y no de los estados por los que pasó la cadena para llegaral estado it.

Como hipótesis adicional, se dice que para todos los estados i y j y todo t, se tieneque P (Xt+1 = j | Xt = i) es independiente de t, por lo cual:

P (Xt+1 = j | Xt = i) = pi,j (2.2)

donde pi,j es la probabilidad de que el sistema esté en estado j en el periodo t+ 1,dado que en el tiempo t estaba en el estado i. Esta probabilidad se conoce comoprobabilidad de transición del estado i al estado j.

La ecuación 2.2 indica que la ley de probabilidades que relaciona los estados deun periodo a otro (i y j) no cambian o permanecen estacionarias. Las cadenas deMarkov que cumplen con esta propiedad se conocen como cadenas estacionariasde Markov.

Además se tiene el vector q = q1, q2, . . . qs o distribución inicial de probabilidadde la cadena de Markov, cuyos valores qi representan la probabilidad de que elsistema esté en el estado i en el tiempo 0.

La matriz P de probabilidades de transición se presenta en la ecuación 2.3.

P =

P1,1 P1,2 . . . P1,s

P2,1 P2,2 . . . P2,s

......

. . ....

Ps,1 Ps,2 . . . Ps,s

(2.3)

4


Teniendo en cuenta que el estado es i en el tiempo t, en el tiempo t+ 1 el procesodebe estar en el tiempo t+ 1, implicando para cada i:

∑j∈S

P (Xt+1 = j | Xt = i) = 1 (2.4)

∑j∈S

pi,j = 1 (2.5)

Teniendo en cuenta que los valores de las probabilidades son no negativos y con-siderando las ecuaciones 2.4 y 2.5, puede afirmarse que para cada estado i lasprobabilidades en el renglón correspondiente corresponden a la distribución deprobabilidad para los diferentes estados del sistema. Dicho de otra forma, la sumade las probabilidades para el espacio muestral asociado a cada estado es igual auno.

2.1.2 Probabilidades de transición de n etapas

Para una cadena de Markov estacionaria con matriz P de probabilidades de tran-sición conocidas, puede establecerse la probabilidad de que partiendo del estado ien el tiempo m se alcance el estado j n transiciones más tarde. En vista de que lacadena de Markov es estacionaria, puede decirse:

P (Xm+n = j | Xm = i) = P (Xn = j | X0 = i) = Pi,j(n) (2.6)

En la ecuación 2.6, Pi,j(1) = Pi,j . Para determinar Pi,j(2) debe tenerse en cuentaque si el sistema está en estado i, para que termine en estado j al cabo de dosperiodos se requiere que en un periodo pase al estado k, y en el otro pase del estadok al estado j. Así se tiene:

Pi,j(2) =∑k∈S

(Prob. de ir de i a k)× (Prob. de ir de k a j) (2.7)

Pi,j(2) =∑k∈S

pi,kpk,j (2.8)

Como se ve en la ecuación 2.8 el lado derecho corresponde al producto del vector(renglón) i de la matriz P por la columna j de esa misma matriz. En consecuencia

5


Pi,j(2) es el i, j−ésimo elemento de la matriz P 2. Generalizando se puede decirque:

Pi,j(n) = elemento ij − simo de Pn (2.9)

De forma natural, para n = 0, Pi,j(0) = P (X0 = j | X0 = i), se tiene que:

Pi,j =

{1 si j = i0 si j 6= i

(2.10)

Cuando no se conoce el estado de la cadena de Markov en el tiempo cero, sea qilaprobabilidad de que la cadena esté en estado i en el tiempo 0. Se puede estimar laprobabilidad de que el sistema esté en el estado i en el tiempo n mediante:

La probabilidad de estar en el estado j en el tiempo t es igual a la sumatoria, sobreel conjunto de estados en S, de la probabilidad de que el estado inicial sea i por laprobabilidad de ir de i a j en n transiciones.

Probabilidad de estar en estado j en t =∑i∈S

qiPi,j(n) = q(columna j de Pn)

(2.11)

donde q = [q1, q2, . . . qs].

2.1.3 Clasificación de los estados en una cadena de Markov

Trayectoria: Para dos estados i y j, una trayectoria es la secuencia de transicio-nes que comienza en i y termina en j en el que todas las transiciones tienenprobabilidad mayor de cero (> 0) de ocurrir.

Alcanzabilidad: Un estado j es alcanzable desde i si hay una trayectoria entrei y j.

Comunicación: Dos estados i y j se comunican si j es alcanzable desde i e i esalcanzable desde j.

Conjunto Cerrado: Un conjunto de estados S en una cadena de Markov esun conjunto cerrado si ningún estado fuera de S es alcanzable desde algúnestado en S.

Estado Absorbente: Un estado i es absorbente si la probabilidad de ir a símismo es uno (Pi,i = 1).

Estado transitorio: Un estado i es transitorio al existir un estado j alcanzabledesde i e i no es alcanzable desde j.

6


Estado recurrente: Es un estado que no es transitorio.

Estado periódico: Un estado es periódico con periodo k > 1 si k es el númeromás pequeño tal que sus trayectorias conducen del estado i de regreso alestado i tienen una longitud que es múltiplo de k.

Estado aperiódico: Es un estado recurrente que no es periódico.

Cadena ergódica: Es una cadena de Markov cuyos estados son recurrentes,aperiódicos y se comunican entre sí.

2.1.4 Probabilidades de estado estable y tiempos promedio deprimer paso

El siguiente teorema ayuda a explicar las probabilidades de transición:

Teorema .

Sea P la matriz de transición de una cadena de Markov ergódica de estado estable,entoces existe un vector π = π1, π2, . . . , πs, tal que:

lımn→∞

Pn =

π1 π2 . . . πsπ1 π2 . . . πs...

......

π1 π2 . . . πs

(2.12)

Dado que el ij-ésimo elemento de Pn es Pi,j(n), para cualquier estado inicial i, setiene:

lımn→∞

Pi,j(n) = πj (2.13)

para n grande, Pn tiende a una matriz con renglones idénticos. Lo que significaque en el largo plazo la cadena se estabiliza y la probabilidad de llegar a un estadoj es πj en el largo plazo (independientemente del estado inicial i.

El vector π = [π1, π2, . . . , πs] se conoce como distribución de estado estable (o deequilibrio).

Cálculo de la distribución de estado estable Partiendo del teorema anterior, paran grande y para toda i,

Pi,j(n+ 1) ∼= Pi,j(n) ∼= πj (2.14)

7


Dado que Pi,j(n+ 1)= (renglón i de Pn)(columna j de P ), se puede escribir:

Pi,j(n+ 1) =∑k∈S

Pi,k(n)pk,j (2.15)

Si n es grande, sustituyendo la ecuación 2.14 en 2.15, quedando

πj =∑k∈S

πkpk,j (2.16)

En forma matricial, la ecuación 2.16 puede verse como:

π = π P (2.17)

El problema de la ecuación 2.17 tiene infinitas soluciones, pero pueden obtenersevalores únicos si se considera que para cualquier n y cualquier i:

Pi,1(n) + Pi,2(n) + · · ·+ Pi,s(n) = 1 (2.18)

En el caso en que n tiende a infinito:

π1 + π2 + · · ·+ πs = 1 (2.19)

Al sustituir cualquier ecuación de 2.16 por la ecuación 2.19, pueden obtenersevalores únicos de las probabilidades de estado estable.

2.1.5 Análisis transitorio

El comportamiento previo a alcanzar el estado estable se conoce como compor-tamiento transitorio, para cuyo cálculo se debe trabajar con las ecuaciones paraPi,j(n).

2.1.6 Interpretación de las probabilidades de estado estable

Una interpretación de las probabilidades de estado estable puede deducirse de 2.16,al restar a ambos lados πjpj,j .

πj(1− pj,j) =∑k 6=j

πkpk,j (2.20)

8


El término de la izquierda en la ecuación 2.20 es la probabilidad de que unatransición particular deje el estado j y el del lado derecho la probabilidad de queuna transición particular llegue al estado j.

2.1.7 Tiempos promedio de primer paso

Para una cadena ergódica, mi,j el número esperado de transiciones antes de llegarpor primera vez al estado j dado que estamos en estado i se conoce como tiempopromedio de primer paso.

Partiendo del estado i, con probabilidad pi,j se llegará a j en una transición. Parak 6= j se pasa a continuación con pi,k. En este caso llevará un promedio de 1+mk,j

transiciones ir de i a j, lo que implica que:

mi,j = Pi,j(1) +∑k 6=j

pi,k(1 +mk,j) (2.21)

dado que:

pi,j +∑k 6=j

πk = 1 (2.22)

mi,j = 1 +∑k 6=j

pi,kmk,j (2.23)

Resolviendo se tiene que:

mi,i =1

πi(2.24)

y reemplazando en 2.23 se calculan los valores restantes.

2.1.8 Cadenas absorbentes

Las cadenas de Markov, tales que poseen algunos estados absorbentes, se conocencomo Cadenas absorbentes, en ellas de comenzar en un estado transitorio, tarde otemprano se llegará a un estado absorbente.

Para cualquer cadena absorbente es posible calcular:

1. El número de veces que se espera que entre a cada estado transitorio, dadoque inició en el estado transitorio i, esto es el número de periodos que se

9


espera que pase en un estado transitorio determinado i antes de alcanzar laabsorción.

2. La probabilidad de terminar en cada uno de los estados absorbentes dadoque se inició en un estado transitorio i.

Para realizar tales cálculos, es necesario reescribir la matriz de la forma:

P =

[Q | R0 | I

](2.25)

donde: Q es la matriz de transición entre estados transitorios, R

donde: Q es la matriz de probabilidades de transición entre estados transitorios,R es la matriz de probabilidades de transición entre estados transitorios y estadosabsorbentes, 0 es una matriz cero debido a que la probabilidad de ir de un estadoabsorbente i a un estado transitorio j es igual a 0, e I es la matriz identidadque indica que de un estado absorbente i solo se puede ir a sí mismo, o en otraspalabras permanecer en él.

Si se tienen m estados absorbentes, la matriz Q será de s−m× s−m, la matrizR será de s−m×m, la matriz 0 será de m× s−m y la matriz I de m×m.

Número de periodos esperado en un estado transitorio

T = (I −Q)−1 (2.26)

De la ecuación 2.26 se tiene que: al iniciar en el estado transitorio i, el número deperiodos que se pasa en un estado transitorio j antes de la absorción es el ij-ésimoelemento de la matriz T.

PA = (I −Q)−1R (2.27)

La ecuación 2.27 contiene las probabilidades de absorción, así: el ij-ésimo términode la matriz PA contiene la probabilidad de ser absorbido en el estado j dado quese parte de un estado transitorio i.

10

2.2 Procesos de decisión de Markov


A menudo es deseable establecer procesos de toma de decisiones y evaluar sucomportamiento en un horizonte de tiempo de largo plazo. Se pretende entoncesmaximizar los beneficios o los ingresos esperados en un horizonte de larga dura-ción, o minimizar los costes esperados. Usualmente este horizonte de planeaciónse considera infinito.

Existen dos formas básicas de considerar los beneficios o costes:

Descuentos: Las recompensas obtenidas en periodos futuros pueden traerse avalor presente si se aplica un factor β, tal que 0β1, así un dólar obtenidoen el periodo siguiente representa β el día de hoy. Si M es la recompensamáxima en cada periodo, la recompensa descontada máxima es:

M +Mβ +Mβ2 + · · · = M(β0 + β1 + β2 + · · · = M1

1− β<∞ (2.28)

Promedio: Se tiene en cuenta en este caso que si se obtiene la mejor decisiónen cada periodo, puede calcularse el valor esperado de la recompensa dentrodel horizonte de planeación:

E

(lımn→∞

Recompensa de los periodos : 1, 2, . . . , n

n

)(2.29)

En este caso aunque el ingreso puede ser infinito, el valor promedio puedecalcularse.

2.2.1 Proceso de decisión de Markov

Un proceso de decisión de Markov (MDP, del inglés Markov decision process) secaracteriza por los siguientes elementos:

Espacio de Estado: se tienen los estados i ∈ S = {1, 2, . . . , N}, el conjunto Sse conoce como espacio de estado.

Conjunto de decisiones: para cada estado i existe un estado finito de decisio-nes D(i), que pueden ser tomadas.

Probabilidades de transición: para cada estado i y decisión d, existe una pro-babilidad de llegar al estado j, P (j | i, d) que solo depende del estado actuali y de la decisión d.

Recompensa esperada: Durante un periodo en el cual el estado es i y se escogela alternativa (decisión) d ∈ D(i), se obtiene una recompensa esperada ri,j .

11


2.2.2 Política óptima

La política es entendida como una regla que se establece para la toma de decisiones,a manera de criterio. Así, la decisión que se toma en un periodo t puede dependerde lo sucedido antes, es decir, la decisión puede depender del estado en los periodos1, 2, . . . , t, y de las decisiones tomadas en los periodos 1, 2, . . . , t− 1.

Se conoce como una política estacionaria β si siempre que el estado sea i, mediantela política β se adopta, independientemente del periodo, la misma decisión δ(i).

Sea δ una política arbitraria y ∆ el conjunto de políticas. Entonces:

Xt: Variable de decisión para el estado del proceso markoviano de decisión alcomienzo del periodo t.

X1: Estado particular del sistema al comienzo del periodo 1 (estado inicial).

dt: Decisión elegida durante el periodo t.

Vδ(i): Recompensa descontada esperada obtenida durante un número infinito deperiodos, dado que al inicio del periodo 1 el estado es i y la política estacio-naria es δ.

Vδ(i) = Eδ

( ∞∑t=1

βt−1rxt,dt | x1 = i

)(2.30)

donde Eδ(βt−1rxt,dt | x1 = i

)es la recompensa descontada esperada durante el

periodo t, dado que al comienzo del periodo 1 el estado es i y se sigue la políticaestacionaria δ.

En problema de optimización, es:

En caso de maximización: V (i) = maxδin∆ Vδ(i)

En caso de minimización: V (i) = mınδin∆ Vδ(i)

Si en una política δ∗, V (i) = Vδ∗(i) para todo i ∈ S, entonces δ∗ es una políticaóptima. Sin embargo, la existencia de una política simple δ∗ que obtiene de manerasimultánea los N óptimos en el problema de optimización no es evidente. Ademásse sabe que si ri,d están acotadas, existe una política óptima.

12


2.2.3 Métodos para determinar una política óptima

1. Iteración de Políticas

2. Programación lineal

3. Iteración de valores o aproximaciones sucesivas

Iteración de Políticas

Una forma de evaluar cualquier política estacionaria consiste en determinar elconjunto de ecuaciones lineales Vδ(i) para todo i ∈ S, como sigue:

Vδ(i) = ri,δ(i) +∑j∈S

p(j | i, δ(i))Vδ(j) ∀i ∈ S (2.31)

Donde:

Vδ(i): Recompensa descontada esperada para un número infinito de periodos.

ri,δ(i): Recompensa esperada del periodo actual.∑j∈S p(j | i, δ(i))Vδ(j): Recompensa descontada esperada al comienzo del perio-

do dos, obtenida del periodo dos en adelante.

Para evaluar una política estacionaria delta se resuelve el sistema de ecuacioneslineales asociado a ella.

Método de iteración de la política de Howard Este método permite obtenerla política estacionaria óptima para un MDP.

Evaluación de la política: Solución del sistema de ecuaciones para el cálculode la recompensa descontada esperada para un número infinito de periodos,asociado a la política δ.

Mejoramiento de la política: Procedimiento sistemático que se aplica paraencontrar la política óptima. A partir del cálculo de Tδ(i)

Tδ(i) = maxd∈D(i)

ri,δ(i) +∑j∈S

p(j | i, d)Vδ(j)

(2.32)

Siempre Tδ(i) ≥ Vδ(i), dado que se puede elegir d ∈ D(i), para todo i ∈ S.13


Si Tδ(i) = Vδ(i), para todo i ∈ S entonces la política δ es una política óptima.

Si Tδ(i) > Vδ(i), entonces se modifica la política δ(i) de modo que la decisiónd ∈ D(i) que proporciona el máximo valor de Tδ(i), creando la nueva políticaestacionaria δ′ para la cual Vδ′(i) ≥ Vδ(i) para todo i ∈ S y para por lo menos unestado i′, Vδ′(i′) ≥ Vδ(i′). Se regresa al paso 1 con la política δ′, en lugar de δ.

Programación lineal

La formulación del Proceso de decisión de Markov, puede resumirse como sigue:

Para un problema de maximización:

min z =∑j∈S

Vj (2.33)

sujeto a : Vi − β∑j∈S

p(j | i, d)Vj ≥ ri,d ∀i,∀d ∈ D(i) (2.34)

Todas las variables son no restringidas en signo.

Para un problema de minimización:

max z =∑j∈S

Vj (2.35)

sujeto a : Vi − β∑j∈S

p(j | i, d)Vj ≤ ri,d ∀i,∀d ∈ D(i) (2.36)

Todas las variables son no restringidas en signo.

La solución óptima para estos modelos de LP tendrá Vi = V (i). Además, si unarestricción para el estado i y la decisión d es activa (no tiene holgura ni exceso),entonces la decisión d es óptima en el estado i.

14


Iteración de valores o aproximaciones sucesivas

Se ilustra el procedimiento más simple para el caso de maximización. Sea Vt(i) larecompensa descontada esperada máxima que se puede obtener tras t periodos, siel estado al comienzo del periodo actual es i. Entonces:

Vt(i) = maxd∈D(i)

ri,δ(i) + β∑j∈S

p(j | i, d)Vt−1(j)

(2.37)

V0(i) = 0 (2.38)

Al igual que en los métodos anteriores en la ecuación 2.37 el valor de Vt(i) secalcula a partir de la recompensa por el periodo actual ri,δ(i) y de la recompensadescontada esperada para el periodo 2, que es β

∑j∈S p(j | i, d)Vt−1(j).

Si la decisión dt(i) es la decisión que se elige en el periodo 1 en el estado i paraobtener Vt(i), para un MDP con un espacio de estado finito y cada D(i) tiene unnúmero finito de elementos, el resultado más básico de aproximaciones sucesivasestablece que para cada i ∈ S.

15

Capítulo 3

Proceso de simulación

3.1 Análisis de entrada

3.1.1 Observación del sistema

Identificar el comportamiento del sistema estudiado, determinando sus parámetros,variables (aleatorias y no aleatorias) y las posibles medidas de desempeño.

3.1.2 Consecución de datos e información

Recolectar toda la información posible del sistema haciendo uso de las posiblesfuentes disponibles: conocimiento de expertos, estadísticas, datos hostóricos, basesde datos e información de campo.

3.1.3 Identificar y localizar el problema

Determinar los procesos críticos del sistema, pues no tiene sentido invertir tiempoy dinero en solucionar los aspectos que no significan un verdadero problema.

Es importante que se tenga claridad respecto de la zona (parte del sistema) en lacual se presenta el problema, el momento en el cual tiene lugar el problema, etc.

17

Capítulo 3. Proceso de simulación

3.1.4 Análisis de los datos

Pruebas estadísticas no paramétricas. Pruebas de independencia: intravariable eintervariable, a través de diagramas de dispersión (nubes de puntos), correlación(coeficientes y autocorrelación), pruebas de corridas.

Pruebas de homogeneidad, entre grupos: Kruskal Wallis, tablas de contingencia,medias, varianzas, etc.

Luego de identificar grupos independientes y homogéneos, se realizan pruebas debondad de ajuste para identificar el comportamiento de las variables aleatorias ana-lizadas. entre este tipo de pruebas se destacan las de Chi-cuadrado, Kolmogorov-Smirnov, Anderson Darling, etc.

3.2 Modelización

3.2.1 Construcción de un modelo mental del sistema simulado

Se trata de representar el sistema mentalmente, con ayuda de diagramas y otrasherramientas de apoyo, determinando las relaciones entre las variables y como secomportan en el funcionamiento del sistema.

3.2.2 Construcción de un modelo computacional

Identificar claramente los elementos del sistema para programarlo en un softwarede propósito general o especializado. Tales elementos son: Locaciones, entidades,variables, recursos, procesos de llegadas, tránsito dentro del sistema, procesos desalidas, medidas de desempeño.

3.3 Análisis de salida

3.3.1 Verificación

Es una revisión de forma del sistema, en la cual se verifica que la representaciónse comporte como el sistema. Es conveniente que el modelo se verifique con losexpertos que conocen el sistema, en cuanto a su lógica de funcionamiento.

18

3.3 Análisis de salida

3.3.2 Validación

Con el fin de determinar si el modelo representa de manera fidedigna el comporta-miento del sistema, es importante hacer un análisis estadístico de las medidas dedesempeño del sistema simulado y compararlo con el sistema real. Las validacionesdeben hacerse sobre los grupos homogéneos y no limitarse a la simple compara-ción de promedios. Se recomienda realizar pruebas de diferencia de medias y devarianzas.

3.3.3 Análisis de escenarios

La razón de ser de la simulación está en esta etapa, pues el objetivo es determinarel comportamiento del sistema ante los posibles cambios. ¿Qué pasa sí ...? esuna pregunta recurrente que debe ser contestada a través de la experimentaciónen el sistema modelado. La evaluación de la respuesta a está pregunta debe sersustentada en el análisis estadístico de los resultados.

3.3.4 Toma de decisiones

Una vez se ha evaluado la calidad de las diferentes alternativas, se debe evaluar laposibilidad de implementar los cambios necesarios al sistema, y llevarlos a cabo.

19

Capítulo 4

Planeación de la producción

La planeación de la producción implica la planeación del aprovisionamiento delos recursos necesarios para la producción, la planeación de las actividades deproducción requeridas para transformar las materias primas en productos finalessatisfaciendo la demanda de los consumidores en la forma más eficiente o económicaposible (Pochet, 2006).

En ambientes industriales, los problemas a tratar en este campo del conocimientotienen que ver con la toma de decisiones respecto del tamaño de los lotes a producirde cada producto, el momento en el cual debe iniciar la producción, la máquina oconjunto de máquinas utilizadas para la producción, o la secuencia de producciónde los diferentes lotes. El objetivo usualmente es satisfacer la demanda al menorcoste total, y las decisiones según su naturaleza pueden ser de largo, mediano ocorto plazo.

La planeación de la cadena de suministros es similar a la planeación de la produc-ción, pero incluye las decisiones de adquisición y de distribución.

Los problemas de diseño de la Cadena de suministros incluyen decisiones de largoplazo como la localización, la selección de proveedores y el diseño de los sistemasde distribución.

Los objetivos que se persiguen son entre otros la minimización del coste total,la maximización de la utilidad o la maximización de la satisfacción del cliente.Por lo anterior, los sistemas de planeación de manufactura (producción) son cadavez más sofisticados y flexibles. La actual tendencia de integración en la cadena desuministros implica la integración de los modelos que incluyan: aprovisionamiento,producción, distribución y ventas; además, deben ser ágiles ante los cambios en lademanda y el mercado.

21

Capítulo 4. Planeación de la producción

En este contexto los modelos empleados son por lo general de programación (lineal)entera mixta (MIP, del inglés Mixed integer programming). Los alistamientos dela producción, la asignación de máquinas, y sus costes asociados implican el uso devariables enteras o binarias, y por ende aumentan la complejidad de los sistemasde producción.

4.1 El modelizado y el enfoque de optimización

Como antecedente se tiene el auge de los sistemas de información, la mayoríatransaccionales para la planeación de la manufactura. Este tipo de sistemas man-tiene actualizada la información de compras, producción e inventarios, entre otrosaspectos.

Sistemas de optimización pueden conducir a mejores resultados en términos ge-nerales. La tendencia es a integrar modelos de MIP para tener en cuenta ciertasparticularidades que quedan fuera del alcance de lo transaccional y de lo alcanzadocon modelos de programación lineal (LP, del inglés linear programming).

El primer objetivo de este capítulo es aprender como transformar sistemáticamen-te una descripción del problema en un modelo matemático. La descripción delproblema es por lo general desestructurada y obtenida de forma informal, rápida,etc.

La modelización del problema, como una abstracción del problema real, debe ser:

correcta: las decisiones de planeación o las decisiones sugeridas por el mode-lo deben obedecer al nivel de detalle requerido para la representación delsistema en términos de factibilidad (restricciones) y optimalidad (funciónobjetivo).

estructurada: descrita con objetos estándar (productos, máquinas, recursos,etc) y bloques constructivos estándar o restricciones genéricas (conservacióndel flujo, capacidad, demanda, etc.)

La estructuración del modelo permitirá tanto su escalamiento como la reformula-ción en términos de modelos conocidos.

22

4.2 Pautas para construir un modelo

4.2 Pautas para construir un modelo

La esencia de la modelización y el enfoque de optimización es distinguir y separarlas fases de modelizado y optimización. Construir un modelo correcto antes deempezar la optimización.

El objetivo de la fase de modelización es describir una abstracción (un modelo)del problema a resolver. Para ello deben identificarse:

Los objetos que vana a ser manipulados (productos, recursos, periodos de tiem-po, etc.)

Los datos asociados con los objetos (demanda para productos durante los pe-riodos de tiempo, capacidad de los recursos, etc.)

Las decisiones, relativas a los objetos, que van a ser tomadas para proponeruna solución al problema (también asociadas a las variables de decisión).

Las restricciones que deben satisfacerse para definir una solución factible oaceptable del problema, y

La función objetivo que se pretende optimizar con el modelo, la cual consisteen una medida de desempeño para evaluar y comparar soluciones factibles yescoger la mejor de todas.

El objetivo de la fase de optimización es encontrar una solución óptima al modelo.

La modelización es más que un arte, es una ciencia y por la tanto es posible estruc-turar métodos para la construcción de modelos con el grado de detalle apropiado.

4.3 Análisis y programación de las capacidades productivas

Las capacidades productivas se analizan en función de las máquinas, instalaciones,equipos y demás medios de trabajo requeridos para la realización de la producción.

Las capacidades de los medios de trabajo se expresan tanto desde el punto de vistatécnico como económico, expresándose como:

Capacidad Teórica (CT ): Es la capacidad máxima de producción y que estáprevista con la construcción de máquinas, equipos e instalaciones.

Capacidad Instalada (CI): Es la capacidad máxima prevista menos las necesi-dades propias de mantenimiento en condiciones normales de funcionamiento.

23


Capacidad Disponible (CD): Es la capacidad con la que se cuenta realmente,depende de las políticas de operación de la planta de producción y de laspérdidas de capacidad que tienen lugar por el tiempo destinado al manteni-miento, a actividades organizacionales, el ausentismo y los factores externoso causados por la naturaleza.

Capacidad Necesaria (CN): Es el tiempo requerido en los centros de produc-ción para que esta se lleve a cabo.

Capacidad Utilizada (CU): Es la capacidad realmente utilizada, se trata deuna capacidad que se calcula a posteriori cuyo propósito obedece a la funciónde control de la producción.

Las capacidades pueden expresarse en unidades de tiempo, unidades energéticaso unidades monetarias. Además pueden incluir un sitio de trabajo, un taller, undepartamento o una empresa en su conjunto.

Las unidades en que se expresa la capacidad de un sitio de trabajo depende delas características de la producción, siendo el tiempo la más común de todas. Lasunidades energéticas se refieren a equipos desde el punto de vista de utilización desu potencial energético.

4.3.1 Capacidad Teórica

CT =∑i∈I

ni d h [horas/ao] (4.1)

Donde: I es el conjunto de tipos de centros de trabajo, ni es el número de centrosde trabajo tipo i, d es el número de días al año (365 o 366), y h el número de horasdel día (24).

4.3.2 Capacidad Instalada

CI = CT −G1 =∑i∈I

ni d h−∑i∈I

nigi [horas/ao] (4.2)

G1 =∑i∈I

nigi [horas/ao] (4.3)

Donde: gi son las pérdidas estándar por mantenimiento preventivo de un tipo decentro de trabajo i y Gi son las pérdidas totales por mantenimiento de todos lossitios de trabajo.

24

4.4 Modelos de optimización de producción con restricciones de capacidad

4.3.3 Capacidad Disponible

CD =∑i∈I

nidhhtnt − (G1 +G2 +G3 +G4) [horas/ao] (4.4)

Donde: dh es el número de días hábiles por año, ht la cantidad de horas por turno,nt la cantidad de turnos trabajados por día, G2 son las pérdidas por inasistenciade los trabajadores, vacaciones, incapacidad, permisos, etc., G3 son las pérdidaspor factores organizacionales y G4 las pérdidas por factores externos naturales,técnicos, económicos, etc.

4.3.4 Capacidad Necesaria

CN =∑i∈I

∑j∈J

Xjtei,j [horas/ao] (4.5)

Donde: Xj es la cantidad de productos a fabricar en el plan óptimo de producción,y tei,j es el tiempo estándar en el sitio i por unidad producida de j.

4.3.5 Capacidad Utilizada

CU =∑i∈I

∑j∈J

Xjtri,j [horas/ao] (4.6)

Donde: Xj es la cantidad producida, y tri,j es el tiempo real de producción enel sitio i por unidad producida de j. Se trata de una capacidad que se calcula aposteriori con el objeto de realizar actividades de control.

4.4 Modelos de optimización de producción conrestricciones de capacidad

Conjuntos:

I: centros de procesamiento,

J : productos

Parámetros:

Pj: precio de venta del producto j,

25


CVj: coste variable de producción por unidad de producto j

CAj: coste de alistamiento (setup) de un lote de producción de producto j

tei,j: tiempo estándar de procesamiento de una unidad de producto j en la esta-ción de producción i.

tai,j: tiempo de alistamiento de producción de un lote de producto j en la estacióni.

Cdi: capacidad disponible del centro de trabajo i

Dminj: demanda mínima del producto j.

Dmaxj: demanda máxima del producto j.

Variables de decisión:

Xj: cantidad de producto j a producir,

Yj: variable binaria igual a uno si se produce un lote de producto j

Posibles funciones objetivo:

Max IngTot =∑j∈J

PjXj (4.7)

Min CostTot =∑j∈J

CVjXj + CAjYj (4.8)

Min UtilTot =∑j∈J

PjXj − (CVjXj + CAjYj) (4.9)

Max V olProd =∑j∈J

Xj (4.10)

Max UtilizCap =∑i∈I

∑j∈J

tejXj +∑i∈I

∑j∈J

tajYj (4.11)

Sujeto a las siguientes restricciones:

∑j∈J

tejXj +∑j∈J

tajYj ≤ Cdi ∀i ∈ I (4.12)

26


Dminj ≤ Xj ≤ Dmaxj ∀j ∈ J (4.13)

∑j∈J

PjXj − (CVjXj + CAjYj) ≥ 0 (4.14)

M(Yj) ≥ Xj ∀j ∈ J (4.15)

Xj ≥ 0 ∀j ∈ J (4.16)

Yj ∈ {0, 1} ∀j ∈ J (4.17)

27

Bibliografía

29

–¿Qué te parece desto, Sancho? – Dijo Don Quijote –

Bien podrán los encantadores quitarme la ventura,

pero el esfuerzo y el ánimo, será imposible.

Segunda parte del Ingenioso Caballero

Don Quijote de la Mancha


Miguel de Cervantes

–Buena está – dijo Sancho –; fírmela vuestra merced.

–No es menester firmarla – dijo Don Quijote–,

sino solamente poner mi rúbrica.

Primera parte del Ingenioso Caballero

Don Quijote de la Mancha

Miguel de Cervantes33

Resumen Conte Nidos

Documents

Transcript of Resumen Conte Nidos