Cadenas marko
-
Upload
silvia-manzanares-zapata -
Category
Documents
-
view
94 -
download
5
Transcript of Cadenas marko
![Page 1: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/1.jpg)
INVESTIGACIÓN OPERATIVA
TEMA 3
Introducción a las cadenas de Markov de primer orden
1. Definición de cadenas de Markov2. Tipos de estados y de cadenas de Markov.
Propiedades3. Comportamiento a largo plazo de cadenas de
Markov. Aplicaciones4. Comportamiento a corto plazo de cadenas de
Markov. Tiempos y probabilidades del primer paso
5. El caso particular de las cadenas absorbentes. Aplicaciones
6. Estudio de casos reales de aplicación. Los procesos de markov en los análisis coste-efectividad
![Page 2: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/2.jpg)
Introducción
Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad,…
Beatriz Gonzalez Lopez-Valcarcel
![Page 3: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/3.jpg)
1. Definición de Cadena de Markov
• Una Cadena de Markov (CM) es:• Un proceso estocástico• Con un número finito de estados (M)• Con probabilidades de transición
estacionarias• Que tiene la propiedad markoviana
Beatriz Gonzalez Lopez-Valcarcel
1
![Page 4: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/4.jpg)
Proceso estocástico:
• Es un conjunto o sucesión de variables aleatorias: {X(t)CG } definidas en un mismo espacio de probabilidad.
• Normalmente el índice t representa un tiempo y X(t) el estado del proceso estocástico en el instante t.
• El proceso puede ser de tiempo discreto o continuo si G esdiscreto o continuo.• Si el proceso es de tiempo discreto, usamos enteros pararepresentar el índice: {X1, X2, ...}
Beatriz Gonzalez Lopez-Valcarcel
1
![Page 5: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/5.jpg)
Ejemplos de procesos estocásticos:
1. Serie mensual de ventas de un producto2. Estado de una máquina al final de cada semana
(funciona/averiada)3. Nº de clientes esperando en una cola cada 30 segundos4. Marca de detergente que compra un consumidor cada vez
que hace la compra. Se supone que existen 7 marcas diferentes
5. Nº de unidades en almacén al finalizar la semana
Beatriz Gonzalez Lopez-Valcarcel
1
![Page 6: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/6.jpg)
– Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad)
– Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes)
– Probabilidades de transición entre estados, en un ciclo (matriz P)
– Distribución inicial del sistema entre los M estados posibles
ELEMENTOS DE UNA CADENA DE MARKOV
1
![Page 7: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/7.jpg)
PROPIEDAD MARKOVIANA
Un proceso estocástico tiene la propiedad markoviana si las probabilidades de transición en un paso sólo dependen del estado del sistema en el período anterior (memoria limitada)
1
![Page 8: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/8.jpg)
PROPIEDAD MARKOVIANA
P(n) es la matriz de transición en n pasos, de orden (M+1)x(M+1)
1
![Page 9: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/9.jpg)
PROPIEDAD MARKOVIANA1
![Page 10: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/10.jpg)
PROPIEDAD MARKOVIANA1
![Page 11: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/11.jpg)
Tipos de modelos de Markov:• Procesos de Markov (Modelos semi-
markovianos): Las probabilidades de transición entre estados pueden variar a medida que transcurren más ciclos
– Ejemplo: para modelizar la esperanza de vida, el riesgo de muerte aumenta con la edad
• Cadenas de Markov: Las probabilidades de transición se suponen constantes a lo largo del tiempo
LAS CADENAS DE MARKOVSON UN CASO PARTICULAR DE MODELOS DE MARKOV
1
![Page 12: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/12.jpg)
PROPIEDAD MARKOVIANA
Ejemplos:
Comportamiento (sube/baja) del precio de las acciones hoy depende de lo ocurrido ayer
Problema de la ruina de un jugador de casino
Elección de marca: Con qué línea aérea volar a Madrid?
1
![Page 13: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/13.jpg)
Ejercicio 1: Tres agencias de viaje disponen de información respecto de los desplazamientos en vacaciones de semana santa.
Estado futuro n=1
Estado actual n=0 No viajar V. entre islas V. fuera
No viajar 40 20 40
V. entre islas 50 10 40
V. fuera 10 70 20
a) Supuestos necesarios para considerar esta situación como cadena de Markov de primer orden
b) Calcular la probabilidad de que los clientes que no han viajado estas vacaciones lo hagan fuera de las islas dentro de 2 años.
1
![Page 14: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/14.jpg)
Ejercicio 2: La carrera de diplomado en CCEE tiene 3 cursos. A partir de los datos facilitados por el decanato del centro se sabe que el 35% y el 26% de los alumnos de primero y segundo abandonarán los estudios. El 28% de los alumnos de primero repiten curso, siendo este porcentaje del 20% y 30% para los alumnos de segundo y tercero respectivamente.
1
![Page 15: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/15.jpg)
Tres laboratorios farmacéuticos (A,B y C) que compiten en un principio activo (mismo conjunto homogéneo en la orden de precios de referencia). Hoy sus cuotas de mercado son 30%, 20% y 50% respectivamente
EJEMPLO 1: EL REPARTO DELMERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Matriz de transición en un paso (ciclo)
A B CA 0,8 0,1 0,1B 0,15 0,82 0,03C 0,13 0,12 0,75
Ciclo: Mes
Las filas suman 1
¿Cómo se repartirán el mercado dentro de 1 mes, 6 meses, 1 año?, ¿A largo plazo?
1
![Page 16: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/16.jpg)
EJEMPLO 2: LA EVOLUCIÓN CLÍNICA DE LOSPACIENTES CON VÁLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
BIENCON
SECUELAS
MUERTO
3 estados (1 absorbente, 2 transitorios)
Ciclo=mes
Utilidades = Nivel salud
Distribución inicial de la cohorte (N=10.000): todos bien
3 estados (1 absorbente, 2 transitorios)
Ciclo=mes
Utilidades = Nivel salud
Distribución inicial de la cohorte (N=10.000): todos bien
1
![Page 17: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/17.jpg)
EJEMPLO 2: LA EVOLUCIÓN CLÍNICA DE LOSPACIENTES CON VÁLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
BIENCON
SECUELAS
MUERTO
3 estados (1 absorbente, 2 transitorios)
Ciclo=mes
Utilidades = Nivel salud
Distribución inicial de la cohorte (N=10.000): todos bien
3 estados (1 absorbente, 2 transitorios)
Ciclo=mes
Utilidades = Nivel salud
Distribución inicial de la cohorte (N=10.000): todos bien
1
![Page 18: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/18.jpg)
EJEMPLO 2: LA EVOLUCIÓN CLÍNICA DE LOSPACIENTES CON VÁLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
BIENCON
SECUELAS
MUERTO
0.6 0.6
0.2
0.2 3 estados (1 absorbente, 2 transitorios)
Ciclo=mes
Utilidades = Nivel salud
Distribución inicial de la cohorte (N=10.000): todos bien
3 estados (1 absorbente, 2 transitorios)
Ciclo=mes
Utilidades = Nivel salud
Distribución inicial de la cohorte (N=10.000): todos bien
1
![Page 19: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/19.jpg)
Tres laboratorios farmacéuticos (A,B y C) que compiten en un principio activo (mismo conjunto homogéneo en la orden de precios de referencia). Hoy sus cuotas de mercado son 30%, 20% y 50% respectivamente
EJEMPLO 1: EL REPARTO DELMERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Matriz de transición en un
ciclo (P)
A B CA 0,8 0,1 0,1B 0,15 0,82 0,03C 0,13 0,12 0,75
Ciclo: Mes
Las filas suman 1
¿Cómo se repartirán el mercado dentro de 1 mes, 6 meses, 1 año?, ¿A largo plazo?
1
![Page 20: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/20.jpg)
• Este es un ejemplo de cadena de Markov irreductible y ergódica. Todos los estados son recurrentes y están comunicados entre sí, formando una sola clase.Hay solución de estado estable (reparto del mercado a largo plazo, independiente de la situación inicial)
EJEMPLO 1: EL REPARTO DELMERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Reparto del mercado después de n ciclos = P0*Pn
1 mes.....P1= [0.3350 0.2540 0.4110]
2 meses ....p2 =[ 0.3595 0.2911 0.3494]
6 meses ...... p6 =[ 0.4030 0.3543 0.2427]
1 año ....... p12 = [ 0.4150 0.3704 0.2146]
2 años ...... p24 =[ 0.4165 0.3722 0.2113]
3 años ....... p36 =[ 0.4165 0.3722 0.21131]Solución de estado estable
1
![Page 21: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/21.jpg)
EJEMPLO 3: EL HÁBITO TABÁQUICODE LOS JÓVENES
5 estados (1 transitorio, 4 recurrentes)
Ciclo= un año
Distribución inicial de la cohorte (N=1.340): (0.58 0.28 0.05 0.03 0.06)
5 estados (1 transitorio, 4 recurrentes)
Ciclo= un año
Distribución inicial de la cohorte (N=1.340): (0.58 0.28 0.05 0.03 0.06)
Nunca lo ha probado
Lo ha probado, pero ahora no
fuma
Fuma menos de una vez por
semana
Fuma los fines de semana
Fuma diariamente Total
Nunca lo ha probado 77.7% 17.2% 3.2% 0.9% 1.0% 100.0%Lo ha probado, pero ahora
no fuma 0.0% 75.0% 12.2% 4.7% 8.1% 100.0%Fuma menos de una vez
por semana 0.0% 34.0% 22.0% 12.0% 32.0% 100.0%Fuma los fines de semana 0.0% 26.5% 17.6% 26.5% 29.4% 100.0%
Fuma diariamente 0.0% 6.3% 8.3% 0.0% 85.4% 100.0%Total 50.4% 31.8% 6.7% 3.0% 8.1% 100.0%
1
![Page 22: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/22.jpg)
Tipos de estados y de cadenas de markov de primer orden
• Para clasificar los estados y las CM tenemos que definir algunos conceptos:• Tiempos del primer paso y de recurrencia• Accesibilidad y comunicación entre estados
2
![Page 23: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/23.jpg)
Tiempos del primer paso/recurrencia (Corto plazo)
Con lo visto hasta el momento podemos calcular la probabilidad, dado que el proceso se encuentra en el estado i, de que el proceso se encuentre en el estado j después de n periodos Pij
(n).
2
![Page 24: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/24.jpg)
a) Comenta el contenido de la matriz de transición P facilitada por el comercio.
b) Sabiendo que hay dos cámaras al final de la primera semana (x1=2), (x2=1), (x3=0), (x4=3) y (x5=1). Obtener el tiempo de primera pasada para ir del estado 3 al 1, y el tiempo de recurrencia del estado 3.
EJEMPLO: Un vendedor de cámaras fotográficas lleva acabo la siguiente política de inventario. Mantiene durante la semana de trabajo hasta un máximo de 3 cámaras en el almacén para su venta. Si al final de la semana le quedan en el almacén alguna cámara entonces no pide ninguna al fabricante. De partida en el almacén hay 3 cámaras (x0=3).
2
![Page 25: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/25.jpg)
Tiempos de primera pasada/recurrencia (Corto plazo)
En general podemos considerar a los tiempos de primera pasada como variables aleatorias, por tanto con una distribución de probabilidad asociada a ellos. Dichas distribuciones de probabilidad dependerán de las probabilidades de transición del proceso.
fij(1)=pij
(1)=pij
fij(2)=pij
(2)-fij(1)pij
.............................................
fij(n)=pij
(n)-fij(1)pij
(n-1)-fij(2)pij
(n-2)....-fij(n-1)pij
2
![Page 26: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/26.jpg)
Tiempos de primera pasada/recurrencia (Corto plazo)
Como generalmente es bastante engorroso calcular las fij(n) para
todas las n, se suele optar por obtener el tiempo esperado de primera pasada del estado i al estado j
2
![Page 27: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/27.jpg)
(n)
(n)
Podemos considerar fij(n) para (n=1,2,..) como la función de
probabilidad de la variable aleatoria tiempo de primera pasada
Una vez que el proceso se encuentra en el estado i no lo abandona
Una vez que el proceso se encuentra en el estado i existe una prob.>0 de no regresar
Tipos de estados y Cadenas de Markov2
![Page 28: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/28.jpg)
Ejemplo Identifica los distintos estados en la siguiente matriz de transición.
Estados 0 1 2 3 4P 0 0.25 0.75 0 0 0
1 0.5 0.5 0 0 02 0 0 1 0 03 0 0 0.33333333 0.66666667 04 1 0 0 0 0
2
![Page 29: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/29.jpg)
Tipos de estados y Cadenas de Markov2
![Page 30: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/30.jpg)
Tipos de estados y Cadenas de Markov2
![Page 31: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/31.jpg)
Tipos de estados y Cadenas de Markov.2
![Page 32: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/32.jpg)
Tipos de estados y Cadenas de Markov.2
![Page 33: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/33.jpg)
Comportamiento a largo plazo de las Cadenas de Markov
3
![Page 34: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/34.jpg)
Comportamiento a largo plazo de las Cadenas de Markov2
![Page 35: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/35.jpg)
Comportamiento a largo plazo de las Cadenas de Markov: el caso de las cadenas absorbentes
4
• CM absorbente:– Tiene al menos un estado absorbente
– Desde cualquier estado no absorbente se puede acceder a algún estado absorbente
• A largo plazo, termina en absorción con probabilidad 1
• Interesa calcular:– Probabilidad de absorción por cada estado absorbente
– Numero esperado de pasos antes de la absorción
![Page 36: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/36.jpg)
Comportamiento a largo plazo de las Cadenas de Markov: el caso de las cadenas absorbentes
4
![Page 37: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/37.jpg)
• Ingredientes de una cadena de markov:– Conjunto de K estados exhaustivos y mutuamente
excluyentes definen las posibles situaciones (ej. Bien-discapacitado-muerto)
– Ciclo: periodo de tiempo en el que ocurren transiciones entre estados (ej: un mes)
– Probabilidades de transición entre estados en un ciclo
• Se suponen constantes en el tiempo, e idénticas para todos los pacientes
• Sus valores forman la matriz de transición en un paso (P) – Distribución inicial de la cohorte de pacientes entre los K
estados
EJEMPLOS DE APLICACIONESCÓMO HACER EL MODELO
REALISTAPropiedad Propiedad
markoviana: markoviana: falta de memoria falta de memoria
(¿Realista?...)(¿Realista?...)
Propiedad Propiedad markoviana: markoviana:
falta de memoria falta de memoria (¿Realista?...)(¿Realista?...)
![Page 38: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/38.jpg)
EJEMPLO 1: LA EVOLUCIÓN CLÍNICA DE LOSPACIENTES CON VÁLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
BIENBIENCON
SECUELASCON
SECUELAS
MUERTOMUERTO
Se incluye un estado transitorio de proceso agudo (embolia o hemorragia interna)
Se incluye un estado transitorio de proceso agudo (embolia o hemorragia interna)
Complicando el modelo para hacerlo más realistaComplicando el modelo para hacerlo más realista
![Page 39: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/39.jpg)
EJEMPLO 1: LA EVOLUCIÓN CLÍNICA DE LOSPACIENTES CON VÁLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
BIENBIENCON
SECUELASCON
SECUELAS
MUERTOMUERTO
Estado transitorio ACV: para un suceso que tiene solo efectos a corto plazo
Dos usos:
1) Incorporar un valor específico de la utilidad (o coste)
2) Asignar temporalmente diferentes probabilidades de transición
Estado transitorio ACV: para un suceso que tiene solo efectos a corto plazo
Dos usos:
1) Incorporar un valor específico de la utilidad (o coste)
2) Asignar temporalmente diferentes probabilidades de transición
Complicando el modelo para hacerlo más realistaComplicando el modelo para hacerlo más realistaACCIDENTE
CEREBRAL
VASCULAR
ACCIDENTE
CEREBRAL
VASCULAR
![Page 40: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/40.jpg)
• Ingredientes de una cadena de markov:– Conjunto de K estados exhaustivos y mutuamente
excluyentes definen las posibles situaciones (ej. Bien-discapacitado-muerto)
– Ciclo: periodo de tiempo en el que ocurren transiciones entre estados (ej: un mes)
– Probabilidades de transición entre estados en un ciclo
• Se suponen constantes en el tiempo, e idénticas para todos los pacientes
• Sus valores forman la matriz de transición en un paso (P) – Distribución inicial de la cohorte de pacientes entre los K
estados
CONCEPTOS BÁSICOSEsta limitación Esta limitación generalmente puede generalmente puede
resolverse definiendo resolverse definiendo estados distintos para estados distintos para pacientes con distintos pacientes con distintos
antecedentesantecedentes
Esta limitación Esta limitación generalmente puede generalmente puede
resolverse definiendo resolverse definiendo estados distintos para estados distintos para pacientes con distintos pacientes con distintos
antecedentesantecedentes
![Page 41: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/41.jpg)
Software y bibliografía
• Usaremos WinQSB
• Un excelente texto para este tema es el de Hillier y Lieberman (está referenciado en el programa)
![Page 42: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/42.jpg)
PROCESO DE DECISION MARKOVIANO
![Page 43: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/43.jpg)
CARACTERISTICAS
• SE OBSERVA LOS ESTADOS i DE UNA CADENA DE MARKOV DE TIEMPO DISCRETO DESPUES DE CADA TRANSICION (i=0,1,….M)
• DESPUES DE CADA OBSERVACION, SE SELECCIONA UNA DECISION (ACCION) k DE UN CONJUNTO DE K DECISIONES POSIBLES (k=0,1,2,… K)
![Page 44: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/44.jpg)
DECISIONES POR ESTADO
• SI SE ELIGE LA DECISION di = k EN EL ESTADO i, SE INCURRE EN UN COSTO QUE TIENE UN VALOR Cik. TAMBIEN SE MODIFICA LAS PROBABILIDADES DE TRANSICION.
• LA DECISION di = k EN EL ESTADO i DETERMINA CUALES SERAN LAS PROBABILIDADES DE TRANSICION p ij (k) PARA j= 0,1,…M. GENERA UNA MATRIZ DE RENDIMIENTOS r ij O DE COSTOS c ij.
![Page 45: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/45.jpg)
POLITICA O REGLA DE DECISION
• UN CONJUNTO DE DECISIONES PARA CADA UNO DE LOS ESTADOS i RESPECTIVOS : (d 0, d 1, d 2, … d M ), DEFINE UNA POLITICA PARA EL PROCESO DE DECISION.
• EL OBJETIVO ES ENCONTRAR UNA POLITICA OPTIMA DE ACUERDO A ALGUN CRITERIO DE COSTO. UN CRITERIO COMUN ES MINIMIZAR EL COSTO PROMEDIO ESPERADO POR UNIDAD DE TIEMPO. ESTE COSTO PUEDE AJUSTARSE, MEDIANTE UN FACTOR DE DESCUENTO.
![Page 46: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/46.jpg)
APLICACIÓN A PROBLEMA DEL JARDINERO
• VARIABLE ALEATORIA DE ESTADO: CONDICIONES DEL SUELO X t SE DETERMINAN TRES POSIBLES ESTADO, DESPUES DE UNA INSPECCION: ( QUE PUEDE SER UN ANALISIS FISICO-QUIMICO DE SUELOS).
• E1: BUENAS CONDICIONES 0• E2: REGULARES CONDICIONES 1• E3: MALAS CONDICIONES 2=M
![Page 47: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/47.jpg)
PROB. DE TRANSICION
i \ j 0 1 2
0 0,2 0,5 0,3 1
1 0 0,5 0,5 1
2 0 0 1 1
![Page 48: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/48.jpg)
MATRIZ DE RENDIMIENTOS
j \ i 0 1 2
0 7 6 3
1 0 5 1
2 0 0 -1
![Page 49: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/49.jpg)
ACCIONES A TOMAR
k Descripcion de la acción del jardinero
1 No usar fertilizantes
2 Usar fertilizantes
![Page 50: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/50.jpg)
DEFINIR POLITICA: Usar fertilizante en caso de estado 2: malas condiciones.
Estado i \ k 1 2 d i
0 1 0 0
1 1 0 0
2 0 1 1
![Page 51: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/51.jpg)
COSTO DE LA POLITICA R1:
Estado i \ k 1 2
0 0 2
1 0 1
2 0 1
![Page 52: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/52.jpg)
NUEVAS PROB TRANSICION
i \ j 0 1 2
0 0,3 0,6 0,1 1
1 0,1 0,6 0,3 1
2 0,05 0,4 0,55 1
![Page 53: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/53.jpg)
Nuevos COSTOS
i \ j 0 1 2
0 6 7 6
1 5 4 3
2 -1 0 -2
![Page 54: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/54.jpg)
COSTOS ESPERADOS POR ESTADO Y ACCION
i V i (k)
0 4,7 0,3x6 + 0,5x6 + 0,1x-1
1 3,1 0,1x7 + 0,6x4 +0,3x0
2 0,4 0,05x6 + 0,4x3 + 0,55x-2
![Page 55: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/55.jpg)
SELECCIÓN DE POLITICAS
• CON LOS COSTOS ESTIMADOS EN CADA POLITICA, ENTONCES SERA RAZONABLE SELECCIONAR LOS MENORES COSTOS.
• SI LOS RENDIMINTOS FUERAN UTILIDADES ENTONCES SE BUSCAR A LOS MAYORES UTILIDADES.
![Page 56: Cadenas marko](https://reader031.fdocuments.net/reader031/viewer/2022013118/55cc7aa4bb61eb413d8b4804/html5/thumbnails/56.jpg)
METODOS PARA SELECCIONAR POLITICAS
• ETAPAS FINITAS– PROGRAMACION DINAMICA
• ETAPAS INFINITAS– POLITICAS EXHAUSTIVAS– MEJORAMIENTO DE POLITICAS– PROGRAMACION LINEAL