Cadenas de Markov. Arvelo

Cadenas de Markov. Arvelo [email protected] 1

ANGEL FRANCISCO ARVELO LUJAN Angel Francisco Arvelo Luján es un Profesor Universitario Venezolano en el área de Probabilidad y Estadística, con más de 40 años de experiencia en las más reconocidas universidades del área metropolitana de Caracas. Universidad Católica “Andrés Bello”: Profesor Titular Jubilado 1970 a 2003 Universidad Central de Venezuela: Profesor por Concurso de Oposición desde 1993 al presente Universidad Simón Bolívar: Profesor desde 2005 al presente Universidad Metropolitana: Profesor desde 1973 a 1987 Universidad Nacional Abierta: Revisor de contenidos, desde 1979 hasta 2004 Sus datos personales son: Lugar y Fecha de Nacimiento: Caracas, 16-02-1947 Correo electrónico: [email protected] Teléfono: 58 416 6357636 Estudios realizados: Ingeniero Industrial. UCAB Caracas 1968 Máster en Estadística Matemática CIENES, Universidad de Chile 1972 Cursos de Especialización en Estadística No Paramétrica Universidad de Michigan 1982 Doctorado en Gestión Tecnológica: Universidad Politécnica de Madrid 2006 al Presente El Profesor Arvelo fue Director de la Escuela de Ingeniería Industrial de la Universidad Católica “Andrés Bello” (1974-1979) , Coordinador de los Laboratorios de esa misma Universidad especializados en ensayos de Calidad, Auditor de Calidad, y autor del libro “Capacidad de Procesos Industriales” UCAB 1998. En numerosas oportunidades, el Profesor Arvelo ha dictado cursos empresariales en el área de “Estadística General” y “Control Estadístico de Procesos”. Otras publicaciones del Prof. Arvelo, pueden ser obtenidos en la siguiente página web: www.arvelo.com.ve

mailto:[email protected]

http://www.arvelo.com.ve/


PROLOGO DEL AUTOR

Caracas, Mayo 21 de 2015

Estimados lectores:

Por más de 40 años, he dictado cursos de Probabilidad y Estadística a muy distintos niveles, y dirigidos a una muy extensa gama de profesionales, tales como médicos, administradores, etc., y muy especialmente a ingenieros. A lo largo de todo este tiempo, he podido observar que la gran dificultad en la enseñanza de la Estadística radica en que la formación que nuestro sistema educativo nos proporciona es excesivamente determinística, y esto hace que veamos al mundo que nos rodea como un universo regido por leyes naturales, que inexorablemente nos llevan a un destino predeterminado. Así por ejemplo, en los primeros años de Ingeniería nos enseñan las leyes de la Física, de la Química, etc., y no conformes con ello, también debemos acudir a un laboratorio para verificar que efectivamente éstas leyes se cumplen, y allí nos hablan de que existe una “Teoría de Errores” que en cierta manera explica las diferencias encontradas entre lo establecido en aquellas leyes y lo encontrado en la realidad. Cuando posteriormente, corresponde enfrentar un curso de “Probabilidad”, éste evidentemente constituye un vuelco en el esquema de razonamiento, pues se viene acostumbrado a encontrar resultados ciertos. De hecho, cuando en muchas asignaturas de diseño en ingeniería, existe un cierto nivel de incertidumbre acerca del comportamiento de algunas variables, esto se resuelve mediante la aplicación de factores de seguridad. A mi juicio, el análisis de los “PROCESOS ESTOCASTICOS”, y en particular el tema aquí tratado “CADENAS DE MARKOV”, constituye una de las vías más hermosas para adquirir una visión más real del universo donde vivimos, donde no todo es aleatorio, y ni tampoco todo es completamente determinístico; la evolución de un proceso, al igual que la vida misma, depende de múltiples circunstancias, como las condiciones iniciales, la decisión tomada en algún paso intermedio, la correlación con otras variables que interactúan, etc. No pretendo con este modesto resumen editar un texto sobre “PROCESOS DE MARKOV”; esto sería muy ambicioso por lo extenso y complejo del tema. Sólo me he limitado a los casos discretos llamados “CADENAS”, omitiendo algunas situaciones que por la complejidad de los cálculos matriciales que involucran, he considerado poco práctico incluir. Los principales objetivos que me impulsan a escribirlo son: a) Organizar y darle coherencia a un extenso material que a lo largo de los años he logrado acumular sobre el tema, como exámenes, resúmenes, guías de estudio, etc., y que hoy en día tengo muy disperso y desorganizado.



b) Complementar muchas explicaciones que sobre el tema se encuentran ampliamente desarrolladas en excelentes textos que existen sobre la materia, pero que carecen de la debida ejemplificación. En efecto, el estudio de los procesos estocásticos es considerado como la construcción de un modelo matemático que pretende ajustarse a una realidad. En la construcción de estos modelos es necesario partir de ciertos supuestos que constituyen sus axiomas, y a partir de ellos deducir una serie de conclusiones que son los teoremas y sus corolarios. Cuando el estudio del modelo se centra en la demostración de todos estos teoremas, se pierde un poco de vista la situación que se quiere modelar, y el lector adquiere la sensación de que se trata de un estudio teórico y abstracto. Las CADENAS DE MARKOV no son una excepción, y por tal motivo muchos textos al desarrollar el tema, olvidan incluir ejemplos que ilustren la situación concreta donde el teorema demostrado puede ser aplicado. El objetivo principal de este humilde trabajo es llenar parcialmente ese vacío. Por la razón antes expuesta, en el desarrollo del trabajo, decidí omitir numerosas rigurosas demostraciones, pues consideré que para ello existen excelentes textos, y me limité en algunos casos a enunciar la propiedad, en otros a dar una explicación intuitiva de la misma, y cuando fuese posible a dar una breve demostración, incluyendo ejemplos donde el teorema o la propiedad puedan ser aplicados. Lo anterior no significa que he prescindido totalmente de la matemática; por el contrario, para la cabal comprensión del material que aquí presento, se requiere de un nivel relativamente alto en esta disciplina, y muy especialmente en “Algebra Matricial” y en “Teoría de la Probabilidad”. Muchos de los ejemplos que aquí se encuentran son de mi propia cosecha, y han sido diseñados por mí para ilustrar, a mi juicio, de una manera más clara y amena, los diferentes temas tratados a lo largo del documento. Espero que este resumen sea de utilidad, que contribuya a una mayor difusión sobre el tema, y quedo a disposición de Uds., para que a través del correo electrónico me hagan llegar sus comentarios. Angel Francisco Arvelo Luján

[email protected]




1. INTRODUCCION

En términos generales puede decirse que un proceso estocástico es un conjunto de variables aleatorias que dependen de otra variable “t”, la cual toma valores dentro de un conjunto T, llamado conjunto índice o indicador: {𝑋(𝑡): 𝑡 ∈ 𝑇} Esta definición, que en principio luce muy matemática y abstracta, encuentra muchos ejemplos en nuestra vida cotidiana. En efecto, si se observa la evolución del precio del oro a lo largo del tiempo, se tiene una variable aleatoria X que es una función del tiempo, y que puede ser representada en un gráfico llamado “Time-Run”

Una gráfica similar podría ser utilizada para ilustrar el comportamiento del clima en una ciudad, o del crecimiento de la población en un país, etc.

Todos estos son ejemplos de procesos estocásticos, en donde el conjunto indicador “T” es el tiempo, y el proceso está siendo monitoreado de manera continua, de forma que se tiene un registro del valor de la variable observada en cada instante. En ese caso, se dice que se trata de un proceso de parámetro continuo, y se representa {𝑋(𝑡): 𝑡 ≥ 0} en caso de que la variable X sea continua, o de la forma {𝑁(𝑡): 𝑡 ≥ 0} en caso de que “X” sea discreta.

Un ejemplo de un proceso donde la variable observada es discreta, pero el conjunto indicador es continuo, también llamados “Procesos de Contaje”, es el “Proceso de Poisson”, en donde se observa a lo largo del tiempo, una variable “X” que representa el número de veces que en un intervalo de tiempo [0; t) ha ocurrido un evento que solo sucede de manera puntual e instantánea, como podría ser por ejemplo, la llegada de un cliente. En una situación como esta, la variable “X” solo podría tomar los valores numerables 0, 1, 2, 3,…., el proceso se representa como


https://www.google.co.ve/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&ved=0CAcQjRw&url=http://www.rankia.com/blog/materias-primas/1761387-que-ocurre-oro-plata&ei=9gUwVYPJOefZsATj-oGwBA&bvm=bv.91071109,d.cWc&psig=AFQjCNFi2Tp5Pi4yq9rvB2p6uYmKL7gsjQ&ust=1429297001259938


{𝑁(𝑡): 𝑡 ≥ 0} , y dado que las llegadas ocurren sólo en un instante de tiempo, su Time Run es de la forma:

Otra situación que también podría presentarse es cuando el conjunto indicador es discreto, es decir cuando el proceso solo se observa en ciertos instantes de tiempo, y no de manera continua y permanente. Por ejemplo, imaginemos que una persona quiere estudiar la evolución de su peso corporal a lo largo del tiempo, y que dada la imposibilidad de registrarlo de manera continua a lo largo de todo el día y todos los días, solo se pesa en ciertos instantes de tiempo, por decir los días lunes a las 7 a.m. La variable aleatoria observada “Peso” es continua, y el conjunto indicador es discreto; en este caso, se dice que se trata de un proceso continuo de parámetro discreto , y las observaciones constituyen una sucesión de variables aleatorias de la misma naturaleza, por lo que el proceso se representa como {𝑋𝑛(𝑡): 𝑡 ∈ ℕ}. Los procesos estocásticos han encontrado numerosas aplicaciones, en la Física Estadística, en los movimientos bursátiles, en el estudio de los fenómenos de espera conocidos como “Teoría de Colas”, movimientos marítimos etc., y los diferentes modelos existentes se diferencian unos de otros en los supuestos sobre los cuales se apoyan.

2. EL PROCESO DE MARKOV

En términos generales, un proceso de Markov es un proceso estocástico, en donde tanto la variable observada X(t), como el conjunto indicador T, pueden ser discretos o continuos. Es importante aclarar que los distintos valores o posiciones de la variable observada X(t) se llaman “los Estados del Proceso”, el conjunto de estados se denomina “Espacio de Estados” que se designa por Ω ; y en el caso particular en que Ω sea discreto, se dice que el proceso constituye una CADENA.



En consecuencia, existen cuatro tipos básicos de Procesos de Markov, que son: Ω = Espacio de Estados

Indicador Discreto Continuo Discreto Cadena de Markov

con parámetro discreto

Proceso de Markov de parámetro discreto

Continuo Cadena de Markov con parámetro

continuo

Proceso de Markov con parámetro

continuo Estos cuatro casos se analizan bajo una propiedad común conocida como “Propiedad de Markov”, que se refiere a la ausencia de memoria, según la cual, la manera como el proceso evoluciona hacia una situación futura solo depende del estado actual en que se encuentra hoy, y no de la manera como se llegó a él; es decir, el futuro depende sólo de hoy, y es independiente del pasado. Este humilde trabajo se limitará solo al caso de cadenas de Markov con parámetro discreto, en donde además Ω es un conjunto finito. Aquellos lectores interesados en un tratamiento detallado de los casos restantes, pueden consultar el texto” Procesos Estocásticos” de Emanuel Parzen

3. NOMENCLATURA EN UNA CADENA DE MARKOV

• En una cadena de Markov de parámetro discreto, los posibles estados del

proceso se designarán por 𝐸𝑜,𝐸1,𝐸2 ⋯ ,𝐸𝑘 , lo que significa que sólo existen (k+1) estados o valores posibles, y que por lo tanto, el espacio de estados es Ω = {𝐸𝑜,𝐸1,𝐸2 ⋯ ,𝐸𝑘}

• Como los distintos avances del conjunto indicador se producen de manera discreta pues t = 1, 2, 3,…., estos avances se denominan “pasos”, de forma que Xn = Estado en que se encuentra el proceso al cabo de n pasos X0 = Estado en que el proceso se encuentra inicialmente

• En cada paso el proceso puede cambiar de estado, y esta probabilidad se designa por 𝑝𝑖𝑖 𝑝𝑖𝑖= Probabilidad de que el proceso pase de Ei a Ej en un paso

𝑝𝑖𝑖 = 𝑃(𝑋𝑛+1 = 𝐸𝑖│𝑋𝑛 = 𝐸𝑖) Debido a la propiedad de falta de memoria antes señalada, se supone que esta probabilidad es constante a lo largo del proceso para todo (i, j) pues la probabilidad de pasar de un estado a otro, sólo depende del estado en que se encuentra, y no de la forma como llegó a él; es decir:

𝑃(𝑋𝑛+1 = 𝐸𝑖│𝑋𝑛 = 𝐸𝑖 ,𝑋𝑛−1 = 𝐸ℎ,𝑋𝑛−2 = 𝐸𝑣,⋯ ,𝑋0 = 𝐸𝑚)= 𝑃(𝑋𝑛+1 = 𝐸𝑖│𝑋𝑛 = 𝐸𝑖)



En otras palabras, para pasar de Ei a Ej en el próximo paso, solo se considera que el proceso se encuentra actualmente en Ei, y la probabilidad de pasar a Ej es independiente (ya no se acuerda, se olvidó) de los estados anteriores a Ei. Obviamente 𝑝𝑖𝑖 = Probabilidad de que estando el proceso en Ei, en el próximo paso permanezca en él, es decir que no cambie de estado.

• Las diferentes probabilidades 𝑝𝑖𝑖 se denominan “Probabilidades de Transición”, y pueden ser organizadas de manera matricial, dando lugar a una matriz cuadrada, de dimensión (k+1) x (k+1) llamada “MATRIZ DE TRANSICION”, que se designa por “P”.

𝑃 =

⎝

⎜⎛𝑝00 𝑝01 𝑝02 ⋯𝑝0𝑘𝑝10 𝑝11 𝑝12 ⋯𝑝1𝑘𝑝20 𝑝21 𝑝22 ⋯𝑝2𝑘… … … … … … … … … .𝑝𝑘0 𝑝𝑘1 𝑝𝑘2 ⋯𝑝𝑘𝑘 ⎠

⎟⎞

Esta matriz tiene la propiedad de que la suma de los elementos sobre una misma fila siempre resulta ser igual a 1: ∑ pij = 1j=k

j=0 , debido a que representa la suma de las probabilidades de transición desde el estado Ei a cualquier otro estado. Las matrices que gozan de esta propiedad se llaman “Matrices Estocásticas”, y conviene mencionar que existen matrices doblemente estocásticas, que son aquellas en donde no solo cada una de sus filas suma 1; si no también, cada una de sus columnas. El conocimiento de esta “Matriz de Transición” es indispensable para analizar cualquier cadena de Markov de parámetro discreto.

• El estado del proceso cuando se hayan ejecutado “n” pasos es incierto, e interesará calcular la probabilidad de que el mismo se encuentre en cada uno de los estados posibles, es decir, interesará conocer la distribución de probabilidad de Xn. Esta distribución de probabilidad de Xn, se denomina “Vector de Estados en el enésimo paso”, y se designa por 𝜋𝑛 = (𝜋𝑛𝑜 𝜋𝑛1 𝜋𝑛2 ⋯𝜋𝑛𝑘) donde: 𝜋𝑛𝑖= Probabilidad de que en el enésimo paso, el proceso se encuentre en el estado Ej = P( Xn = Ej ) j = 1, 2 ,3,…,k Este vector 𝜋𝑛 es de dimensión 1 x ( k+1), y obviamente la suma de sus elementos resulta igual a 1.

• El vector 𝜋0 = (𝜋𝑜𝑜 𝜋𝑜1 𝜋𝑜2 ⋯𝜋𝑜𝑘) se denomina “Vector Inicial de Estado” y representa la distribución de probabilidad sobre el estado inicial del proceso, es decir sobre Xo En algunos, se tiene la certeza de que inicialmente el proceso se encuentra en un cierto estado. En ese caso, la posición correspondiente a ese estado lleva un 1 y 0 en las demás. De no ser así, en el vector 𝜋0 aparece en su posición correspondiente, la probabilidad de cada uno de los posibles estados iniciales.



Para ilustrar la comprensión de toda esta nomenclatura, analicemos los siguientes ejemplos sencillos.

Ejemplo 1: Supongamos que se tienen dos cajas, inicialmente la caja No 1 contiene dos pelotas blancas mientras que la caja No2, dos pelotas negras. En cada paso, se seleccionan simultáneamente una pelota de cada caja, y se pasa a la otra. Sea Xn = Numero de pelotas blancas en la caja No1 después de n pasos. a) Definir los estados b) Hallar la matriz de transición c) Definir el vector inicial de estado Solución: a) Los estados del proceso son los posibles valores que puede tomar la variable X, en este caso Ω = {0, 1, 2} b) Para hallar la matriz de transición, es necesario calcular cada una de las probabilidades de transición, para lo cual es necesario colocarse bajo el supuesto de que Xn = i, y calcular la probabilidad de que Xn+1 = j Este cálculo debe ser hecho, no en la posición inicial, si no en una posición cualquiera, teniendo en cuenta que entre las dos cajas siempre habrá 4 pelotas, 2 blancas y 2 negras, que se encuentran repartidas aleatoriamente entre las dos cajas, cada una de las cuales contendrá siempre dos pelotas a lo largo de todo el proceso. Para el ejemplo se tiene: Si Xn = 0 ⇒ En la caja No 1 hay 2 negras y en la caja No 2 hay 2 blancas Por lo tanto en este caso, al seleccionar una pelota de cada caja, sólo hay un resultado posible, negra de la caja No 1, y blanca de la No 2; lo que significa que solo hay una transición posible que es al estado Xn+1 = 1 ⇒ p01 = 1 Si Xn = 1 ⇒ En la caja No 1 hay 1 blanca y 1 negras, con igual contenido en la caja No 2. En este caso, al seleccionar una pelota de cada caja, hay cuatro

posibles resultados:

0 0n 1

0 0n 1

0 0n 1

0

Blanca de la caja N 1 y Blanca de la caja N 2 X =1 Blanca de la caja N 1 y Negra de la caja N 2 X = 0 Negra de la caja N 1 y Blanca de la caja N 2 X = 2 Negra de la caja N 1 y Negra de la

+

+

+

⇒

⇒

⇒0

n 1caja N 2 X = 1 +

⇒

Las probabilidades de transición son entonces: 𝑝10 = 1

2 ∙ 12

= 14 ; 𝑝11 = 1

2 ∙ 12

+ 12

∙ 12

= 12 ; 𝑝12 = 1

2 ∙ 12

= 14

Por último, si Xn = 2 ⇒ En la caja No 1 hay 2 blancas y en la caja No 2 hay 2 negras, y al seleccionar una pelota de cada caja, sólo hay un resultado posible, blanca de la caja No 1, y negra de la No 2, y solo existe una transición posible que es al estado Xn+1 = 1 ⇒ p21 = 1



La matriz de transición es en consecuencia P=�0 1 0¼ ½ ¼0 1 0

�

En cuanto, al vector inicial de estado, como se dispone de la información que inicialmente hay dos pelotas blancas en la caja No 1, entonces se tiene certeza de que X0 = 2, y de allí que 𝜋0 = (0 0 1) Si no se hubiese contado con esta información, y se pudiera asumir que inicialmente los tres estados son igualmente probables, entonces 𝜋0 = �1

3 1

3 13�

Ejemplo 2: Supóngase que cada día una máquina puede estar sólo en dos estados E0: Dañada, E1: Operativa, y que la probabilidad de una máquina que se encuentra operativa, al día siguiente también lo esté es de 9

10 , mientras que la de

que una máquina dañada sea reparada y esté operativa al día siguiente es de 25

¿Cuál es la matriz de transición?, y el vector inicial de estados

Solución: Obviamente P=�35

25

110

910

�

Si se sabe que al inicio del proceso, la máquina está operativa entonces 𝜋0 = (0 1) , si se sabe que está dañada 𝜋0 = (1 0) , y si no se tiene información y se piensa que los dos estados son igualmente probables, entonces 𝜋0 = (½ ½)

4. DIAGRAMAS DE ESTADOS Otra manera de representar las posibles transiciones entre los estados de una Cadena de Markov, es mediante los diagramas de estado, en donde cada uno de los estados es representado mediante un círculo, y la transición de un estado a otro se representa a través de una flecha. Cuando una flecha comienza y termina en el mismo estado, lo que se quiere expresar es que es posible que en el próximo paso, un estado permanezca en sí mismo. El diagrama de estados correspondiente al Ejemplo 1 es el siguiente:



Mientras que el correspondiente al Ejemplo 2 es:

5. CLASIFICACION DE LAS CADENAS Y DE LOS ESTADOS

En el análisis de Cadenas de Markov, conviene identificar algunas situaciones particulares, que permiten simplificar otros análisis posteriores. Es importante aclarar que muchos de los nombres y propiedades que a continuación se presentaran, están muy ligadas a propiedades de las matrices de transición que identifican al proceso, por lo que se recomienda al lector, revisar los conceptos del algebra matricial, con el fin de poder profundizar en el análisis. En la medida de lo posible, el autor tratará de eludir las explicaciones matemáticas, y tratará de centrarse en el concepto de lo que estas propiedades representan.

Las cadenas de Markov pueden ser de dos tipos: IrreductiblesReductibles

5.1 Cadenas irreductibles: Se dice que una cadena de Markov es irreductible, cuando desde cualquiera de sus estados, siempre es posible ir a cualquier otro, en un número finito de pasos. Es decir, una cadena irreductible es aquella donde cualquiera de sus estados es siempre accesible desde cualquier otro, aunque no sea de manera inmediata en un solo paso.



El Ejemplo 1 representa una cadena irreductible, pues desde cualquiera de sus estados, podemos acceder a cualquier otro. Para pasar del estado E0 al E2 no se puede ir en un solo paso, pero si en dos, accediendo primero al E1, y en el paso siguiente a E2, al igual que para ir de E2 a E0 Cuando un estado es accesible desde otro y viceversa, se dice que se comunican y que pertenecen a una misma clase de estados, se expresa 𝐸𝑖 ↔ 𝐸𝑖 y se lee Ei se comunica con Ej Esta relación de comunicación entre estados tiene las siguientes propiedades:

• Reflexiva: Todo estado se comunica con sí mismo, pues desde él se puede ir a sí mismo en cero pasos y viceversa: 𝐸𝑖 ↔ 𝐸𝑖

• Conmutativa: Si Ei esta comunicado con Ej, entonces Ej también esta comunicado con Ei 𝐸𝑖 ↔ 𝐸𝑖 ⟺ 𝐸𝑖 ↔ 𝐸𝑖

• Transitiva: Si Ei esta comunicado con Ej, y Ej esta comunicado con Ek, entonces Ei esta comunicado con Ek. 𝐸𝑖 ↔ 𝐸𝑖 ∧ 𝐸𝑖 ↔ 𝐸𝑘 ⟹ 𝐸𝑖 ↔ 𝐸𝑘

En una cadena irreducible todos sus estados son accesibles entre sí y por ello se dice que existe una única clase de estados, y no puede ser reducida a un universo más pequeño 5.2 Cadenas Reductibles: Si dentro del conjunto de estados Ω, existen estados que no se comunican entre sí, entonces se dice que la cadena es reductible o reducible, y existen dos o más clases de estados. Una situación particular de cadenas reductibles, es el caso donde dentro del conjunto de estados Ω, existe un subconjunto no vacío de estados C ⊂ Ω , tal que una vez que el proceso llega a uno de los estados pertenecientes a C, ya no puede salir de C. En ese caso se dice que la cadena posee una clase cerrada Ejemplo 3: Consideremos un proceso con tres estados, donde Ω = {1, 2, 3} , y

supongamos que P =

⎝

⎜⎛

12

12

0

0 13

23

0 23

13⎠

⎟⎞

es la matriz de transición.

Su diagrama de estados es el siguiente:



En esta cadena, el conjunto de estados es: Ω = {1,2,3}, y el subconjunto 𝐶 = {2,3} ⊂ Ω , constituye un conjunto cerrado, pues una vez que el proceso alcanza uno de los estados de C, bien sea el 2 o el 3, ya no puede salir de C. Evidentemente, una cadena que tenga algún conjunto cerrado, no es irreductible, pues existen estados que no se comunican entre sí, como es el caso del 1 con el 2, y del 1 con el 3. Un proceso que tenga conjuntos cerrados se dice que es reductible o reducible, pues tan pronto alcance uno de los estados de dichos conjuntos, quedara reducido y confinado a los estados de ese conjunto, sin oportunidad alguna de acceder a los restantes estados del universo. Se llama clase a un conjunto de estados que se comunican entre sí, mas no necesariamente cerrada. Una cadena reductible tiene más de una clase. En el ejemplo existen dos clases, {𝐸1} constituye una clase pues solo se comunica con sí mismo, mientras que {𝐸2,𝐸3} constituyen otra clase, que es cerrada. El estado 1 merece un comentario especial, nótese que tiene la siguiente propiedad: El proceso puede permanecer en el estado 1, pero una vez que sale de él, ya jamás puede regresar a él. Este tipo de estados se llaman transitorios. En términos generales puede decirse que un estado es transitorio cuando existe una cierta probabilidad no nula, de jamás regresar a él. Los estados que no sean transitorios se llaman recurrentes, y son aquellos en donde existe la certeza de que en algún paso futuro, el proceso regresará a él. En el ejemplo, los estados 2 y 3 son recurrentes, pues cuando el proceso los abandona, en algún momento regresará a ellos. En un proceso irreductible todos los estados son recurrentes, mientras que en aquellos procesos que tengan conjuntos cerrados, los que estén fuera de esos conjuntos son transitorios. Un caso particular de conjunto cerrado es aquel que está constituido por un solo estado. En ese caso se dice que dicho estado es absorbente. Ejemplo 4: Consideremos un proceso con tres estados, donde Ω = {1, 2, 3} , y

supongamos que P = �

12

12

00 1 013

13

13

� es la matriz de transición.

Su diagrama de estados es el siguiente:



En esta cadena, el conjunto de estados es: Ω = {1,2,3}, existen tres clases {1} {2} y {3} , pero la clase 𝐶 = {2} ⊂ Ω es cerrada. Tan pronto el proceso alcance el Estado 2, ya no lo puede abandonar, y permanece en él para siempre. Los estados absorbentes se reconocen porque 𝑝𝑖𝑖 = 1, es decir aquellos estados que en la diagonal principal de la matriz de transición tengan un uno, son absorbentes.

𝑬𝒊 𝒆𝒔 𝒂𝒃𝒔𝒐𝒓𝒃𝒆𝒏𝒕𝒆 ⇔ 𝒑𝒊𝒊 = 𝟏

Una propiedad importante de destacar es este momento es la siguiente: Todos los estados que pertenezcan a una misma clase son del mismo tipo, es decir si en una clase un estado es recurrente, todos los restantes de su

clase también lo son, y si uno es transitorio, todos los restantes de su misma clase también lo son.

El siguiente esquema resume los conceptos anteriormente explicados:

Clase: Conjunto de estados que se comunican entre si

Número de clases en la cadena:

Estados

La diferencia entre estados recurrentes y transitorios radica en la probabilidad de regreso. En los transitorios no es seguro el regreso, puede regresar pero quizás no lo haga En los recurrentes es seguro el regreso En una cadena todos los estados no pueden ser transitorios



Ejemplo 5: Una cadena de Markov con cuatro estados Ω = {1, 2, 3,4} , presenta la

siguiente matriz de transición P =

0.2 0.3 0.4 0.1 0 0.5 0 0.50.7 0 0.2 0.10 0 0 1

a) Dibuje el diagrama de estados b) ¿Cuántas clases tiene? c) ¿Qué tipo de proceso es? d) Clasifique sus estados Solución: a) El diagrama de estados es

Para determinar el número de clases es necesario analizar cuales estados se comunican entre sí. Al observar el diagrama, se encuentra que los únicos estados que se comunican son 1 y 3, y ellos constituyen una clase. El estado 2 sólo se comunica consigo mismo, no solo porque desde él se puede acceder nuevamente a él en el siguiente paso, si no también por la propiedad reflexiva, todo estado se comunica con sí mismo. Igual ocurre con el estado 4. Cada uno de esos dos estados constituye una clase en sí mismo. En conclusión, existen tres clases {1,3} {2} {4} y por lo tanto, se trata de una cadena reductible. En cuanto a los estados, el 4 es absorbente, y los demás son transitorios pues cuando el proceso alcance el estado 4, ya no podrá regresar a ninguno de los tres anteriores. Cuando la el proceso es reductible, como el de este ejemplo, es posible permutar el orden de los estados, y reescribir su matriz de transición en bloques de la forma

𝑃 = �𝐾 𝑂𝐿 𝑄�



K: Sub-matriz asociada a los estados recurrentes

Q: Sub-matriz asociada a los estados transitorios

L: Probabilidades de transición entre estados transitorios y recurrentes

O: Sub-matriz nula

En el ejemplo, si el orden de los estados se coloca Ω = {4, 1 2 3}, la matriz de

transición resulta: P=

⎝

⎜⎛

1 0 0 0 0.1 0.2 0.3 0.4

0.5 0 0.5 00.1 0.7 0 0.2

⎠

⎟⎞

En esta nueva forma de definir a la matriz se observan los cuatro bloques antes mencionados

En una cadena irreductible, esta reducción por bloques no es posible realizar

Ejemplo 6: Escribir por bloques, a la matriz de transición de un proceso con tres

estados Ω = {1,2, 3,4,5} y cuya matriz de transición es: P=

⎝

⎜⎛

0 0 0.4 0.6 0 0 0.2 0 0.5 0.3

0.5 0 0.5 0 00 0 0 1 0

0.3 0 0.5 0 0.2 ⎠

⎟⎞

Solución: Hay que comenzar identificando cuantos estados existen dentro del proceso, para lo que es necesario analizar la conectividad entre los estados. En este caso se identifican 3 clases: 𝐶1 = {1, 3,4} formada por estados recurrentes, y las clases 𝐶2 = {2} 𝑦 𝐶3 = {5} constituidas por estados transitorios.

Permutando el orden de los estados, y colocándolos en el orden Ω = {1, 3,4,2,5} la matriz de transición queda:



La matriz P podrá ser escrita de la forma: 𝑃 = �𝐾 𝑂𝐿 𝑄�

Donde; 𝐾 = �0 0.4 0.60.5 0.5 00 1 0

� 𝐿 = �0 0 0.50.3 0.5 0 � 𝑄 = �0.2 0.3

0 0.2 �

6. ECUACION DE CHAPMAN KOLMOGOROV

En la sección 3 sobre nomenclatura, se vio que:

• 𝜋𝑛 = (𝜋𝑛𝑜 𝜋𝑛1 𝜋𝑛2 ⋯𝜋𝑛𝑘) “Vector de Estados en el enésimo paso”, representa la distribución de probabilidad, de que en el enésimo paso, el proceso se encuentre en cada uno de los estados posibles de Ω = {𝐸𝑜,𝐸1,𝐸2⋯ ,𝐸𝑘} ; mientras que

• 𝜋0 = (𝜋𝑜𝑜 𝜋𝑜1 𝜋𝑜2 ⋯𝜋𝑜𝑘) “Vector Inicial de Estado” representa la distribución de probabilidad sobre el estado inicial del proceso es decir, la probabilidad de que inicialmente el proceso se encuentre en cada uno de los estados posibles de Ω = {𝐸𝑜,𝐸1,𝐸2 ⋯ ,𝐸𝑘}

Inmediatamente surge la siguiente pregunta: ¿Es posible obtener el vector 𝜋𝑛 a partir del vector 𝜋0? La ecuación de Chapman Kolmogorov dará respuesta a esta pregunta, y para ello es necesario aplicar un razonamiento de inducción. Comencemos con el vector 𝜋1 = (𝜋10 𝜋11 ⋯𝜋1𝑘) “Vector de Estados en el primer paso”, donde: 𝜋1𝑖= Probabilidad de que en el primer paso el proceso esté en Ej =P(X1=Ej) Al aplicar la fórmula de la Probabilidad Total, se tiene: 𝑃�𝑋1 = 𝐸𝑖� = 𝑃(𝑋0 = 𝐸0)𝑃�𝑋1 = 𝐸𝑖�𝑋0 = 𝐸0� + 𝑃(𝑋0 = 𝐸1)𝑃�𝑋1 = 𝐸𝑖�𝑋0 = 𝐸1�+

…..+ 𝑃(𝑋0 = 𝐸𝑘)𝑃�𝑋1 = 𝐸𝑖�𝑋0 = 𝐸𝑘�

La expresión puede ser reescrita en función de las probabilidades de transición:



𝜋1𝑖 = 𝜋00𝑝0𝑖 + 𝜋01𝑝1𝑖+…..+ 𝜋0𝑘𝑝𝑘𝑖 = (𝜋𝑜𝑜 𝜋𝑜1 𝜋𝑜2 ⋯𝜋𝑜𝑘)

⎝

⎜⎜⎛

𝑝0𝑖𝑝01𝑝02

.

.𝑝𝑘𝑖⎠

⎟⎟⎞

Si este procedimiento se repite para los demás estados j = 0,1,2,….,k se obtiene:

𝜋1 = (𝜋10 𝜋11 𝜋12 ⋯𝜋1𝑘) = (𝜋𝑜𝑜 𝜋𝑜1 𝜋𝑜2 ⋯𝜋𝑜𝑘)

⎝

⎜⎛𝑝00 𝑝01 𝑝02 ⋯𝑝0𝑘𝑝10 𝑝11 𝑝12 ⋯𝑝1𝑘𝑝20 𝑝21 𝑝22 ⋯𝑝2𝑘… … … … … … … … … .𝑝𝑘0 𝑝𝑘1 𝑝𝑘2 ⋯𝑝𝑘𝑘 ⎠

⎟⎞

Que escrito con notación matricial equivale a 𝜋1 = 𝜋0𝑃 Es decir: el vector de estado en el primer paso es igual al vector inicial de estado multiplicado por la matriz de transición. Generalizando esta expresión; 𝜋2 = 𝜋1𝑃 = 𝜋0𝑃𝑃 = 𝜋0𝑃2 y de allí: 𝜋𝑛 = 𝜋0𝑃𝑛 Es decir: el vector de estado en el enésimo paso es igual al vector inicial de estado multiplicado por la enésima potencia de la matriz de transición.

La matriz 𝑃𝑛 =

⎝

⎜⎜⎛𝑝00

(𝑛) 𝑝01 (𝑛) 𝑝02

(𝑛) ⋯ 𝑝0𝑘 (𝑛)

𝑝10 (𝑛) 𝑝11

(𝑛) 𝑝12 (𝑛) ⋯ 𝑝1𝑘

(𝑛)

𝑝20 (𝑛) 𝑝21

(𝑛) 𝑝22 (𝑛) ⋯ 𝑝2𝑘

(𝑛)

⋯ ⋯⋯⋯⋯⋯⋯⋯𝑝𝑘0

(𝑛) 𝑝𝑘1 (𝑛) 𝑝𝑘2

(𝑛) ⋯ 𝑝𝑘𝑘 (𝑛)⎠

⎟⎟⎞

se llama matriz de transición e n pasos

Cada uno de los términos de la matriz Pn , representa la probabilidad de pasar de un estado a otro en n pasos , es decir:

𝑝𝑖𝑖 (𝑛) = 𝑃�𝑋𝑛 = 𝐸𝑖�𝑋0 = 𝐸𝑖� = 𝑃�𝑋𝑚+𝑛 = 𝐸𝑖�𝑋𝑚 = 𝐸𝑖� ; ∀𝑚 = 0,1,2,3⋯

Es importante aclarar que 𝑝𝑖𝑖 (𝑛) debe leerse como 𝑝𝑖𝑖 supra “n”, y que no es lo

mismo que (𝑝𝑖𝑖)𝑛, pues la potencia de una matriz no es la matriz cuyos elementos son las respectivas potencias de cada uno de sus elementos. Pn es la matriz que resulta de multiplicar “n” veces la matriz P por sí misma, y 𝑝𝑖𝑖

(𝑛) representa a las elementos de esa matriz Pn



Ejemplo 7: Con los datos del Ejemplo No1, halle las siguientes probabilidades. a) En el cuarto paso en la caja No 1 haya dos pelotas blancas´ b) La primera vez que la caja No1 tiene dos pelotas negras es en el cuarto paso Solución: a) En el ejemplo No 1, el proceso es: Xn = Numero de pelotas blancas en la caja No1 después de n pasos

La matriz de transición en un paso: P= �0 1 0¼ ½ ¼0 1 0

�

Inicialmente Xo = 2, pues hay dos blancas en la caja No 1⟹ 𝜋0 = (0 0 1)

𝝅𝟒 = 𝝅𝟎𝑷𝟒

𝑃4=�0 1 0¼ ½ ¼0 1 0

��0 1 0¼ ½ ¼0 1 0

��0 1 0¼ ½ ¼0 1 0

��0 1 0¼ ½ ¼0 1 0

�=

⎝

⎜⎛

316

58

316

532

1116

532

316

58

316⎠

⎟⎞

𝝅𝟒 = (0 0 1)

⎝

⎜⎜⎛

316

58

316

532

1116

532

316

58

316⎠

⎟⎟⎞

= �𝟑𝟏𝟔

58

3

16�

Conclusión: La probabilidad de que en el 4º paso, el proceso se encuentre en el estado E0 = 0 Blancas en la Caja No 1 es 3

16 ( 𝜋40 =Posición 0 en el 4º paso= 3

16)

b) Para responder esta pregunta, es necesario realizar previamente unas consideraciones teóricas.

𝝅𝒏 = 𝝅𝟎𝑷𝒏

En resumen, la ecuación de Chapman Kolmogorov escrita de manera matricial establece:

𝝅𝟎= Vector Inicial de Estados

𝝅𝒏= Vector de Estados en el enésimo paso

P = Matriz de transición en un paso



Cuando el proceso se encuentra en un estado “Ei”, e interesa conocer cuantos pasos son necesarios para alcanzar por primera vez otro estado “Ej”, este número de pasos es obviamente aleatorio, se denomina “Tiempo para la primera visita a “Ej” partiendo desde “Ei”, y la probabilidad de que se necesiten “n” pasos para esta primera visita se designa por 𝑓𝑖𝑖

(𝑛) donde (n) es un supraíndice, no una potencia. Es decir: 𝑓𝑖𝑖

(𝑛) = 𝑃(𝑋𝑚+𝑛 = 𝐸𝑖│𝑋𝑚+𝑛−1 ≠ 𝐸𝑖, 𝑋𝑚+𝑛−2 ≠ 𝐸𝑖 ,⋯ ,𝑋𝑚 = 𝐸𝑖) Lo anterior significa, que en el paso “m” el proceso se encuentra en “Ei”, y después de “n” pasos, alcanza por primera vez el estado “Ej”. Por la ausencia de memoria del proceso, el paso “m” puede ser cualquiera, incluso el inicial. Cuando Ei = Ej, entonces este tiempo para la primera visita, es el numero pasos necesarios para regresar a Ei , y se llama “Tiempo de Recurrencia del Estado i” En el caso de la pregunta b) del Ejemplo 6, lo que se pide es 𝑓20

(4) pues lo que se quiere es la probabilidad de que partiendo de E2 que es el inicial, la primera visita a Eo se realice en exactamente cuatro pasos. 𝑓20

(4) = 𝑃(𝑋4 = 𝐸0│𝑋3 ≠ 𝐸0, 𝑋2 ≠ 𝐸0,𝑋1 ≠ 𝐸0,𝑋0 = 𝐸2) Una forma de calcular la probabilidad en cuestión, es construyendo un árbol que ilustre la evolución del proceso.



Un árbol de probabilidades no es lo mismo que un diagrama de estados; el árbol muestra la evolución del proceso, mientras que el diagrama de estado, la forma como se comunican los estados. Al observar el árbol, se obtiene que la probabilidad de que la primera visita al Estado 0, sea en el cuarto paso es:

𝑓20 (4) = 1 ∙

12∙

12∙

14

+ 1 ∙14∙ 1 ∙

14

=18

El procedimiento basado en el árbol puede resultar largo y engorroso, especialmente para pasos avanzados, y de allí que se deban buscar procedimientos más sencillos. Uno de ellos, es calcular la probabilidad total de que al cabo del enésimo paso, el proceso se halle en el estado j, y restar la probabilidad de que con anterioridad el proceso lo haya visitado, y luego haya regresado al Estado j. Siguiendo este razonamiento, se obtienen las siguientes formulas por inducción: 𝑝𝑖𝑖 = 𝑓𝑖𝑖

(1) es obvio que la primera visita ocurre en el primer paso, cuando la transición se da en un paso. 𝑝𝑖𝑖

(2) es la probabilidad total de pasar de Ei a Ej en dos pasos. Esto puede ocurrir

de

ai

ai

De E a Ej ( 1 visita) y de Ej a Ej en un paso dos maneras excluyentes:

De E a Ej ( 1 visita) en dos pasos

𝑝𝑖𝑖 (2) = 𝑓𝑖𝑖

(1)𝑝𝑖𝑖 + 𝑓𝑖𝑖 (2) ⇒ 𝑓𝑖𝑖

(2) = 𝑝𝑖𝑖 (2) − 𝑓𝑖𝑖

(1)𝑝𝑖𝑖 𝑝𝑖𝑖

(3) es la probabilidad total de pasar de Ei a Ej en tres pasos. Esto puede ocurrir de tres maneras excluyentes:

ai

ai

ai

De E a Ej ( 1 visita) y de Ej a Ej en dos paso De E a Ej ( 1 visita) en dos pasos, y de Ej a Ej en un pasoDe E a Ej ( 1 visita) en tres pasos

𝑝𝑖𝑖

(3) = 𝑓𝑖𝑖 (1)𝑝𝑖𝑖

(2)+𝑓𝑖𝑖 (2)𝑝𝑖𝑖 + 𝑓𝑖𝑖

(3) ⇒ 𝑓𝑖𝑖 (3) = 𝑝𝑖𝑖

(3) − 𝑓𝑖𝑖 (1)𝑝𝑖𝑖

(2)− 𝑓𝑖𝑖 (2)𝑝𝑖𝑖

𝑝𝑖𝑖

(4) es la probabilidad total de pasar de Ei a Ej en cuatro pasos. Esto puede ocurrir de cuatro maneras excluyentes:

ai

ai

ai

ai

De E a Ej ( 1 visita) y de Ej a Ej en tres pasos De E a Ej ( 1 visita) en dos pasos, y de Ej a Ej en dos pasosDe E a Ej ( 1 visita) en tres pasos, y de Ej a Ej en un pasoDe E a Ej ( 1 visita) en cuatro pasos

𝑝𝑖𝑖

(4) = 𝑓𝑖𝑖 (1)𝑝𝑖𝑖

(3)+𝑓𝑖𝑖 (2)𝑝𝑖𝑖

(2) + 𝑓𝑖𝑖 (3)𝑝𝑖𝑖 + 𝑓𝑖𝑖

(4) ⇒ 𝑓𝑖𝑖 (4) = 𝑝𝑖𝑖

(4) − 𝑓𝑖𝑖 (1)𝑝𝑖𝑖

(3)−𝑓𝑖𝑖 (2)𝑝𝑖𝑖

(2) − 𝑓𝑖𝑖 (3)𝑝𝑖𝑖

y así sucesivamente:



Para aplicar esta fórmula en la pregunta b) del Ejercicio 6, y hallar 𝑓20

(4) sin necesidad de construir el árbol, el procedimiento es como sigue:

𝑓𝑖𝑖 (4) = 𝑝𝑖𝑖

(4) − 𝑓𝑖𝑖 (1)𝑝𝑖𝑖

(3)−𝑓𝑖𝑖 (2)𝑝𝑖𝑖

(2) − 𝑓𝑖𝑖 (3)𝑝𝑖𝑖

Se debe calcular ahora las cuatro primeras potencias de la matriz de transición P

P= �0 1 0¼ ½ ¼𝟎 1 0

� ; 𝑃2 =

⎝

⎜⎛

14

12

14

18

34

18

𝟏𝟒

12

14⎠

⎟⎞

; 𝑃3 =

⎝

⎜⎛

18

34

18

316

58

316

𝟏𝟖

34

18 ⎠

⎟⎞

; 𝑃4 =

⎝

⎜⎛

316

58

316

532

1116

532

𝟑𝟏𝟔

58

316⎠

⎟⎞

y aplicar sucesivamente las expresiones para la primera visita: 𝑓20

(1)= 𝑝20 = 0 𝑓20

(2) = 𝑝20 (2) − 𝑓20

(1)𝑝00 = 14− 0 = 1

4

𝑓20(3) = 𝑝20

(3) − 𝑓20 (1)𝑝00

(2)− 𝑓20 (2)𝑝00 = 1

8− 0 ∙ 1

4− 1

4∙ 0 = 1

8

𝑓20 (4) = 𝑝20

(4) − 𝑓20 (1)𝑝00

(3)−𝑓20 (2)𝑝00

(2) − 𝑓20 (3)𝑝00 =

316

− 0 ∙18−

14∙

14−

18∙ 0 =

18

Ejemplo 8: Con los datos del Ejemplo 2, que solo posee dos estados, E0:

Dañada, E1: Operativa, y cuya matriz de transición es P=�35

25

110

910

�, y sabiendo que

al inicio del proceso, la máquina está operativa, calcular las siguientes probabilidades; a) Que en el cuarto día esté dañada b) Que el primer día en dañarse sea el cuarto Solución: a) En virtud de que al arrancar el proceso se sabe que la máquina esta operativa, el vector inicial de estados es 𝜋0 = (0 1)

𝑃4 = �35

25

110

910

�

4

= �14

34

316

1316

�

El vector de estado en el cuarto paso resulta ser: 𝜋0 = (0 1) �14

34

316

1316

� = ( 316

1316

)

𝑓𝑖𝑖 (𝑛) = 𝑝𝑖𝑖

(𝑛) − 𝑓𝑖𝑖 (1)𝑝𝑖𝑖

(𝑛−1)−𝑓𝑖𝑖 (2)𝑝𝑖𝑖

(𝑛−2) − 𝑓𝑖𝑖 (3)𝑝𝑖𝑖

(𝑛−3) −⋯− 𝑓𝑖𝑖 (𝑛−1)𝑝𝑖𝑖



P (X4 = E0) = 𝑝10 (4) = Probabilidad de pasar de E1 a Eo en 4 pasos = 3

16

b) Ahora bien, el hecho de que en el día 4 la máquina esté dañada, no significa que este día sea la primera vez que se daña, primera visita, pudo haberse dañado antes. En aquellos casos donde el proceso sólo presenta dos estados, calcular la probabilidad de una primera visita se simplifica, y no es necesario construir el árbol de probabilidades, ni tampoco, aplicar las fórmulas para la primera visita como en el ejercicio anterior. En estos casos, se cuenta con el recurso de la Distribución Geométrica (Véase: Modelos Discretos de Probabilidad. Arvelo), y la probabilidad de que partiendo de E1, la primera visita al estado E0 ocurra en el cuarto día es:

𝑓10 (4) = ( 9

10)3 ∙ 1

10= 0,0729

Ejemplo 9: Dos apostadores A y B juegan lanzando un dado, si sale 1,2 o 3 gana A, si sale 4 o 5 gana B, y si sale 6 no hay decisión; en cada jugada, el perdedor le paga una moneda al ganador. Al comenzar el juego cada uno tiene dos monedas. Sea Xn = Número de monedas que posee A al terminar la jugada enésima. a) Defina el conjunto de estados y la matriz de transición. b) Halle el vector de estados al terminar la quinta jugada. c) ¿Cuál es la probabilidad de que el jugador A quede arruinado justamente al terminar la quinta jugada? Solución: a) En total hay 4 monedas en circulación, y el conjunto de estados, es decir las que posee A en un paso cualquiera, puede ser Ω = {0,1, 2, 3,4} El Estado 0 ⇒ El jugador A esta arruinado El Estado 4 ⇒ El jugador B esta arruinado Ambos estados, el 0 y el 4, son absorbentes, pues al quedar arruinado uno de los jugadores, ya no puede seguir jugando, y permanece indefinidamente en el estado de ruina. La probabilidad de que “A” gane una jugada cualquiera es 1

2 , la de que pierda 1

3, y

la de que no haya decisión 16 .

Cuando gana termina con una moneda más de la que tenía, cuando pierde con una moneda menos, y cuando no hay decisión en el mismo estado.

La matriz de transición es: 𝑃 =

⎝

⎜⎜⎜⎛

1 0 0 0 013

16

12

0 0

0 13

16

12

0

0 0 13

16

12

0 0 0 0 1⎠

⎟⎟⎟⎞

y el diagrama de estados:



Conviene mencionar que este tipo de cadenas en donde, desde un estado cualquiera, en un paso, solo es posible acceder a sus vecinos o a él mismo, se llaman caminatas o paseos aleatorios, y este ejemplo es una situación particular denominada el problema de la ruina del jugador.

b) Al comenzar el juego, cada jugador posee dos monedas, lo que significa que el proceso arranca en X0 = 2, y el vector inicial de estados 𝜋0 = (0 0 1 0 0)

El vector de estado al terminar la quinta jugada es 𝝅𝟓 = 𝝅𝟎𝑷𝟓

𝜋5 = (0 0 1 0 0)

⎝

⎜⎜⎜⎛

1 0 0 0 013

16

12

0 0

0 13

16

12

0

0 0 13

16

12

0 0 0 0 1⎠

⎟⎟⎟⎞

5

=

𝜋5 = �215972

269

3888

8417776

269

2592

215432�

Del resultado obtenido, se deduce que al concluir la quinta jugada, la probabilidad de que el jugador A ya se encuentre arruinado es 215

972, mientras que para el jugador

B, esta probabilidad es de 215432

.



Lo anterior no significa que el jugador se arruinó justamente en la quinta jugada (primera visita), pudo haberse arruinado en alguna de las jugadas anteriores, y como el estado de ruina es absorbente, una vez que lo alcance, permanecerá allí para todos los demás pasos sucesivos.

c) Si se quiere calcular la probabilidad de primera visita para un estado absorbente, sin necesidad de construir un árbol, ni de aplicar las fórmulas ya conocidas, existe un nuevo recurso, basado en el siguiente razonamiento: Para que la primera visita al estado de ruina ocurra justo en el quinto paso, es preciso que el jugador tenga solo una moneda al finalizar la cuarta jugada, y que pierda la quinta. El vector de estado al finalizar la cuarta jugada es 𝝅𝟒 = 𝝅𝟎𝑷𝟒

𝜋4 = (0 0 1 0 0)

⎝

⎜⎜⎜⎛

1 0 0 0 013

16

12

0 0

0 13

16

12

0

0 0 13

16

12

0 0 0 0 1⎠

⎟⎟⎟⎞

4

=

El jugador A quedará arruinado en primera visita a la quinta jugada, si estando en el estado 1 en la cuarta jugada pierde la quinta, en consecuencia

𝑓20 (5) =

13162

∙13

=13

486

Con idéntico razonamiento para el jugador B, la probabilidad de que alcance el estado de ruina por primera vez en la quinta jugada es:

𝑓24 (5) =

13108

∙12

=13

216

Ejemplo 10; Un apartamento tiene cuatro ambientes: 1. Dormitorio, 2. Sala, 3. Cocina y 4. Comedor, que se comunican entre sí a través de puertas, tal como se indica en la figura:



Los posibles estados son:

0 : Muerto

1: Dormitorio

2: Sala

3: Cocina

4: Comedor

5: Fugado

El dueño del apartamento conoce acerca de la presencia de un ratón dentro del mismo, por lo que decide colocar un veneno sobre el piso que comunica la cocina con el comedor. Se supone que en cada etapa del proceso el ratón se muda a otro ambiente accesible desde donde se halla, eligiendo una de las puertas con igual probabilidad; si pasa por donde se encuentra el veneno muere, y si sale por la puerta de entrada, se fuga y ya no regresa. Sea Xn = Estado donde se encuentra el ratón en el enésimo paso. Al iniciarse el proceso, se sabe que el ratón está vivo dentro del apartamento, pero se ignora en qué ambiente se encuentra, por lo que se considera que cada uno de ellos es igualmente probable. a) Defina la matriz de transición b) ¿Cuál es la probabilidad de que el ratón esté muerto en el cuarto paso o antes? c) ¿Cuál es la probabilidad de que el ratón se fugue justamente en el quinto paso? Solución: a) El conjunto de estados es Ω = {0,1, 2, 3,4,5} siendo los estados 0 y 5 absorbentes. La matriz de transición es:

El vector inicial de estados es 𝜋0 = �0 1

4 14

14

14

0� ⇒ 𝜋4 = 𝜋0𝑃4



Por lo tanto, la probabilidad de que en el cuarto paso, el ratón se encuentre muerto es 293

576 , y esta es una probabilidad total, no en primera visita, es decir

representa la probabilidad total de que el ratón se encuentre muerto en el cuarto paso o antes. Para que el ratón se fugue justamente en el quinto paso, debe encontrarse en la sala, estado 2, en el cuarto paso, cuya probabilidad según el vector de estado para el paso 4 es 43

576 y elegir la puerta de entrada en el paso 5, cuya probabilidad

es 13⇒ 𝑓05

5) = 43576

∙ 13

= 431728

7. PROCESOS ESTACIONARIOS Cuando el proceso se halla en su estado inicial Xo , el pronóstico sobre su futura posición cuando se hayan cumplido “n” pasos, viene dada por:

𝝅𝒏 = 𝝅𝟎𝑷𝒏 Si este pronóstico es a muy largo plazo, es decir si “n” es muy grande, es posible que el vector de estado para el paso “n” no difiera significativamente del correspondiente para el paso “n+1”, es decir, es posible que el proceso tienda a una posición limite, y se estacione en un vector de estado constante 𝝅 Lo anterior ocurre cuando lim𝑛→∞𝝅𝟎𝑷

𝒏 =𝝅𝟎 lim𝑛→∞

𝑷𝒏 = 𝝅 existe

El vector 𝝅 = (𝝅𝟎 𝝅𝟏 𝝅𝟐⋯𝝅𝒌) en caso de que exista, recibe el nombre de vector de estado estacionario, y sus diferentes componentes probabilidades de estado estacionario, 𝝅𝒊= Probabilidad estacionaria del estado Ei La determinación de este vector 𝝅 no es sencilla, y no siempre existe. En algunos casos excepcionales, como el del siguiente ejemplo, es posible hallarlo calculando el límite. Ejemplo 11: Consideremos un proceso con tres estados Ω = {0,1, 2} , que inicialmente se encuentra en el estado 1, 𝜋0 = (0 1 0 ) y con la siguiente



matriz de transición:

Las sucesivas potencias de P son:

Por inducción, se obtiene:

El vector de estado estacionario resulta ser 𝜋 = �1

2 0 1

2� , lo que significa que a

largo plazo, el proceso se hallará en el estado 0 o en el estado 2, con probabilidad 12 para cada uno.

Este resultado es extraordinariamente lógico, pues los estados 0 y 2 son absorbentes, y a la larga uno de los dos lo atrapará y absorberá al proceso. El procedimiento descrito en este ejemplo, de calcular el límite no siempre es factible de aplicar, y de serlo resulta en general muy engorroso y complicado, con el agravante de que no siempre el límite existe.



Para responder estas dos preguntas, es necesario introducir algunos conceptos adicionales. Haciendo una revisión de algunos conceptos previos se tiene: 𝑓𝑖𝑖

(𝑛)= Probabilidad de que partiendo de Ei, la primera visita a Ej, sea en el paso n 𝑓𝑖𝑖

(𝑛)= Probabilidad de que partiendo de Ei, el primer regreso a él, sea en el paso n Obviamente 𝑓𝑖𝑖

(𝑛)representa tiempo de recurrencia, pues si el proceso abandona a Ei y luego regresa a él, está siendo recurrente en sus visitas. Cuando ∑ 𝑓𝑖𝑖

(𝑛) < 1,∞𝑛=1 esto significa que existe una cierta probabilidad de que el

proceso no regrese al estado Ei cuando lo abandone. Esto coincide con la definición de estado transitorio, ya explicada en la sección 5. Cuando ∑ 𝑓𝑖𝑖

(𝑛) = 1,∞𝑛=1 esto significa que existe la certeza de que el proceso

regresará al estado Ei cuando lo abandone. Esto coincide con la definición de estado recurrente, ya explicada en la sección 5. Ejemplo 12 : Demostrar que en el proceso con dos estados, descrito en el Ejemplo 2, ambos estados son recurrentes.

Solución: En el Ejemplo 2, Ω = {0, 1, } mientras que P=�35

25

110

910

�

Para demostrar que un estado es recurrente, es necesario demostrar que ∑ 𝑓𝑖𝑖

(𝑛) = 1 ∞𝑛=1

Consideremos el evento Eo. 𝑓00

(1)= Probabilidad de primer regreso a Eo en un paso = Trayectoria 0→0= 35

𝑓00(2)=Probabilidad primer regresar a Eo en dos pasos=Trayectoria 0→1→0= 2

5∙ 110

𝑓00(3)= Trayectoria 0→1→1→0 = 2

5∙ 910∙ 110

𝑓00(4)= Trayectoria 0→1→1→1→0 = 2

5∙ 910∙ 910∙ 110

= 25∙ 110∙ � 9

10�2

𝑓00(𝑛)= 2

5∙ 110∙ � 9

10�𝑛−2

; 𝑛 ≥ 2

Surgen entonces dos preguntas:

•

•



�𝑓𝑖𝑖(𝑛) =

35

∞

𝑛=1

+ 25∙

110

� �9

10�𝑛−2∞

𝑛=2

∑ � 910�𝑛−2

∞𝑛=2 representa la suma de una serie geométrica, que como se sabe

converge a 𝑎1−𝑟

; |𝑟| < 1 , siendo a Pr imer tér minor = Razón de la serie =

En consecuencia: ∑ � 9

10�𝑛−2

∞𝑛=2 = 1

1− 910

= 10

�𝑓𝑖𝑖(𝑛) =

35

∞

𝑛=1

+ 25∙

110

∙ 10 =35

+25

= 1

Procediendo de manera análoga se demuestra que E1 también es recurrente

Ahora bien, un estado recurrente puede ser de dos tipos PeriódicoAperiódico

Un estado recurrente se dice periódico cuando existe un número d >1, tal que 𝑝𝑖𝑖

(𝑑)> 0, y 𝑝𝑖𝑖(𝑛)= 0, siempre que “n” no sea un múltiplo de “d”, y además “d” es el

menor entero con esa propiedad, es decir, el proceso solo puede regresar al estado Ei en aquellos pasos que sean múltiplos de d. “d” se denomina el período del proceso.

Ejemplo 13: Analizar si el proceso cuya matriz de transición es 𝑃 = �

0 1 0 00 0 0 11 0 0 00 0 1 0

�

tiene estados periódico, y en caso de tenerlos, hallar su período.

Su diagrama de estado es:

Para analizar si un estado Ei es periódico, es necesario examinar las diferentes potencias de la matriz “P”, y comprobar que existe un número entero d >1, donde el termino 𝑝𝑖𝑖

(𝑛) > 0 cuando “n” es múltiplo de “d” , y 𝑝𝑖𝑖(𝑛) = 0 cuando “n” no es

múltiplo de d. En el ejemplo, las diferentes potencias de la matriz P son:



Por ser P4 , la matriz identidad se tiene: P5 = P4 P = P ; P6= P4P2=P2 , P7=P4P3=P3 ,P8 = P4 P4 = P4, y asi sucesivamente P4n+1 = P, P4n+2 = P2 , P4n+3 = P3, P4n+4 = P4 siendo n>1 Analizando los términos de la diagonal principal, se observa que 𝑝𝑖𝑖

(𝑛) = 0 , cuando n no es múltiplo de 4, mientras que 𝑝𝑖𝑖

(𝑛) > 0 cuando n es múltiplo de 4, por lo que se concluye que los cuatro estados son periódicos, y su período es 4 En este proceso cada estado regresa a él cada cuatro pasos, y no es posible el regreso en un número de pasos que no sea múltiplo de 4. En el caso de cadenas que tengan estados periódicos, como en este Ejemplo 13, es claro que lim𝑛→∞𝑷𝒏 no existe No es sencillo reconocer un estado periódico, debido a que se necesita explorar las diferentes potencias de la matriz de transición, pero si es sencillo identificar aquellos estados que no lo son.

Un estado que en la matriz P presente 𝒑𝒊𝒊 > 𝟎 no es periódico. En efecto, si 𝑝𝑖𝑖 > 0 entonces el proceso puede regresar a Ei en el paso siguiente, y por lo tanto ya no es periódico. Lamentablemente esta propiedad no es válida en sentido reciproco, es decir, si 𝑝𝑖𝑖 = 0, no podemos garantizar que sea periódico. Los estados absorbentes donde 𝑝𝑖𝑖 = 1 no se consideran periódicos, pues en ellos el período sería igual a 1, y la definición exige que éste sea mayor que 1. Una propiedad útil es la siguiente:

Todos los estados de una misma clase tienen el mismo periodo Un estado Ei es aperiódico, cuando no es periódico. Si un estado es aperiódico y además recurrente, se dice que es ergódico. Matrices ergódicas: La primera pregunta que quedó planteada al comienzo de esta sección fue ¿Cómo identificar a un proceso en donde lim𝑛→∞𝝅𝟎𝑷

𝒏 = 𝝅 existe, y en consecuencia a un proceso estacionario? Cuando este límite existe, se dice que la matriz P es ergódica, y una respuesta parcial a la pregunta planteada, la proporciona el siguiente teorema:



Una regla que permite identificar a una matriz ergódica es la siguiente: Si en la matriz P, o en alguna de sus potencias 𝑷𝒏, se verifica que todos sus términos son distintos de cero, entonces la matriz P es ergódica. Una matriz donde todos sus términos sean distintos de cero, se le dice que es una matriz regular, y toda matriz regular es ergódica, como consecuencia de lo ya explicado anteriormente, si 𝑝𝑖𝑖

(𝑛) > 0 ; ∀(𝑖 = 0,1,2⋯𝑘 ; 𝑗 = 1,2,⋯𝑘) , entonces el proceso es irreductible y aperiódico, todos los estados se comunican, y no es periódico.

En resumen: Si P, o alguna de sus potencias 𝑷𝒏 es una matriz regular, entonces P es

ergódica, y el Teorema anterior es aplicable Ejemplo 14: Analizar si el proceso con tres estados Ω = {1,2, 3} y cuya matriz de

transición es: P=

⎝

⎜⎛

13

12

16

34

0 14

0 12

12

⎠

⎟⎞

alcanza estacionario

Solución: El diagrama de estados es:

Hay que comenzar analizando si se trata de una cadena irreductible, para lo cual es necesario analizar la comunicación entre los estados ( Ver sección 5)

𝐸1 ⟷ 𝐸2 𝐸2 ⟷ 𝐸3

y por la propiedad transitiva 𝐸1 ⟷ 𝐸3

En consecuencia todos los estados se comunican entre sí, pertenecen a una misma clase, y se trata de una cadena irreductible

A continuación, se debe analizar si no hay estados periódicos.

Para que una cadena irreductible alcance el estado estacionario

es condición necesaria y suficiente que todos sus estados sean ergódicos;

y en este caso, la distribución límite es única e independiente del estado inicial



A simple vista, los estados 1 y 3 son aperiódicos debido a que 𝑝11 = 13

> 0 , y

𝑝33 = 12

> 0 . Con relación al estado 2 hay duda acerca de su periodicidad porque 𝑝22 = 0, pero dado que pertenece a la misma clase que 1 y 3, no puede ser periódico, debido a la propiedad, según la cual todos los estados de una misma clase tienen el mismo periodo, y ellos tienen periodo 1 por ser aperiódicos. Se trata entonces de un proceso irreductible cuyos estados son todos recurrentes y aperiódicos, es decir ergódicos y en virtud del teorema anterior, se puede asegurar que alcanzará un estado estacionario. También pudiera llegarse a esta misma conclusión analizando alguna de las potencias de P. La matriz P no es regular pues 𝑝22 = 0 ,𝑝13 = 0, pero al examinar las sucesivas potencias de P se encuentra:

P2 =

⎝

⎜⎛

3572

14

1972

14

12

14

38

14

38

⎠

⎟⎞⇒ P2 es regular ⇒ P es ergódica

El Teorema anterior sólo da una respuesta parcial a la pregunta antes formulada, debido a que se refiere solo a cadenas irreductibles, y por lo tanto ahora surge otra pregunta ¿Qué ocurre si la cadena no es irreductible, podrá alcanzar el estado estacionario?. En caso de que la cadena no sea irreductible, también es posible que alcance un estado estacionario, pero a diferencia de las irreductibles, el estado inicial puede afectar al estado estacionario que el proceso pueda alcanzar. En el caso de cadenas irreductibles el estado estacionario es único, e independiente del estado inicial; en cadenas reductibles no es así, el estado estacionario en caso de que exista, puede no ser único y depender del estado inicial. Un caso particular de procesos reductibles que pueden alcanzar el estado estacionario, son aquellos que posean clases cerradas. En estos casos es obvio, que si el proceso arranca de un estado transitorio, a largo plazo una de las clases cerradas lo atrapará, ya no podrá salir de allí, y la posición límite se reduce solo a las clases cerradas. Resulta imposible que a largo plazo, el proceso se encuentre en un estado transitorio, y por lo tanto, en este caso el vector de estado estacionario, tendrá un 0 en todas aquellas posiciones que se refieran a estados transitorios. Si el estado inicial es uno que pertenece a una clase cerrada, entonces el proceso jamás podrá visitar a los estados fuera de esa clase, y en ese caso, el vector de estado estacionario tendrá un 0 para todos aquellos estados fuera de la clase inicial.



Si el estado inicial es uno absorbente, ya el proceso arranca en condición estacionaria, y el vector de estado estacionario solo tendrá un 1 en la posición correspondiente al estado absorbente, y 0 en las demás. Si existen varios estados absorbentes y el estado inicial es uno transitorio, entonces a largo plazo caerá en uno absorbente, y allí permanecerá indefinidamente. En este caso todas las posiciones correspondientes a estados transitorios llevaran un 0 en el vector de estado estacionario Lo anterior se resume con la siguiente expresión: Si j es un estado transitorio: 𝜋𝑖 = lim𝑛⟶∞ 𝑝𝑖𝑖

(𝑛) = 0 ; ∀𝑖 = 0,1,2,⋯𝑘 Determinación del vector de estado estacionario La segunda pregunta que quedo planteada al inicio de esta sección fue ¿Cómo hallar el vector de estado estacionario? Este vector tiene la forma 𝝅 = (𝝅𝟎 𝝅𝟏 𝝅𝟐⋯𝝅𝒌) donde 𝝅𝒊= Probabilidad estacionaria del estado Ei, y se interpreta como la probabilidad de que a largo plazo, el proceso se halle en cada uno de los estados posibles de Ω = {0,1,2,⋯𝑘} , y para encontrarlo hay que distinguir dos casos: Caso 1: La cadena es irreductible En este caso, la determinación del vector de estado estacionario es muy sencilla, debido a que el Teorema antes enunciado garantiza que es único e independiente del estado inicial del proceso.

Para hallarlo basta con resolver el sistema de ecuaciones: i k

ii 0

P

1=

=

π = π π =∑

donde la ecuación Pπ = π representa una ecuación matricial, que da origen a (k+1) ecuaciones escalares con (k+1) incógnitas, que siempre tiene una que resulta combinación lineal de las otras. Una vez identificada esa ecuación, se elimina, se sustituye por la ecuación i k

ii 0

1=

=

π =∑ , y finalmente se resuelve el sistema.

Resulta curioso mencionar una situación particular, en donde no es necesario resolver el sistema, y es el que se refiere a las matrices doblemente estocásticas. Hay un teorema según el cual para este tipo de matrices, el vector de estado permanente sigue una distribución uniforme con idéntica probabilidad para cada uno de los estados. Para una matriz de transición doblemente estocástica como por ejemplo

𝑃 = �0.3 0.5 0.20.6 0.2 0.20.1 0.3 0.6

�, sin hacer ningún cálculo 𝜋 = (13

13

13)

Ejemplo 15: Hallar el vector de estado estacionario correspondiente al proceso del Ejemplo 14.



Solución: En el Ejemplo 14, se comprobó que se trata de una cadena irreductible, y por lo tanto hay garantía de que el vector de estado estacionario es único e independiente del estado inicial Para hallarlo, se procede como sigue: Paso 1: Escribir la ecuación matricial Pπ = π , que en este caso es:

(𝜋1 𝜋2 𝜋3) = (𝜋1 𝜋2 𝜋3)

⎝

⎜⎜⎛

13

12

16

34

0 14

0 12

12

⎠

⎟⎟⎞⟹

1 1 2

2 1 3

3 1 2 3

1 33 41 12 21 1 16 4 2

π = π + ππ = π + ππ = π + π + π

1 2

1 2 3

1 2 3

2 3 = 03 41 1 - 02 21 1 1 06 4 2

π − π

π π + π = π + π − π =

La tercera ecuación es redundante, es combinaciónlineal de las dos primeras, es la primera menos lasegunda, y puede ser eliminada

Paso 2 : Se elimina la ecuación redundante, y en su lugar se coloca i k

ii 0

1=

=

π =∑

El sistema queda

1 2

1 2 3

1 2 3

2 3 = 03 41 1 - 02 2 1

π − π

π π + π =

π + π + π =

Paso 3: Se resuelve el sistema obteniendo

1

2

3

3= 813724

ππ =π =

El vector de estado estacionario es 𝜋 = �38

13

724� lo que puede ser interpretado,

como la probabilidad de que a largo plazo, el proceso se encuentre en cada uno de los estados E1, E2 o E3 respectivamente, o también como la proporción de tiempo que el proceso permanece en cada uno de ellos.



La matriz lim𝑛→∞𝑷𝒏, se define como matriz de transición en estado estacionario, se designa como 𝑷∞ , y en el caso de cadenas irreductibles es

𝑷∞ = lim𝑛→∞

𝑷𝒏 =

⎝

⎜⎛

𝜋0 𝜋1 𝜋2 ⋯ 𝜋𝑘𝜋0 𝜋1 𝜋2 ⋯ 𝜋𝑘𝜋0 𝜋1 𝜋2 ⋯ 𝜋𝑘

… … … … … … … …𝜋0 𝜋1 𝜋2 ⋯ 𝜋𝑘 ⎠

⎟⎞

Según el Ejemplo 14: 𝑷∞ = lim𝑛→∞

⎝

⎜⎛

1

3

1

2

1

63

4 0

1

4

0 1

2

1

2

⎠

⎟⎞

𝑛

=

⎝

⎜⎛

3

8

1

3

7

243

8

1

3

7

243

8

1

3

7

24

⎠

⎟⎞

Caso 2: La cadena es reductible En este caso, el cálculo de 𝑷∞ = lim𝑛→∞ 𝑷𝒏 es mucho más complicado que en el anterior, debido a que se requieren una gran cantidad de engorrosos cálculos, que obligan a escribir la matriz 𝑷 en forma de bloques, la determinación de sus valores y vectores propios, y además tener que invertir algunas de las matrices involucradas en los bloques. Este procedimiento será explicado en la sección 8, Pagina 47 en el caso que el proceso sea reductible con estados absorbentes únicamente Existe sin embargo otro procedimiento no matricial, que resulta muy original e ingenioso por el razonamiento que allí se aplica. Ejemplo 16: Hallar el vector de estado estacionario correspondiente al proceso del Ejemplo 9. Solución: El ejemplo 9 se refiere a la ruina del jugador, y presenta dos estados absorbentes El Estado 0 ⇒ El jugador A esta arruinado El Estado 4 ⇒ El jugador B esta arruinado Los restantes estados son transitorios, y por lo tanto para ellos, se verifica que

𝜋𝑖 = lim𝑛⟶∞

𝑝𝑖𝑖(𝑛) = 0 ; ∀𝑖 = 0,1,2,⋯𝑘

El vector de estado permanente tendrá entonces la forma 𝜋 = (𝜋0 0 0 0 𝜋4) El problema se reduce entonces a encontrar 𝜋0 y 𝜋4 𝜋0 = Probabilidad de que a largo plazo el jugador A este arruinado 𝜋4 = Probabilidad de que a largo plazo el jugador A haya ganado la serie Sea W = El evento, el jugador A gana la serie A1 = El evento, el jugador A gana una jugada ⇒ 𝑃(𝐴1) = 1

2



A2 = El evento, el jugador empata una jugada ⇒ 𝑃(𝐴2) = 16

A3 = El evento, el jugador pierde una jugada ⇒ 𝑃(𝐴3) = 13

Por la fórmula de la probabilidad total se tiene: 𝑃(𝑊) = 𝑃(𝐴1) 𝑃(𝑊|𝐴1) + 𝑃(𝐴2) 𝑃(𝑊|𝐴2) + 𝑃(𝐴3) 𝑃(𝑊|𝐴3)

Consideremos ahora las siguientes probabilidades: 𝑝0=Probabilidad de que A gane la serie, cuando su capital inicial es de cero monedas 𝑝1=Probabilidad de que A gane la serie, cuando su capital inicial es de una moneda 𝑝2=Probabilidad de que A gane la serie, cuando su capital inicial es de dos monedas 𝑝3=Probabilidad de que A gane la serie, cuando su capital inicial es de tres monedas 𝑝4=Probabilidad de que A gane la serie, cuando su capital inicial es de cuatro monedas Obviamente 𝑝0=0 mientras que 𝑝4=1, porque cuando tiene 0 monedas esta arruinado, y cuando tiene 4 ya ganó la serie Si el jugador tiene una moneda, su probabilidad total de ganar la serie es 𝑝1, si pierde la jugada queda arruinado y pierde la serie, si empata queda igual y su probabilidad de ganar la serie sigue siendo la misma, y si gana la jugada pasa a tener ahora una probabilidad 𝑝2 de ganar la serie. Al aplicar la fórmula de la probabilidad total resulta: 𝑝1 = 1

2𝑝2 + 1

6𝑝1

Repitiendo el razonamiento para los otros casos se obtiene 𝑝2 = 1

2𝑝3 + 1

6𝑝2 + 1

3𝑝1 ; 𝑝3 = 1

2+ 1

6𝑝3 + 1

3𝑝2

Al resolver el sistema se encuentra 𝑝1 = 2765

𝑝2 = 913

𝑝3 = 5765

Esto significa que la probabilidad de alcanzar el estado absorbente E4, depende del estado inicial de donde arranque el proceso, cosa que no ocurre cuando se trata de una cadena irreductible. En conclusión, si cada jugador comenzó la serie de apuestas con dos monedas cada uno, entonces la probabilidad de que el jugador A la gane es de 9

13 y de que

la pierda es de 1 − 913

= 413

, y de allí que el vector de estado permanente sea

𝜋 = � 413

0 0 0 913

� El resultado obtenido es perfectamente lógico, ya que es evidente que la serie se presenta a favor del jugador “A” .En cada jugada la apuesta es igualitaria, y el jugador “A” tiene probabilidad 1

2 de ganarla, y 1

3 de perderla.

En cuanto a la matriz de estado estacionario, esta expresa la probabilidad de acceder a cada uno de los estados absorbentes desde cada uno de los posibles estados del proceso, y resulta ser:



𝑷∞ = lim𝑛→∞

⎝

⎜⎜⎜⎛

1 0 0 0 0

1

3

1

6

1

2 0 0

0 1

3

1

6

1

2 0

0 0 1

3

1

6

1

2 0 0 0 0 1 ⎠

⎟⎟⎟⎞

𝑛

=

1 0 0 0 038 270 0 065 654 90 0 0

13 138 570 0 0

65 650 0 0 0 1

Fácilmente se puede verificar, que si inicialmente el jugador A tiene dos monedas, entonces 𝜋0 = ( 0 0 1 0 0) , y 𝜋 = 𝜋0𝑷∞ = � 4

13 0 0 0 9

13 �

Ejemplo 17: Hallar el vector de estado estacionario correspondiente al proceso del Ejemplo 10. Solución: El ejemplo 10 se refiere a un ratón que se encuentra dentro de un apartamento, y presenta dos estados absorbentes El Estado 0 ⇒ El ratón está muerto El Estado 5 ⇒ El ratón se fugó Los restantes estados son transitorios, y por lo tanto para ellos, se verifica que

𝜋𝑖 = lim𝑛⟶∞

𝑝𝑖𝑖(𝑛) = 0 ; ∀𝑖 = 0,1,2,⋯𝑘

El vector de estado permanente tendrá entonces la forma 𝜋 = (𝜋0 0 0 0 0 𝜋5) El problema se reduce entonces a encontrar 𝜋0 y 𝜋5 𝜋0 = Probabilidad de que a largo plazo el ratón esté muerto 𝜋5 = Probabilidad de que a largo plazo el ratón se haya fugado Sea W = El evento, el ratón se fugó A1 = El ratón se encuentra en el dormitorio ⇒ 𝑃(𝐴1) = 1

4

A2 = El ratón se encuentra en la sala ⇒ 𝑃(𝐴2) = 14

A3 = El ratón se encuentra en la cocina ⇒ 𝑃(𝐴3) = 14

A4 = El ratón se encuentra en el comedor ⇒ 𝑃(𝐴4) = 14

Por la fórmula de la probabilidad total se tiene: 𝑃(𝑊) = 𝑃(𝐴1) 𝑃(𝑊|𝐴1) + 𝑃(𝐴2) 𝑃(𝑊|𝐴2) + 𝑃(𝐴3) 𝑃(𝑊|𝐴3) + 𝑃(𝐴4) 𝑃(𝑊|𝐴4)

Consideremos ahora las siguientes probabilidades: 𝑝1=Probabilidad de que el ratón se fugue cuando inicialmente está en el dormitorio 𝑝2= Probabilidad de que el ratón se fugue cuando inicialmente está en la sala 𝑝3= Probabilidad de que el ratón se fugue cuando inicialmente está en la cocina 𝑝4= Probabilidad de que el ratón se fugue cuando inicialmente está en el comedor Si el ratón se encuentra en el dormitorio, puede pasar de allí a la sala o a la cocina con probabilidad 1

2 para cada ambiente (el dormitorio tiene dos puertas), y desde

allí, su probabilidad de fuga es 𝑝2 y 𝑝3 respectivamente.



Aplicando la fórmula de la probabilidad total: 𝑝1 = 12𝑝2 + 1

2𝑝3

Si el ratón se encuentra en la sala, puede fugarse, o pasar de allí al dormitorio o al comedor, con probabilidad 1

3 para cada caso (la sala tiene tres puertas), y desde

allí, su probabilidad de fuga es 1 ,𝑝1 y 𝑝3 respectivamente. Al aplicar la fórmula de la probabilidad total resulta: 𝑝2 = 1

3∙ 1 + 1

3𝑝3 + 1

3𝑝4

Si el ratón se encuentra en la cocina, puede pasar de allí al dormitorio o a la muerte si elige pasar al comedor, Al aplicar la fórmula de la probabilidad total resulta: 𝑝3 = 1

2𝑝1

Análogamente 𝑝4 = 12𝑝2

Al resolver el sistema se encuentra 𝑝1 = 411

𝑝2 = 611

𝑝3 = 211

𝑝4 = 311

Al igual que en el ejemplo anterior, la probabilidad de fuga depende de donde se encuentre inicialmente el ratón. Como en este caso, no se conoce su ubicación inicial:

𝑃(𝑊) =14∙

411

+ 14∙

611

+ 14∙

211

+ 14∙

311

=1544

En conclusión, la probabilidad total de que el ratón se fugue es 15

44 y la de que

muera envenenado es de 1 − 1544

= 2944

, y de allí que el vector de estado

permanente sea 𝜋 = �2944

0 0 0 0 1544�

La matriz de estado estacionario es 𝑷∞ = lim𝑛→∞ 𝑷𝑛 =

⎝

⎜⎜⎜⎜⎛

1 0 0 0 0 0711

0 0 0 0 411

511

0 0 0 0 611

911

0 0 0 0 211

811

0 0 0 0 311

0 0 0 0 0 1 ⎠

⎟⎟⎟⎟⎞

En este caso, como se ignora el estado inicial entonces 𝜋0 = � 0 1

4 1

4 14

14

0� , y

se para hallar 𝜋 = 𝜋0𝑷∞ = �2944

0 0 0 0 1544�

Para finalizar esta sección, es importante hacer una aclaratoria sobre el significado e interpretación del vector de estado estacionario, en cada uno de los dos casos estudiados. En el caso de cadenas irreductibles, el proceso no se estaciona, es decir sigue evolucionando indefinidamente a lo largo del tiempo, y permanece o cambia de estado con probabilidad 𝑝𝑖𝑖 en cada uno de los sucesivos pasos. De manera que el vector de estado estacionario no expresa la probabilidad de que el proceso se estacione en cada uno de los estados, esto no puede ocurrir. En cadenas irreductibles, el vector de estado estacionario debe ser interpretado como la probabilidad de que un paso muy remoto, el proceso se encuentre en



cada uno de los estados, o también como la fracción de tiempo que el proceso permanece en cada uno de los estados. En el segundo caso de procesos con estados absorbentes, la interpretación es completamente diferente, porque en ellos si se da la circunstancia de que el proceso literalmente se estaciona en los estados absorbentes al no poder salir de ellos. De allí que este segundo caso, si cabe la interpretación acerca del vector de estado estacionario, que representa la probabilidad de que el proceso se estacione en cada uno de los estados absorbentes.

8. TIEMPO MEDIO DE TRANSICION ENTRE ESTADOS

En la sección 6 se vio que el “Tiempo para la primera visita al estado “Ej” partiendo desde “Ei” ,es una variable aleatoria, y que la probabilidad de que se necesiten “n” pasos para esta primera visita se designa por 𝑓𝑖𝑖

(𝑛) donde (n) es un supraíndice, no una potencia. Es decir: 𝑓𝑖𝑖

(𝑛) = 𝑃(𝑋𝑚+𝑛 = 𝐸𝑖│𝑋𝑚+𝑛−1 ≠ 𝐸𝑖, 𝑋𝑚+𝑛−2 ≠ 𝐸𝑖 ,⋯ ,𝑋𝑚 = 𝐸𝑖) Si se designa por 𝑇𝑖𝑖 a esta variable aleatoria, su valor esperado se designa por 𝜇𝑖𝑖, representa el número medio de pasos para realizar la transición entre Ei y Ej, y puede ser calculado mediante la siguiente expresión:

𝜇𝑖𝑖 = 𝐸�𝑇𝑖𝑖� = �𝑛𝑓𝑖𝑖 (𝑛)

∞

𝑛=1

Cuando Ei coincide con Ej, entonces este tiempo es el numero pasos necesarios para regresar a Ei por primera vez, se denomina “𝑇𝑖 = Tiempo de recurrencia del Estado i”, su valor esperado se designa por 𝜇𝑖𝑖, representa el número promedio de pasos para regresar a Ei por primera vez, y puede ser calculado mediante la siguiente expresión:

𝜇𝑖𝑖 = 𝐸(𝑇𝑖) = �𝑛𝑓𝑖𝑖 (𝑛)

∞

𝑛=1

Ejemplo 18: Para el proceso con 2 estados de los Ejemplos 2 y 12, hallar los tiempos de recurrencia y de transición entre los ellos.

Solución; En este caso Ω = {0, 1, } mientras que P=�35

25

110

910

� , y en el ejemplo 12

se demostró que la distribución de probabilidad para 𝑇0 = Número de pasos para

el primer regreso al estado E0 es: 𝑓00(1)= 3

5, 𝑓00

(𝑛)= 25∙ 110∙ � 9

10�𝑛−2

; 𝑛 ≥ 2 El tiempo medio de recurrencia a estado E0 es su valor esperado

𝜇00 = 𝐸(𝑇0) = 1 ∙ 35 + ∑ 𝑛 �2

5∙ 110∙ � 9

10�𝑛−2

� ∞𝑛=2 = 3

5 + 1

25∑ 𝑛∞𝑛=2 � 9

10�𝑛−2



Para calcular el valor de la serie ∑ 𝑛∞𝑛=2 � 9

10�𝑛−2

es necesario recurrir al siguiente artificio matemático: Sea 𝜑(𝑥) = ∑ 𝑥𝑛∞

𝑛=1 = 𝑥1−𝑥

; |𝑥| < 1 por ser una serie geométrica

Su primera derivada es: 𝜑´(𝑥) = ∑ 𝑛𝑥𝑛−1∞𝑛=1 = 1

(1−𝑥)2 ; |𝑥| < 1

∑ 𝑛𝑥𝑛−1∞𝑛=1 = ∑ 𝑛𝑥𝑥𝑛−2∞

𝑛=1 = 𝑥 ∑ 𝑛𝑥𝑛−2 ⇒∞𝑛=1 ∑ 𝑛𝑥𝑛−2∞

𝑛=1 = 1𝑥 (1−𝑥)2

; 𝑥 ≠ 0 |𝑥| < 1

Haciendo 𝑥 = 910⇒ ∑ 𝑛( 9

10)𝑛−2∞

𝑛=1 = 1910 (1− 9

10)2= 1000

9 =

El primer término n=1 de la serie es 109⇒ ∑ 𝑛( 9

10)𝑛−2∞

𝑛=2 = 10009− 10

9= 110

y de allí se deduce que el tiempo medio de recurrencia al estado E0 es: 𝜇00 = 3

5 + 1

25∙ 110 = 5

Para hallar el tiempo medio de transición de E0 a E1, hay que calcular el valor esperado del tiempo de la primera visita desde Eo E1, de la siguiente manera: 𝑓01

(1)= Probabilidad de la trayectoria 0→1= 25

𝑓01(2)= 𝑓00

(3)= Trayectoria 0→0→1 = 35∙ 25

𝑓01(3)= Trayectoria 0→0→0→1 = (3

5)2 ∙ 2

5

𝑓01

(𝑛)= (35)𝑛−1 ∙ 2

5 ; 𝑛 ≥ 1

𝜇01 = 𝐸(𝑇01) = ∑ 𝑛 �(35)𝑛−1 2

5� ∞

𝑛=1 = 2 5∑ 𝑛∞𝑛=1 �3

5�𝑛−1

=25∙ 1

�1−35�2 = 5

2

Se deja como ejercicio para el lector que determine 𝜇1 y 𝜇10 , aplicando un procedimiento análogo, y que luego compare su resultado con el obtenido aplicando la metodología que se explica en el Ejemplo 19. Se puede fácilmente intuir que el procedimiento aplicado en la resolución de este Ejemplo 18, no es nada atractivo, debido a que conduce al cálculo de una serie, lo cual no siempre es sencillo, y más aún si se toma en consideración, que ésta puede resultar divergente. Se hace necesario entonces, encontrar un camino alternativo, que permita calcular el tiempo medio de recurrencia y el de transición, de una manera más simple.

Para hacer este cálculo hay que distinguir varios casos: Caso 1: La cadena es irreductible, y todos sus estados son ergódicos. En este caso, ya se sabe según lo explicado en la Sección 7, que el vector de estado estacionario es único y tiene la forma 𝝅 = (𝝅𝟎 𝝅𝟏 𝝅𝟐⋯𝝅𝒌)



Cuando se da esta circunstancia el reciproco de cada uno de las componentes del vector 𝝅 , representan el tiempo de recurrencia para cada uno de los estados

𝜇𝑖𝑖 = 1𝜋𝑖

Para hallar el tiempo medio de transición entre estados, es necesario resolver el sistema de ecuaciones definido por:

𝜇𝑖𝑖 = 1 + � 𝑝𝑖𝑚 𝜇𝑚𝑖

𝑘

𝑚=0 ,𝑚≠𝑖

Esta ecuación debe ser aplicada a cada una de las transiciones posibles, haciendo m= 0 , 1,2, ….,k excepto m = j, y su demostración es como sigue Sea W = Primera visita desde el estado Ei al Ej ocurre en (n+1) pasos Am= La primera transición es a Ei a Em (m ≠j) (no visita a Ej en el primer paso) Entonces W│Am = Primera visita ocurre en n Pasos (el primero fue de Ei a Em) Según la fórmula de la probabilidad total:

𝑃(𝑊) = � 𝑃(𝐴𝑚) 𝑃(𝑊|𝐴𝑚)𝑚=𝑘

𝑚=0,𝑚≠𝑖

Pero P(W) = 𝑃�𝑇𝑖𝑖 = 𝑛 + 1 = 𝑓𝑖𝑖(𝑛+1)� ; 𝑃(𝐴𝑚) = 𝑝𝑖𝑚 ; 𝑃(𝑊|𝐴𝑚) = 𝑓𝑚𝑖

(𝑛) Sustituyendo:

𝑓𝑖𝑖(𝑛+1) = � 𝑝𝑖𝑚

𝑚=𝑘

𝑚=0,𝑚≠𝑖

𝑓𝑚𝑖(𝑛)

𝜇𝑖𝑖 = 𝐸�𝑇𝑖𝑖� = �(𝑛 + 1)𝑓𝑖𝑖(𝑛+1) =

∞

𝑛=0

�𝑛 𝑓𝑖𝑖(𝑛+1) + �𝑓𝑖𝑖

(𝑛+1)∞

𝑛=0

∞

𝑛=0

Pero ∑ 𝑓𝑖𝑖

(𝑛+1)∞𝑛=0 =1 por ser Ei y Ej estados que pertenecen a una misma clase

𝜇𝑖𝑖 = 1 + �𝑛 � 𝑝𝑖𝑚 𝑚=𝑘

𝑚=0,𝑚≠𝑖

𝑓𝑚𝑖(𝑛)

∞

𝑛=0

El orden de las sumatorias puede ser invertido, y queda:

𝜇𝑖𝑖 = 1 + � 𝑝𝑖𝑚 � 𝑛∞

𝑛=0

𝑓𝑚𝑖(𝑛)

𝑚=𝑘

𝑚=0,𝑚≠𝑖

� 𝑛∞

𝑛=0

𝑓𝑚𝑖(𝑛) = � 𝑛

𝑚=𝑘

𝑛=1

𝑓𝑚𝑖(𝑛) = 𝐸�𝑇𝑚𝑖� = 𝜇𝑚𝑖

Finalmente se llega a la formula antes mencionada:


𝑘

𝑚=0 ,𝑚≠𝑖

Su aplicación práctica es fácil de recordar, tomando en cuenta la siguiente regla:



El tiempo medio de transición entre dos estados se iguala a 1 + la suma de las probabilidades de ir desde el inicial a todos los restantes en el primer paso excepto el final, multiplicadas por sus respectivos tiempos medios de transición desde ellos al estado final, y luego se resuelve el sistema de ecuaciones. Ejemplo 19 : Resolver el Ejemplo 18 utilizando el vector de estado estacionario, y la matriz de transición. Solución: El proceso descrito en el ejemplo 18 es irreductible, y todos sus estados son recurrentes y aperiódicos, es decir ergódicos, y por lo tanto su vector de

estado estacionario se puede encontrar resolviendo el sistema i k

ii 0

P

1=

=

π = π π =∑

En este caso P=�35

25

110

910

� ⇒ (𝜋0 𝜋1) = (𝜋0 𝜋1) �35

25

110

910

� ⇒ 0 0 1

1 0 1

3 15 102 95 10

π = π + ππ = π + π

Ambas ecuaciones del sistema resultan idénticas, por lo que una debe ser eliminada, y sustituida por 𝜋0 + 𝜋1 = 1

El sistema queda 0 1

0 1

2 1 05 10

1

π − π =

π + π =

⇒ 0

1

1545

π =π =

Los tiempos medios de recurrencia son: 𝜇00 = 115

= 5 ; 𝜇11 = 145

= 54

Hay solo dos transiciones posibles, de E0 a E1 y de E1 a E0, y para los tiempos medios de transición se tiene:

𝜇𝑜1 = 1 + � 𝑝0𝑚 𝜇𝑚1

1

𝑚=0 ,𝑚≠1

⇒ 𝜇𝑜1 = 1 + 𝑝00𝜇01 = 1 +35𝜇𝑜1 ⇒ 𝝁𝒐𝟏 =

𝟓𝟐

𝜇10 = 1 + � 𝑝1𝑚 𝜇𝑚0

1

𝑚=0 ,𝑚≠0

⇒ 𝜇10 = 1 + 𝑝11𝜇10 = 1 +9

10𝜇10 ⇒ 𝝁𝟏𝟎 = 𝟏𝟎

En este caso, donde solo existen dos estados 0

1

E : DañadaE : Operativa

; si se supone que la

máquina trabaja de manera continua, cada uno de estos tiempos medios de transición y de recurrencia, tiene una interpretación muy clara, y así: 𝜇𝑜𝑜 =Tiempo medio entre fallas 𝜇𝑜1 = Tiempo medio de reparación 𝜇10 = Tiempo medio de operación 𝜇11 = Tiempo medio entre arranques



Ejemplo 20 : Calcular los tiempos medios de transición y de recurrencia para la cadena del Ejemplo 15 Solución: La cadena del Ejemplo 15 es irreductible, y se encontró que el vector de estado permanente es 𝜋 = (3

8 13

724

) , de donde se deduce que los tiempos

medios de recurrencia son: 𝜇11 = !𝜋1

= 83 𝜇22 = !

𝜋2= 3 𝜇33 = !

𝜋3= 24

7

Para encontrar los tiempos medios de transición hay que plantear un sistema de ecuaciones, donde las incógnitas son 𝜇12 𝜇13 𝜇21 𝜇23 𝜇31 𝜇32

Teniendo en cuenta que la matriz de transición es

⎝

⎜⎛

13

12

16

34

0 14

0 12

12

⎠

⎟⎞

el sistema es;

12 12 32

13 13 23

21 21 31

23 13 23

31 21 31

32 12 32

1 1=1+ 3 61 1=1+ 3 2

1=1+04

3=1+ 0 41 1=1+ 2 2

1 =1+0 2

µ µ + µµ µ + µµ µ + µµ µ + µµ µ + µµ µ + µ

Resolviendo:

12

13

21

23

31

32

2367

10449347

22049

2

µ =µ =µ =µ =µ =µ =

Caso 2: La cadena es irreductible y periódica La definición de estado ergodico exige que éste sea recurrente y aperiódico, de manera que cuando la cadena es periódica no se cumple el requisito exigido en el caso 1, y además, según lo explicado en la Sección 7, lim𝑛→∞𝑷𝒏 no existe. Recordemos que un estado recurrente se dice periódico cuando existe un número d >1, tal que 𝑝𝑖𝑖

(𝑑)> 0, y 𝑝𝑖𝑖(𝑛)= 0, siempre que “n” no sea un múltiplo de “d”, y

además “d” es el menor entero con esa propiedad, es decir, el proceso solo puede regresar al estado Ei en aquellos pasos que sean múltiplos de d. “d” se denomina el período del proceso. Cuando la probabilidad de recurrencia 𝑝𝑖𝑖

(𝑑) es constante para cada estado, su tiempo medio de recurrencia, así como también la proporción de tiempo que el proceso permanece en cada estado, puede ser calculado por las siguientes expresiones:



𝜇𝑖𝑖 =𝑑

𝑝𝑖𝑖(𝑑) ; 𝜋𝑖 =

1𝜇𝑖𝑖

=𝑝𝑖𝑖

(𝑑)

𝑑

Las expresiones anteriores se deducen al generalizar el razonamiento utilizado en el ejemplo a continuación: Ejemplo 21: Una persona tiene el siguiente estilo de vida, pasa un mes en Caracas, y el mes siguiente elige pasarlo en Margarita o Mérida con igual probabilidad y de manera independiente cada vez. El mes subsiguiente lo pasa de nuevo en Caracas, y así sucesivamente. a) Calcule el tiempo medio de regreso para cada lugar. b) Cuando se encuentra en cada uno de estos lugares, ¿Cuál es el tiempo esperado para visitar otro lugar? c) ¿Qué proporción de su tiempo permanece esta persona en cada lugar? Solución: a) La cadena {𝑋𝑛(𝑡): 𝑡 = 0,1,2,⋯ , } representa el lugar donde se encuentra la persona en el mes t= 0, 1, 2, 3,…, y está formada por tres estados Ω = {1, 2, 3} donde: E1: La persona se encuentra en Caracas E2: La persona se encuentra en Margarita E3: La persona se encuentra en Mérida

La matriz de transición es 𝑃 = �0 1

212

1 0 01 0 0

�

Para analizar si se trata de una matriz ergódica, o de una periódica, es necesario examinar las diferentes potencias de P, encontrando:

Se trata obviamente de una cadena periódica donde d = 2 debido a que: 𝑝11

(𝑛) = 1 , 𝑠𝑖 𝑛 𝑝𝑎𝑟 ; 𝑝11(𝑛) = 0 , 𝑠𝑖 𝑛 𝑖𝑚𝑝𝑎𝑟 ; es decir para pasos pares, la persona se

encuentra en Caracas con probabilidad 1, mientras que 𝑝22

(𝑛) = 12

𝑦 𝑝33(𝑛) = 1

2 , 𝑠𝑖 𝑛 𝑖𝑚𝑝𝑎𝑟 ; 𝑝22

(𝑛) = 0 𝑦 𝑝22(𝑛) = 0, 𝑠𝑖 𝑛 𝑝𝑎𝑟 , es decir para pasos

impares la persona se encuentra en Margarita o Mérida con probabilidad 12

Para hallar el tiempo medio de recurrencia entre estados basta con aplicar el siguiente razonamiento: Si la persona se encuentra en Caracas, es seguro que su primer regreso será en el segundo paso: Trayectoria 1 ⟶ 2 ó 3 → 1 ⟹ 𝑓11

(2) = 1 ⟹ 𝜇11 = 2 Si la persona se encuentra en Margarita, su primer regreso solo puede ocurrir en número par de pasos, según las siguientes probabilidades: Trayectoria en dos pasos 2 ⟶ 1 → 2 ; 𝑓22

(2) = 1 ∙ 12

= 12



Trayectoria en cuatro pasos 2 ⟶ 1 → 3 ⟶ 1 → 2 ; 𝑓22(4) = 1 ∙ 1

2∙ 1 ∙ 1

2= �1

2�2

En general: 𝑓22(2𝑛) = �1

2�𝑛

𝜇22 = 𝐸(𝑇2) = ∑ (2𝑛) �12�𝑛

∞𝑛=1 =∑ 𝑛 �1

2�𝑛−1

∞𝑛=1

Teniendo en cuenta el artificio explicado en el Ejemplo 18 según el cual:

�𝑛𝑥𝑛−1∞

𝑛=1

=1

(1 − 𝑥)2 ; |𝑥| < 1

Haciendo 𝑥 = 12 , se obtiene que el tiempo medio de recurrencia al Estado 2 es

𝜇22 = 𝐸(𝑇2) =1

(1 − 12)2

= 4

De manera análoga se obtiene 𝜇33 = 4

b) Existen seis tiempos medios de transición entre estados 𝜇12 𝜇13 𝜇21 𝜇23 𝜇31 𝜇32, y para basta con aplicar un razonamiento similar. Si la persona está en Caracas, su primera visita a Margarita puede ocurrir en los pasos impares Trayectoria en un paso: 1 ⟶ 2 ; 𝑓12

(1) = 12

Trayectoria en tres paso: 1 ⟶ 3 ⟶ 1 → 2 ; 𝑓12(3) = 1

2∙ 1 ∙ 1

2= �1

2�2

En general: 𝑓12(2𝑛−1) = �1

2�𝑛

; 𝑛 ≥ 1

𝜇12 = 𝐸(𝑇12) = ∑ (2𝑛 − 1) �12�𝑛

∞𝑛=1 =∑ 𝑛 �1

2�𝑛−1

∞𝑛=1 - ∑ �1

2�𝑛

∞𝑛=1

Teniendo en cuenta que la segunda serie es geométrica, se llega a

𝜇12 = 𝐸(𝑇12) ==∑ 𝑛 �12�𝑛−1

∞𝑛=1 - ∑ �1

2�𝑛

∞𝑛=1 =4 -1 = 3

Con idéntico razonamiento 𝜇13 = 3 Si la persona está en Margarita, su primera visita a Caracas será en el paso 1 con certeza, y de allí 𝜇21 = 1; al igual que si está en Mérida 𝜇31 = 1 Si la persona está en Margarita, su primera vista a Mérida sólo puede tener lugar en los pasos pares debido a que tendrá que permanecer primero en Caracas Trayectoria en dos pasos 2 ⟶ 1 → 3 ; 𝑓23

(2) = 1 ∙ 12

= 12

Trayectoria en cuatro pasos 2 ⟶ 1 → 2 ⟶ 1 → 3 ; 𝑓23(4) = 1 ∙ 1

2∙ 1 ∙ 1

2= �1

2�2

En general: 𝑓23(2𝑛) = �1

2�𝑛

; 𝑛 ≥ 1

𝜇23 = 𝐸(𝑇23) ==∑ (2𝑛) �12�𝑛−1

∞𝑛=1 - ∑ 𝑛 �1

2�𝑛−1

= 1(1−12)2

∞𝑛=1 = 4

En resumen: 𝜇12 = 𝜇13 = 3 ; 𝜇21 = 𝜇31 = 1 ; 𝜇23 = 𝜇32 = 4 Otro recurso para encontrar estos tiempos medios de transición es aplicar la ya conocida ecuación:




𝑘

𝑚=0 ,𝑚≠𝑖

la cual puede ser deducida por idéntico razonamiento al ya explicado en su oportunidad. Para este caso se tiene que el sistema resulta:

12 32

13 23

21

23 13

31

32 12

1=1+ 21=1+ 2

=1=1+ =1

=1+

µ µµ µµµ µµ µ µ

Resolviendo:

12

13

21

23

31

32

331414

µ =µ =µ =µ =µ =µ =

c) En cuanto a la proporción de su tiempo, que esta persona permanece en cada lugar, se tiene que en Caracas 𝜋1 = 1

𝜇11= 1

2 = 50% , lo cual resulta lógico dado el

hecho que de cada dos meses, uno lo pasa en esta ciudad. En cuanto a Margarita y Mérida, la proporción de tiempo que permanece en cada lugar, resulta ser de 𝜋2 = 𝜋3 = 1

4 = 25%

Caso 3: La cadena es reductible Como se sabe, en cadenas reductibles existen dos o más clases de estados, y por las razones ya expuestas en la sección anterior, el autor decidió limitarse al caso en que no existen clases cerradas constituidas por varios estados, y considerar solo la situación en donde existen algunos estados absorbentes, y los restantes son transitorios. En este tipo de cadenas, es sabido a que largo plazo uno de los estados absorbentes atrapará al proceso, y a partir de la primera visita, permanecerá en ese estado de manera indefinida. El tiempo medio de transición desde un estado transitorio a un estado absorbente, se define como tiempo medio de absorción, y representa el valor esperado del número de pasos desde el estado transitorio hasta la primera visita al estado absorbente. Es decir, si “i” es un estado transitorio y “j” uno absorbente, el tiempo medio de absorción es 𝜇𝑖𝑖 = 𝐸�𝑇𝑖𝑖� = ∑ 𝑛𝑓𝑖𝑖

(𝑛)∞𝑛=1

Cuando existe más de un estado absorbente, esta serie resulta divergente, debido a que si el proceso es absorbido por un determinado estado absorbente, entonces jamás podrá efectuar una primera visita a los otros estados absorbentes, y el número esperado de pasos resultara infinito. De existir un único estado absorbente, esta serie puede ser calculada a través de series geométricas que expresen la probabilidad de que el proceso permanezca exclusivamente en estados transitorios durante (n-1) pasos, y luego en el enésimo



paso, sea absorbido por el estado absorbente. Este procedimiento suele en general ser muy complicado, especialmente si algunos de estos estados transitorios se comunican entre sí. En virtud de lo explicado, si existe más de un estado absorbente, y Ei es un estado transitorio, y Ej uno absorbente:

𝜇𝑖𝑖 = 𝐸�𝑇𝑖𝑖� = �𝑛𝑓𝑖𝑖(𝑛)

∞

𝑛=1

= ∞

En estos casos, lo que es posible calcular es el número esperado de pasos para la absorción. En efecto, si suponemos que inicialmente el proceso se encuentra en un estado transitorio, y se define la siguiente variable aleatoria: Nij = Número de visitas, contadas desde el momento inicial, que desde un estado transitorio Ei puede realizar a otro estado transitorio Ej Para esta variable aleatoria, se tiene: 𝑃�𝑁𝑖𝑖 = 𝑛� = 𝑓𝑖𝑖�𝑓𝑖𝑖�

𝑛−1 �1 − 𝑓𝑗𝑗� Esta expresión surge del siguiente razonamiento: Para que desde Ei se realicen “n” visitas a Ej, es necesario que se den tres condiciones:

• En primer lugar haga una primera visita, cuya probabilidad es 𝑓𝑖𝑖 • En segundo lugar que desde Ej se realicen (n-1) retornos consecutivos,

cuya probabilidad es �𝑓𝑖𝑖�𝑛−1

• En tercer lugar, que lo abandone inmediatamente después, cuya probabilidad es �1 − 𝑓𝑖𝑖�

El valor esperado de Nij, representa el número total de visitas que desde Ei se pueden realizar a otro estado transitorio Ej sin ser absorbido

𝐸�𝑁𝑖𝑖� = �𝑛𝑓𝑖𝑖�𝑓𝑖𝑖�𝑛−1 �1 − 𝑓𝑗𝑗� =

𝑓𝑖𝑗1 − 𝑓𝑗𝑗

∞

𝑛=1

Evidentemente, la suma de estos valores esperados sobre todos los estados transitorios, incluyendo al propio Ei, representa el total de pasos que desde Ei se pueden realizan sin ser absorbido, es decir: Ni = Número esperado total de pasos desde Ei hasta la absorción= ∑ 𝐸(𝑁𝑖𝑖)𝑖∈𝑄 donde 𝑄 ⊆ Ω = Conjunto de estados transitorios Para calcular el número esperado de pasos para la absorción desde cada estado transitorio, existe un procedimiento matricial, cuya metodología es como sigue: En primer lugar hay que escribir la matriz de transición “P” por bloques de la forma: 𝑃 = �𝑄 𝑅

0 𝐼 �

I= Matriz Identidad correspondiente a los estados absorbentes Q= Matriz de transición entre estados transitorios R= Matriz de transición de los estados transitorios a los absorbentes 0 = Matriz nula

Como se supone que el proceso arranca desde un estado transitorio, la matriz identidad I de dimensión igual al número de estados transitorios, representa la primera visita a cada uno de ellos´



IQ= Q representa la probabilidad de la primera transición desde un estado transitorio a otro transitorio. Q2 representa la probabilidad de la segunda transición a otro estado transitorio Qn representa la probabilidad de la enésima transición a otro estado transitorio Sn = I + Q + Q2 + …+Qn =Total de visitas a estados transitorios en n pasos Para hallar S premultipliquemos por Q QSn = Q + Q2 + Q3 + …+Qn+1 Restando miembro a miembro: (I-Q) Sn =I - Qn+1

Cuando n→ ∞ , Qn+1→ 0 , pues todos los estados de Q son transitorios En consecuencia: 𝑆 = lim𝑛→∞ 𝑆𝑛 = (𝐼 − 𝑄)−1 La matriz (𝐼 − 𝑄)−1 , se denomina matriz fundamental del proceso de absorción, y cada uno de sus términos (i, j) representa el número esperado de visitas que partiendo de Ei “, el proceso puede hacer a “Ej” antes de la absorción. La suma de la fila “i” de la matriz (𝐼 − 𝑄)−1 da por resultado el número esperado de visitas que arrancando de Ei se pueden dar antes de ser absorbido. La matriz (𝐼 − 𝑄)−1 es siempre una matriz cuadrada de dimensión igual al número de estados transitorios. Por otro lado, la matriz (𝐼 − 𝑄)−1𝑅 arroja la probabilidad de que partiendo de cada estado transitorio, el proceso sea absorbido por cada uno de los estados absorbentes. La matriz (𝐼 − 𝑄)−1𝑅 es siempre una matriz rectangular, su número de filas es número de estados transitorios, mientras que el número de columnas corresponde al de los estados absorbentes. En cuanto, al tiempo medio de recurrencia para un estado transitorio, se puede demostrar que este resulta infinito debido a que la serie en cuestión diverge.

Si “i” es un estado transitorio: 𝜇𝑖𝑖 = 𝐸(𝑇𝑖𝑖) = ∑ 𝑛𝑓𝑖𝑖(𝑛)∞

𝑛=1 ⟶ ∞ Lo que equivale a decir, que lo esperado es no regresar jamás a un estado transitorio. Igual situación se presenta con el tiempo esperado de transición entre dos estados transitorios,

Si “ 𝑖 ∧ 𝑗”son ambos estados transitorios: 𝜇𝑖𝑖 = 𝐸�𝑇𝑖𝑖� = ∑ 𝑛𝑓𝑖𝑖(𝑛)∞

𝑛=1 ⟶ ∞ Por último, resulta obvio que si “i” es un estado absorbente, su tiempo medio de recurrencia es 1, y su tiempo medio de transición a cualquier otro estado es nulo

Si “𝑖” es un estado absorbente ⟹ 𝜇𝑖𝑖 = 1 ∧ 𝜇𝑖𝑖 = 0 ; ∀𝑗 ≠ 𝑖 Ejemplo 21 : Para la cadena del Ejemplo 9, hallar el tiempo medio de absorción para los estados 1,2 y 3. Solución: En esta cadena Ω = {0,1, 2, 3,4} y presenta dos estados absorbentes {0} y {4} , mientras que los restantes son transitorios, y de allí que existan seis tiempos medios de absorción, dependiendo del estado de donde se salga, y del estado que absorba al proceso, 𝜇10 , 𝜇20, 𝜇30, 𝜇14 , 𝜇24 𝑦 𝜇30



Para encontrarlos, es necesario tomar en consideración a la matriz de transición

en un paso 𝑃 =

⎝

⎜⎜⎜⎛

1 0 0 0 013

16

12

0 0

0 13

16

12

0

0 0 13

16

12

0 0 0 0 1⎠

⎟⎟⎟⎞

En primer lugar hay que escribirla por bloques de la forma 𝑃 = �𝑄 𝑅

0 𝐼 � para lo cual es preciso permutar el orden de los estados, y colocar los transitorios primero, y los absorbentes de último. Con el orden Ω = {1, 2, 3,0,4}

1 1 10 01 16 2 3 0 11 1 1 06 20 0 31 1 13 6 2P Q= R= 0 01 1 1 3 6 20 0 11 13 6 2 00 20 0 0 1 0 3 6

0 0 0 0 1

=

1 1 5 10 06 2 6 21 1 1 1 5 13 6 2 3 6 2

1 1 1 50 03 6 3 6

1 0 0I Q 0 1 0

0 0 1

−

− −

−

− = −

=

(𝐼 − 𝑄)−1𝑅=

15 1 06 21 5 13 6 2

1 503 6

−

−− − −

−

1 030 0

102

=

Es oportuno recordar, que en el Ejemplo 16 se determinó la probabilidad de que el proceso sea absorbido por Eo o por E4, cuando arranca de E2, con el resultado 4

13

y 913

respectivamente, lo que coincide con el resultado obtenido por este procedimiento matricial. El número esperado de jugadas antes de que la serie termine es: Si el jugador “A” comenzó con una moneda: 𝑁1 = 114

65+ 18

13+ 54

65= 258

65



Si el jugador “A” comenzó con dos monedas: 𝑁2 = 1213

+ 3013

+ 1813

= 6013

Si el jugador “A” comenzó con tres monedas: 𝑁3 = 2465

+ 1213

+ 11465

= 19845

9. COSTOS ASOCIADOS A UNA CADENA DE MARKOV

En la gran mayoría de las aplicaciones, cada visita a los diferentes estados de la cadena tiene asociado un valor económico, que en algunos casos puede ser una utilidad o un beneficio, mientras que en otros puede ser una pérdida, o una penalidad por visitar ese estado. En las secciones anteriores se encontró que cuando un estado es recurrente, sea

aperiódico o no, la proporción de tiempo que el proceso permanece en él viene

dado por 𝜋𝑖 = 1𝜇𝑖𝑖

Si permanecer en cada estado tiene un costo ci por unidad de tiempo, entonces el costo promedio por unidad de tiempo para toda la cadena viene dado por:

𝐶 = 𝑐0𝜋0 + 𝑐1𝜋1 + ⋯+ 𝑐𝑘𝜋𝑘 = �𝑐𝑖𝜋𝑖

𝑘

0

El cálculo de este costo promedio por unidad de tiempo para toda la cadena, resulta de extrema importancia en las aplicaciones prácticas, pues evalúa económicamente el comportamiento de la cadena a largo plazo, y permite comparar una cadena con otra a los fines de decidir cuál de ellas reporta un mayor beneficio, o bien un menor costo. Ejemplo 22: Una famosa pastelería de Caracas es reconocida por una deliciosa torta que diariamente fabrica. El costo de producir esta torta se estima en Bs. 400 y se vende en Bs. 1000, pero con el inconveniente de que si no se vende el mismo día de su fabricación se vence, y hay que botarla. La demanda diaria de esta torta es una variable aleatoria, independiente de los demás días, según la siguiente distribución de probabilidad:

Demanda 0 1 2 3 4 Probabilidad 0.05 0.10 0,35 0,30 0,20 El dueño de la pastelería enfrenta el dilema de cuantas tortas producir cada día, y para ello solicita opinión de tres expertos asesores empresariales, quienes les dan cada uno, una recomendación diferente. El primer asesor le recomienda que se guie por la moda, es decir por la demanda más probable, en este caso 2, y que por lo tanto produzca 2 tortas cada día. El segundo asesor le recomienda que se guie por la media, y que por lo tanto debe producir en promedio un número de tortas que se equipare con la demanda promedio.



El tercer asesor resulta ser el Sr. Eudomar Santos, el famoso personaje de la telenovela venezolana “Por estas calles”, célebre por su frase “Como vaya viniendo, vamos viendo”, quien le hace la siguiente recomendación: Cada día debes producir según la demanda del día anterior, de manera que si el día anterior te demandaron un número de tortas igual a las que fabricaste, entonces ese día fabricas el mismo número de tortas que el día anterior; si el día anterior se quedaron tortas sin vender, entonces el día siguiente fabricas una menos que el anterior, y si el día anterior se quedaron clientes sin poder comprar la torta, entonces el día siguiente fabricas una torta más que en el día anterior. Analice cuál de estas tres recomendaciones le proporciona a largo plazo, una mayor ganancia esperada a la pastelería.

Solución: Sean n

n

n

X Numero de tortas fabricadas el enésimo díaY Utilidad obtenida del enésimo día

Demanda de tortas en el enésimo díaD

=

=

=

Para calcular la utilidad contable obtenida cada día, hay que tener en cuenta que por cada torta que se bote se pierden Bs. 400, que fue lo que costó producirla, mientras que por cada torta vendida se gana Bs.1000 – Bs.400 = Bs. 600. Se habla de utilidad contable debido a que cuando demandan más tortas de las producidas, se venden las producidas pero hay un costo de oportunidad por los clientes insatisfechos, que no está siendo tomado en consideración. En el primer caso la producción es constantemente de 2 tortas todos los días, y por tanto Xn = 2; ∀𝑛 ∈ ℕ , Ω = {2} la cadena presenta un único valor posible. Para hallar la utilidad obtenida en el enésimo día, consideremos los siguientes casos: Si nD = 0 ⇒ Se pierden las dos tortas producidas ⇒ nY = -800 Si nD = 1 ⇒ Se vende una y se pierde la otra ⇒ nY = -400 +600 = 200 Si nD 2≥ ⇒ Se venden las dos tortas producidas⇒ nY = 2 x 600 = 1200

La probabilidad de cada caso es: n

n

n

P D 0 0,05P D 1 0,10P D 2 0,35 0

( )( )

,30 0,20 0,85( )

= =

= =

≥ = + + =

La utilidad diaria promedio en este primer caso resulta: 𝐸(𝑌𝑛) = (0,05) (-800) + (0,10) (200) + (0,85) (1200) = Bs. 1000 diarios En el segundo caso, el asesor recomienda que la producción diaria promedio se equipare con la demanda diaria promedio. La demanda diaria promedio es 𝐸(𝐷𝑛) = (0,05) (0) + (0,10) (1) + (0,35) (2) + (0,30) (3) + (0,20) (4) = 2,50 tortas Como no se puede producir 2 tortas y media cada día, entonces se decide producir 2 tortas un día y 3 el siguiente, obteniendo la siguiente cadena periódica: {𝑋𝑛 = 2 𝑠𝑖 𝑛 𝑖𝑚𝑝𝑎𝑟,𝑋𝑛 = 3 𝑠𝑖 𝑛 𝑝𝑎𝑟 } Ω = {2,3} 𝑃 = �0 1

1 0�

El período de esta cadena es 2, y 𝑝22(2) = 𝑝33

(2) = 1 ⇒ 𝜋2 = 𝜋3 = 12



El beneficio obtenido cada día depende del número de tortas producidas y del número de tortas demandadas. Si 𝑋𝑛 = 2 el beneficio esperado es de Bs. 1000, ya calculado en el caso 1

𝐸(𝑌𝑛|𝑋𝑛 = 2) = 1000

Si 𝑋𝑛 = 3 , las tortas vendidas pueden ser

n

n

n

n

P D 0 0,05P D 1 0,10P D 2

( )( )( )( )

0,35 P D 3 0,30 0,20 0,50

= =

= =

=

=

≥ = + =

Si nD = 0 ⇒ Se pierden las tres tortas producidas ⇒ nY = -1200 Si nD = 1 ⇒ Se vende una y se pierden dos ⇒ nY = -400 x 2 +600 = - 200 Si nD = 2 ⇒ Se venden dos tortas y se pierde una ⇒ nY = -400 +2 x 600 = 800 Si nD ≥ 3 ⇒ Se venden las tortas producidas ⇒ nY = 3 x 600 = 1800 𝐸(𝑌𝑛|𝑋𝑛 = 3) = −1200 (0,05) − 200 (0,10) + 800 (0,35) + 1800 (0,50) = Bs. 1100 Los días que se produzcan dos tortas el beneficio esperado es de Bs. 1000, los días que se produzcan tres tortas, el beneficio esperado es de Bs. 1100. La mitad de los días se producen dos tortas, y la otra mitad tres tortas, por lo tanto el beneficio esperado de la cadena a largo plazo es:

𝑬(𝒀𝒏) = 𝟏𝟐(1000) + 𝟏

𝟐(1100) = Bs. 1050 diarios

En el tercer caso, la estrategia propuesta por el Sr. Eudomar Santos, la cadena constituye una caminata aleatoria, pues desde un estado solo se puede acceder a él mismo, o a sus dos vecinos. En efecto, en este caso la cadena es de la forma {𝑋𝑛(𝑡): 𝑡 ∈ ℕ} , mientras que el espacio de estados es Ω = {0, 1 2, 3, 4} Para hallar la matriz de transición hay que tener presente que la demanda 𝐷𝑛 en un día cualquiera, es independiente del número de tortas fabricada ese mismo día 𝑋𝑛 En efecto, es de suponer que los clientes no tienen por qué saber cuántas tortas se produjeron ese día; ellos acuden aleatoriamente a la pastelería. De igual manera, el dueño de la pastelería cuando fabrica las tortas en la mañana, no sabe cuántas tortas le van a requerir ese día. Por las razones antes expuestas, es lógico suponer que 𝑋𝑛 y 𝐷𝑛 son variables aleatorias independientes ⇒ 𝑃(𝐷𝑛 = 𝑗│𝑋𝑛 = 𝑖) = 𝑃(𝐷𝑛 = 𝑗)

La regla de transición propuesta es: n n n

n 1 n n n

n n n

X ; si X DX X -1 ; si X D

X +1 ; si X D+

== > <



La matriz de transición es

.05 .95 0 0 0

.05 .10 .85 0 0P 0 .15 .35 .50 0

0 0 .50 .30 .200 0 0 .80 .20

=

El razonamiento para hallar esta matriz es como sigue 𝑝23 = Probabilidad de pasar de 2 a 3 = 𝑃(𝐷𝑛 ≥ 3│𝑋𝑛 = 2) = 𝑃(𝐷𝑛 ≥ 3) = 0.5 𝑝22 = Probabilidad de pasar de 2 a 2 = 𝑃(𝐷𝑛 = 2│𝑋𝑛 = 2) = 𝑃(𝐷𝑛 = 2) = 0.35 𝑝21 = Probabilidad de pasar de 2 a 1 = 𝑃(𝐷𝑛 ≤ 1│𝑋𝑛 = 2) = 𝑃(𝐷𝑛 ≤ 1) = 0.15 𝑝34 = Probabilidad de pasar de 3 a 4 = 𝑃(𝐷𝑛 ≥ 4│𝑋𝑛 = 3) = 𝑃(𝐷𝑛 ≥ 4) = 0.20 y así sucesivamente Todos los estados se comunican, se trata de una cadena irreductible con estados recurrentes y aperiódicos, y por lo tanto lim𝑛→∞ 𝑷𝒏 existe Una vez hallada la matriz de transición se debe buscar el vector de estado

permanente resolviendo el sistema i k

ii 0

P

1=

=

π = π π =∑

0 1 2 3 4( )π π π π π = 0 1 2 3 4( )π π π π π

.05 .95 0 0 0

.05 .10 .85 0 00 .15 .35 .50 00 0 .50 .30 .200 0 0 .80 .20

El sistema queda

0 0 1

1 0 1 2

2 1 2 3

3 2 3 4

4 3 4

.05 .05 .95 .10 .15 .85 .35 .50 .50 .30 .80 .20 .20

π = π + ππ = π + π + ππ = π + π + ππ = π + π + ππ = π + π

Una de las ecuaciones sobra por ser combinación lineal de las otras, se elimina

cualquiera de ellas, se sustituye por i 4

ii 0

1=

=

π =∑ , y se resuelve el sistema.

0 0 1

1 0 1 2

2 1 2 3

3 2 3 4

0 1 2 3 4

.05 .05 .95 .10 .15 .85 .35 .50 .50 .30 .80

+ 1

π = π + ππ = π + π + ππ = π + π + ππ = π + π + π π π + π + π + π =

Resolviendo:

0

1

2

3

4

0.003810.072450.410550.410550.10264

π =π =π =π =π =



𝜋 = ( )0.00381 0.07245 0.41055 0.41055 0.10264 es el vector de estado permanente, y representa la proporción de tiempo que el proceso permanece en cada uno de sus estados; es decir que según la recomendación del Sr. Eudomar Santos, el 0.381% de los días no se produce la torta, el 7.245 % de los días se produce una, etc., el 10.264% se producen 4 tortas ese día. El beneficio promedio asociado a cada estado es: Cuando 𝑋𝑛 = 0 , no se produjo ninguna torta ⇒ 𝑌𝑛 = 0 ⇒ 𝐸(𝑌𝑛|𝑋𝑛 = 0) = 0

Si 𝑋𝑛 = 1 n n

n n

Y -400 ; si D =0 Y 600 ; si D 1 =

= ≥⇒ 𝐸(𝑌𝑛|𝑋𝑛 = 1) = −400(. 05) + 600(. 95) = 550

n n

n n n

n n

Y -800 ; si D =0 Si X 2 Y 200 ; si D 1

Y 1200 ; si D 2

== = = = ≥

⇒ 𝐸(𝑌𝑛|𝑋𝑛 = 2) = 1000

n n

n nn

n n

n n

Y -1200 ; si D =0 Y 200 ; si D 1

Si X 3Y 800 ; si D 2Y 1800 ; si D 3

= = − ==

= = = ≥

⇒ 𝐸(𝑌𝑛|𝑋𝑛 = 3) = 1100

n n

n n

n n n

n n

n n

Y -1600 ; si D = 0 Y 600 ; si D 1

Si X 4 Y 400 ; si D 2Y 1400 ; si D 3Y 2400 ; si D 4

= = − == = = = = = =

⇒ 𝐸(𝑌𝑛|𝑋𝑛 = 4) = 900

El beneficio diario promedio para la cadena completa resulta ser:

𝐸(𝑌𝑛) = �𝜋𝑖𝐸(𝑌𝑛|𝑋𝑛 = 𝑖)𝑖=4

𝑖=0

𝐸(𝑌𝑛) = 0,00381(0) + 0,07245(550) + 0,41055(1000) + 0,41055(1100) + 0,10264(900) 𝑬(𝒀𝒏) = 𝑩𝒔.𝟗𝟗𝟒,𝟑𝟖 𝒅𝒊𝒂𝒓𝒊𝒐𝒔

Del análisis realizado, se concluye entonces que entre las tres recomendaciones, la óptima es la segunda, debido a que es la que reporta un beneficio diario promedio mayor. Queda como pregunta para el lector: ¿Identifica Ud. otra opción mejor que esta? ¿Cuál y por qué?

10. EJERCICIOS Y PROBLEMAS DIVERSOS

Ejemplo 23: Un mecanismo puede estar en 4 posiciones diferentes sobre una circunferencia, de la forma como se señala en la figura:



En cada paso, el mecanismo puede con probabilidad 3

4 , girar 90º en

sentido de las manecillas del reloj, y con probabilidad 1

4 puede girar 90º en

sentido contrario

a) Si inicialmente, el mecanismo está en la posición 0, calcule la probabilidad de que en el cuarto paso, el mecanismo se encuentre nuevamente en esa misma posición b) ¿Cuál es la probabilidad de que el primer regreso a la posición 0, sea en el cuarto paso? c) ¿Cuál es la proporción de tiempo que el mecanismo permanece en cada una de las posiciones? Solución: Se trata de una cadena {𝑋𝑛(𝑡): 𝑡 ∈ ℕ} cuyo espacio de estados es Ω = {0,1, 2, 3}. El vector inicial de inicial de estado es 𝜋0 = (1 0 0 0) , y su matriz

de transición es 𝑃 =

⎝

⎜⎜⎛

0 34

0 14

14

0 34

0

0 14

0 34

34

0 14

0⎠

⎟⎟⎞

Matriz doblemente estocástica

A primera vista no se sabe si la cadena es irreductible o reductible, y es necesario analizar la conectividad entre los estado. 𝐸0 ↔ 𝐸1; 𝐸1 ↔ 𝐸2;𝐸2 ↔ 𝐸3 ⇒ Todos los estados se comunican. Es irreductible Sin embargo, la matriz no es regular, algunos de sus elementos son iguales a 0, y todos los de su diagonal principal son iguales a 0, y por lo tanto pudiera ser periódica, pues ningún estado regresa a él en un paso. Es necesario examinar las diferentes potencias de P, y si alguna resulta ser una matriz regular, la conclusión es que se trata de una matriz ergódica.

En general: 𝑝𝑖𝑖

(𝑛) = 2𝑛+12𝑛+1

,𝑛 𝑝𝑎𝑟 ; 𝑝𝑖𝑖(𝑛) = 0,𝑛 𝑖𝑚𝑝𝑎𝑟

En conclusión, se trata obviamente de una cadena periódica, donde sólo es posible regresar a cada uno de los estados en un número par de pasos. a)El vector de estado para el cuarto paso es



𝜋4 = 𝜋0𝑃4 = ( )

17 150 032 32

17 150 0 17 1532 321 0 0 0 0 032 3215 170 0

32 3215 170 032 32

=

La probabilidad de que en el cuarto paso el mecanismo haya regresado a la posición 0 es 𝑝00

(4) = 1732

b) La probabilidad anterior no constituye necesariamente el primer regreso, pudo haber regresado previamente en el paso 2 y luego regresar por segunda vez en paso 4.

𝑓00(4) = 𝑃(𝑇00 = 4) = 𝑝00

(4) − 𝑝00(2)𝑝00

(2) =1732

−38∙

38

=2564

o también:

𝑓00(4) = 𝑃(𝑇00 = 4) = 𝑝02

(2)𝑝20(2) =

58∙

58

=2564

c) Se trata de una cadena de período d=2, pero donde la probabilidad de regreso 𝑝𝑖𝑖

(𝑑) no es constante. 𝑝𝑖𝑖

(𝑛) = 2𝑛+12𝑛+1

,𝑛 𝑝𝑎𝑟 ⇒ 𝑝𝑖𝑖(𝑛) = 1

2+ 1

2𝑛+1 ;𝑛 𝑝𝑎𝑟 ⇒ lim𝑛→∞ 𝑝𝑖𝑖

(𝑛) = 12

Cada dos pasos, el promedio de permanencia en los estados es (12

12

12

12) y de

allí que el vector de estado permanente, que representa el promedio de permanencia por unidad de tiempo, es decir por paso, sea 𝜋 = (1

4 14

14

14)

Este resultado era previsible por tratarse de un proceso con una matriz doblemente estocástica, las cuales tienen la propiedad mencionada en su oportunidad (página 32) , de tener un vector de estado permanente con distribución uniforme. Ejemplo 24: Los mensajes se trasmiten en sistema binario utilizando sólo ceros y unos. En cada etapa, un sistema de trasmisión puede cometer errores, y trasmitir como uno a un cero, esto ocurre con probabilidad 0.02; y también puede incurrir en el error de trasmitir a un cero como uno con probabilidad 0.01. Un mensaje consta de 7 ceros y de 3 unos, y va a ser trasmitido a través de tres etapas. a) ¿Cuál es la probabilidad de que llegue a su destino, correctamente trasmitido? b) Si el mensaje llegó correcto, ¿cuál es la probabilidad de que haya sido correctamente trasmitido en todas las etapas? Solución a) La cadena presenta solo dos estados Ω = {0,1} y las probabilidades de transición en un paso representan: 𝑝00= Probabilidad de que un cero llegue como cero = 0.98 𝑝01= Probabilidad de que un cero llegue como uno = 0.02 𝑝10= Probabilidad de que un uno llegue como cero = 0.01



𝑝11= Probabilidad de que un uno llegue como uno = 0.99 𝑃 = �0.98 0.02

0.01 0.99� ⇒ 𝑃3 = �0.9418 0.05820.0291 0.9709�

De la matriz 𝑃3 se deduce que la probabilidad de que un cero llegue correctamente trasmitido al cabo de tres etapas es 𝑝00

(3) = 0.9418 , mientras que para el uno es 𝑝11

(3) = 0.9709 Si el mensaje consta de 7 ceros y de 3 unos, la probabilidad de que llegue correctamente trasmitido es (0.9418)7 (0.9709)3 = 0,6015 b) Si el mensaje llegó correcto no necesariamente fue trasmitido correctamente en todas las etapas, puede haberse cometido un error en una etapa intermedia y luego corregirse con otro error en sentido contrario en otra de las etapas. El razonamiento para enfrentar esta pregunta b), es como sigue: Sea el evento A = El mensaje llegó correctamente trasmitido Sea el evento B = El mensaje fue correctamente trasmitido en todas las etapas Se quiere calcular 𝑃(𝐵|𝐴) = 𝑃(𝐴∩𝐵)

𝑃(𝐴)= 𝑃(𝐵)

𝑃(𝐴) 𝑝𝑜𝑟 𝑠𝑒𝑟 𝐵 ⊆ 𝐴

𝑃(𝐵) = [(0.98)3]7[(0.99)3]3 = 0.5977 ⇒ 𝑃(𝐵|𝐴) =0.59770,6015

= 0.9936

Ejemplo 25: Considere una cadena {𝑋𝑛; 𝑛 ∈ ℕ} con tres estados Ω = {0,1,2} y

con matriz de transición 𝑃 = �0.4 0.5 0.10.3 0.3 0.40.2 0.7 0.1

� , y que arranca del estado inicial X0

=2. Halle las siguientes probabilidades: a) 𝑃(𝑋1 = 1|𝑋2 = 1) b) 𝑃(𝑋1 = 1|𝑋2 = 0) 𝑐)𝑃(𝑋1 = 0|𝑋2 = 1) 𝑑)𝑃(𝑋1 = 2|𝑋3 = 2) e) ¿cuál es la probabilidad de que la primera visita al estado 0 sea en el cuarto paso? f) Hallar el vector de estado permanente. g) Calcular el tiempo medio de permanencia en cada estado y el tiempo medio de transición entre estados Solución: Este tipo de ejercicios teóricos es muy frecuente de encontrar en la bibliografía sobre el tema, comprenden casi todo el material incluido en este resumen, y para resolverlos lo más conveniente es construir un árbol, o en su defecto, si éste resulte muy largo, identificar todas las trayectorias posibles que llevan a un resultado determinado. En el caso de que se pidan probabilidades condicionales, es necesario tener en cuenta que 𝑃(𝐵|𝐴) = 𝑃(𝐴∩𝐵)

𝑃(𝐴)

En este ejemplo, el árbol para dos pasos del proceso es:



𝑎) 𝑃(𝑋1 = 1|𝑋2 = 1) = 𝑃(𝑋1=1 ∧ 𝑋2=1)

𝑃(𝑋2=1)= 0.7𝑥0.3

0.2𝑥0.5+0.7𝑥0.3+0.1𝑥0.7= 0.21

0.38= 0.5526

𝑃(𝑋2 = 1) también puede ser calculada sin recurrir al árbol, mediante el término

𝑝21(2) de la matriz de transición en dos pasos 𝑃2 = �

0.33 0.42 0.250.29 0.52 0.190.31 0.38 0.31

�

b) 𝑃(𝑋1 = 1|𝑋2 = 0)= 𝑃(𝑋1=1 ∧ 𝑋2=0)𝑃(𝑋2=0) = 0.7𝑥0.3

0.2𝑥0.4+0.7𝑥0.3+0.1𝑥0.2= 0.21

0.31= 0.6774

𝑐) 𝑃(𝑋1 = 0|𝑋2 = 1) = 𝑃(𝑋1=0 ∧ 𝑋2=1)

𝑃(𝑋2=1)= 0.2𝑥0.5

0.2𝑥0.5+0.7𝑥0.3+0.1𝑥0.7= 0.10

0.38= 0.2632

d)P(X1 = 2|X3 = 2) =P(X1 = 2 ∧ X3 = 2)

P(X3 = 2)



Para calcular 𝑃(𝑋3 = 2) se necesitaría prolongar el árbol para incluir el tercer paso, o más fácilmente mediante el término 𝑝22

(3) de la matriz de transición en tres

pasos 𝑃3 = �0.308 0.466 0.2260.310 0.434 0.2560.300 0.486 0.214

� ⇒ 𝑃(𝑋3 = 2) = 𝑝22(3) = 0.214

El numerador 𝑃(𝑋1 = 2 ∧ 𝑋3 = 2) estaría representada en el árbol por las siguiente trayectorias, teniendo en cuenta que el proceso arrancó del Estado 2 2 → 2 → 0 → 2 Probabilidad = 0.1x0.2x0.1 = 0.002 2 → 2 → 1 → 2 Probabilidad = 0.1x0.7x0.4 = 0.028 2 → 2 → 2 → 2 Probabilidad = 0.1x0.1x0.1 = 0.001 Por tanto: 𝑃(𝑋1 = 2 ∧ 𝑋3 = 2) = 0.002 + 0.028 + 0.001 = 0.031 A este mismo resultado se llega con el razonamiento 𝑃(𝑋1 = 2 ∧ 𝑋3 = 2) exige estar en el estado 2 en un paso, y pasar de 2 a 2 en 2 pasos, y de allí 𝑃(𝑋1 = 2 ∧ 𝑋3 = 2) = 𝑝22

(1)𝑝22(2)= 0.1 x 0.31 = 0.031

En conclusión 𝑃(𝑋1 = 2|𝑋3 = 2) = 𝑃(𝑋1=2 ∧ 𝑋3=2)𝑃(𝑋3=2)

= 0.0310.214

= 0.1449 e) Para hallar la probabilidad de que la primera visita al estado 0 sea en el cuarto paso se cuenta con varias opciones; una de ellas es la de analizar las diferentes trayectorias para finalmente sumar sus probabilidades. El proceso arranca del estado 2, y las posibles trayectorias son: 2 → 1 → 1 → 1 → 0 Probabilidad = 0.7 x 0.3 x 0.3 x 0.3 = 0.0189 2 → 1 → 1 → 2 → 0 Probabilidad = 0.7 x 0.3 x 0.4 x 0.2 = 0.0168 2 → 1 → 2 → 1 → 0 Probabilidad = 0.7 x 0.4 x 0.7 x 0.3 = 0.0588 2 → 2 → 1 → 1 → 0 Probabilidad = 0.1 x 0.7 x 0.3 x 0.3 = 0.0063 2 → 1 → 2 → 2 → 0 Probabilidad = 0.7 x 0.4 x 0.1 x 0.2 = 0.0056 2 → 2 → 1 → 2 → 0 Probabilidad = 0.1 x 0.7 x 0.4 x 0.2 = 0.0056 2 → 2 → 2 → 1 → 0 Probabilidad = 0.1 x 0.1 x 0.7 x 0.3 = 0.0021 2 → 2 → 2 → 2 → 0 Probabilidad = 0.1 x 0.1 x 0.1 x 0.2 = 0.0002 𝑃(𝑇20 = 4) = 𝑓20

(4) = 0.1143 Otro procedimiento alternativo para calcular esta misma probabilidad .es el ya explicado en la página 20, basado en:

𝑓20 (4) = 𝑝20

(4) − 𝑓20 (1)𝑝00

(3)−𝑓20 (2)𝑝00

(2) − 𝑓20 (3)𝑝00

𝑃4 = �0.3082 0.4520 0.23980.3054 0.4644 0.23020.3086 0.4456 0.2458

� ⇒ 𝑝20 (4) = 0.3086 ; 𝑝00

(3) = 0.308 ;𝑝00 (2) = 0.33 ;

𝑓20 (1) = 𝑝20 = 0.2 ;

𝑓20 (2) = 𝑝20

(2) − 𝑓20 (1)𝑝00 = 0.31 − 0.2 ∙ 0.4 = 0.23

𝑓20 (3) = 𝑝20

(3) − 𝑓20 (1)𝑝00

(2) − 𝑓20 (2)𝑝00 = 0.300 − 0.2 ∙ 0.33 − 0.23 ∙ 0.4 = 0.1420

𝑓20

(4) = 0.3086 − 0.2 ∙ 0.308 − 0.23 ∙ 0.33 − 0.1420 ∙ 0.4 = 0.1143



f) Antes de hallar el vector de estado permanente “π”, se debe comenzar analizando el tipo de cadena. En este caso la matriz P es regular 𝑝𝑖𝑖 ≠ 0 ; ∀(𝑖, 𝑗) ⇒ P es ergódica

Para hallar “π” se debe resolver el ya conocido sistema de la página 32: i k

ii 0

P

1=

=

π = π π =∑

(𝜋0 𝜋1 𝜋2) = (𝜋0 𝜋1 𝜋2)�0.4 0.5 0.10.3 0.3 0.40.2 0.7 0.1

� ⟹ 0 0 1 2

1 0 1 2

2 0 1 2

0.4 0.3 0.20.5 0.3 0.70.1 0.4 0.1

π = π + π + ππ = π + π + ππ = π + π + π

La tercera es la suma de las dos primeras, y se sustituye por 𝜋0 + 𝜋1 +𝜋0 =1, 0 1 2

0 1 2

0 1 2

0.6 0.3 0.2 0quedando 0.5 0.7 0.7 0

1

− π + π + π = π − π + π =π + π + π = ⇒

0

1

2

0.307020.456140.23684

π =π =π =

Vector de estado permanente 𝜋 = (0.30702 0.45614 0.23684) g) Para hallar los tiempos medios de transición entre estados se debe aplicar el procedimiento explicado en la página 40, que conduce al siguiente sistema de ecuaciones:

01 01 21

02 02 12

10 10 20

12 02 12

20 10 20

21 01 21

=1+ 0.4 0.1 =1+ 0.4 0.5 =1+ 0.3 0.4 =1+ 0.3 0.3 =1+ 0.7 0.1

=1+ 0.2 0.1

µ µ + µµ µ + µµ µ + µµ µ + µµ µ + µµ µ + µ ⇒

01

02

10

12

20

21

=1.9231 =4.4444 =3.7143=3.3333 =4

=1.5835

µµµµµµ

Ejemplo 26: Un policía X se encuentra persiguiendo a un ladrón Y. Ambos se mueven dentro del mismo espacio de estados Ω = {1,2,3} , pero con diferentes

matrices de transición 𝑃𝑋 = �0.6 0.2 0.20.2 0.6 0.20.2 0.2 0.6

� , 𝑃𝑌 = �0 0.5 0.5

0.5 0 0.50.5 0.5 0

�.

Inicialmente se encuentran en diferentes estados, y la persecución termina cuando por primera vez ambos coinciden en el mismo estado. a) ¿Cuál es la probabilidad de que la persecución se prolongue por más de tres pasos? b) ¿Cuál es el número esperado de pasos para que la persecución termine?



Solución: Este interesante problema es un caso particular de una situación más amplia que más adelante comentaré. Las matrices de transición que aquí se señalan, son ambas doblemente estocásticas, y simplifican el problema por presentar una propiedad que en general no siempre se cumple: La probabilidad de que X y Y coincidan en un determinado paso, es siempre la misma, independientemente de cual haya sido su ubicación en el paso anterior. En efecto, X y Y pueden ocupar posiciones diferentes de 6 maneras distintas (1,2) (1,3) (2,1) (2,3) (3,1) y (3,2). La probabilidad de que en el próximo paso se encuentren es Desde (1,2): X permanece en 1, Y pasa a 1 o X pasa a 3, Y pasa a 3 Probabilidad de encontrarse = 𝑝𝑋11 ∙ 𝑝𝑌21 + 𝑝𝑋13 ∙ 𝑝𝑌23 = 0.6 ∙ 0.5 + 0.2 ∙ 0.5 = 0.40 Desde (1,3): X permanece en 1, Y pasa a 1 o X pasa a 2, Y pasa a 2 Probabilidad de encontrarse = 𝑝𝑋11 ∙ 𝑝𝑌31 + 𝑝𝑋12 ∙ 𝑝𝑌32 = 0.6 ∙ 0.5 + 0.2 ∙ 0.5 = 0.40 Desde (2,1): X permanece en 2, Y pasa a 2 o X pasa a 3, Y pasa a 3 Probabilidad de encontrarse = 𝑝𝑋22 ∙ 𝑝𝑌12 + 𝑝𝑋23 ∙ 𝑝𝑌13 = 0.6 ∙ 0.5 + 0.2 ∙ 0.5 = 0.40 Desde (2,3): X permanece en 2, Y pasa a 2 o X pasa a 1, Y pasa a 1 Probabilidad de encontrarse = 𝑝𝑋22 ∙ 𝑝𝑌32 + 𝑝𝑋21 ∙ 𝑝𝑌31 = 0.6 ∙ 0.5 + 0.2 ∙ 0.5 = 0.40 Desde (3,1): X permanece en 3, Y pasa a 3 o X pasa a 2, Y pasa a 2 Probabilidad de encontrarse = 𝑝𝑋33 ∙ 𝑝𝑌13 + 𝑝𝑋32 ∙ 𝑝𝑌12 = 0.6 ∙ 0.5 + 0.2 ∙ 0.5 = 0.40 Desde (3,2): X permanece en 3, Y pasa a 3 o X pasa a 1, Y pasa a 1 Probabilidad de encontrarse = 𝑝𝑋33 ∙ 𝑝𝑌23 + 𝑝𝑋31 ∙ 𝑝𝑌21 = 0.6 ∙ 0.5 + 0.2 ∙ 0.5 = 0.40 En virtud de este hecho, si en un paso cualquiera están en estados diferentes, la probabilidad de que se produzca la captura en el siguiente es constantemente p=0,40; lo cual trae como consecuencia que la variable: W= Número de pasos hasta que se produzca la captura siga una distribución geométrica con probabilidad de éxito p=0,4, y cuya función de masas es: 𝑓(𝑤) = 𝑃(𝑊 = 𝑤) = 0.4 (0.6)𝑤−1;𝑤 = 1,2,3,⋯ (Véase Modelos discretos de Probabilidad. Arvelo)

a) En consecuencia 𝑃(𝑊 > 3) = (0.6)3 = 0.2160 b) 𝐸(𝑊) = 1

𝑝= 1

0.40= 2.5 pasos

Este problema se puede generalizar de las siguientes maneras:

• Las matrices de transición son matrices regulares cualesquiera • El conjunto de estados no es el mismo para ambos, solo algunos de los

estados son comunes, y por lo tanto la captura solo puede producirse si la coincidencia en un estado común ocurre en el mismo paso.

Queda como tema de reflexión y de investigación para el lector, la solución de este problema en el caso general Ejemplo 27: Para obtener el título de “Técnico Superior” en una prestigiosa institución es necesario cursar estudios durante dos años.



El primer año es de formación general en aula, mientras que el segundo año es de formación práctica en talleres y laboratorios, por lo que resulta más costoso que el primero. La probabilidad de que un alumno apruebe satisfactoriamente el primer año es de 0.5, de que sea reprobado y deba repetirlo de 0.3, y de que abandone y se retire de 0.2. Para el segundo año estas probabilidades son de 0.7, 0.2 y 0.1 respectivamente. Los alumnos que abandonan y se retiran no son readmitidos, y los que completan satisfactoriamente los dos años de estudio, obtienen el título. El costo de la matrícula es de $ 1000 anuales para el primer año, y de $ 1800 anuales para el segundo. a) ¿Cuál es la probabilidad de que un alumno se gradúe? b) ¿Cuál es la probabilidad de que un alumno tarde exactamente cuatro años en graduarse? c) Si un alumno se graduó, ¿cuál es la probabilidad de que lo haya hecho en exactamente cuatro años? d) Para los alumnos que se gradúan ¿Cuál es el tiempo promedio en graduarse? e) ¿Cuál es el costo esperado de obtener el título? Solución: a) La cadena presenta cuatro estados Ω = {0,1,2,3} Eo: El alumno se retiró ⇒ Estado absorbente E1: El alumno cursa primer año E2: El alumno cursa segundo año E3: El alumno se graduó ⇒ Estado absorbente El diagrama de estados

Matriz de transición:

1 0 0 00.2 0.3 0.5 0

P0.1 0 0.2 0.70 0 0 1

=

Un alumno se gradúa cuando es absorbido por el estado E3, de manera que para calcular la probabilidad de que un alumno se gradúe, es necesario calcular probabilidad de absorción para el estado E3. Como la cadena no es irreductible, presenta dos estados absorbentes, la probabilidad de absorción depende del estado inicial. En este caso se entiende que la pregunta se refiere a un alumno que comienza, y que por lo tanto su estado inicial es E1. Según lo explicado en la página 35, consideremos las siguientes probabilidades: 𝑝1=Probabilidad de que el alumno se gradúe cuando está en primer año 𝑝2= Probabilidad de que el alumno se gradúe cuando está en segundo año 𝑝1 = 0.3 𝑝1+ 0.5 𝑝2



𝑝2 = 0.2 𝑝2 + 0.7 Resolviendo el sistema se obtiene: 𝑝1 = 5

8 𝑝2 = 7

8

Cuando está en primer año, la probabilidad de graduarse es 58 , mientras que si

está cursando segundo año es de 78

Es de suponer que la pregunta se refiere a probabilidad de graduarse para un alumno que comienza la carrera 5

8

b) La probabilidad de que un alumno se gradúe en exactamente cuatro años, representa la probabilidad de que la primera visita al estado E3 sea en el cuarto paso, y es aplicable el procedimiento convencional ya explicado para ello Sin embargo en este caso donde el estado E3 es accesible solamente desde E2, cabe el siguiente razonamiento exclusivo para estos casos: El alumno se gradúa en exactamente cuatro años, si en tres pasos se encuentra en el estado E2, y en el cuarto paso, hace la transición a E3. El vector de estado en el tercer paso es: 𝝅𝟑 = 𝝅𝟎𝑷𝟑 𝜋0 = (0 1 0 0) pues el proceso arranca con el alumno en el estado E1

⇒ 𝜋3 = (0.353 0.027 0.095 0.525)

La probabilidad de que en el tercer paso el alumno esté en E2 es 0.095, mientras que la probabilidad de que en el cuarto paso haga la transición a E3 es 0,7 Por lo tanto la probabilidad de que el alumno haga su primera visita al estado 3 en el cuarto paso, es decir se gradúe justamente en el cuarto año es:

𝑓13(4) = 𝑃(𝑇13 = 4) = 0.095 ∙ 0.7 = 0.0665

Otro camino alterno que pudiera ser aplicado aquí es el siguiente: Un alumno se gradúa en cuatro años cuando resulta reprobado dos veces en el primer año lo aprueba a la tercera vez y luego aprueba el segundo año a la primera, o repite una vez el primer año lo aprueba a la segunda repite una vez el segundo año y lo aprueba a la segunda, o aprueba el primer año repite dos veces el segundo y finalmente lo aprueba a la tercera. Bajo este razonamiento se tiene:

𝑓13(4) = (0.3)2(0.5)(0.7) + (0.3)(0.5)(0.2)(0.7) + 0.5(0.2)2(0.7) = 0.0665

Este último procedimiento se conoce como la convolución entre los tiempos de transición a cada estado intermedio 𝑓13

(4) = ∑ 𝑓12(𝑛)𝑛=3

𝑛=1 𝑓23(4−𝑛)

Resulta curioso señalar que mediante este procedimiento, es posible calcular también la probabilidad de graduarse. En efecto, la probabilidad de graduarse en “n” años es la sumatoria entre las probabilidades de aprobar el primer año en “i” años multiplicada por la probabilidad de aprobar el segundo en “n-i” años, y así:



𝑓13(𝑛) = � �(0.5)(0.3)𝑖−1 ∙ (0.7)(0.2)𝑛−1−𝑖�

𝑖=𝑛−1

𝑖=1

Esta sumatoria puede ser manipulada algebraicamente, y tomando en cuenta la suma de los primeros términos de una serie geométrica, se llega a una expresión general para la probabilidad de graduarse en “n” años, según la cual:

𝑓13(𝑛) = 0.70 �

32∙ (0.30)𝑛−2 − (0.20)𝑛−2� ;𝑛 ≥ 2

y de allí, que la probabilidad de que un estudiante se gradúe es

𝑝1 = 0.70��32∙ (0.30)𝑛−2 − (0.20)𝑛−2� =

58

∞

𝑛=2

lo que coincide con el resultado anteriormente obtenido en el apartado a) de este mismo ejercicio. c) Este tercer apartado es una probabilidad condicional, pues se refiere a un alumno que se graduó, y para calcularla se deben considerar los siguientes eventos. A : El alumno se graduó B: El alumno se graduó en cuatro años. Obviamente A ⊆ B ⇒ 𝐴 ∩ 𝐵 = 𝐵 𝑃(𝐵|𝐴) = 𝑃(𝐴∩𝐵)

𝑃(𝐴)= 𝑃(𝐵)

𝑃(𝐴)= 0.0665

5/8= 0.1064

d) La pregunta formulada en este apartado, suele crear mucha confusión, debido a que no tiene sentido formularla en términos generales sin imponer la condición de que el tiempo promedio solicitado está restringido solamente a los alumnos que se gradúan. En efecto, si la pregunta se formula en general ¿cuál es el tiempo promedio que tarda un alumno en graduarse?, la respuesta sería infinito, pues al haber unos alumnos que nunca llegan a graduarse por haberse retirado, el tiempo de graduación para ellos sería infinito. En consecuencia lo que se pregunta es una esperanza condicionada. Si se designa por T13 al tiempo en graduarse, y por “A” al evento ya definido anteriormente, lo que se está preguntado es E(T13│A). La distribución condicional de T13 es según lo explicado en el apartado anterior

𝑃(𝑇13 = 𝑛|𝐴) =85∙ 𝑓13

(𝑛) =85∙ 0.70 �

32∙ (0.30)𝑛−2 − (0.20)𝑛−2� ;𝑛 ≥ 2

y de allí se deduce que E(T13│A)= 1.12 ∑ 𝑛 �3

2(0.30)𝑛−2 − (0.20)𝑛−2�∞

𝑛=2 = 2.6786 años (Véase Pag. 38) e) Dado que la matrícula es diferente para cada etapa, es necesario calcular el tiempo promedio que el alumno tarda en aprobar cada año de la carrera técnica, a los fines de establecer el costo promedio de obtener el título. Sea A1: Probabilidad de aprobar el primer año de la carrera A2: Probabilidad de aprobar el segundo año de la carrera



El alumno aprueba el primer año si lo aprueba al primer intento, cuya probabilidad es 0.5; al segundo intento si reprueba la primera vez y lo aprueba a la segunda cuya probabilidad es (0.3) x (0.5), etc.

𝑃(𝐴1) = �(0.5)(0.3)𝑛−1 = (0.5) ∙1

1 − 0.3

∞

𝑛=1

=57

𝑃(𝐴2) = �(0.7)(0.2)𝑛−1 = (0.7) ∙1

1 − 0.2

∞

𝑛=1

=78

𝑃(𝐴1 ∩ 𝐴2) = 𝑃(𝐴1) ∙ 𝑃(𝐴2) = 5

7∙ 78

= 58 = Probabilidad de graduarse, ya conocida

Por la razón ya explicada, el tiempo promedio en aprobar cada año debe calcularse condicionada a que el alumno lo aprobó. Sea T12: Tiempo en aprobar el primer año de la carrera T23: Tiempo en aprobar el segundo año de la carrera La distribución condicional de T12 dado A1 es:

𝑃(𝑇12 = 𝑛|𝐴1) =75∙ (0.5)(0.3)𝑛−1 = 0.7 (0.3)𝑛−1 ;𝑛 ≥ 1

E(T12│A1)= 0.7∑ 𝑛∞𝑛=1 (0.3)𝑛−1 = 1.4286 años (Véase Pag. 38)

Análogamente a distribución condicional de T23 dado A2 es:

𝑃(𝑇23 = 𝑛 |𝐴2) =87∙ (0.7)(0.2)𝑛−1 = 0.8 (0.2)𝑛−1 ;𝑛 ≥ 1

E(T23│A2)= 0.8 ∑ 𝑛∞𝑛=1 (0.2)𝑛−1 = 1.25 años

Obviamente E(T12│A1)+ E(T23│A2)=1.4286 + 1.25 = 2.6786= E(T13│A) , que es la duración esperada de la carrera para aquellos alumnos que se gradúan. Como el costo de la matrícula es de $ 1000 anuales para el primer año, y de $ 1800 anuales para el segundo, el costo esperado de obtener el título es: E(Costo) = 1000 E(T12│A1)+1800 E(T23│A2) = $ 3.678,60 Ejemplo 28:

Solución: El espacio de estados para Xn es Ω = {0,1,2} , que corresponde al número de máquinas que pueden estar operativas.



0 → 0⇒ 𝑝00 = 1

20 → 1

⇒ 𝑝01 = 12

0 → 2⇒ 𝑝02 = 0

1 → 0⇒ 𝑝01 = 1

2∙ 14

= 18

1 → 1⇒ 𝑝11 = 1

2∙ 14

+ 12∙ 34

= 12

1 → 2⇒ 𝑝12 = 1

2∙ 34

= 38

2 → 0 ⇒ 𝑝20 = 14∙ 14

= 116

2 → 1 ⇒ 𝑝21 = 2 14∙ 34

= 38

2 → 2 ⇒ 𝑝22 = 34∙ 34

= 916

La matriz de transición es: 𝑃 =

⎝

⎜⎛

12

12

018

12

38

116

38

916⎠

⎟⎞

c) Se trata de una cadena irreductible, pues todos los estados se comunican entre sí, la matriz P es ergódica, y el vector de estado estacionario es único.

Para hallarlo, se resuelve el sistema de ecuaciones: i k

ii 0

P

1=

=

π = π π =∑

cuya solución

resulta ser 𝜋 = � 531

1431

1231�

El mecánico se encuentra ocioso cuando las dos máquinas se encuentran operativas, es decir en el estado 2. La proporción de tiempo que el proceso permanece en el estado dos es 12

31∙ 100%

= 38,71 % del tiempo.



Ejemplo 29: Cada mañana un hombre va de su casa a su trabajo, y cada tarde realiza el camino inverso. La probabilidad de cada mañana llueva es de 1

3 , mientras que durante la tarde, la

probabilidad de lluvia es de 15

Este hombre posee un carro, de manera que está lloviendo, y el carro se encuentra en el mismo lugar, lo toma y conduce hasta su destino; mientras que si no está lloviendo, decide dejarlo estacionado donde se encuentra, e irse a su destino en transporte público para ahorrar combustible. Si llueve, y el carro no se encuentra en su lugar de origen, debe tomar el transporte público, y mojarse. ¿Cuál es la probabilidad de que este hombre llegue mojado a su destino? Solución: La cadena presenta cuatro estados Ω = {1,2,3,4} 1: (C, C): Hombre en su casa, carro en su casa 2: (C, O): Hombre en su casa, carro en su oficina 3: (O, C): Hombre en su oficina, carro en su casa 4: (O, O): Hombre en su oficina, carro en su oficina

nLos posibles valores de la cadena son0 ; Si llueve 1 ; Si no e

Xlluev

=ìïïíïïî

Cada día se realizan dos pasos, y las posibles transiciones son: 1 → 3 ⇒ 𝑝13 = 2

31 → 4 ⇒ 𝑝14 = 1

3

2 → 4 ⇒ 𝑝24 = 13 → 1 ⇒ 𝑝31 = 14 → 1 ⇒ 𝑝41 = 1

54 → 2 ⇒ 𝑝41 = 4

5

2 10 03 3

0 0 0 11 0 0 01 4 0 05 5

Los estados 1 y 2 solo pueden ser visitados en pasos pares, mientras que los estados 3 y 4 en pasos impares. Esta periodicidad de la cadena se debe a que en los pasos pares, el hombre sale de su casa en la mañana, mientras que en los impares sale de su oficina en la tarde.



Podemos entonces considerar dos subprocesos, uno que se refiere a las salidas de su casa en la mañana con dos estados Ω1 = {1,2}, y otro a las salidas de su oficina en la tarde con dos estados Ω2 = {3,4} , cuyas matrices de transición son:

𝑃𝑀 = �23

13

0 1��

1 015

45� = �

1115

415

15

45

�

𝑃𝑇 = �1 015

45��

23

13

0 1� = �

23

13

215

1315

�

La matriz 𝑃𝑀 se refiere a las transiciones de una mañana a otra, es decir 1115

por ejemplo, representa la probabilidad de que en una mañana estén el hombre y el carro en la casa, y la mañana siguiente también. La matriz 𝑃𝑇 se refiere a las transiciones de una tarde a otra, es decir 1

3 por

ejemplo, representa la probabilidad de transición del Estado 3 al 4, que en una tarde esté el hombre en la oficina y el carro en la casa, y la tarde siguiente estén ambos en la oficina. Cada uno de estos dos procesos, vistos por separado, son irreductibles, pues sus correspondientes matrices de transición son regulares. El vector de estado estacionario cada uno de estos dos procesos resulta ser:

Para 𝑃𝑀: 𝜋𝑀 = (37

47) Para 𝑃𝑇: 𝜋𝑇 = (2

7 57)

Lo anterior significa, que a largo plazo, la probabilidad de que en la mañana, la probabilidad de que el carro esté en la oficina es 4

7 (Estado 2), mientras que en la

tarde, la probabilidad de que el carro esté en la casa es 27 (Estado 3)

El hombre llega mojado a su oficina en la mañana cuando se encuentra en el estado 2 y esa mañana llueve. Probabilidad = 4

7∙ 13

= 421

El hombre llega mojado a su casa en la tarde cuando se encuentra en el estado 3 y esa tarde llueve. Probabilidad = 2

7∙ 15

= 235

Como el proceso es periódico, en un día cualquiera la salida puede ser de su casa o de su oficina con probabilidad ½ para cada una, por lo tanto, la probabilidad total de llegar mojado a su destino es: 1

2∙ 421

+ 12∙ 235

= 13105

Se deja como ejercicio para el lector generalizar este problema para el caso en que la persona posea “n” carros, suponiendo que los utiliza a conveniencia para trasladarse de su casa a su oficina y viceversa, pudiéndolos dejar estacionados donde se encuentre, si al momento de salir no está lloviendo.

11. EJERCICIOS Y PROBLEMAS PROPUESTOS 1º) Una tienda dedicada a la venta de computadoras aplica la siguiente política para hacer sus pedidos:



El sábado por la noche cuenta el número de computadoras que aún le quedan en existencia. Si le queda alguna, no hace ningún pedido para la semana entrante. Si se le agotó la existencia, hace un pedido de tres computadoras, que se suponen llegan a la tienda a primera hora del lunes de la semana entrante. Considere el proceso: Xk = Número de computadoras en existencia al final de la semana k. Suponiendo que la demanda de computadoras sigue una Distribución de Poisson con media una computadora por semana, encuentre: a) La Matriz de transición en un paso. b) Suponiendo que al inicio del proceso, la tienda tenía 3 computadoras en existencia, ¿Cuál es la probabilidad de que la primera vez en agotarse el inventario sea en la semana 2? c) ¿Cuál es el porcentaje de semanas que terminan con alguna computadora en existencia? Solución : c) 71,5 %

2º) Dos personas A y B, apuestan según las siguientes reglas: En cada jugada, lanzan alternadamente un par de dados comenzando “A” ; el primero en obtener suma 7 gana la apuesta. Cada uno tiene dos oportunidades, de manera que si al cuarto lanzamiento de los dados no han obtenido suma 7 no hay ganador en esa jugada. Si el ganador saca suma 7 en su primer tiro, el perdedor le paga dos monedas, pero si obtiene suma 7 en su segundo tiro, el perdedor le paga una moneda. Antes de comenzar el juego, se distribuyen aleatoriamente cinco monedas entre ellos, lanzándolas al aire; si sale cara se la dan a “A” , y si sale sello se la dan a “B”. Sea Xk = Número de monedas en poder de “A” después de k jugadas Encuentre la matriz de transición. Encuentre el vector de estado después de la tercera jugada. ¿Cuál es la probabilidad de que el juego termine en la segunda jugada por encontrarse arruinado alguno de los dos apostadores?

3º) En una carrera entre un conejo y una tortuga, el conejo le da 3 metros de ventaja a la tortuga. En cada unidad de tiempo, el conejo avanza un metro, pero la tortuga se queda donde está con probabilidad 2/3 o avanza un metro con probabilidad 1/3. La carrera termina cuando el conejo alcanza a la tortuga. Sea Xk = Ventaja que le lleva la tortuga al conejo después de k unidades de tiempo. a) Encuentre la matriz de transición entre estados. b) ¿Cuál es la probabilidad de que el conejo alcance a la tortuga en la séptima unidad de tiempo? Solución: b) 40 / 729 4º) Un apostador debe lanzar sucesivamente un dado equilibrado, hasta que hayan aparecido las seis caras posibles.



a) ¿Cuál es la probabilidad de que deba lanzarlo diez veces? c) ¿más de diez veces? d) ¿Cuál es el número esperado de lanzamientos que deberá realizar?

Solución: a) 0.82769 b) 0.72819 c) 14.7 5º) Suponga que “n” pelotas numeradas del 1 al n, se colocan aleatoriamente dentro de dos cajas. En el momento inicial, algunas de ellas están colocadas dentro de la caja 1, y el resto dentro de la caja 2. En cada paso, se selecciona al azar un número entre 1 y n; y la pelota con ese número es cambiada de caja. Sea Xk = Numero de pelotas dentro de la caja 1 al cabo de “k” pasos Este proceso se conoce como “Cadena de Ehrenfest”, y resulta de gran aplicación en la Física Estadística. Encuentre su matriz de transición

Solución: 𝑝𝑖,𝑖+1 =𝑛 − 𝑖𝑛

; 𝑝𝑖𝑖 = 0 ; 𝑝𝑖,𝑖−1 =𝑖𝑛

6º) Demuestre que si en una Cadena de Ehrenfest, el vector inicial de estado 𝜋0 sigue una distribución binomial con parámetros n y 1

2 ; entonces todos los demás vectores de

estados 𝜋𝑘; 𝑘 = 1,2,3,⋯ siguen esa misma distribución. 7º) Considere una Cadena de Markov con dos estados Ω = {0,1}, y cuya matriz de

transición es: 𝑃 = � 𝑝 1 − 𝑝1 − 𝑞 𝑞 �. Encuentre las siguientes probabilidades:

𝑎) 𝑃(𝑋1 = 0│𝑋0 = 0 ∧ 𝑋2=0) 𝑏) 𝑓00(𝑛) 𝑐) 𝑓01

(𝑛)

𝑆𝑜𝑙𝑢𝑐𝑖ó𝑛: 𝑎) 𝑝2

𝑝2 + (1 − 𝑝)(1 − 𝑞) ; 𝑏) 𝑞𝑛−2(1 − 𝑝)(1 − 𝑞); 𝑐) 𝑝𝑛−1(1 − 𝑝)

8º) En una red de transmisión de datos binarios, existe una cierta probabilidad 0,10 de que un cero sea transmitido como uno, y de 0,05 de que un uno sea transmitido como cero. Un mensaje tiene cinco ceros y dos unos, y va a ser enviado a través de una red de transmisión con tres pasos. ¿Cuál es la probabilidad de que el mensaje llegue correctamente a su destino? Solución: 0.17164 9º) Dos apostadores A y B, juegan una secuencia de juegos, lanzando sucesivamente, siempre comenzando A, un dado hasta que salga por primera vez un seis. El primero en obtener un seis gana la apuesta de una moneda, e inmediatamente después comienza la siguiente secuencia. Al iniciar, cada apostador recibe aleatoriamente una de dos bolsas, una de las cuales contiene tres monedas y la otra dos. La secuencia termina cuando uno de los dos apostadores queda arruinado. a) ¿Cuál es la probabilidad de que el apostador “A” se arruine exactamente en la quinta secuencia? b) ¿Cuál es el número esperado de secuencias que es necesario jugar? c) ¿Cuál es la probabilidad de que el apostador A gane la secuencia de juegos? Solución: a) 0,0349 b) 5.9136 c) 0.60761



10º) Una primera caja contiene inicialmente K pelotas rojas, mientras que otra segunda caja K pelotas negras. En cada paso, se elige aleatoriamente una pelota de caja y se intercambian de caja. Sea Xn= Numero de pelotas rojas en la primera caja después de “n” pasos Defina la matriz de transición correspondiente a esta cadena Solución: Es una matriz cuadrada de dimensión (k+1) x (k+1) donde y además:

002

2

ij 2

2

2

p 0i ; si j=i-1 , i=1,2, ,kk2( k i)p ; si i = j , i 0 ,i=1,2, k

k( k i) ; si j = i+1 , i=1,2, ,k-1

k0 ; en otro caso

ìï =ïïïïïïïïïï -ï= ¹íïïïï -ïïïïïïïïî

L

L

L

11º) Un taxista se mueve entre el aeropuerto (A) y dos hoteles (B y C), según las siguientes normas: Si está en el aeropuerto, irá a alguno de los dos hoteles con la misma probabilidad. Si se encuentra en uno de los hoteles, volverá al aeropuerto con probabilidad 3/4 o irá al otro hotel con probabilidad 1/4. a. Determina la matriz de probabilidades de transición de la cadena. b. Suponiendo que el taxista se encuentra en el aeropuerto en el instante inicial, calcule la probabilidad de que se encuentre en cada uno de los destinos, después de realizar el segundo viaje c. Cuando el taxista se encuentra en uno de los hoteles, ¿Cuál es el número esperado de viajes para regresar a él? d. Cuando el taxista se encuentra en uno de los hoteles, ¿Cuál es el número esperado de viajes para visitar al otro? Solución: b) 𝜋2 = �3

418

18� c) 3.5 d) 14/5

12º) Un comercio especializado en la venta de televisores, sigue al final de cada mes, la siguiente política para hacer sus pedidos al proveedor: Si el almacén no tiene existencia, realiza una orden por cuatro aparatos. Si queda un solo aparato en existencia, emite una orden por tres nuevos aparatos. Si quedan dos o más en existencia, no coloca ninguna orden. Se supone que las órdenes se hacen siempre al fin de mes, y llegan inmediatamente, es decir, a primera hora del primer día del mes siguiente. La demanda mensual de televisores es una variable aleatoria “D”, que sigue una

distribución geométrica de la forma: 𝑓(𝑑) = 13

�23�𝑑 ; 𝑑 = 0,1,2,⋯



Se supone que la demanda en cada mes es independiente de los demás meses, y que no existe demanda diferida, es decir, la demanda no satisfecha en un mes, no se traslada al siguiente. Sea Xn= Numero de aparatos en el almacén al final del mes “n” a) Encuentre la matriz de transición para este proceso markoviano. b) Si inicialmente, en el almacén hay cuatro aparatos en existencia, ¿Cuál es la probabilidad de que al final del tercer mes esté vacío? c) Cuando el almacén está lleno al final del mes, ¿cuál es el número esperado de meses que deben transcurrir, para que vuelva a terminar lleno? d) Si mantener el almacén tiene un costo fijo de $ 500 mensuales por concepto de espacio físico, personal, etc., y además mantener un televisor almacenado durante un mes, tiene un costo de $ 100 mensuales, por concepto de capital invertido, seguros, limpieza, etc. ¿Cuál es el costo mensual esperado de esta política de pedidos?

Solución: a)

16 8 4 2 181 81 27 9 316 8 4 2 181 81 27 9 34 2 1 0 09 9 38 4 2 1 027 27 9 316 8 4 2 181 81 27 9 3

æ ö÷ç ÷ç ÷ç ÷ç ÷ç ÷ç ÷÷ç ÷ç ÷ç ÷ç ÷ç ÷ç ÷ç ÷ç ÷÷ç ÷ç ÷ç ÷ç ÷ç ÷ç ÷ç ÷÷ç ÷ç ÷ç ÷ç ÷ç ÷ç ÷ç ÷÷ç ÷ç ÷ç ÷÷çè ø

b) 0.26608 c) 5 meses d) $693.33


Cadenas de Markov. Arvelo

Documents

Transcript of Cadenas de Markov. Arvelo