Notas del cursoCadenas de Markov: Una introduccion

Stella Brassesco

Departamento de Matematicas, Instituto Venezolano de InvestigacionesCientıficas, Apartado Postal 20632 Caracas 1020–A, Venezuela

sbrasses@ivic.gob.ve

EMALCA– El Salvador29 de mayo al 9 de Junio de 2011

1

1. Introduccion

Sea Ω,F , P un espacio de probabilidad, y denotemos por ω a los ele-mentos de Ω.

Un proceso estocastico es una familia Xtt∈T de variables aleatorias in-dexadas en T , que puede ser un conjunto discreto, por ejemplo 0, 1, 2, · · · ,o continuo, como por ejemplo el intervalo [0, 1] o el conjunto de los numerosreales R. Se utilizan como modelos para la evolucion del estado de un sistemacuando la dinamica es de alguna forma aleatoria, o depende de factores queno se conocen bien. En estos casos se piensa t como el tiempo, y se dice queX esta en el estado a en el tiempo t cuando Xt = a.

Supongamos T = N, y consideremos un proceso Xii∈N. Una trayectoriade este proceso es la sucesion Xi(ω)i∈N, que corresponde a una realizacion uobservacion particular a lo largo del tiempo. Estamos interesados en estudiarcaracterısticas de estas trayectorias, tales como

¿ Cuantas veces pasa por un determinado estado antes de un tiempo Tdado?

¿ Cual es la distribucion del maximo del proceso hasta cierto N dado?

¿ Cuanto vale es la esperanza del tiempo que tarda en el proceso en alcanzarun nivel dado A?

Ejercicio Describa matematicamente los eventos de las preguntas anteriores,en terminos de un proceso Xn.

2. El paseo aleatorio

Uno de los procesos mas basicos es el paseo aleatorio simple en Z, quedescribe la posicion de una partıcula que se mueve en una lınea, y en cadaunidad de tiempo da un paso de tamano 1, o bien a la derecha o bien a laizquierda, con probabilidad p y 1− p respectivamente, donde p ∈ (0, 1).

Matematicamente, Xn se expresa ası:

Xn = X0 + ξ1 + ξ2 + · · ·+ ξn (2.1)

2

donde X0 es la posicion inicial, y ξii∈N son variables aleatorias independi-entes definidas en Ω,F , P, y tales que P (ξi = 1) = 1− P (ξi = −1) = p.

Podemos representar graficamente los primeros 14 pasos de una trayec-toria:

Figura 1: Grafico de los primeros 14 pasos de un paseo aleatorio simetricocon posicion inicial 2.

En caso de que p = 12, el paseo se dice simetrico. Supongamos que X0 = 0.

Podemos calcular EXn = n(p − (1− p)

), y V arXn = 4np (1− p). Mas aun,

se puede calcular P (Xn = k), para cada n y k en N. Como cada paso tienetamano 1, es claro que si |k| > n o bien k tiene paridad distinta de la de n,entonces P (Xn = k) = 0. En los otros casos, Xn = k significa que la partıculada D pasos a la derecha e I pasos a la izquierda, de forma que D − I = k.Como D + I = n, tenemos que D = n+k

2de modo que el evento (Xn = k)

resulta igual al evento (D = n+k2). Pero

P (D =n+ k

2) =

(n

n+k2

)p

n+k2 (1− p)

n−k2

que corresponde a contar cuantas trayectorias del paseo en [0, n] puedendar n+k

2pasos a la derecha (y por lo tanto n−k

2pasos a la izquierda), y

multiplicarlas por la probabilidad de cada una de ellas, que es pn+k2 (1−p)

n−k2 .

Hemos demostrado entonces lo siguiente:

Proposicion 2.1. Sea Xn un paseo aleatorio en Z, con P (ξi = 1) = p, y

3

X0 = 0. Entonces

P (Xn = k) =

(

nn+k2

)p

n+k2 (1− p)

n−k2 si |k| < n, y si

n y k tienen la misma paridad

0 en caso contrario

Veamos un ejemplo de aplicacion de lo anterior al calculo de una prob-abilidad que tiene que ver con la trayectoria completa del paseo hasta uncierto instante.

Problema 2.2. Supongamos que tenemos un paseo simetrico, con condicioninicial X0 = a > 0, y sea b > a, y n ∈ N ¿ Cual es la probabilidad de que elpaseo este en el estado b en el tiempo n, sin haber tocado el 0?

Una interpretacion de la situacion anterior que es frecuente es la siguiente:supongamos que un jugador cuya fortuna inicial es a juega un juego justo,donde si pierde paga 1 y si gana recibe 1, de modo que su fortuna Xn a lolargo del tiempo describe un paseo simetrico. En este lenguaje, la preguntaes cual es la probabilidad de que su fortuna en el tiempo n sea b sin habersearruinado antes. Para responderla, observamos

P (Xn = b,Xn−1 6= 0, Xn−2 6= 0 · · ·X1 6= 0|X0 = a) =

P (Xn = b|X0 = a)− P (Xn = b,Xj = 0 para algun j ∈ (1, n− 1)|X0 = a)

Ahora bien, usando la proposicion anterior, obtenemos

P (Xn = b|X0 = a) = P (Xn = b− a|X0 = 0) =

(n

n+b−a2

)2n

Con respecto a la probabilidad de que el paseo llegue a b habiendo visitadoel 0, observamos, como en la siguiente figura, que a cada trayectoria que llegadesde a hasta b tocando el 0 corresponde una trayectoria que llega desde aal reflejado de b respecto del 0. Como todas las trayectorias hasta n tienenla misma probabilidad ( 1

2n) tenemos que

P (Xn = b,Xj = 0 para algunj ∈ (1, n− 1)|X0 = a) =

P (Xn = −b|X0 = a) = P (Xn = −b− a|X0 = 0) (2.2)

4

Figura 2: Trayectoria reflejada en la barrera 0

de modo que finalmente la respuesta al problema es

P (Xn = b− a)− P (Xn = −b− a) =

(n

n+b−a2

)2n

−

(n

n−b−a2

)2n

La propiedad que nos permitio calcular (2.2) se conoce como principio dereflexion.

Consideremos ahora un paseo aleatorio Xn. Recordando (2.1) observemosque, por ejemplo,

P (X4 = 2 |X3 = 1, X2 = 2, X1 = 1, X0 = 0) =

P (X3 + ξ4 = 2 |X3 = 1, X2 = 2, X1 = 1, X0 = 0) = P (X4 = 2 |X3 = 1)(2.3)

Esta propiedad, extendida a tiempos y estados cualesquiera, se llamapropiedad de Markov.

Ejercicio

1. Considere un paseo aleatorio Xn como en (2.1), con P (ξ1 = 1) = p,P (ξ1 = −1) = q := (1− p) y X0 = k ∈ (0, A).

5

Defina uk = P (Xn llegue a 0 antes que aA |X0 = k). (En lengua-je de juego, la probabilidad de que el jugador se arruine antes deobtener una fortuna A cuando su fortuna inicial es k). Muestreque, si p 6= q,

uk =(q/p)k − (q/p)A

1− (q/p)A

Sug: Verifique que uk satisface la recurrencia uk = p uk+1 + q uk−1

si k ∈ (1, A−1), con las condiciones de contorno u0 = 1 y uA = 0,y resuelva esta recurrencia.

Calcule vk := P (Xn llegue a A antes que a 0 |X0 = k).

Verifique que uk + vk = 1

Calcule uk y vk en el caso p = 12.

¿Cuanto vale P(Xn ∈ (0, A)∀n ≥ 0

)?

Suponga p > q. Calcule lımA→∞ vk.

3. Definiciones y propiedades basicas

Definicion 3.1. Un proceso Xn a valores en un espacio S satisface lapropiedad de Markov si

P (Xn+1 = j|Xn = i,Xn−1 = in−1, · · · , X0 = i0) = P (Xn+1 = j|Xn = i)

∀n ∈ N, ∀i0, i1, · · · in−1, i, j ∈ S tales que las probabilidades en la igualdadanterior estan definidas.

Un proceso de Markov homogeneo es un proceso de Markov tal queP (Xn+1 = j|Xn = i) no depende de n.

Una cadena de Markov es un proceso de Markov a tiempo discreto conespacio de estados S finito o numerable.

***

Consideraremos en lo que sigue cadenas de Markov homogeneas.

***

6

Un analisis como el de (2.3) muestra que el paseo aleatorio es una cadenade Markov homogenea con espacio de estados Z.

Si Xn es una cadena de Markov homogenea, las probabilidades de tran-sicion del estado i al estado j las denotaremos P (i, j) := P (X1 = j|X0 = i).Se acostumbra acomodarlas en forma matriz

P := P (i, j)i,j∈S

Si n es el numero de elementos de S, es una matriz de n × n. Si S no esfinito, sera una matriz infinita. P se llama matriz de transicion asociada a lacadena de Markov Xn, y es claro que se cumple∑

j∈S

P (i, j) = 1, y que 0 ≤ P (i, j) ≤ 1 ∀i, j ∈ S

Toda matriz con estas propiedades se llama matriz estocastica.Veremos que esta determina, junto con la condicion inicial, la ley de la

cadena Xn, y que por otro lado, dadas una condicion inicial y una ma-triz estocastica P, existe una cadena de Markov Xn (es decir, un espacio deprobabilidad Ω,F , P donde hay definido un proceso Xnn∈N a valores enS, que satisface la propiedad de Markov), cuya matriz de transicion es la Pdada.

Si Xn es una cadena de Markov homogenea en un espacio de estadosS, y ei ∈ S, i = 0, 1, · · · , por la definicion de probabilidad condicional y lapropiedad de Markov 3.1 tenemos que, ∀n:

P (Xn = en, Xn−1 = en−1, Xn−2 = en−2, · · · , X0 = e0) =

P (Xn = en∣∣Xn−1 = en−1, Xn−2 = en−2, · · · , X0 = e0)×

P (Xn−1 = en−1, Xn−2 = en−2, · · · , X0 = e0) =

P (en−1, en)P (Xn−1 = en−1, Xn−2 = en−2, · · · , X0 = e0) = · · ·n∏

i=1

P (ei, ei−1)P (X0 = e0)

Observemos que el conjunto de todas las probabilidades como en la primeralınea arriba, para cualesquiera conjuntos de estados, y n ∈ N determina ladistribucion de la cadena Xn. Por la ultima expresion obtenida, tenemosentonces lo siguiente:

7

Proposicion 3.2. La distribucion de Xn queda determinada por la matrizde transicion P = P (i, j)i,j∈S y la distribucion inicial de X0.

Podemos entonces referirnos a la cadena de Markov con matriz P y condi-cion inicial X0. Esta condicion inicial puede ser una variable aleatoria, o, enparticular, un valor fijo en el espacio S. Supongamos que X0 se distribuye demanera que P (X0 = i) = µ(i), i ∈ S (lo cual suele denotarse por X0 ∼ µ) Eneste caso, escribiremos Pµ cuando se quiera hacer explıcita la distribucion dela condicion inicial:

Pµ(Xn = j) =∑i∈S

P (Xn = j|X0 = i)µ(i)

Con un ligero abuso de notacion, escribimos Pi cuando X0 = i. Analoga-mente, Eµ y Ei denotaran la esperanza condicional cuando el estado iniciales µ o i, respectivamente.

De la propiedad de Markov podemos calcular las probabilidades de tran-sicion en dos pasos, que denotaremos por P (2):

P (2)(i, j) := P (X2 = j|X0 = i) =∑k∈S

P (X2 = j,X1 = k|X0 = i)

=∑k∈S

P (X2 = j,X1 = k,X0 = i)/P (X0 = i)

=∑k∈S

P (X2 = j|X1 = k,X0 = i)P (X1 = k,X0 = i)/P (X0 = i)

=∑k∈S

P (X2 = j|X1 = k)P (X1 = k|X0 = i) =∑k∈S

P (k, j)P (i, k) = P2(i, j)

donde P2(i, j) es la entrada (i, j) de la matriz P elevada al cuadrado. Porinduccion obtenemos facilmente que la probabilidad de transicion en n pasosviene dada por

P (Xn = j|X0 = i) = Pn(i, j),

donde Pn(i, j) es la entrada (i, j) de la n-esima potencia de la matriz P. A lamatriz Pn se le llama matriz de transicion en n pasos. Observe que denotamos

P (n)(i, j) = Pn(i, j).

8

La siguiente proposicion muestra como obtener cadenas de Markov porrecurrencia a partir de una sucesion de variables i.i.d. definidas en un espaciode probabilidad

(Ω,F , P

). Veremos que, ademas de resultar de utilidad para

implementar algoritmos de generacion con un computador, tambien englobala mayorıa de los ejemplos a considerar.

Proposicion 3.3. Sea Ynn≥1 una sucesion de variables aleatorias inde-pendientes definidas en cierto espacio

(Ω,F , P

). Sea S un conjunto finito o

numerable, y F : S ×R → S una funcion. Sea X0 una variable aleatoria convalores en S, independiente de Ynn≥1, y sea Xn definida por recurrenciaası:

Xn+1 = F (Xn, Yn+1) (3.1)

Entonces Xn es una cadena de Markov homogenea.

Demostracion Es claro que la recurrencia planteada genera un proceso avalores en S. Resta verificar la propiedad de Markov. Tenemos:

P(Xn+1 = j|Xn = i,Xn−1 = in−1, · · ·X0 = i0

)= (3.2)

P(F (Xn, Yn+1) = j|Xn = i,Xn−1 = in−1, · · ·X0 = i0

)=

P(F (i, Yn+1) = j

)= P

(F (Xn, Yn+1) = j|Xn = i

)= P

(Xn+1 = j|Xn = i

)Para escribir la tercera igualdad observamos que, iterando la recurrencia,

se concluye que Xn es una funcion de X0 y de Yjnj=1.

Como P(F (i, Yn+1) = j

)no depende de n, tenemos que la cadena de

Markov definida por (3.1) es homogenea.

Antes de ver algunos ejemplos, veamos como se puede aplicar la proposi-cion anterior, mostrando una particular funcion F y sucesion de variablesaleatorias Un tal que Xn+1 = F (Xn, Un+1) y de modo que las transicionesson dadas por P.

Supongamos que S = 1, 2, 3 · · ·N, sean Un i.i.d. uniformes en [0, 1].Para definir F , definimos una familia de particiones del intervalo [0, 1], comosigue:

Asociamos con la primera fila de la matriz una particion del intervalo [0, 1]enN intervalos disjuntos I1,1, I1,2, · · · I1,N de longitudes P (1, 1), P (1, 2) · · ·P (1, N).Analogamente, a la fila j, asociamos una particion del intervalo [0, 1] en N in-tervalos disjuntos Ij,1, Ij,2, · · · Ij,N de tamanos P (j, 1), P (j, 2) · · ·P (j,N). Sea

9

entonces F : S × [0, 1] → S definida por:

F (i, x) =∑j∈S

j 1IIi,j(x) (3.3)

Con la receta de la proposicion 3.3 tenemos que

Xn+1 = F (Xn, Yn+1) (3.4)

es una cadena de Markov, y de (3.2) sigue que

P (Xn+1 = j|Xn = i) = P (F (i, Un+1) = j) = P (Un+1 ∈ Ii,j) = P (i, j)

Ejemplo. Consideremos la matriz de transicion P dada en la siguiente figu-ra. Un posible conjunto de particiones del intervalo [0, 1] es mostrado a laderecha. Observe que los intervalos I2,2, I2,3I3,1 e I3,4 son vacıos.

P =

18

12

18

14

12

0 0 12

0 15

45

0

14

14

14

14

(

I4,1[)

I4,2[

I4,3)

I4,4[) ]

(I3,2

[)I3,3

]

(I2,1

[)I2,4

]

(I1,1

[)I1,2

[I1,3)

I1,4[) ]

Para obtener una realizacion de la cadena correspondiente en S = 1, 2, 3, 4,dada la condicion inicial X0, simplemente aplicamos la formula (3.4). Porejemplo, tomando la primera muestra de uniformes (aproximadas) que apareceen el listado del Apendice, en este ejemplo, tomando X0 = 2, obtenemos lasiguiente realizacion de los primeros 10 pasos: 2, 1, 4, 3, 3, 3, 2, 4, 3, 3, 3.

Comentario 3.4. La funcion F mostrada arriba no es de ninguna manerala unica posible. Encontraremos mas adelante situaciones en que sera conve-niente escoger otra funcion F .

10

4. Algunos ejemplos clasicos

Consideramos primero algunas variaciones del paseo aleatorio.

Paseo aleatorio con barrerasSean A,B ∈ Z dos valores donde se localiza una barrera. Sea X0 ∈ Z, A <

X0 < B. Xn sera entonces la posicion de una partıcula que realiza un paseoigual que antes, excepto cuando llega a A o a B. En particular tenemos

* Barreras absorbentes Al llegar a A o a B, el paseo queda absorbido poresos estados, es decir,

P (i, j) =

p si A < i < B, j = i+ 1

q si A < i < B, j = i− 1

1 si i = A, j = A

1 si i = B, j = B

0 en todos los otros casos

* Barreras reflejantes Al llegar a A o a B, el paseo es reflejado por esosestados, es decir,

P (i, j) =

p si A < i < B, j = i+ 1

q si A < i < B, j = i− 1

1 si i = A, j = A+ 1

1 si i = B, j = B − 1

0 en todos los otros casos

El paseo aleatorio con barreras absorbentes 0 y B suele interpretarse comola fortuna de un jugador que en cada unidad de tiempo apuesta 1 paraparticipar en un juego justo, y que se retira o bien porque se arruina ( llegaa 0, o bien alcanza un nivel prefijado B. Por eso se habla de problemas deruina para referirse a problemas de llegada a las barreras. En el libro [5] sepuede encontrar un estudio detallado del paseo aleatorio.

Paseo aleatorio simetrico en un grafo Consideremos un grafo conexodado, con vertices Vi, 1 = 1, 2, · · · , n y algunas aristas que los unen. El pro-

11

ceso Xn toma valores en el conjunto de los vertices, y

P (Vi, Vj) =

1di

si hay una arista entre Vi y Vj

0 en todos los otros casos,

donde di es el numero de vecinos de i, es decir, el numero de vertices conec-tados por aristas con i.

Este proceso se conoce como modelo para ratones en laberintos.

Modelo de Eherenfest Supongamos que se tienen M bolas numeradasde 1 a M , que estan repartidas en dos recipientes A y B. En cada unidad detiempo, se sortea un numero al azar entre 1 y M , y la bola con ese numerose cambia de recipiente: si estaba en A se coloca en B, y viceversa. Sea Xn

el numero de bolas en el recipiente A.En este caso, tenemos

P (i, i+1) =M − i

MP (i, i−1) =

i

My cero en todos los demas casos

Este proceso fue propuesto por P. y T. Eherenfest a comienzos del sigloXX como un modelo simplificado que pudiera aclarar la aparente contradic-cion que surgio al tratar de explicar algunos fenomenos fısicos (como el com-portamiento de un gas en un recipiente cerrado). Por un lado, se esperabaque el sistema fuese reversible y recurrente, al considerarlo como un sistemacon muchas partıculas y aplicar las leyes de la fısica clasica. Por otro, sedebıan aplicar las leyes de la termodinamica, que implican convergencia alequilibrio y decaimiento de la entropıa. Un analisis detallado de este modelo,ası como de las motivaciones para su formulacion puede encontrarse en [7] oen el trabajo original de los Ehrenfest [4]

Cadenas de nacimiento y muerte Una cadena de nacimiento y muertees una cadena Xn con espacio de estados N tal que, para ciertos pi, qi nonegativos, i = 0, 1, 2, · · · ,

P (i, i+ 1) = pi P (i, i− 1) = qi y cero en todos los demas casos

Xn se puede interpretar como el tamano de una poblacion donde en cadaunidad de tiempo o bien nace o bien muere un individuo, con probabilidadespi o qi (que dependen del numero i de individuos en ese instante).

12

Castillo de naipes o cadena de nacimiento y desastre El espaciode estados para este proceso es N, y supongamos dados

α1, α2, · · · 0 < αi < 1.

Las probabilidades de transicion son dadas por

P (k, k + 1) = αk, P (k, 0) = 1− αk si k ≥ 1, P (0, 1) = 1

y cero en los demas casos. En palabras, del estado k el proceso pasa a k + 1o a 0, con probabilidades αk y 1 − αk, respectivamente. ¿Puede dar unainterpretacion para el nombre de este proceso?

Un modelo genetico: modelo de Wright–Fisher. Supongamos quese tiene una poblacion con un numero finito fijo 2M de genes, que pueden serde tipo a o de tipo A. El tiempo se mide en generaciones, e interesa considerarel numero de genes del tipo A en la n-esima generacion, Xn. Para cada uno delos 2M genes de la la generacion n+1, se escoge su tipo independientementede entre los tipos presentes en la generacion n, con probabilidad dada por lafrecuencia relativa de cada tipo, de forma que las probabilidades de transicionson

P (Xn+1 = j|Xn = i) =

(2M

j

)( i

2M

)j(2M − i

2M

)2M−j

En el libro [11] hay varios ejemplos y una motivacion para este y otros mode-los relacionados con genetica de poblaciones, ası como una lista de referenciassobre el tema.

5. Clasificacion de estados y dinamica global

de una cadena de Markov

Una manera de visualizar una cadena de Markov es mediante un grafocuyos vertices son los estados de la cadena. Se coloca una flecha del estado ial estado j si P (i, j) > 0, y no se coloca flecha en los casos en que P (i, j) = 0.Las probabilidades de transicion P (i, j) pueden o no colocarse como etiquetassobre las flechas. Por ejemplo, para el paseo aleatorio con 5 estados y barrerasabsorbentes, se tiene el siguiente grafo asociado.

13

E1

E2

-

I I IE3

R

E4

R

E5

R

Aquellas propiedades de la cadena que dependen apenas del grafo sinetiquetas se dicen topologicas. Veremos algunas de ellas.

Definicion 5.1. El estado j de una cadena de Markov Xn se dice accesibledesde el estado i si existe N > 0 tal que P (N)(i, j) > 0. Si j es accesibledesde i e i es accesible desde j, diremos que i y j se comunican, lo cual sedenota por i ↔ j.

Como P (0)(i, i) = 1, todo estado es accesible desde sı mismo. Es facil verque ↔ establece una relacion de equivalencia en S, y como tal lo divide enclases disjuntas que se llaman clases comunicantes.

Definicion 5.2. Si solo hay una clase comunicante, la cadena se dice irre-ducible.

Definicion 5.3. Un conjunto C de estados se dice cerrado si ∀i ∈ S,∑j∈C

P (i, j) = 1

Ejemplos En el ejemplo del paseo aleatorio con 5 estados y barreras

absorbentes cuyo grafo esta dibujado mas arriba, tenemos que E1 y E5constituyen dos clases cerradas, y E2, E3, E4 constituyen una clase comu-nicante.

Es facil ver que en cambio los estados de un paseo aleatorio con bar-reras reflejantes se comunican todos entre sı por lo que esta cadena resultairreducible.

Recurrencia y transitoriedad.

Una variable aleatoria importante para el estudio de la dinamica de unacadena de Markov Xn es el tiempo de llegada al estado i ∈ S,

Ti = ınfn ≥ 1 : Xn = i

14

Definicion 5.4. El estado i se dice recurrente si

Pi(Ti < ∞) = 1

y transitorio si Pi(Ti < ∞) < 1.Un estado recurrente se dice recurrente positivo si Ei(Ti) < ∞ y recur-

rente nulo si Ei(Ti) = ∞

Proposicion 5.5. Sea Xn una cadena de Markov en S, i ∈ S y Ti < ∞el tiempo de llegada a i. Entonces el proceso XTi+nn≥0 es una cadena deMarkov con condicion inicial i, independiente de la cadena antes de Ti, XTi∧n.

DemostracionClaramente XTi+0 = i. Veamos la propiedad de Markov para XTi+n.

P(XTi+n+1 = k

∣∣XTi+n = j,XTi+n−1 = jn−1, · · · , XTi= i

)=

∑r≥1

P(XTi+n+1 = k,XTi+n = j,XTi+n−1 = jn−1, · · ·XTi

= i, Ti = r)

P(XTi+n = j,XTi+n−1 = jn−1, · · · , XTi

= i)

En vista de la propiedad de Markov (observe que Ti = r se puede expresaren terminos de Xkk≤r), el numerador en esta ultima expresion se puedeescribir como

P(Xr+n+1 = k

∣∣Xr+n = j,Xr+n−1 = jn−1, · · ·XTi= i, Ti = r

)×

P(XTi+n = j,XTi+n−1 = jn−1, · · · , Xr = i, Ti = r

)=

P(Xr+n+1 = k

∣∣Xr+n = j)P(XTi+n = j,XTi+n−1 = jn−1, · · · , XTi

= i, Ti = r)

= P (j, k)P(XTi+n = j,XTi+n−1 = jn−1, · · · , XTi

= i, Ti = r),

y entonces

P(XTi+n+1 = k

∣∣XTi+n = j,XTi+n−1 = jn−1, · · · , XTi= i

)= P (j, k)

La verificacion de la segunda afirmacion sigue de un argumento similar.

Dado i ∈ S, sea r(i) la probabilidad de que el tiempo del primer retornoal estado i sea finito, y sea N(i) en numero de veces que la cadena pasa porel estado i:

r(i) = Pi

(Ti < ∞

)N(i) =

∑n≥1

1IXn=i

15

Proposicion 5.6. Sean Ti y N(i) como arriba. Entonces,

a) Si r(i) < 1 entonces Pi

(N(i) = ∞

)= 0 y E

(N(i)

)= r(i)

1−r(i).

b) Si r(i) = 1 entonces Pi

(N(i) = ∞

)= 1

Demostracion Con ayuda de la proposicion 5.5, no es difıcil ver que

Pi

(N(i) = k

)= r(i)k

(1− r(i)

)de modo que si r(i) < 1

Pi

(N(i) = ∞

)= 1−

∑k≥0

r(i)k(1− r(i)

)= 1− 1 = 0 y

E(N(i)

)=

∑k≥1

k r(i)k(1− r(i)

)=

r(i)(1− r(i)

) d

dr(i)

(∑k≥1

k r(i)k−1)=

r(i)

1− r(i)

Una forma de verificar recurrencia de un estado es dada por la siguienteproposicion

Proposicion 5.7. El estado i es recurrente ⇔∑n≥0

P (n)(i, i) = ∞

Demostracion De la proposicion anterior tenemos que el evento N(i) = ∞tiene probabilidad 0 o 1. Xn es una cadena con estado inicial i recurrente⇔ r(i) = 1 ⇔ N(i) = ∞ c.s. ⇔ Ei

(N(i)

)= ∞. Pero

Ei

(N(i)

)=

∑n≥1

Pi(Xn = i) =∑n≥1

P (n)(i, i)

Tambien se cumple que todos los estado de una misma clase comunicantetienen las mismas propiedades de recurrencia. Precisamente

16

Proposicion 5.8. Si i ↔ j, entonces o bien ambos estados son recurrentes,o bien ambos estados son transitorios.

Demostracion Sean i, j ∈ S, i ↔ j. Entonces existen M,N tales que

P (M)(i, j) > 0, P (N)(j, i) > 0. Para cada k > 0 podemos escribir

P (M+N+k)(i, i) ≥ P (M)(i, j)P (k)(j, j)P (N)(j, i)

P (M+N+k)(j, j) ≥ P (N)(j, i)P (k)(i, i)P (M)(i, j) (5.1)

ya que en los lados izquierdos se tienen las probabilidades de retornar alestado en M + N + k pasos y en la derecha formas particulares de hacerlo.De estas desigualdades se concluye que

∑n≥0 P

(n)(i, i) y∑

n≥0 P(n)(j, j) son o

bien ambas divergentes, o bien ambas convergentes, lo cual por la proposicion5.7 significa ambos estados recurrentes o ambos transitorios.

Dada una cadena de Markov, podemos entonces descomponer el espaciode estados S = R∪T , R el conjunto de los estados recurrentes, y T el de losestados transitorios. R a su vez puede descomponerse en clases comunicantesdisjuntas y cerradas (segun la definicion 5.3)R = R1∪R2∪· · · , y la dinamicapodemos simbolizarla ası :

&%'$

R1

&%'$

R2

&%'$

R3

T

I 6

· · ·

Reordenando los estados si es necesario, la matriz de transicion luce ası :

R1

R2

R3

T

P1

P2

P3

O

∗

17

Si la condicion inicial esta en alguna de las Ri, entonces la cadena en elfuturo tomara valores solamente en Ri, y podemos considerar la dinamicarestringida a este espacio, con matriz de transicion correspondiente siendo eli-esimo bloque (Pi en el diagrama anterior). Si el estado inicial es transitorio,la cadena podra eventualmente alcanzar R, y llegar a la situacion anterior, obien quedarse en T para siempre. Esto solo puede suceder si la cadena tieneinfinitos estados transitorios. (¿Por que?)

Interesa entonces estudiar la dinamica de cadenas recurrentes e irre-ducibles.

Ejercicios

1. Muestre que si R es una clase comunicante recurrente, entonces escerrada.

2. Encuentre una cadena de Markov que tenga infinitos estados transito-rios.

3. Muestre que si i, j son dos estados transitorios, entonces P (n)(i, j) → 0cuando n → ∞.

4. Considere el paseo simetrico en Z. Diga si es irreducible. Considere elestado 0. ¿Es recurrente?

5. Considere el paseo asimetrico, y responda las mismas preguntas delitem anterior.

6. Considere la cadena para el modelo genetico de la seccion 4. Dibujeel grafo de transiciones correspondiente, y diga cuales son sus clasescomunicantes. ¿ Puede clasificarlas en recurrentes o transitorias?

7. Considere la cadena de Markov del castillo de naipes.

Muestre que todos los estados son recurrentes ⇔

lımn→∞

α1 α2 · · · αn =∏i≥1

αi = 0

Suponga que todos los estados son recurrentes. Muestre que sonrecurrentes nulos ⇔ 1 + α1α2 + α1α2α3 + · · · → ∞

18

6. Distribucion invariante

Definicion 6.1. Una distribucion de probabilidad µ en S es invariante (oestacionaria) para una cadena de Markov en S con matriz de transicionP = P (i, j) si

∀j ∈ S se cumple que µ(j) =∑i∈S

µ(i)P (i, j) (6.1)

Observe que µ puede pensarse como un vector µ(i), i ∈ S, cuyas compo-nentes satisfacen

µ(i) ≥ 0 y∑i∈S

µ(i) = 1

Las ecuaciones (6.1) en notacion vectorial, con µ escrito como vector filapueden escribirse como

µ = µP

y la definicion de distribucion invariante es equivalente a decir que µ es unautovector a izquierda con autovalor 1. Podrıamos entonces apelar al teoremade Perron–Frobenius, que garantiza la existencia de un tal autovector, almenos en el caso de P finita y positiva. (Ver por ejemplo [3]).

Sin embargo, veremos que se puede concluir tambien la existencia de unatal distribucion, y mas aun caracterizarla usando la dinamica de la cadenade Markov correspondiente a la matriz P.

Una primera propiedad de la distribucion invariante es que es en efectoinvariante para la cadena, en el sentido de que si X0 tiene distribucion µ,entonces Xn, tendra distribucion µ para todo n ≥ 0. Veamos

Pµ(X2 = j) =∑i∈S

P (x2 = j|X0 = i)µ(i)

=∑i∈S

∑k∈S

P (X2 = j,X1 = k|X0 = i)µ(i)

=∑i∈S

∑k∈S

P (X2 = j|X1 = k,X0 = i)P (X1 = k|X0 = i)µ(i)

=∑k∈S

P (k, j)∑i∈S

P (i, k)µ(i) =∑k∈S

P (k, j)µ(k) = µ(j)

Se ha usado la descomposicion del evento inicial segun la posicion en el primerpaso, la propiedad de Markov y la definicion de invariancia. Inductivamente,

19

se obtiene de la misma forma que Pµ(Xn+1 = j) = µ(j). Mas aun, para todok y conjunto de estados i0, i1, · · · ik,

Pµ(Xn = i0, Xn+1 = i1, · · · , Xn+k = ik) = µ(i0)P (i0, i1)P (i1, i2) · · ·P (ik−1, ik)

no depende de n, y la cadena esta en regimen estacionario.

Ejemplo 6.2. Consideremos la cadena con dos estados, cuya matriz de tran-sicion es (

p 1− p1− q q

)(6.2)

En este caso, las ecuaciones (6.1) se reducen al sistema de 2× 2

µ(1) = pµ(1) + (1− q)µ(2)

µ(2) = (1− p)µ(1) + qµ(2)

Cuya solucion, en caso p 6= 1 o q 6= 1 es

µ(1) =1− q

(1− p) + (1− q)

µ(2) =1− p

(1− p) + (1− q)

En el caso p = q = 1, cualquier distribucion de probabilidades µ en S esinvariante.

Ejemplo 6.3. Considere el paseo con barreras absorbentes en

S = 0, 1, 2, 3 · · · , N

(El grafo para el caso particular N = 4 esta dibujado en la seccion 5). Defin-imos δK la distribucion que asigna probabilidad 1 al estado K (y por consigu-iente, 0 a los otros). Es facil verificar que δ0 es una distribucion invariante,y tambien lo son δN y cualquier combinacion λδ0 + (1− λ)δN , λ ∈ [0, 1].

Ejemplo 6.4. Consideremos el paseo aleatorio simetrico simple en Z, ysupongamos que tiene una distribucion invariante µ. Esta tiene que satis-facer las ecuaciones: si j ∈ Z

µ(j) =1

2µ(j + 1) +

1

2µ(j − 1) =⇒ µ(j + 1)− µ(j) = µ(j)− µ(j − 1)

20

Como

µ(j + 1) =(µ(j + 1)− µ(j)

)+(µ(j)− µ(j − 1)

)· · · +

(µ(1)− µ(0)

)+ µ(0)

obtenemos de la recurrencia anterior que

µ(j + 1) = (j + 1)(µ(1)− µ(0)

)+ µ(0)

Como µ(j) ∈ [0, 1] ∀j ∈ Z, tiene que ser µ(1) − µ(0) = 0, de modo queµ(j + 1) = µ(0) ∀j, pero entonces no se puede satisfacer la condicion denormalizacion

∑i∈Z µ(i) = 1, de forma que no existe ninguna distribucion

invariante para el paseo simetrico simple en Z.

Ejemplo 6.5. Sea una cadena de nacimiento y muerte con barreras refle-jantes en 0 y N , es es decir, S = 0, 1, 2, · · · , N y probabilidades de transi-cion

P (i, i+ 1) = pi, P (i, i− 1) = qi, pi + qi = 1,

0 < pi < 1 si 0 ≤ i ≤ N − 1, p0 = qN = 1

Si π = πi es una distribucion invariante, por (6.1) tiene que satisfacer

πj = πj−1pj−1 + πj+1qj+1 ⇒ πj+1 qj+1 − πj pj = πj qj − πj−1 pj−1

⇒πj+1 qj+1 − πj pj = π1q1 − π0 = 0 ⇒ πj+1 = πjpjqj+1

Iterando obtenemos finalmente

πj+1 = π0p1 p2 · · · pjq1 q2 · · · qj+1

Despejando π0 de la condicion de normalizacion∑

πi = 1, se tiene

π0 =(1 +

1

q1+

p1q1 q2

+ · · ·+ p1 p2 · · · pN−1

q1 q2 · · · qN)−1

lo que termina el calculo de π.

Como se ve de los ejemplos anteriores, la distribucion invariante puedeo bien no existir en absoluto, o bien no ser unica. Veremos ahora una seriede resultados que nos permitiran establecer condiciones que garantizan launicidad y existencia de la misma.

21

Definicion 6.6. Un vector no nulo µ(i), i ∈ S, µ(i) ∈ [0, 1] tal que µP = µpara una matriz estocastica se dira una medida invariante para P.

Observe que orresponde con una distribucion invariante que no esta nor-malizada (es decir, no necesariamente

∑µi = 1).

El siguiente resultado caracteriza la forma que puede tener una medidainvariante para P en terminos de la dinamica de la cadena correspondiente,y permitira aclarar el problema de unicidad y existencia de una distribucioninvariante.

Teorema 6.7. Sea Xn una cadena de Markov irreducible y recurrente conmatriz de transicion P = P (i, j). Sea i0 un estado cualquiera fijo peroarbitrario, y sea Ti0 el tiempo de retorno a i0. Sea

µi = Ei0

∑n≥1

1IXn=i1ITi0≥n (6.3)

Entonces

a) µi ∈ (0,∞).

b) µi es invariante para P.

Demostracion Observamos que si i 6= i0, µi como definido en (6.3) es laesperanza del numero de visitas a i antes de retornar a i0, y

µi0 = P(Ti0 < ∞

)= 1,

ya que i0 es recurrente. Ademas,∑i∈S

∑n≥1

1IXn=i1ITi0≥n = Ti0 ⇒

∑i∈S

µi = Ei0

(Ti0

)Definimos

hn(i0, i) = Ei0

(1IXn=i1ITi0

≥n)= Pi0

(Xn = i,Xn−1 6= i0, · · ·X2 6= i0

)Entonces h1(i0, i) = P (i0, i) y descomponiendo la probabilidad anterior deacuerdo al penultimo paso, obtenemos

hn(i0, i) =∑j 6=i0

hn−1(i0, j)P (j, i) si n > 1 (6.4)

22

Sustituyendo en (6.3),

µi =∑n≥2

hn(i0, i) + h1(i0, i) =∑n≥2

∑j 6=i0

hn−1(i0, j)P (j, i) + P (i0, i)

=∑j 6=i0

P (j, i)µj + P (i0, i) =∑j∈S

P (j, i)µ(j),

lo que muestra b).Supongamos que µi = 0 para algun i ∈ S. Por la invariancia, sigue que∑

j∈S P (j, i)µj = 0. Como µi0 = 1, entonces P (i0, i) = 0. Por la invariancia,tambien ∀n ≥ 1, µPn = µ, y por el mismo razonamiento anterior se concluyeque P (n)(i0, i) = 0 ∀n ≥ 1, de forma que i0 e i no se comunican. Estocontradice la irreducibilidad de la cadena, y ası µi > 0∀i ∈ S.

Por la invariancia, tambien se tiene que∑

j∈S P (j, i0)µj = 1. Si µj = ∞para algun j, tiene que ser P (j, i0) = 0. Por el mismo argumento sigue queP (n)(j, i0) = 0 ∀n ≥ 1, lo cual contradice la irreducibilidad de la cadena, yentonces µi < ∞ ∀i ∈ S, con lo cual se concluye la verificacion de a).

Del resultado anterior tenemos entonces la existencia de una medida in-variante (que no es necesariamente normalizable a una distribucion invari-ante). Con respecto a la unicidad, tenemos:

Teorema 6.8. La medida invariante de una cadena irreducible y recurrentees unica salvo constantes multiplicativas.

Demostracion Sea Xn una cadena de Markov recurrente e irreducible conespacio de estados S y matriz de transicion P, y ν una medida invariante.De la demostracion del resultado anterior, sigue que νi > 0∀i. Sea

Q(j, i) =νiνj

P (i, j). Entonces

∑i∈S

Q(j, i) =1

νj

∑i∈S

νiP (i, j) =νjνj

= 1

por lo que Q es una matriz estocastica. Es facil ver por induccion queQ(n)(j, i) = νi

νjP (n)(i, j), ası que como P es irreducible, tambien Q lo es.

Como∑

n≥1 Q(n)(i, i) =

∑n≥1 P

(n)(i, i), por la proposicion 5.7, Q es tambienrecurrente. Sea Yn una cadena de Markov con matriz Q , y sea

gn(j, i) = Pj(Yn = i, Yn−1 6= i · · ·Y1 6= i)

23

(en palabras, la probabilidad de que la cadena Yn pase de j a i por primeravez en el tiempo n). Como Yn es recurrente,∑

n≥1

gn(j, i) = 1 ∀i, j

Por otro lado, haciendo una descomposicion segun la posicion del primerpaso,

gn+1(i, i0) =∑j 6=i0

gn(j, i0)Q(i, j) =∑j 6=i0

gn(j, i0)νjνi

P (j, i) =⇒

νi gn+1(i, i0) =∑j 6=i0

gn(j, i0) νj P (j, i) (6.5)

Multiplicando por νi0 la formula (6.4), observamos que las sucesiones νi gn(i, i0)y νi0hn(i0, i) satisfacen la misma recurrencia, y ademas, de las definiciones,νi g1(i, i0) = νiQ(i, i0) = νi0P (i0, i) = νi0h1(i0, i), de modo que

∀n ≥ 1, νi0hn(i0, i) = νi gn(i, i0).

Tomando sumatoria en n,

νi0µi = νi∑n≥1

gn(i, i0) = νi,

de modo que ν es un multiplo de µ como definida en (6.3).

Veamos ahora algunas consecuencias de estos resultados:

Corolario 6.9.

1. Si una cadena de Markov es recurrente e irreducible y un estado esrecurrente positivo, entonces todos lo son.

2. Una cadena de Markov recurrente e irreducible es positiva recurrentesi y solo si sus medidas invariantes satisfacen

∑µi < ∞.

3. Una cadena de Markov irreducible es recurrente positiva si existe unaunica distribucion invariante π. Mas aun,

π(j) =1

Ej

(Tj

) ∀j ∈ S

24

Demostracion

1. Sea i0 el estado recurrente positivo. Tomandolo como el estado escogidoen la definicion (6.3), como vimos∑

µi = Ei0

(Ti0

)< ∞ (6.6)

Sea otro estado i1, y la correspondiente medida µ(1) como en (6.3) (coni1 en vez de i0.) Por el teorema 6.8, µ(1) es un multiplo de µ, por lo

que tiene que ser Ei1

(Ti1

)=

∑µ(1)i un multiplo de Ei0

(Ti0

), y por lo

tanto finita.

2. Sigue por el mismo argumento.

3. Basta normalizar como en (6.6) para obtener

π(i0) =1

Ei0

(Ti0

) .Como i0 fue arbitrariamente escogido, la formula arriba vale para cualquierestado, y se cumple π(i) = µi∑

µi.

Teorema 6.10. Una cadena de Markov irreducible es recurrente positiva siy solo si existe una distribucion invariante .

Demostracion Supongamos que existe una distribucion invariante π, es decir,∀n ∈ N, πj =

∑i∈S πj P

(n)(i, j). Si los estados son transitorios, entoncesP (n)(i, j) → 0 cuando n → ∞ (ver el ejercicio 3) de la seccion 5). Peroentonces πj = 0, lo cual vimos no es posible. Entonces los estados tienen queser recurrentes, y se esta en las hipotesis del teorema 6.8, por lo que µ (comodefinida en (6.3)) es un multiplo de la π dada, de modo que, como en (6.6),Ei0

(Ti0

)< ∞. El recıproco sigue del corolario anterior.

Corolario 6.11. Una cadena de Markov irreducible con espacio de estadosfinito es recurrente positiva.

Demostracion Los estados tienen que ser recurrentes, y como S es finito,Ei0

(Ti0

)=

∑i∈S µi < ∞, por lo que i0 es recurrente positivo, y por el

corolario 6.9, todos los estados lo son.

25

Ejercicios

1. Considere el modelo de Ehrenfest presentado en la seccion 4 con 2Nbolas.

CalculeEN+J(TN+J)

EN(TN).

Verifique que si j N , entonces el cociente anterior es aproxi-

madamente(1 + J

N

)J.

Suponga que N es muy grande (por ejemplo, N ≈ 1020), y sea J =N103

. Si se realiza un intercambio por segundo, calcule EN+J(TN+J),y exprese el resultado en anos. Haga aproximaciones si es nece-sario.

2. Sea Xn una cadena de Markov en S finito, con probabilidades de transi-cion P (i, j), sea L > 0 un entero. Definimos Yn = (Xn, Xn+1, · · ·Xn+L),un proceso a valores en

E = (i0, i1, · · · , iL) ∈ SL+1 : P (i0, i1)P (i1, i2) · · ·P (iL+1, il) > 0.

Este proceso se conoce como cadena serpiente de largo L.

Verifique que Yn es una cadena de Markov homogenea, y calculesus probabilidades de transicion.

Verifique Yn es irreducible si Xn lo es.

Verifique que si Xn tiene distribucion invariante, tambien Yn latiene, y muestre cual es.

3. Sea P una matriz estocastica en S. Una distribucion de probabilidad νen S se dice reversible para P si ∀ i, j ∈ S ,

ν(i)P (i, j) = ν(j)P (j, i)

Verifique que si ν es reversible, entonces es invariante.

Si Xn es un paseo aleatorio simetrico en un grafo conexo que tieneN vertices numerados de 1 a N , y di es el numero de aristas delvertice i, verifique que la distribucion ν(i) = di∑N

i=1 dies reversible

para esta cadena.

26

Concluya que ν es invariante.

4. Discuta la existencia y unicidad de una distribucion invariante en elcaso de la cadena del castillo de naipes. Sug.: Vea el ejercicio 6 de laseccion 5.

5. Discuta existencia y unicidad de una distribucion invariante en el casode la cadena de nacimiento y muerte del ejemplo 6.5, en el caso N = ∞.

7. Resultados ergodicos

Sea Xn una cadena de Markov en S, i0 un estado fijo, y recordemos ladefinicion de µi (6.3), que vimos es una medida invariante para la cadena,

µi = Ei0

∑n≥1

1IXn=i1ITi0≥n,

Consideramos ν(n) el numero de visitas al estado i0 antes de n,

ν(n) =n∑

j=1

1IXj=i0.

Denotemos por Xkσ la cadena con distribucion inicial σ.

El siguiente resultado relaciona promedios temporales deXn con el prome-dio “espacial”(en S), con respecto a la medida µ.

Proposicion 7.1. Sea f : S → R tal que∑

i∈S |f(i)|µi < ∞, µ y ν comoarriba. Entonces, para toda condicion inicial σ,

lımN→∞

1

ν(N)

N∑k=1

f(Xkσ) =

∑i∈S

f(i)µ(i) con probabilidad 1 (7.1)

Demostracion Sean τn los sucesivos tiempos de retorno de la cadena al estadoi0: τ0 = Ti0 , e, inductivamente, τn+1 = ınfK > τn : XK = i0, y sean

U` =

τ`+1∑n=τ`+1

f(Xn), ` ≥ 0

27

De la proposicion 5.5 sigue que U` es una secuencia de variables aleatoriasi.i.d. Supongamos f ≥ 0.

E(U0

)=E

( τ0∑n=1

f(Xn))= Ei0

( τ0∑n=1

∑i∈S

f(i)1IXn=i)

=∑i∈S

f(i)Ei0

( Ti0∑n=1

1IXn=i)=

∑i∈S

f(i)µi

El intercambio en el orden de las sumas esta justificado por el teorema de con-vergencia dominada, y la ultima igualdad sigue simplemente de la definicionde µ. De la ley fuerte de los grandes numeros sabemos que, con probabilidad1,

1

N

N∑`=0

U` →∑i∈S

f(i)µi cuando N → ∞

Sustituyendo la definicion de U`, tenemos entonces

1

N

τN+1∑k=τ0+1

f(Xk) →∑i∈S

f(i)µi cuando N → ∞

Como τν(N) ≤ N < τν(N)+1, entonces∑τν(N)

k=1 f(Xk)

ν(N)≤

∑Nk=1 f(Xk)

ν(N)<

∑τν(N)+1

k=1 f(Xk)

ν(N)

Por ser la cadena recurrente, ν(N) → ∞, de forma que ambos extremos enlas desigualdades precedentes tienen el mismo lımite (

∑f(i)µi ), y por lo

tanto el termino del medio tambien.En el caso de que f no sea necesariamente positiva, se puede descomponer

en f = f+ − f−, y la demostracion sigue como antes, observando que porla hipotesis sobre f , tanto

∑i∈S f

−(i)µi < ∞ como∑

i∈S f+(i)µi < ∞ son

finitas.

Como corolario, obtenemos el teorema ergodico para cadenas de Markov:

Teorema 7.2 (Teorema Ergodico). Si Xn es irreducible, recurrente positivay su distribucion invariante es π, entonces para toda f : S → R tal que

28

∑i∈S |f(i)|πi < ∞, se cumple que, con probabilidad 1, para cualquier config-

uracion inicial,

lımN→∞

1

N

N∑k=1

f(Xk) =∑i∈S

f(i)πi

Demostracion Como Xn irreducible y recurrente positiva,∑

µi < ∞, yvale la proposicion 7.1 con f = 1, de donde N

ν(N)→

∑µi. Como π y µ son

proporcionales, sabemos∑

i∈S |f(i)|µi < ∞, y otra vez por la proposicion7.1,

lımN→∞

1

ν(N)

N∑k=1

f(Xk) =∑i∈S

f(i)µi =⇒

lımN→∞

1

N

N∑k=1

f(Xk) =

∑i∈S f(i)µi∑

i∈S µi

=∑i∈S

f(i)πi

Corolario 7.3. Si Xn es una cadena de Markov recurrente positiva con dis-tribucion invariante π, L ≥ 1 un entero, g : SL+1 → R una funcion dada quesatisface ∑

(i0,i1,··· ,iL)∈SL+1

∣∣g(i0, i1, · · · , iL)∣∣ πi0P (i0, i1) · · ·P (iL−1, iL) < ∞

entonces con probabilidad 1, para cualquier configuracion inicial,

lımN→∞

1

N

N∑k=1

g(Xk, Xk+1, · · ·Xk+L) =∑(i0,i1,i2,··· ,iL)∈SL+1

g(i0, i1, · · · , iL)πi0 P (i0, i1) · · ·P (iL−1, iL)

Demostracion Para demostrarlo, basta considerar la cadena serpiente de largoL. (Ver Ejercicio 2 de la seccion anterior).

29

Un ejemplo

Inspeccion de una lınea de produccionSuponga que se tiene una lınea de produccion, donde cada objeto manu-

facturado tiene una probabilidad p de ser defectuoso. Se propone un esquemade inspeccion para detectar defectos sin tener que inspeccionarlos todos. Elesquema tiene un modo A, donde cada objeto se inspecciona con probabili-dad r < 1, y un modo B, donde todos son inspeccionados. Se pasa de modoB a modo A cada vez que N objetos sin defecto han sido consecutivamentedetectados (N > 1 es un entero fijado previamente). Se pasa de modo A amodo B cada vez que se detecta un objeto defectuoso. Sea Xn el procesocon valores en S = e0, e1, · · · eN, donde el estado ej, j < N significa que seesta en modo B con j objetos sin defecto consecutivamente observados. Elestado eN significa que el proceso de inspeccion esta en modo A.

La matriz de transicion viene dada por

p 1− p 0 0 · · · 0 0p 0 1− p 0 · · · 0 0p 0 0 1− p · · · 0 0

· · ·· · ·· · ·

p 0 0 0 · · · 0 1− ppr 0 0 0 · · · 0 1− pr

Es facil ver que la cadena es irreducible, y como es finita, es recurrentepositiva, ası que tiene una distribucion invariante π = (π0, π1, · · · , πN). Lasecuaciones para π son:

π0 = pN−1∑i=0

πi + p r πN

πi+1 = (1− p)πi i = 0, 1, · · · , N − 1

πN = (1− pr)πN + (1− p)πN−1

Resolviendo en terminos de π0, tenemos

πi = (1− p)iπ0 i = 1, 2, · · · , N − 1 πn =(1− p)Nπ0

pr

30

De la primera ecuacion, y usando la normalizacion, despejamos π0 =pr

r−(1−p)N (r−1).

Supongamos que queremos calcular la proporcion q de objetos inspecciona-dos en el largo plazo, y la eficiencia E del esquema de inspeccion , definidapor

E =proporcion de objetos defectuosos detectados

proporcion de objetos defectuosos.

Tenemos que

q = lımN→∞

1

N

N∑k=1

1Ie1,e2,··· ,eN−1(Xk

)+ r 1IeN

(Xk

)Aplicando el Teorema 7.2 con f(i) = 1Ie1,e2,··· ,eN−1(i) + r 1IeN(i), tenemos

que q =∑N−1

i=1 πi + rπN = 1 + (r − 1)πN .Analogamente, podemos calcular la proporcion de objetos defectuosos no

detectados en el largo plazo, como

p lımN→∞

N∑k=1

(1− r)1IeN (Xk) = p (1− r) πN

de donde E = 1− (1− r)πN

Ejercicio

1. Se desea detectar la presencia en la sangre de una substancia rara, queaparece con probabilidad muy pequena ρ 1 en individuos de unapoblacion muy grande. Cada analisis es muy costoso, por lo que seprocede segun el siguiente esquema:

A Se toman muestras de r individuos, se mezcla una parte de cadamuestra y se analiza. Si el resultado es negativo, se reporta y secomienza nuevamente con otros r individuos.

B Si el resultado es positivo, se analizan separadamente las muestrasde los primeros r− 1 individuos, y si todos negativos, se reportanlos resultados.

C Si algun resultado en B es positivo, se analiza la muestra restantedel r-esimo individuo, se reportan resultados y se comienza nue-vamente con otros r individuos.

31

Muestre que el esquema se puede modelar como una cadena deMarkov, indique el espacio de estados y la matriz de transicion.

Los costos de los pasos A, B y C son γ, (r − 1)γ y γ respec-tivamente, y el numero de informes producidos es r. Calcule elnumero de informes esperado y el costo esperado una vez alcan-zado el equilibrio.

El cociente mencionado en el item anterior mide el rendimiento delesquema. Tomando en cuenta que ρ 1, discuta como convieneescoger r de forma de maximizar el rendimiento.

8. Convergencia al equilibrio y perdida de memo-

ria

En el caso de Xn una cadena de Markov irreducible y recurrente positiva,para cada estado e ∈ S, podemos tomar f = 1Ie en el teorema ergodico, ysi llamamos π la distribucion invariante obtenemos

1

N

N∑n=1

1Ie(Xn

)→ π(e) cuando N → ∞

con probabilidad 1, para toda condicion inicial. En particular, si el estadoinicial es i, tomando esperanza,

1

N

N∑k=1

Pi(Xn = e) =1

N

N∑k=1

P (n)(i, e) → π(e)

En otras palabras, la sucesion P (n)(i, e) converge en promedio (o en mediaCesaro) a π(e) cuando n → ∞ independientemente de la condicion iniciali. Es natural preguntarse si es verdad que P (n)(i, e) → π(e) cuando n →∞. Con miras a aplicaciones, es tambien relevante estudiar la velocidad deconvergencia.

Para responder estas preguntas, usaremos el concepto de acoplamiento.Acoplar uno (o mas) procesos estocasticos consiste simplemente en constru-irlos en un mismo espacio de probabilidad. Esto se hace con la finalidad de

32

poder traducir, por ejemplo, comparaciones entre probabilidades referentesa ellos en comparaciones entre eventos correspondientes, que puede resultarconveniente dependiendo de la particular construccion.

Veamos algunos ejemplos de acoplamientos entre cadenas de Markov enel caso particular en que ambas tienen el mismo espacio de estados S y lamisma matriz de transicion P, pero el estado inicial es diferente.

En vista de la construccion de la seccion 3, dados dos estados iniciales ay b, podemos obtener ambas cadenas definidas en el mismo espacio de prob-abilidad simplemente tomando la familia de variables aleatorias uniformesen el mismo espacio (Ω,F , P ) en ambos casos. Hay muchas formas de haceresto, por ejemplo, dada P, consideremos una funcion F que genere la cadenapor recurrencia como en (3.4), y procedemos como sigue:

El acoplamiento libre. Consiste en considerar ambas cadenas obtenidascon la misma familia de uniformes Unn≥1:

X0 = a Xn+1 = F (Xn, Un+1) X0 = a Xn+1 = F (Xn, Un+1)

El acoplamiento de Doeblin Consiste en considerar, en un mismoespacio, dos familias independientes de variables aleatorias independi-entes uniformes, Unn≥1 y Unn≥1 , y ası construir las dos cadenasXn y Xn (que resultan independientes), tambien en el mismo espacio:

X0 = a Xn+1 = F (Xn, Un+1) X0 = a Xn+1F (Xn, Un+1)

Tiene sentido entonces definir la variable aleatoria “ tiempo de encuentro”entre los dos procesos,

τ (a,b) = ınfn ≥ 1 : Xn = Xn.

Un tercer ejemplo es el siguiente.

Acoplamiento coalescente independiente Consiste en considerarlas cadenas a partir de dos familias de uniformes independientes hastael tiempo τ (a,b), y evolucionando juntas despues de τ (a,b)

Observemos que en el caso del acoplamiento libre y tambien del coales-cente independiente, las dos trayectorias continuan juntas despues de τ (a,b).Cuando este tiempo es finito, se puede decir que la cadena “pierde memoria”de su condicion inicial. El coeficiente de ergodicidad es una forma de medirla tendencia de una cadena a “perder la memoria”.

33

Definicion 8.1. Dada una matriz de tansicion P = P (i, j) en S, se defineel coeficiente de ergodicidad β(P) como

β(P) =∑j∈S

ınfi∈S

P (i, j)

Teorema 8.2. Si P es una matriz de transicion en un espacio de estados S,entonces para todo par de estados a y b en S existe un acoplamiento

(Xa

n, Xbn

)de las cadenas de Markov correspondientes a P con condiciones iniciales a yb tal que

P(supa,b∈S

τ (a,b) > n)≤

(1− β(P)

)nDemostracion Presentaremos la demostracion en el caso de S finito. La ex-tension al caso infinito se hace siguiendo el mismo procedimiento.

Supongamos S = 1, 2, 3, · · · , N. Se realizara un acoplamiento usandola misma familia de uniformes y una funcion F convenientemente construidade modo de colaborar con el encuentro de las trayectorias al usar la formulade recurrencia (3.4). Para definir F , construiremos, para cada estado i ∈ S,una particion del intervalo [0, 1) =

⋃j∈S I(i, j) en intervalos disjuntos tales

que λ(I(i, j)

)= P (i, j).

Sean los intervalos J(j), j = 1, 2, · · · , N definidos por

J(1) =[0, `(1)

), con `(1) = mın

k∈SP (k, 1)

J(j) =[`(j − 1), `(j)

)con `(j) = `(j − 1) + mın

k∈SP (k, j) si j > 1

Tenemos que⋃

j∈S J(j) es una particion de [0, `(N)), con

`(N) =∑j∈S

mıni∈S

P (k, j) = β(P)

Para cada i ∈ S, se va a tomar una particion de [`(N), 1) =⋃

j∈S J(i, j),

de forma que la suma de las longitudes λ(J(j)) + λ(J(i, j)) = P (i, j). Bastadefinir

J(i, 1) =[`(N), ˜(i, 1)

)˜(i, 1) = `(N) + P (i, 1)−mın

k∈SP (k, 1)

J(i, j) =[˜(i, j − 1), ˜(i, j)

)si j > 1, donde

˜(i, j) = ˜(i, j − 1) + P (i, j)−mınk∈S

P (k, j)

34

Es claro que I(i, j) = J(j) ∪ J(i, j) satisface las propiedades requeridas,esto es, para cada i ∈ S, ∪j∈SI(i, j) es una particion en intervalos disjuntosde [0, 1), y λ

(I(i, j)

)= P (i, j). Sea entonces la funcion

F (i, u) =∑j∈S

j 1II(i,j)(u).

Observamos que si u ≤ `(N), entonces para i0, i1 dos estados cualesquiera deS,

F (i0, u) = F (i1, u) (8.1)

Si se generan recursivamente las cadenas X(a)n y X

(b)n con condiciones iniciales

a y b respectivamente, usando la misma famila de uniformes i.i.d Unn≥1,y esta funcion, se tiene:

X(a)n+1 = F

(X(a)

n , Un+1

), X

(b)n+1 = F

(X(b)

n , Un+1

)De (8.1) sigue que si τ = ınfn ≥ 1 : Un < `(N), entonces τ (a,b) < τ ,∀ a, b ∈ S, de donde

P(supa,b∈S

τ (a,b) > n)≤ P

(τ > n

)≤ P

n⋂r=1

Ur > `(N)

=(1− `(N))

)n=

(1− β(P)

)n(8.2)

Veamos algunas importantes consecuencias de este resultado.

Teorema 8.3. Sea P la matriz de transicion de una cadena de Markov Xn

recurrente positiva e irreducible, y tal que que β(P) > 0. Sea π su distribucioninvariante. Entonces se satisface que

supa,j

∣∣Pa(Xn = j)− π(j)∣∣ ≤ (

1− β(P))n

Demostracion∣∣Pa(Xn = j)− π(j)∣∣ = ∣∣Pa(Xn = j)− Pπ(Xn = j)‖

=∣∣∑k∈S

(Pa(Xn = j)− Pk(Xn = j)

)π(k)

∣∣ (8.3)

35

Considerando las cadenas X(a)n y X

(k)n acopladas como en la demostracion del

teorema anterior y recordando que una vez que las trayectorias se encuentran(en τa,k), entonces ellas continuan juntas, podemos estimar

|Pa(Xn = j)−Pk(Xn = j)| = |P (X(a)n = j, X(k)

n 6= j)−P (X(k)n = j, X(a)

n 6= j)|≤ maxP (X(a)

n = j, X(k)n 6= j) , P (X(k)

n = j, X(a)n 6= j) ≤ supk 6=aP (τa,k > n)

Esta ultima probabilidad se estima como (8.2)

Corolario 8.4. Sea P la matriz de transicion de una cadena de MarkovXn recurrente positiva e irreducible con distribucion invariante π, y tal queβ(Pk) > 0. Entonces, para todo par de estados a, j ∈ S,

supa,j

∣∣Pa(XN = j)− π(j)∣∣ ≤ (

1− β(Pk))N

k

Demostracion Sea k como en el enunciado. La cadena de Markov Xknn≥0,cuya mariz de transicion es Pk tiene la misma distribucion invariante π, porlo que vale el resultado anterior,

supa,j

∣∣Pa(Xkn = j)− π(j)∣∣ ≤ (

1− β(Pk))n

Basta renombrar N = kn.

Ahora bien, para que los resultados anteriores garanticen la convergen-cia al equilibrio, independientemente de la condicion inicial, hace falta queβ(P) > 0, o al menos que para algun k, β(Pk) > 0. Veamos un ejemplo enel cual esta hipotesis no se satisface, aun en las condiciones en que vale elteorema ergodico 7.2.

Ejemplo 8.5. Considere el paseo aleatorio en el grafo formado por los 4vertices de un cuadrado y sus lados, que corresponde con el siguiente grafode transicion, donde todas las probabilidades son 1

2, y hemos numerado los

vertices 1, 2, 3, 4.

36

1 -

y9

2

3 -

4 3s

Su matriz de transicion es:

P =

0 1

20 1

212

0 12

00 1

20 1

212

0 12

0

Es facil ver que esta cadena es irreducible y recurrente positiva, y que

su medida invariante es π = (14, 14, 14, 14). Claramente, β(P) = 0. Tambien

tenemos

P2 =

12

0 12

00 1

20 1

212

0 12

00 1

20 1

2

Mas aun, en este caso particular es facil obtener todas las potencias de

P: P2n+1 = P, y P2n = P2, de modo que β(Pk) = 0∀k ∈ N. En particular, porejemplo, la sucesion P (n)(1, 1) vale 1

2si n es par, y 0 si n es impar, por lo que

claramente no converge cuando n → ∞. (Observe que, como ya sabıamos delteorema ergodico, converge a 1

4en promedio , o en media Cesaro).

Este fenomeno se llama periodicidad. Precisamente, definimos:

Definicion 8.6. Sea P es la matriz de transicion de una cadena de Markoven S, y j ∈ S. Consideremos d el maximo comun divisor del conjunton ≥ 1 : Pn(j, j) > 0, es decir,

d = MCD n ≥ 1 : Pn(j, j) > 0

37

Si d > 1, el estado j se dice periodico de perıodo d. Si d = 1, se diceaperiodico.

Omitimos la demostracion de las siguientes dos proposiciones, que puedeencontrarse por ejemplo en [3].

Proposicion 8.7. Si dos estados i, j se comunican, entonces tienen el mismoperıodo.

Podemos hablar entonces del perıodo de una cadena irreducible (o de unaclase comunicante).

Proposicion 8.8. Si P es irreducible y tiene perıodo d, entonces para cadapar de estados i, j, existen m > 0 y N0 tal que P(m+nd)(i, j) > 0 ∀n ≥ N0.

Observacion Si S es finito y la cadena es irreducible y aperiodica, entonces,en virtud del resultado anterior, tenemos que existe k tal que

P (k)(i, j) > 0∀i, j ∈ S

En particular, vale el Teorema 8.3.

Definicion 8.9. Una cadena de Markov se dice ergodica si es irreducible,recurrente positiva y aperiodica.

No es difıcil a esta altura, demostrar el siguiente resultado, que en el casode S finito, es una consecuencia de del teorema 8.3.

Teorema 8.10. Si Xn es una cadena ergodica en S, y π es su distribucioninvariante, entonces

P (n)(i, j) → π(j) cuando n → ∞

Con respecto a las cadenas irreducibles y periodicas de perıodo d, pode-mos decir lo siguiente. Supongamos que su matriz de transicion es P. De laproposicion 8.8, tenemos que existe una particion de S en clasesG0, G1, · · ·Gd−1

tales que (tomando la convencion Gd = G0),∑j∈Gk+1

P (i, j) = 1 ∀i ∈ Gk

(En palabras, la cadena se va moviendo entre estas clases). Si ademas esrecurrente positiva, es facil ver que la cadena con matriz Pd restringida a

38

cada una de las clases G` es recurrente positiva, irreducible y aperiodica, porlo que tiene una distribucion invariante Π. Como la esperanza del tiempo deretorno a un estado k ∈ G` con respecto a la matriz Pd tiene que ser Ek(Tk)

d

(donde esta ultima esperanza es en relacion a la cadena original) es facil verque, si k ∈ G`

lımn→∞

P (nd)(i, k) =

d

Ej(Tk)si i ∈ G`

0 si no

Ejercicios

1. Considere el paseo simetrico en el grafo formado por un pentagono ysus lados. ¿ Es periodico? Encuentre n tal que P (n)(i, j) > 0 para todopar de estados i, j.

2. Considere la cadena correspondiente a la matriz P dada en la seccion3, y diga si es periodica.

3. Sean P, β y τa,b como en el teorema 8.2. Deduzca de este resultado unacota para la esperanza E(τa,b).

9. Algunos algoritmos de simulacion

Uno de las aplicaciones actuales mas difundidas de las cadenas de Markoves en los conocidos como metodos de Monte Carlo por Cadenas de Markov(MCMC por sus siglas en ingles). Son metodos para simular una muestrade una distribucion π definida en un espacio de estados finito S. Consistenen simular una cadena de Markov ergodica (recuerde la definicion 8.9) en Scuya distribucion invariante es precisamente la π dada, y dejarla evolucionar“hasta alcanzar el equilibrio”. En vista de los resultados de la seccion anterior,se obtiene una realizacion (aproximada) de π. En este contexto la distribucionπ se denomina blanco, o target, en ingles.

Veamos un par de formas de conseguir una cadena ergodica con distribu-cion invariante π dada en un espacio finito S = 1, 2, · · · , N .

39

1-. Sean las siguientes probabilidades de transicion :

P (i, j) =1

N − 1

π(j)

(π(j) + π(i))si i 6= j

P (i, i) = 1−∑j 6=i

P (i, j)

2-. Sean las probabilidades de transicion P (i, j) dadas ası

P (i, j) =1

N − 1

(1Iπ(i)≤π(j) +

π(j)

π(i)1Iπ(i)>π(j)

)si i 6= j

P (i, i) = 1−∑j 6=i

P (i, j)

Es muy facil verificar que las cadenas correspondientes a estas probabilidadesde transicion tienen las propiedades requeridas. En efecto, si i 6= j, entoncesP (i, j) > 0, y

∑j 6=i P (i, j) < 1, por lo que P (i, i) > 0 tambien. Pero entonces

la cadena es irreducible y aperiodica. Como S es finito, tambien es recurrentepositiva. Para mostrar que π es invariante para la cadena, basta verificarque es reversible (como definido en el Ejercicio de la seccion 6), lo cual esinmediato de la definicion.

9.1. El algoritmo de Propp y Wilson

Este algoritmo fue propuesto por J. Propp y D. Wilson en 1996 en [10]para obtener una muestra de una medida π en un espacio finito, y tiene laventaja de que (cuando converge) genera una muestra exacta de la distribu-cion blanco. Tiene ademas un mecanismo de parada automatico,por lo que norequiere calculos de velocidad de convergencia. Es un mecanismo de muestreo“ desde el pasado”. Una discusion de esta propuesta incluyendo ejemplos ygeneralizaciones, puede encontrarse en [8] y las referencias allı citadas.

Sea entonces el espacio S = 1, 2, 3, · · · , N, donde esta definida unamedida π de la cual se desea obtener una muestra. Sea Xn una cadena deMarkov reversible y ergodica tal que π sea su distribucion invariante. (Porejemplo, una de las presentadas al comienzo de esta seccion). Sea F una fun-cion que genera por recurrencia a Xn, a partir de una muestra de uniformesUn i.i.d. (Por ejemplo, la considerada en (3.3)). El algoritmo consiste enconsiderar un acoplamiento de N cadenas, cada una comenzando en un esta-do diferente de S, desde tiempos en el pasado, mirar el estado de cada una de

40

ellas en el tiempo 0, e ir suficientemente hacia atras hasta que coincidan en eltiempo 0. Por la forma en que se usan las variables uniformes, el valor X0 es-tara distribuido segun π. Concretamente, sea una sucesion creciente de tiem-pos (N1, N2, N3 · · · ), por ejemplo Nk = 2k. Los negativos de estos numerosseran los tiempos de partida en el pasado de las cadenas, −N1,−N2, N3, · · · .Supongamos (por conveniencia en la notacion) que las variables uniformesestan indexadas en −N : U−nn≥0 El algoritmo funcion ası

1. Tomese m = 1.

2. Para cada j ∈ S, simulese una cadena de Markov comenzando en j enel tiempo −Nm, usando una funcion F y las v.a. uniformes

U−Nm+1, U−Nm+2, · · · , U−1, U0

3. Si todas las cadenas estan en el mismo estado k en el tiempo 0, elalgoritmo se detiene, con salida k. En caso contrario, se pasa a 4.

4. Tomese m+ 1 y comiencese nuevamente en el paso 2.

Es importante (y desde el punto de vista practico, complicado) que parte delas v. a. uniformes son reutilizadas cuando se retrocede en el tiempo.

Tenemos el siguiente resultado:

Teorema 9.1. Supongamos que el algoritmo descrito arriba, en las condi-ciones consideradas para la cadena de Markov correspondiente, termina conprobabilidad 1, y sea Y su salida. Entonces Y se distribuye segun π, es decir,para j ∈ S,

P(Y = j

)= π(j)

Demostracion Basta demostrar que, dado ε > 0,

|P(Y = j

)− π(j)| < ε (9.1)

Ya que el algoritmo termina con probabilidad 1, existe M tal que

supk,j∈S

|P (X(j,−NM )0 6= X

(k,−NM )0 )| < ε

donde X(j,−NM )0 y X

(k,−NM )0 es la posicion en el tiempo 0 de las cadenas

(acopladas segun indica el algoritmo) que en tiempo −NM comienzan en j

41

y k, respectivamente. Sea ahora X(π,−NM )n una cadena que en tiempo −NM

esta distribuida segun π. Como π es invariante, entonces X(π,−NM )0 ∼ π. Pero

entoncesP (X

(j,−NM )0 6= X

(π,−NM )0 ) < ε,

y procediendo como en (8.3), sigue (9.1)

Ejercicios

1. Verifique que las probabilidades de transicion P (i, j) del ejemplo 2-.dan lugar a una cadena ergodica con distribucion invariante π.

2. Considere la distribucion π = (16, 26, 36) en S = 1, 2, 3.

Escriba una matriz de transicion cuya cadena tiene distribucioninvariante π.

Implemente el algoritmo de Propp y Wilson para generar unamuestra de π.

Apendice

El siguiente es un conjunto de 4 muestras de tamano 10 de variablesuniformes en el intervalo [0, 1]:

0,4186 0,8462 0,5252 0,2026 0,6721 0,8381 0,0196 0,6813 0,3795 0,83180,5028 0,7095 0,4289 0,3046 0,1897 0,1934 0,6822 0,3028 0,5417 0,15090,6979 0,3784 0,8600 0,8537 0,5936 0,4966 0,8998 0,8216 0,6449 0,81800,6602 0,3420 0,2897 0,3412 0,5341 0,7271 0,3093 0,8385 0,5681 0,3704

Formula de Stirling

n! = nn e−n√2πn

(1 + Ø(

1

n))

Una demostracion de esta formula se encuentra en [5], por ejemplo. Masdetalles en [1].

42

Referencias

[1] Stella Brassesco and Miguel A Mendez. The asymptotic expansionof n! and the Lagrange inversion formula. The Ramanujan Journal,24(2):219–234, 2011.

[2] Leo Breiman. Probability and stochastic processes with a view towardapplications. Houghton Mifflin Company, 1969.

[3] Pierre Bremaud. Markov chains, Gibbs fields, Monte Carlo simulationsand queues. Springer, 1998.

[4] P Eherenfest and T Ehrenfest. The Conceptual Foundations of the Sta-tistical Approach in Mechanics. Dover Publications, 1990.

[5] William Feller. Introduction to Probability theory and its applications.John Wiley and sons Inc., 1968.

[6] Pablo A Ferrari and Antonio Galves. Construction of stochastic process-es, coupling and regeneration. XIII Escuela Venezolana de Matematica,2000.

[7] Antonio Galves, Arnaldo C.R. Nogueira, and Maria Eulalia Vares. In-troducao aos sistemas Markovianos de particulas. 5o Simposio Nacionalde Probabilidade e Estatistica, 1982.

[8] Olle Haggstrom. Finite Markov chains and algorithmic applictions.Cambridge university press, 2002.

[9] Torgny Lindvall. Lectures on the coupling method. Dover publicationsInc., 2002.

[10] J. Propp and D. Wilson. Exact sampling with coupled Markov chainsand applications to statistical mechanics. Random Strutures and Algo-rithms, 9(1& 2):223–252, 1996.

[11] Henry C Tuckwell. Elementary applications of probability theory. Chap-man and Hall, second edition, 1995.

43