CTI: Lección 1, Primer teorema de Shannon...
Transcript of CTI: Lección 1, Primer teorema de Shannon...
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Ejercicios sobre probabilidades y entropíasCTI: Lección 1, Primer teorema de Shannon (SCT)
Ramiro Moreno Chiral
Dpt. Matemàtica (UdL)
10 de febrero de 2010
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 1 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Índice
1 Enunciado
2 Resolución: probabilidades
3 Resolución: entropías
4 Ejercicios propuestos
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 2 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Índice
1 Enunciado
2 Resolución: probabilidades
3 Resolución: entropías
4 Ejercicios propuestos
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 3 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Enunciado (I)
Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.
Esos bits son transmitidos hasta un receptor R a través de uncanal simétrico binario (CSB) con probabilidad de error en unbit igual a 0′2.
E BSC
0
1
0
1
P(X=1)=0’3
R
p
p
1−p
1−p
P(Y=1)P(Y=0)
p=0’2
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 4 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Enunciado (I)Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.
Esos bits son transmitidos hasta un receptor R a través de uncanal simétrico binario (CSB) con probabilidad de error en unbit igual a 0′2.
E BSC
0
1
0
1
P(X=1)=0’3
R
p
p
1−p
1−p
P(Y=1)P(Y=0)
p=0’2
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 4 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Enunciado (I)Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.
Esos bits son transmitidos hasta un receptor R a través de uncanal simétrico binario (CSB) con probabilidad de error en unbit igual a 0′2.
E BSC
0
1
0
1
P(X=1)=0’3
R
p
p
1−p
1−p
P(Y=1)P(Y=0)
p=0’2
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 4 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Enunciado (I)Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.
Esos bits son transmitidos hasta un receptor R a través de uncanal simétrico binario (CSB) con probabilidad de error en unbit igual a 0′2.
E BSC
0
1
0
1
P(X=1)=0’3
R
p
p
1−p
1−p
P(Y=1)P(Y=0)
p=0’2
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 4 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Enunciado (II)
Determinar P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 5 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Enunciado (II)
Determinar P(Y ), i.e., la distribución marginal de la v.a. Y .
Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 5 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Enunciado (II)
Determinar P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .
Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 5 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Enunciado (II)
Determinar P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).
Luego las entropías de todas las distribuciones deprobabilidad y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 5 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Enunciado (II)
Determinar P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 5 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Índice
1 Enunciado
2 Resolución: probabilidadesMatriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
3 Resolución: entropías
4 Ejercicios propuestos
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 6 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Matriz de transición
La matriz de transición de un canal de comunicaciones,T Y |X = (pij), se define
pij = P(Y = j |X = i),
es decir, T Y |X define la probabilidad condicionada “a priori”. Setrata de una matriz estocástica: sus filas son distribuciones deprobabilidad. En nuestro caso,
T Y |X =
(1− p p
p 1− p
)=
(0′8 0′20′2 0′8
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 7 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Matriz de transición
La matriz de transición de un canal de comunicaciones,T Y |X = (pij), se define
pij = P(Y = j |X = i),
es decir, T Y |X define la probabilidad condicionada “a priori”. Setrata de una matriz estocástica: sus filas son distribuciones deprobabilidad. En nuestro caso,
T Y |X =
(1− p p
p 1− p
)=
(0′8 0′20′2 0′8
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 7 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Matriz de transición
La matriz de transición de un canal de comunicaciones,T Y |X = (pij), se define
pij = P(Y = j |X = i),
es decir, T Y |X define la probabilidad condicionada “a priori”. Setrata de una matriz estocástica: sus filas son distribuciones deprobabilidad. En nuestro caso,
T Y |X =
(1− p p
p 1− p
)=
(0′8 0′20′2 0′8
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 7 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Matriz de transición
La matriz de transición de un canal de comunicaciones,T Y |X = (pij), se define
pij = P(Y = j |X = i),
es decir, T Y |X define la probabilidad condicionada “a priori”.
Setrata de una matriz estocástica: sus filas son distribuciones deprobabilidad. En nuestro caso,
T Y |X =
(1− p p
p 1− p
)=
(0′8 0′20′2 0′8
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 7 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Matriz de transición
La matriz de transición de un canal de comunicaciones,T Y |X = (pij), se define
pij = P(Y = j |X = i),
es decir, T Y |X define la probabilidad condicionada “a priori”. Setrata de una matriz estocástica: sus filas son distribuciones deprobabilidad.
En nuestro caso,
T Y |X =
(1− p p
p 1− p
)=
(0′8 0′20′2 0′8
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 7 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Matriz de transición
La matriz de transición de un canal de comunicaciones,T Y |X = (pij), se define
pij = P(Y = j |X = i),
es decir, T Y |X define la probabilidad condicionada “a priori”. Setrata de una matriz estocástica: sus filas son distribuciones deprobabilidad. En nuestro caso,
T Y |X =
(1− p p
p 1− p
)=
(0′8 0′20′2 0′8
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 7 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de P(Y )
Podemos ver P(X ) como un vector
P(X ) = (P(X = 0), P(X = 1)) = (0′7, 0′3).
Y una propiedad de las matrices estocásticas es que almultiplicarlas por una distribución de probabilidad se obtieneotra distribución de probabilidad.
En nuestro caso,
P(X ) · T Y |X = (0′7, 0′3) ·(
0′8 0′20′2 0′8
)= (0′62, 0′38) = P(Y ).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 8 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de P(Y )
Podemos ver P(X ) como un vector
P(X ) = (P(X = 0), P(X = 1)) = (0′7, 0′3).
Y una propiedad de las matrices estocásticas es que almultiplicarlas por una distribución de probabilidad se obtieneotra distribución de probabilidad.
En nuestro caso,
P(X ) · T Y |X = (0′7, 0′3) ·(
0′8 0′20′2 0′8
)= (0′62, 0′38) = P(Y ).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 8 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de P(Y )
Podemos ver P(X ) como un vector
P(X ) = (P(X = 0), P(X = 1)) = (0′7, 0′3).
Y una propiedad de las matrices estocásticas es que almultiplicarlas por una distribución de probabilidad se obtieneotra distribución de probabilidad.
En nuestro caso,
P(X ) · T Y |X = (0′7, 0′3) ·(
0′8 0′20′2 0′8
)= (0′62, 0′38) = P(Y ).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 8 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de P(Y )
Podemos ver P(X ) como un vector
P(X ) = (P(X = 0), P(X = 1)) = (0′7, 0′3).
Y una propiedad de las matrices estocásticas es que almultiplicarlas por una distribución de probabilidad se obtieneotra distribución de probabilidad.
En nuestro caso,
P(X ) · T Y |X = (0′7, 0′3) ·(
0′8 0′20′2 0′8
)= (0′62, 0′38) = P(Y ).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 8 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de P(Y )
Podemos ver P(X ) como un vector
P(X ) = (P(X = 0), P(X = 1)) = (0′7, 0′3).
Y una propiedad de las matrices estocásticas es que almultiplicarlas por una distribución de probabilidad se obtieneotra distribución de probabilidad.
En nuestro caso,
P(X ) · T Y |X = (0′7, 0′3) ·(
0′8 0′20′2 0′8
)= (0′62, 0′38) = P(Y ).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 8 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Efectivamente, hemos calculado P(Y )
Simbólicamente hemos hecho
(P(X = 0), P(X = 1))
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
)= (P(Y = 0|X = 0)P(X = 0) + P(Y = 0|X = 1)P(X = 1),P(Y = 1|X = 0)P(X = 0) + P(Y = 1|X = 1)P(X = 1))
= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸ ︷︷ ︸
Regla del producto
= (P(Y = 0), P(Y = 1))︸ ︷︷ ︸Regla de la suma
.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 9 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Efectivamente, hemos calculado P(Y )Simbólicamente hemos hecho
(P(X = 0), P(X = 1))
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
)= (P(Y = 0|X = 0)P(X = 0) + P(Y = 0|X = 1)P(X = 1),P(Y = 1|X = 0)P(X = 0) + P(Y = 1|X = 1)P(X = 1))
= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸ ︷︷ ︸
Regla del producto
= (P(Y = 0), P(Y = 1))︸ ︷︷ ︸Regla de la suma
.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 9 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Efectivamente, hemos calculado P(Y )Simbólicamente hemos hecho
(P(X = 0), P(X = 1))
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
)
= (P(Y = 0|X = 0)P(X = 0) + P(Y = 0|X = 1)P(X = 1),P(Y = 1|X = 0)P(X = 0) + P(Y = 1|X = 1)P(X = 1))
= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸ ︷︷ ︸
Regla del producto
= (P(Y = 0), P(Y = 1))︸ ︷︷ ︸Regla de la suma
.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 9 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Efectivamente, hemos calculado P(Y )Simbólicamente hemos hecho
(P(X = 0), P(X = 1))
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
)= (P(Y = 0|X = 0)P(X = 0) + P(Y = 0|X = 1)P(X = 1),P(Y = 1|X = 0)P(X = 0) + P(Y = 1|X = 1)P(X = 1))
= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸ ︷︷ ︸
Regla del producto
= (P(Y = 0), P(Y = 1))︸ ︷︷ ︸Regla de la suma
.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 9 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Efectivamente, hemos calculado P(Y )Simbólicamente hemos hecho
(P(X = 0), P(X = 1))
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
)= (P(Y = 0|X = 0)P(X = 0) + P(Y = 0|X = 1)P(X = 1),P(Y = 1|X = 0)P(X = 0) + P(Y = 1|X = 1)P(X = 1))
= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸ ︷︷ ︸
Regla del producto
= (P(Y = 0), P(Y = 1))︸ ︷︷ ︸Regla de la suma
.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 9 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Efectivamente, hemos calculado P(Y )Simbólicamente hemos hecho
(P(X = 0), P(X = 1))
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
)= (P(Y = 0|X = 0)P(X = 0) + P(Y = 0|X = 1)P(X = 1),P(Y = 1|X = 0)P(X = 0) + P(Y = 1|X = 1)P(X = 1))
= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸ ︷︷ ︸
Regla del producto
= (P(Y = 0), P(Y = 1))︸ ︷︷ ︸Regla de la suma
.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 9 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de la probabilidad conjunta, P(X = i , Y = j)
Bastará multiplicar cada fila de la matriz de transición por lacorrespondiente P(X = i),
P(X = 0) −→P(X = 1) −→
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
),
PXY =
(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3
)=
(0′56 0′140′06 0′24
).
Y, para combrobar, la tabla completa,
PXY Y = 0 Y = 1 Marginal de XX = 0 0’56 0’14 0’7X = 1 0’06 0’24 0’3
Marginal de Y 0’62 0’38 1
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 10 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de la probabilidad conjunta, P(X = i , Y = j)Bastará multiplicar cada fila de la matriz de transición por lacorrespondiente P(X = i),
P(X = 0) −→P(X = 1) −→
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
),
PXY =
(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3
)=
(0′56 0′140′06 0′24
).
Y, para combrobar, la tabla completa,
PXY Y = 0 Y = 1 Marginal de XX = 0 0’56 0’14 0’7X = 1 0’06 0’24 0’3
Marginal de Y 0’62 0’38 1
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 10 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de la probabilidad conjunta, P(X = i , Y = j)Bastará multiplicar cada fila de la matriz de transición por lacorrespondiente P(X = i),
P(X = 0) −→P(X = 1) −→
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
),
PXY =
(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3
)=
(0′56 0′140′06 0′24
).
Y, para combrobar, la tabla completa,
PXY Y = 0 Y = 1 Marginal de XX = 0 0’56 0’14 0’7X = 1 0’06 0’24 0’3
Marginal de Y 0’62 0’38 1
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 10 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de la probabilidad conjunta, P(X = i , Y = j)Bastará multiplicar cada fila de la matriz de transición por lacorrespondiente P(X = i),
P(X = 0) −→P(X = 1) −→
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
),
PXY =
(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3
)=
(0′56 0′140′06 0′24
).
Y, para combrobar, la tabla completa,
PXY Y = 0 Y = 1 Marginal de XX = 0 0’56 0’14 0’7X = 1 0’06 0’24 0’3
Marginal de Y 0’62 0’38 1
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 10 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de la probabilidad conjunta, P(X = i , Y = j)Bastará multiplicar cada fila de la matriz de transición por lacorrespondiente P(X = i),
P(X = 0) −→P(X = 1) −→
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
),
PXY =
(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3
)=
(0′56 0′140′06 0′24
).
Y, para combrobar, la tabla completa,
PXY Y = 0 Y = 1 Marginal de XX = 0 0’56 0’14 0’7X = 1 0’06 0’24 0’3
Marginal de Y 0’62 0’38 1
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 10 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Cálculo de la probabilidad conjunta, P(X = i , Y = j)Bastará multiplicar cada fila de la matriz de transición por lacorrespondiente P(X = i),
P(X = 0) −→P(X = 1) −→
(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)
),
PXY =
(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3
)=
(0′56 0′140′06 0′24
).
Y, para combrobar, la tabla completa,
PXY Y = 0 Y = 1 Marginal de XX = 0 0’56 0’14 0’7X = 1 0’06 0’24 0’3
Marginal de Y 0’62 0’38 1CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 10 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Probabilidades condicionadas
Hemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i). Lasprobabilidades “a posteriori”, P(X = i |Y = j), muy importantesen la decodificación de canal, las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),
P(Y = 0) P(Y = 1)↓ ↓(
P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)
),
PX |Y =
(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38
)=
(0′90 0′370′10 0′63
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 11 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Probabilidades condicionadasHemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i).
Lasprobabilidades “a posteriori”, P(X = i |Y = j), muy importantesen la decodificación de canal, las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),
P(Y = 0) P(Y = 1)↓ ↓(
P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)
),
PX |Y =
(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38
)=
(0′90 0′370′10 0′63
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 11 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Probabilidades condicionadasHemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i). Lasprobabilidades “a posteriori”, P(X = i |Y = j),
muy importantesen la decodificación de canal, las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),
P(Y = 0) P(Y = 1)↓ ↓(
P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)
),
PX |Y =
(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38
)=
(0′90 0′370′10 0′63
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 11 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Probabilidades condicionadasHemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i). Lasprobabilidades “a posteriori”, P(X = i |Y = j), muy importantesen la decodificación de canal,
las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),
P(Y = 0) P(Y = 1)↓ ↓(
P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)
),
PX |Y =
(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38
)=
(0′90 0′370′10 0′63
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 11 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Probabilidades condicionadasHemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i). Lasprobabilidades “a posteriori”, P(X = i |Y = j), muy importantesen la decodificación de canal, las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),
P(Y = 0) P(Y = 1)↓ ↓(
P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)
),
PX |Y =
(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38
)=
(0′90 0′370′10 0′63
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 11 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Probabilidades condicionadasHemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i). Lasprobabilidades “a posteriori”, P(X = i |Y = j), muy importantesen la decodificación de canal, las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),
P(Y = 0) P(Y = 1)↓ ↓(
P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)
),
PX |Y =
(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38
)=
(0′90 0′370′10 0′63
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 11 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas
Probabilidades condicionadasHemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i). Lasprobabilidades “a posteriori”, P(X = i |Y = j), muy importantesen la decodificación de canal, las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),
P(Y = 0) P(Y = 1)↓ ↓(
P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)
),
PX |Y =
(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38
)=
(0′90 0′370′10 0′63
).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 11 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Índice
1 Enunciado
2 Resolución: probabilidades
3 Resolución: entropíasEntropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
4 Ejercicios propuestos
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 12 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(X ) y H(Y )
Como X e Y son v.a.’s con espacio de estados binario, {0, 1},podemos aplicar la fórmula de la entropía binaria,
h(p) = −p log p − (1− p) log(1− p).
Y tendremos,
H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.
0.2 0.4 0.6 0.8 1p
0.2
0.4
0.6
0.8
1hHpL Entropía binaria, hHpL
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 13 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(X ) y H(Y )
Como X e Y son v.a.’s con espacio de estados binario, {0, 1},podemos aplicar la fórmula de la entropía binaria,
h(p) = −p log p − (1− p) log(1− p).
Y tendremos,
H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.
0.2 0.4 0.6 0.8 1p
0.2
0.4
0.6
0.8
1hHpL Entropía binaria, hHpL
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 13 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(X ) y H(Y )
Como X e Y son v.a.’s con espacio de estados binario, {0, 1},podemos aplicar la fórmula de la entropía binaria,
h(p) = −p log p − (1− p) log(1− p).
Y tendremos,
H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.
0.2 0.4 0.6 0.8 1p
0.2
0.4
0.6
0.8
1hHpL Entropía binaria, hHpL
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 13 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(X ) y H(Y )
Como X e Y son v.a.’s con espacio de estados binario, {0, 1},podemos aplicar la fórmula de la entropía binaria,
h(p) = −p log p − (1− p) log(1− p).
Y tendremos,
H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.
0.2 0.4 0.6 0.8 1p
0.2
0.4
0.6
0.8
1hHpL Entropía binaria, hHpL
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 13 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(X ) y H(Y )
Como X e Y son v.a.’s con espacio de estados binario, {0, 1},podemos aplicar la fórmula de la entropía binaria,
h(p) = −p log p − (1− p) log(1− p).
Y tendremos,
H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.
0.2 0.4 0.6 0.8 1p
0.2
0.4
0.6
0.8
1hHpL Entropía binaria, hHpL
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 13 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(X ) y H(Y )
Como X e Y son v.a.’s con espacio de estados binario, {0, 1},podemos aplicar la fórmula de la entropía binaria,
h(p) = −p log p − (1− p) log(1− p).
Y tendremos,
H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.
0.2 0.4 0.6 0.8 1p
0.2
0.4
0.6
0.8
1hHpL Entropía binaria, hHpL
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 13 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropía H(X , Y )
Ahora el espacio de estados de la variable conjunta (X , Y ) es{(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula general,
H(p1, . . . , pn) = −n∑
k=1
pk log pk .
Y tendremos,
H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 14 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropía H(X , Y )
Ahora el espacio de estados de la variable conjunta (X , Y ) es{(0, 0), (0, 1), (1, 0), (1, 1)}:
aplicamos la fórmula general,
H(p1, . . . , pn) = −n∑
k=1
pk log pk .
Y tendremos,
H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 14 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropía H(X , Y )
Ahora el espacio de estados de la variable conjunta (X , Y ) es{(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula general,
H(p1, . . . , pn) = −n∑
k=1
pk log pk .
Y tendremos,
H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 14 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropía H(X , Y )
Ahora el espacio de estados de la variable conjunta (X , Y ) es{(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula general,
H(p1, . . . , pn) = −n∑
k=1
pk log pk .
Y tendremos,
H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 14 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropía H(X , Y )
Ahora el espacio de estados de la variable conjunta (X , Y ) es{(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula general,
H(p1, . . . , pn) = −n∑
k=1
pk log pk .
Y tendremos,
H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 14 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropía H(X , Y )
Ahora el espacio de estados de la variable conjunta (X , Y ) es{(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula general,
H(p1, . . . , pn) = −n∑
k=1
pk log pk .
Y tendremos,
H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 14 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(Y |X ) y H(X |Y )
Ahora el espacio de estados de la variable condicionada Y |Xes {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de laentropía condicionada,
H(Y |X ) = −n∑
i,j=1
P(X = i , Y = j) log P(Y = j |X = i).
Y tendremos,H(Y |X ) = −(0′56 log 0′8 + 0′14 log 0′2 + 0′06 log 0′2 + 0′24 log 0′8)
= 0′72 bits.
Similarmente,H(X |Y ) = −(0′56 log 0′90 + 0′14 log 0′37 + 0′06 log 0′10 + 0′24 log 0′63)
= 0′65 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 15 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(Y |X ) y H(X |Y )
Ahora el espacio de estados de la variable condicionada Y |Xes {(0, 0), (0, 1), (1, 0), (1, 1)}:
aplicamos la fórmula de laentropía condicionada,
H(Y |X ) = −n∑
i,j=1
P(X = i , Y = j) log P(Y = j |X = i).
Y tendremos,H(Y |X ) = −(0′56 log 0′8 + 0′14 log 0′2 + 0′06 log 0′2 + 0′24 log 0′8)
= 0′72 bits.
Similarmente,H(X |Y ) = −(0′56 log 0′90 + 0′14 log 0′37 + 0′06 log 0′10 + 0′24 log 0′63)
= 0′65 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 15 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(Y |X ) y H(X |Y )
Ahora el espacio de estados de la variable condicionada Y |Xes {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de laentropía condicionada,
H(Y |X ) = −n∑
i,j=1
P(X = i , Y = j) log P(Y = j |X = i).
Y tendremos,H(Y |X ) = −(0′56 log 0′8 + 0′14 log 0′2 + 0′06 log 0′2 + 0′24 log 0′8)
= 0′72 bits.
Similarmente,H(X |Y ) = −(0′56 log 0′90 + 0′14 log 0′37 + 0′06 log 0′10 + 0′24 log 0′63)
= 0′65 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 15 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(Y |X ) y H(X |Y )
Ahora el espacio de estados de la variable condicionada Y |Xes {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de laentropía condicionada,
H(Y |X ) = −n∑
i,j=1
P(X = i , Y = j) log P(Y = j |X = i).
Y tendremos,H(Y |X ) = −(0′56 log 0′8 + 0′14 log 0′2 + 0′06 log 0′2 + 0′24 log 0′8)
= 0′72 bits.
Similarmente,H(X |Y ) = −(0′56 log 0′90 + 0′14 log 0′37 + 0′06 log 0′10 + 0′24 log 0′63)
= 0′65 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 15 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(Y |X ) y H(X |Y )
Ahora el espacio de estados de la variable condicionada Y |Xes {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de laentropía condicionada,
H(Y |X ) = −n∑
i,j=1
P(X = i , Y = j) log P(Y = j |X = i).
Y tendremos,
H(Y |X ) = −(0′56 log 0′8 + 0′14 log 0′2 + 0′06 log 0′2 + 0′24 log 0′8)= 0′72 bits.
Similarmente,H(X |Y ) = −(0′56 log 0′90 + 0′14 log 0′37 + 0′06 log 0′10 + 0′24 log 0′63)
= 0′65 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 15 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(Y |X ) y H(X |Y )
Ahora el espacio de estados de la variable condicionada Y |Xes {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de laentropía condicionada,
H(Y |X ) = −n∑
i,j=1
P(X = i , Y = j) log P(Y = j |X = i).
Y tendremos,H(Y |X ) = −(0′56 log 0′8 + 0′14 log 0′2 + 0′06 log 0′2 + 0′24 log 0′8)
= 0′72 bits.
Similarmente,H(X |Y ) = −(0′56 log 0′90 + 0′14 log 0′37 + 0′06 log 0′10 + 0′24 log 0′63)
= 0′65 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 15 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Entropías H(Y |X ) y H(X |Y )
Ahora el espacio de estados de la variable condicionada Y |Xes {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de laentropía condicionada,
H(Y |X ) = −n∑
i,j=1
P(X = i , Y = j) log P(Y = j |X = i).
Y tendremos,H(Y |X ) = −(0′56 log 0′8 + 0′14 log 0′2 + 0′06 log 0′2 + 0′24 log 0′8)
= 0′72 bits.
Similarmente,H(X |Y ) = −(0′56 log 0′90 + 0′14 log 0′37 + 0′06 log 0′10 + 0′24 log 0′63)
= 0′65 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 15 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Cálculo directo
Aplicamos la fórmula de la información mutua, como distanciaentre las distribuciones P(X , Y ) y P(X )P(Y ),
I(X ; Y ) =n∑
i,j=1
P(X = i , Y = j) logP(X = i , Y = j)
P(X = i)P(Y = j).
Y tendremos,
I(X ; Y ) = 0′56 log 0′560′7·0′62 + 0′14 log 0′14
0′7·0′38
+0′06 log 0′060′3·0′62 + 0′24 log 0′24
0′3·0′38
= 0′24 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 16 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Cálculo directoAplicamos la fórmula de la información mutua, como distanciaentre las distribuciones P(X , Y ) y P(X )P(Y ),
I(X ; Y ) =n∑
i,j=1
P(X = i , Y = j) logP(X = i , Y = j)
P(X = i)P(Y = j).
Y tendremos,
I(X ; Y ) = 0′56 log 0′560′7·0′62 + 0′14 log 0′14
0′7·0′38
+0′06 log 0′060′3·0′62 + 0′24 log 0′24
0′3·0′38
= 0′24 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 16 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Cálculo directoAplicamos la fórmula de la información mutua, como distanciaentre las distribuciones P(X , Y ) y P(X )P(Y ),
I(X ; Y ) =n∑
i,j=1
P(X = i , Y = j) logP(X = i , Y = j)
P(X = i)P(Y = j).
Y tendremos,
I(X ; Y ) = 0′56 log 0′560′7·0′62 + 0′14 log 0′14
0′7·0′38
+0′06 log 0′060′3·0′62 + 0′24 log 0′24
0′3·0′38
= 0′24 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 16 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Cálculo directoAplicamos la fórmula de la información mutua, como distanciaentre las distribuciones P(X , Y ) y P(X )P(Y ),
I(X ; Y ) =n∑
i,j=1
P(X = i , Y = j) logP(X = i , Y = j)
P(X = i)P(Y = j).
Y tendremos,
I(X ; Y ) = 0′56 log 0′560′7·0′62 + 0′14 log 0′14
0′7·0′38
+0′06 log 0′060′3·0′62 + 0′24 log 0′24
0′3·0′38
= 0′24 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 16 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Cálculo directoAplicamos la fórmula de la información mutua, como distanciaentre las distribuciones P(X , Y ) y P(X )P(Y ),
I(X ; Y ) =n∑
i,j=1
P(X = i , Y = j) logP(X = i , Y = j)
P(X = i)P(Y = j).
Y tendremos,
I(X ; Y ) = 0′56 log 0′560′7·0′62 + 0′14 log 0′14
0′7·0′38
+0′06 log 0′060′3·0′62 + 0′24 log 0′24
0′3·0′38
= 0′24 bits.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 16 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Relaciones entre entropías e información mutua
El siguiente gráfico(X,Y)=1’60
(X|Y)=0’65 (Y|X)=0’72
(X)=0’88
I (X;Y)==0’23
(Y)=0’95
H
H H
HH
explica las relaciones fundamentales entre las entropías y lainformación mutua,
I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ),
H(X , Y ) = H(X |Y ) + I(X ; Y ) + H(Y |X ).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 17 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Relaciones entre entropías e información mutuaEl siguiente gráfico
(X,Y)=1’60
(X|Y)=0’65 (Y|X)=0’72
(X)=0’88
I (X;Y)==0’23
(Y)=0’95
H
H H
HH
explica las relaciones fundamentales entre las entropías y lainformación mutua,
I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ),
H(X , Y ) = H(X |Y ) + I(X ; Y ) + H(Y |X ).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 17 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Relaciones entre entropías e información mutuaEl siguiente gráfico
(X,Y)=1’60
(X|Y)=0’65 (Y|X)=0’72
(X)=0’88
I (X;Y)==0’23
(Y)=0’95
H
H H
HH
explica las relaciones fundamentales entre las entropías y lainformación mutua,
I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ),
H(X , Y ) = H(X |Y ) + I(X ; Y ) + H(Y |X ).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 17 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Relaciones entre entropías e información mutuaEl siguiente gráfico
(X,Y)=1’60
(X|Y)=0’65 (Y|X)=0’72
(X)=0’88
I (X;Y)==0’23
(Y)=0’95
H
H H
HH
explica las relaciones fundamentales entre las entropías y lainformación mutua,
I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ),
H(X , Y ) = H(X |Y ) + I(X ; Y ) + H(Y |X ).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 17 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua
Relaciones entre entropías e información mutuaEl siguiente gráfico
(X,Y)=1’60
(X|Y)=0’65 (Y|X)=0’72
(X)=0’88
I (X;Y)==0’23
(Y)=0’95
H
H H
HH
explica las relaciones fundamentales entre las entropías y lainformación mutua,
I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ),
H(X , Y ) = H(X |Y ) + I(X ; Y ) + H(Y |X ).
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 17 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Índice
1 Enunciado
2 Resolución: probabilidades
3 Resolución: entropías
4 Ejercicios propuestosCanal simétrico binario con borrón, BEC
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 18 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Enunciado BEC (I)
Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.
Esos bits son transmitidos hasta un receptor R a través de uncanal simétrico binario con borrón o borrado (BEC) conprobabilidad de error en un bit igual a 0′15 y de borrón de 0′05.
E
0
1
0
1
P(X=1)=0’3
R
p
p
P(Y=1)P(Y=0)
BEC
p=0’15q=0’05
*q
q
1−p−q
1−p−q
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 19 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Enunciado BEC (I)Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.
Esos bits son transmitidos hasta un receptor R a través de uncanal simétrico binario con borrón o borrado (BEC) conprobabilidad de error en un bit igual a 0′15 y de borrón de 0′05.
E
0
1
0
1
P(X=1)=0’3
R
p
p
P(Y=1)P(Y=0)
BEC
p=0’15q=0’05
*q
q
1−p−q
1−p−q
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 19 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Enunciado BEC (I)Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.
Esos bits son transmitidos hasta un receptor R a través de uncanal simétrico binario con borrón o borrado (BEC) conprobabilidad de error en un bit igual a 0′15 y de borrón de 0′05.
E
0
1
0
1
P(X=1)=0’3
R
p
p
P(Y=1)P(Y=0)
BEC
p=0’15q=0’05
*q
q
1−p−q
1−p−q
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 19 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Enunciado BEC (I)Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.
Esos bits son transmitidos hasta un receptor R a través de uncanal simétrico binario con borrón o borrado (BEC) conprobabilidad de error en un bit igual a 0′15 y de borrón de 0′05.
E
0
1
0
1
P(X=1)=0’3
R
p
p
P(Y=1)P(Y=0)
BEC
p=0’15q=0’05
*q
q
1−p−q
1−p−q
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 19 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Enunciado BEC (II)
Determinad P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua. Explicad lasrelaciones entre las entropías y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 20 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Enunciado BEC (II)
Determinad P(Y ), i.e., la distribución marginal de la v.a. Y .
Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua. Explicad lasrelaciones entre las entropías y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 20 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Enunciado BEC (II)
Determinad P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .
Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua. Explicad lasrelaciones entre las entropías y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 20 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Enunciado BEC (II)
Determinad P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).
Luego las entropías de todas las distribuciones deprobabilidad y la información mutua. Explicad lasrelaciones entre las entropías y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 20 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Enunciado BEC (II)
Determinad P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua. Explicad lasrelaciones entre las entropías y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 20 / 20
ÍndiceEnunciado
Resolución: probabilidadesResolución: entropíasEjercicios propuestos
Canal simétrico binario con borrón, BEC
Enunciado BEC (II)
Determinad P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua. Explicad lasrelaciones entre las entropías y la información mutua.
CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 20 / 20