Tdc Bloc3 Sol

24
T RANSMISSIÓ DE  DADES I  C ODIFICACIÓ Resolució d’exercicis Bloc 3 - Temes 7 i 8 Tema 7- Codicació de Font EJERCICIO 7.1.- Indica si las siguientes armaciones son verdaderas o falsas. Justicar. a)  Si un código satisface la desigualdad de Kraft, entonces es unívocamente decodicable. b)  Si un código es instantáneo, entonces satisface la desigualdad de Kraft. c)  El código C  = {00, 001, 010, 011, 000} satisface la desigualdad de Kraft. d)  El código del apartado (c) no es unívocamente decodicable. a) FALSO. La desigualdad de Kraft es condición necesaria pero no suciente. b) VERDADERO. Como Kraft es condición necesaria para la construcción de un código instantáneo, los mismos deben cumplir dicha desigualdad. c) VERDADER O. Las longitudes de palabra son {2, 3, 3, 3, 3} y la base es 2, luego:  j r l j =  1 4  +  4 8  =  3 4  < 1 d) VERDADER O. La secuencia 000000 puede decodicarse como dos veces 000  o tres veces 00. EJERCICIO 7.2.- La fuente  S  con alfabeto { a,b,c,d,e} y probabilidades  { 0.1, 0.1, 0.1, 0.3, 0.4 } se codica con el código ternario (de base 3)  C  = {1, 02, 10, 20, 120 }. a)  ¿Satisface este código la desigualdad de Kraft? b)  ¿Es este código unívocamente decodicable? c)  Repite los apartados (a) y (b) suponiendo que en lugar del código ternario C  se utiliza otro binario C 2 , cuyas longitudes de palabra son iguales que los de  C . a) Sí, satisface Kraft. Las longitudes de palabra son {1, 2, 2, 2, 3} y la base es 3, luego:  j r l j =  1 3  +  3 9  +  1 27  =  19 27  < 1 . 1

description

Solved selected exercises in basic Data Transmission and Codification

Transcript of Tdc Bloc3 Sol

Page 1: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 124

TRANSMISSIOacute DE DADES I CODIFICACIOacuteResolucioacute drsquoexercicis Bloc 3 - Temes 7 i 8

Tema 7- Codificacioacute de Font

EJERCICIO 71- Indica si las siguientes afirmaciones son verdaderas o falsas Justificar

a) Si un coacutedigo satisface la desigualdad de Kraft entonces es uniacutevocamente decodificable

b) Si un coacutedigo es instantaacuteneo entonces satisface la desigualdad de Kraft

c) El coacutedigo C = 00 001 010 011 000 satisface la desigualdad de Kraft

d) El coacutedigo del apartado (c) no es uniacutevocamente decodificable

a) FALSO La desigualdad de Kraft es condicioacuten necesaria pero no suficienteb) VERDADERO Como Kraft es condicioacuten necesaria para la construccioacuten de un coacutedigo instantaacuteneo

los mismos deben cumplir dicha desigualdadc) VERDADERO Las longitudes de palabra son 2 3 3 3 3 y la base es 2 luego

991761 j

rminuslj = 1

4 +

4

8 =

3

4 lt 1

d) VERDADERO La secuencia 000000 puede decodificarse como dos veces 000 o tres veces 00

EJERCICIO 72- La fuente S con alfabeto abcde y probabilidades 01 01 01 03 04 secodifica con el coacutedigo ternario (de base 3) C = 1 02 10 20 120

a) iquestSatisface este coacutedigo la desigualdad de Kraft

b) iquestEs este coacutedigo uniacutevocamente decodificable

c) Repite los apartados (a) y (b) suponiendo que en lugar del coacutedigo ternario C se utiliza otro binarioC 2 cuyas longitudes de palabra son iguales que los de C

a) Siacute satisface Kraft Las longitudes de palabra son 1 2 2 2 3 y la base es 3 luego

991761 j

rminuslj = 1

3

+ 3

9

+ 1

27

= 19

27

lt 1

1

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 224

b) No ya que la secuencia 120 puede decodificarse como ad o como ec) En el caso de ser binario el coacutedigo no cumpliriacutea Kraft y por tanto no podriacutea ser uniacutevoco

991761 j

rminuslj = 1

2 +

3

4 +

1

8 =

11

8 gt 1

EJERCICIO 73- Sea S = A P una fuente con alfabeto A = abcd y probabilidades P = 02025 02 035 Cada siacutembolo se genera con independencia de los generados anteriormente (fuente sinmemoria) Si la fuente se codifica utilizando un coacutedigo C = 0 1 10 11 y una funcioacuten de codificacioacutenf tal que f (a) = 0 f (b) = 1 f (c) = 10 y f (d) = 11

a) iquestCuaacutel es la secuencia codificada cuando la fuente emite c minus a minus d minus a

b) iquestEs el coacutedigo C uniacutevocamente decodificable En caso negativo dar un ejemplo de ambiguumledad

c) iquestEs C un coacutedigo instantaacuteneo Justificar

d) Comprueba si el coacutedigo cumple la desigualdad de Kraft

e) Calcula la longitud media del coacutedigo

f) Repetir los apartados (d) y (e) si utilizamos un coacutedigo ternario con las mismas longitudes depalabra que C y las mismas probabilidades

g) Hallar la entropiacutea de la fuente (tema siguiente)

a) f (cada) = 100110b) No por ejemplo f (ba) = f (c) = 10c) No pues todos los instantaacuteneos son uniacutevocos y hemos demostrado en el apartado anterior que C

no lo esd) El coacutedigo no cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 middot 2 +

1

22 middot 2 gt 1

e) La longitud media del coacutedigo es 155 bits por siacutembolo

991761 j

p j middot l j = 02 middot 1 + 025 middot 1 + 02 middot 2 + 035 middot 2 = 155

f) Para un coacutedigo ternario con las mismas longitudes de palabra siacute se cumple la desigualdad de Kraft

991761 j

rminuslj = 1

3 middot 2 +

1

32 middot 2 lt 1

Y la longitud media del coacutedigo seraacute igualmente de 155 bits por siacutembolo puesto que ni las longitudesni las probabilidades cambian

2

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 324

g) La entropiacutea de la fuente es

H 2(S ) =991761 j

p j log2

1

p j≃ 19589

EJERCICIO 74- Considera una fuente S = A P con alfabeto de dos siacutembolos A = a b de proba-bilidades P = 2

3 13

Al concatenar siacutembolos de dos en dos obtenemos la fuente S2 cuyo alfabeto seriacuteaA2 = aaabbabb Suponiendo que cada siacutembolo de la fuente S es emitido de manera independientede los anteriores

a) Calcula el coacutedigo de Huffman en base 2 para S

b) Calcula el coacutedigo de Huffman en base 2 para S2

c) Calcula la longitud promedio necesaria para codificar cada siacutembolo de la fuente para los dosincisos anteriores y compara

d) Repite los apartados (b) y (c) suponiendo que los siacutembolos de S no se emiten de manera indepen-diente Asume que los siacutembolos se emiten de dos en dos respetando las siguientes probabilidadesconjuntas P(aa) = 1

2 P(ab) = 1

6 P(ba) = 1

4

a) Al tener soacutelo dos siacutembolos de forma trivial C H (S ) = 0 1b) Las probabilidades para S2 son 4

9 29

29

19

Aplicamos Huffman49 29 29 1949 29 39

49 591

con lo que el coacutedigo resultante (en una de sus posibles variantes) es C H (S 2) = 0 10 110 111Noacutetese que en cada paso las dos probabilidades maacutes pequentildeas (subrayadas) se fusionan y es la sumade ambas la que se utiliza en el siguiente paso (indicado en negrita)

c) En el inciso (a) se requiere un bit por cada siacutembolo de S En el inciso (b) calculamos la longitudmedia para C H (S 2)

1 times 4

9 + 2 times

2

9 + 3 times

2

9 + 3 times

1

9 =

17

9

y dividimos por dos ya que cada siacutembolo de S 2

consiste en dos siacutembolos de S Luego el esquema en (b)requiere menos bits por siacutembolo que el esquema en (a)d) Las probabilidades para S2 son ahora 1

2 16

14

112

Aplicamos Huffman612 212 312 112612 312 312612 612

1

con lo que el coacutedigo resultante (en una de sus posibles variantes) es C H (S 2) = 0 100 11 101 y sulongitud media

1 times

6

12 + 3 times

2

12 + 2 times

3

12 + 3 times

1

12 =

21

12

3

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 424

que resulta inferior (en bits por siacutembolo de S ) a los dos coacutedigos anteriores (apartados (a) y (b))

EJERCICIO 75- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dado no

ideal donde la probabilidad de sacar nuacutemeros primos es el triple que la de obtener nuacutemeros no primos

(todos los primos son equiprobables entre siacute al igual que los no primos) Para codificar S se utilizaC = 01 10 11 001 0000 0001 con f (1) = 01 f (2) = 10 f (3) = 11 f (4) = 001 f (5) = 0000 y f (6)= 0001

a) iquestEs el coacutedigo C uniacutevocamente decodificable

b) iquestEs C un coacutedigo de Huffman para la fuente S

a) Siacute es uniacutevoco ya que es instantaacuteneo (no hay palabras prefijo de otras)b) No no lo es Esto puede verse de forma directa al observar por ejemplo que f (4) tiene menor

longitud que f (5)

siendo P (S = 5)

el triple que P (S = 4)

(la codificacioacuten de Huffman siempre asignamenor longitud a mayor probabilidad)

EJERCICIO 76- Sea una fuente S = A P de 9 siacutembolos con las siguientes probabilidadesP = 1

4 15

110

110

110

110

120

120

120

Determina si cada uno de estos coacutedigos corresponde a una codifica-cioacuten de Huffman para la fuente S

a) C = 11 10 000 001 0100 0101 01100 01110 01111

b) C = 11 100 000 001 010 0110 1010 10110 10111

c) C = 00 10 110 111 0100 0101 0110 01110 01111

d) C = 10 11 000 001 010 110 0110 00110 00111

e) C = 01 000 110 100 0010 101 1110 1111 0011

Comenzamos por construir nuestro propio coacutedigo de Huffman para esta fuente (recordar que el algo-ritmo de Huffman da lugar a muacuteltiples opciones)

P 14 15 110 110 110 110 120 120 12014 15 110 110 110 110 120 110

14 15 110 110 110 110 320

14 15 110 110 15 32014 15 15 15 32014 15 15 720

14 25 72035 251

Comenzando desde la raiacutez seguimos las divisiones hacia arriba para generar las palabras del coacutedigo

4

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 524

P 14 15 110 110 110 110 120 120 01110 120 01111

14 15 110 110 110 110 120 0110 110 0111

14 15 110 110 110 0100 110 0111 320

14 15 110 110 110 111 15 320

14 15 15 15010 320 011

14 15 10 15 11 720

14 00 25 720 01

35 0 25 1

1Calculando la longitud media de este esquema

L(C H ) = 2

4 +

2

5 +

3

10 +

3

10 +

4

10 +

4

10 +

4

20 +

5

20 +

5

20 = 30

Del mismo modo si calculamos las longitudes promedio de los coacutedigos propuestos en el enunciadovemos que

a) L(C ) = 305

b) L(C ) = 31

c) L(C ) = 30

d) L(C ) = 28

e) L(C ) = 30

Por tanto soacutelo los coacutedigos de los apartados (c) y (e) pueden ser coacutedigos de Huffman para la fuente en

cuestioacuten La verificacioacuten final consiste en comprobar que sean instantaacuteneos lo cual se cumple en amboscasos ya que no hay palabras prefijo de otras De hecho el coacutedigo del apartado (d) tiene justamenteeste problema no es instantaacuteneo (001 es prefijo de 00110) lo cual explica por queacute puede tener longitudmenor que la obtenida mediante Huffman que es la miacutenima posible para un coacutedigo instantaacuteneo Alter-nativamente tambieacuten podriacuteamos haber descartado el coacutedigo del apartado (a) porque 01100 es una de laspalabras maacutes largas y el coacutedigo no contiene 01101

EJERCICIO 77- Sea S = A P una fuente sin memoria con alfabeto A = abcd y probabili-dades P = pa pb pc pd Se sabe que pa = 03 y pb = 02 pero se desconocen pc y pd Para codificarS se quiere utilizar un esquema de codificacioacuten binario instantaacuteneo y se propone utilizar un coacutedigo

C 1 = 0 10 110 con funcioacuten de codificacioacuten f 1 tal que f 1(a) = 0 f 1(b) = 10 y f 1(c) = 110 (des-conocemos f 1(d)) Determina si el coacutedigo propuesto es el maacutes eficiente posible para esta fuente (dadoslos requisitos de instantaacuteneo y binario) Justifica bien tu respuesta

Al solicitarse un coacutedigo instantaacuteneo el maacutes eficiente posible debe ser un esquema de Huffman Luegola uacutenica opcioacuten posible para completar el coacutedigo es f (d) = 111 Ahora bien como la suma de todas lasprobabilidades debe ser la unidad pc + pd = 05 y pb lt 025 tendremos que pc gt pb yoacute pd gt pb Esdecir habraacute al menos uno de estos dos siacutembolos que tiene mayor probabilidad que b y sin embargo secodifica con maacutes bits (3 frente a los 2 utilizados para b) lo cual no cumple con las reglas de codificacioacutende Huffman y por tanto no puede ser el coacutedigo maacutes eficiente posible para esta fuente

5

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 624

EJERCICIO 78- Sea S una fuente con alfabeto de 3 siacutembolos abc cuyas probabilidades son1

2 14

14

Para codificarla se ha utilizado un coacutedigo instantaacuteneo C que no conocemos Sabemos sinembargo que el resultado de codificar cierta secuencia de 10 siacutembolos generados por S ha dado comoresultado 100 010 110 100 011 01 (los espacios no forman parte del coacutedigo sino que se han agregado pa-

ra facilitar la lectura) y que en dicha secuencia 5 siacutembolos son a 3 son b y 2 son c (aunque desconocemosel orden en el que aparecen) Si C es un coacutedigo instantaacuteneo

a) iquestPodemos decodificar uniacutevocamente esta secuencia a pesar de no conocer la funcioacuten de codifica-cioacuten

b) Indica cuaacutel fue la secuencia de siacutembolos emitida por la fuente S (si has respondido afirmativa-mente el inciso anterior) o por lo menos dos posibles secuencias distintas que generen el mismoresultado al codificarse (si has respondido de forma negativa)

Comencemos por determinar las (posibles) longitudes de los coacutedigos asignados a cada siacutembolo Sien-do la secuencia de 17 bits tenemos soacutelo dos posibles combinaciones

bull ℓ(abc) = (1 2 3) rarr 5 times 1 + 3 times 2 + 2 times 3 = 17

bull ℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17

Luego el procedimiento consiste en determinar si es posible generar la secuencia indicada asignandopalabras con longitudes seguacuten una o de estas dos opciones Obseacutervese que en caso de hallar maacutes deuna posibilidad la secuencia no podraacute decodificarse de forma uniacutevoca Es evidente que el peor casoes aquel en el que soacutelo existe una posibilidad de decodificacioacuten porque aquel nos obliga a recorrersistemaacutetimcamente todas las posibles combinaciones (a fin de descartarslas)

Como ejemplo de esta buacutesqueda sistemaacutetica elegiremos la segunda opcioacuten en cuanto a longitudesℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17 Comenzamos a recorrer la secuencia de bits einmediatamente tenemos dos posibilidades comenzar con un bit (b) o con dos (a o c)

bull Si comenzamos por a tenemos a = 10

100 010 110 100 011 01

Luego seguimos con b = 0 oacute c = 00

Si b = 0 entonces el siguiente siacutembolo tambieacuten debe ser b ya que la opcioacuten c = 01 dariacuteacomo resultado un coacutedigo no instantaacuteneo Por tanto

f (a b b ) = 100 010 110 100 011 01Con lo cual evidentemente sigue otra vez a y debe ser c = 11 Esto completa la funcioacuten decodificacioacuten para los 3 siacutembolos pero al intentar decodificar con esta regla nos encontramos que

f (abbacba) = 100 010 110 100 011 01

El siguiente siacutembolo ha de ser b = 0 pero esto no es posible porque ya hemos asignado las tresque tenemos en la secuencia Por tanto esta opcioacuten no es correcta

Si c = 00 entonces el siguiente siacutembolo es nuevamente a = 10 y el siguiente siacutembolo ha deser b = 1 lo cual no es posible porque entonces el coacutedigo no es instantaacuteneo

6

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 724

bull Si comenzamos por b tenemos b = 1 y debemos elegir a = 00 y c = 01 oacute a = 01 y c = 00 Sianalizamos la segunda opcioacuten vemos que la secuencia se decodifica como

f (b c ) = 100 010 110 100 011 01f (b ca ) = 100 010 110 100 011 01

f (bcaa) = 100 010 110 100 011 01f (bcaab) = 100 010 110 100 011 01f (bcaaba) = 100 010 110 100 011 01f (bcaabac) = 100 010 110 100 011 01f (bcaabaca) = 100 010 110 100 011 01f (bcaabacab ) = 100 010 110 100 011 01f (bcaabacaba) = 100 010 110 100 011 01

Con lo cual completamos la decodificacioacuten con la cantidad exacta de siacutembolos que se solicita ycon un coacutedio instantaacuteneo

De forma anaacuteloga puede verificarse que con la otra opcioacuten de longitudes de palabra tambieacuten existeuna solucioacuten con lo cual la secuencia no resulta decodificable de forma uniacutevoca

EJERCICIO 79- Cierta fuente S sin memoria genera una secuencia de 6 siacutembolos La secuencia secodifica siacutembolo por siacutembolo utilizando un esquema de Huffman en base 2 para la fuente S La cadenabinaria resultante es 1 0 1 1 0 0 0 0 1 0 1 Se sabe que la fuente tiene un alfabeto de 5 siacutembolos ynos dicen que sus probabilidades son P A = 03 02502 02 005 oacute P B = 04 03 02 005005Determina cuaacutel de las siguientes afirmaciones es la correcta y justifica claramente tu eleccioacuten

a) Las probabilidades son P A = 03 02502 02 005

b) Las probabilidades son P B = 04 03 02 005005c) Ninguna de las dos (no es posible que una secuencia de 6 siacutembolos emitidos por una fuente con

probabiliades P A oacute P B al codificarse con un esquema Huffman genere la cadena binaria delenunciado)

d) Cualquiera de las dos (con cualquiera de las dos opciones P A oacute P B es posible que la fuente ge-nere una cadena binaria como la del enunciado al codificar mediante un esquema de Huffman unasecuencia de entrada de 6 siacutembolos)

Comenzamos por calcular la codificacioacuten de Huffman para P AP A 03 025 02 02 110 005 111

03 025 02 10 025 11

0300 025 01 045

055 0 045 1

1Obseacutervese que todos los siacutembolos de la fuente se codifican con 2 o maacutes bits lo que hace imposible quepodamos emitir 6 siacutembolos con soacutelo 11 bits (que es la longitud de la secuencia del enunciado) Veamosqueacute sucede con P B

7

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 824

P B 04 03 02 0051111 005 1110

04 03 02 110 01111

04 03 10 0311

040 061

1Vemos que uno de los siacutembolos se codifica con 1 bit lo cual hariacutea posible en principio codificar 6siacutembolos con 11 bits Verificamos si esto se cumple para la eleccioacuten particular que hemos hecho decodificacioacuten de Huffman

f B(abcde) = 0 10 110 1111 1110f minus1B (10 110 0 0 0 10 1) = bcaaab

Nos queda un bit sin decodificar con lo cual el esquema elegido no nos sirve Sin embargo tenemosvarias formas de modificar la asignacioacuten de unos y ceros a cada siacutembolo Una solucioacuten posible es lasiguiente

P B 04 03 02 0050001 005 0000

04 03 02 001 01000

04 03 01 0300

041 060

1

f B(abcde) = 1 01 001 0001 0000f minus1B (1 01 1 0000 1 01) = abaeab

EJERCICIO 710- Sea S = A P una fuente sin memoria con alfabeto A = a b c d e f g hPara codificar la fuente S utilizamos un coacutedigo ternario (base 3) C = 1 0 21 210 220 010 221 con funcioacuten de codificacioacuten f tal que f (a) = 1 f (b) = 0 f (c) = 21 y f (d) = 210 etc siendo f (h)desconocido Hallar todos los posibles valores de f (h) para los que C es un coacutedigo no singular que no

cumple con la desigualdad de Kraft

Para que no se cumpla la desigualdad de Kraft debe cumplirse991761 j

3minusℓj gt 1

2 times 1

31 +

1

32 + 4 times

1

33 +

1

3ℓhgt 1

25

27 +

1

3ℓhgt 1

13ℓh

gt 227

rArr 272

gt 3ℓh

Como soacutelo son posibles valores enteros para ℓh es faacutecil ver que la desigualdad se cumple para cualquierentero menor a 3 Alternativamente podemos aplicar logaritmos

27

2 gt 3ℓh

log3

27

2 gt ℓh

ℓh lt log3 27 minus log

3 2

ℓh lt 3 minus log3 2

8

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 924

No nos hace falta el valor exacto de log3 2 ≃ 06309 pues basta con saber que (de forma evidente) es

menor que la unidad con lo cual ℓh queda acotado por un nuacutemero entre 2 y 3 Luego siendo enterodeberaacute ser menor o igual a 2

Finalmente la solucioacuten al problema son todas las combinaciones de uno y dos siacutembolos ternarios

excepto los ya utilizados en el coacutedigo 2 00 01 02 10 11 12 20 22

EJERCICIO 711- El coacutedigo Morse utilizado en telegrafiacutea permite codificar cada letra del alfabetocon puntos y rayas La figura 1 ilustra dicha codificacioacuten para los siacutembolos utilizados en idioma ingleacutes

Figura 1 Coacutedigo Morse Internacional

a) El coacutedigo Morse separa cada letra con otro siacutembolo que podemos interpretar como un espacioiquestEs necesario utilizar dicho espacio iquestPor queacute

b) iquestEs el coacutedigo Morse un coacutedigo instantaacuteneo iquestPor queacute

c) En la figura 2 se indican las frecuencias tiacutepicas de apracicioacuten de las letras en el idioma ingleacutes Apartir de las mismas calcule la longitud promedio del coacutedigo Morse para un texto escrito en ingleacutes(suponer independencia de emisioacuten de las letras y no distincioacuten entre mayuacutesculas y minuacutesculas)

a) Siacute la sepacacioacuten es necesaria para garantizar la decodificacioacuten de forma uniacutevoca Por ejemploen ausencia del espacio de separacioacuten codificariacuteamos la letra A y la secuencia E T de la misma forma(punto-raya)

b) Si consideramos soacutelo la codificacioacuten de la tabla (sin el espacio de separacioacuten entre siacutembolos) elcoacutedigo Morse no es instantaacuteneo (pues no es uniacutevoco como vimos en el apartado (a))

c) La longitud promedio se obtiene simplemente sumando para cada siacutembolo el producto de sus fre-

cuencias de aparicioacuten por la cantidad de puntos y rayas con que se codifica resultando un promedio de

9

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1024

Figura 2 Frecuencias relativas de aparicioacuten de letras en el idioma ingleacutes

254167 puntos y rayas por letra (1543 puntos y 0999 rayas)

EJERCICIO 712- En la figura 2 se indican las frecuencias tiacutepicas de aparicioacuten de las letras en elidioma ingleacutes

a) A partir de las mismas calcula el coacutedigo binario de Huffman resultante (para codificar una letra ala vez) y su longitud promedio

b) Compara esta longitud con la cantidad promedio de puntos y rayas del coacutedigo Morse (ejercicioanterior) iquestCuaacutel de los dos coacutedigos tiene menor longitud promedio

c) Supongamos ahora que en el coacutedigo Morse interpretamos que cada palabra de coacutedigo terminacon un espacio Es decir cada letra se representa por el nuacutemreo correspondiente de puntos y rayasmaacutes un espacio al final Entonces la longitud promedio del coacutedigo Morse es igual al promedio depuntos y rayas por letra maacutes 1 (que es el promedio de espacios por letra) Dicha longitud resultamenor que la del coacutedigo de Huffman calculado en el apartado (a) Explica coacutemo es posible quepase esto si sabemos que los coacutedigos de Huffman son los coacutedigos instantaacuteneos de menor longitudpromedio posible

a) Procediendo de manera similar a lo visto en problemas anteriores podemos calcular una posiblecodificacioacuten de Huffman para esta fuente C = 0001 001111 10110 00000 011 11010 0011001001 0100 110110100 1101100 00001 11000 0101 0010 001110 110110110 1010 1000 11110111 110111 11001 110110101 001101 110110111 siendo la longitud promedio resultante de4205 bits por letra

Cuando la fuente tiene una cantidad de siacutembolos considerable es conveniente automatizar la construc-cioacuten del esquema de codificacioacuten En la figura 3 se indica una implementacioacuten sencilla del algoritmo de

10

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 2: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 224

b) No ya que la secuencia 120 puede decodificarse como ad o como ec) En el caso de ser binario el coacutedigo no cumpliriacutea Kraft y por tanto no podriacutea ser uniacutevoco

991761 j

rminuslj = 1

2 +

3

4 +

1

8 =

11

8 gt 1

EJERCICIO 73- Sea S = A P una fuente con alfabeto A = abcd y probabilidades P = 02025 02 035 Cada siacutembolo se genera con independencia de los generados anteriormente (fuente sinmemoria) Si la fuente se codifica utilizando un coacutedigo C = 0 1 10 11 y una funcioacuten de codificacioacutenf tal que f (a) = 0 f (b) = 1 f (c) = 10 y f (d) = 11

a) iquestCuaacutel es la secuencia codificada cuando la fuente emite c minus a minus d minus a

b) iquestEs el coacutedigo C uniacutevocamente decodificable En caso negativo dar un ejemplo de ambiguumledad

c) iquestEs C un coacutedigo instantaacuteneo Justificar

d) Comprueba si el coacutedigo cumple la desigualdad de Kraft

e) Calcula la longitud media del coacutedigo

f) Repetir los apartados (d) y (e) si utilizamos un coacutedigo ternario con las mismas longitudes depalabra que C y las mismas probabilidades

g) Hallar la entropiacutea de la fuente (tema siguiente)

a) f (cada) = 100110b) No por ejemplo f (ba) = f (c) = 10c) No pues todos los instantaacuteneos son uniacutevocos y hemos demostrado en el apartado anterior que C

no lo esd) El coacutedigo no cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 middot 2 +

1

22 middot 2 gt 1

e) La longitud media del coacutedigo es 155 bits por siacutembolo

991761 j

p j middot l j = 02 middot 1 + 025 middot 1 + 02 middot 2 + 035 middot 2 = 155

f) Para un coacutedigo ternario con las mismas longitudes de palabra siacute se cumple la desigualdad de Kraft

991761 j

rminuslj = 1

3 middot 2 +

1

32 middot 2 lt 1

Y la longitud media del coacutedigo seraacute igualmente de 155 bits por siacutembolo puesto que ni las longitudesni las probabilidades cambian

2

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 324

g) La entropiacutea de la fuente es

H 2(S ) =991761 j

p j log2

1

p j≃ 19589

EJERCICIO 74- Considera una fuente S = A P con alfabeto de dos siacutembolos A = a b de proba-bilidades P = 2

3 13

Al concatenar siacutembolos de dos en dos obtenemos la fuente S2 cuyo alfabeto seriacuteaA2 = aaabbabb Suponiendo que cada siacutembolo de la fuente S es emitido de manera independientede los anteriores

a) Calcula el coacutedigo de Huffman en base 2 para S

b) Calcula el coacutedigo de Huffman en base 2 para S2

c) Calcula la longitud promedio necesaria para codificar cada siacutembolo de la fuente para los dosincisos anteriores y compara

d) Repite los apartados (b) y (c) suponiendo que los siacutembolos de S no se emiten de manera indepen-diente Asume que los siacutembolos se emiten de dos en dos respetando las siguientes probabilidadesconjuntas P(aa) = 1

2 P(ab) = 1

6 P(ba) = 1

4

a) Al tener soacutelo dos siacutembolos de forma trivial C H (S ) = 0 1b) Las probabilidades para S2 son 4

9 29

29

19

Aplicamos Huffman49 29 29 1949 29 39

49 591

con lo que el coacutedigo resultante (en una de sus posibles variantes) es C H (S 2) = 0 10 110 111Noacutetese que en cada paso las dos probabilidades maacutes pequentildeas (subrayadas) se fusionan y es la sumade ambas la que se utiliza en el siguiente paso (indicado en negrita)

c) En el inciso (a) se requiere un bit por cada siacutembolo de S En el inciso (b) calculamos la longitudmedia para C H (S 2)

1 times 4

9 + 2 times

2

9 + 3 times

2

9 + 3 times

1

9 =

17

9

y dividimos por dos ya que cada siacutembolo de S 2

consiste en dos siacutembolos de S Luego el esquema en (b)requiere menos bits por siacutembolo que el esquema en (a)d) Las probabilidades para S2 son ahora 1

2 16

14

112

Aplicamos Huffman612 212 312 112612 312 312612 612

1

con lo que el coacutedigo resultante (en una de sus posibles variantes) es C H (S 2) = 0 100 11 101 y sulongitud media

1 times

6

12 + 3 times

2

12 + 2 times

3

12 + 3 times

1

12 =

21

12

3

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 424

que resulta inferior (en bits por siacutembolo de S ) a los dos coacutedigos anteriores (apartados (a) y (b))

EJERCICIO 75- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dado no

ideal donde la probabilidad de sacar nuacutemeros primos es el triple que la de obtener nuacutemeros no primos

(todos los primos son equiprobables entre siacute al igual que los no primos) Para codificar S se utilizaC = 01 10 11 001 0000 0001 con f (1) = 01 f (2) = 10 f (3) = 11 f (4) = 001 f (5) = 0000 y f (6)= 0001

a) iquestEs el coacutedigo C uniacutevocamente decodificable

b) iquestEs C un coacutedigo de Huffman para la fuente S

a) Siacute es uniacutevoco ya que es instantaacuteneo (no hay palabras prefijo de otras)b) No no lo es Esto puede verse de forma directa al observar por ejemplo que f (4) tiene menor

longitud que f (5)

siendo P (S = 5)

el triple que P (S = 4)

(la codificacioacuten de Huffman siempre asignamenor longitud a mayor probabilidad)

EJERCICIO 76- Sea una fuente S = A P de 9 siacutembolos con las siguientes probabilidadesP = 1

4 15

110

110

110

110

120

120

120

Determina si cada uno de estos coacutedigos corresponde a una codifica-cioacuten de Huffman para la fuente S

a) C = 11 10 000 001 0100 0101 01100 01110 01111

b) C = 11 100 000 001 010 0110 1010 10110 10111

c) C = 00 10 110 111 0100 0101 0110 01110 01111

d) C = 10 11 000 001 010 110 0110 00110 00111

e) C = 01 000 110 100 0010 101 1110 1111 0011

Comenzamos por construir nuestro propio coacutedigo de Huffman para esta fuente (recordar que el algo-ritmo de Huffman da lugar a muacuteltiples opciones)

P 14 15 110 110 110 110 120 120 12014 15 110 110 110 110 120 110

14 15 110 110 110 110 320

14 15 110 110 15 32014 15 15 15 32014 15 15 720

14 25 72035 251

Comenzando desde la raiacutez seguimos las divisiones hacia arriba para generar las palabras del coacutedigo

4

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 524

P 14 15 110 110 110 110 120 120 01110 120 01111

14 15 110 110 110 110 120 0110 110 0111

14 15 110 110 110 0100 110 0111 320

14 15 110 110 110 111 15 320

14 15 15 15010 320 011

14 15 10 15 11 720

14 00 25 720 01

35 0 25 1

1Calculando la longitud media de este esquema

L(C H ) = 2

4 +

2

5 +

3

10 +

3

10 +

4

10 +

4

10 +

4

20 +

5

20 +

5

20 = 30

Del mismo modo si calculamos las longitudes promedio de los coacutedigos propuestos en el enunciadovemos que

a) L(C ) = 305

b) L(C ) = 31

c) L(C ) = 30

d) L(C ) = 28

e) L(C ) = 30

Por tanto soacutelo los coacutedigos de los apartados (c) y (e) pueden ser coacutedigos de Huffman para la fuente en

cuestioacuten La verificacioacuten final consiste en comprobar que sean instantaacuteneos lo cual se cumple en amboscasos ya que no hay palabras prefijo de otras De hecho el coacutedigo del apartado (d) tiene justamenteeste problema no es instantaacuteneo (001 es prefijo de 00110) lo cual explica por queacute puede tener longitudmenor que la obtenida mediante Huffman que es la miacutenima posible para un coacutedigo instantaacuteneo Alter-nativamente tambieacuten podriacuteamos haber descartado el coacutedigo del apartado (a) porque 01100 es una de laspalabras maacutes largas y el coacutedigo no contiene 01101

EJERCICIO 77- Sea S = A P una fuente sin memoria con alfabeto A = abcd y probabili-dades P = pa pb pc pd Se sabe que pa = 03 y pb = 02 pero se desconocen pc y pd Para codificarS se quiere utilizar un esquema de codificacioacuten binario instantaacuteneo y se propone utilizar un coacutedigo

C 1 = 0 10 110 con funcioacuten de codificacioacuten f 1 tal que f 1(a) = 0 f 1(b) = 10 y f 1(c) = 110 (des-conocemos f 1(d)) Determina si el coacutedigo propuesto es el maacutes eficiente posible para esta fuente (dadoslos requisitos de instantaacuteneo y binario) Justifica bien tu respuesta

Al solicitarse un coacutedigo instantaacuteneo el maacutes eficiente posible debe ser un esquema de Huffman Luegola uacutenica opcioacuten posible para completar el coacutedigo es f (d) = 111 Ahora bien como la suma de todas lasprobabilidades debe ser la unidad pc + pd = 05 y pb lt 025 tendremos que pc gt pb yoacute pd gt pb Esdecir habraacute al menos uno de estos dos siacutembolos que tiene mayor probabilidad que b y sin embargo secodifica con maacutes bits (3 frente a los 2 utilizados para b) lo cual no cumple con las reglas de codificacioacutende Huffman y por tanto no puede ser el coacutedigo maacutes eficiente posible para esta fuente

5

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 624

EJERCICIO 78- Sea S una fuente con alfabeto de 3 siacutembolos abc cuyas probabilidades son1

2 14

14

Para codificarla se ha utilizado un coacutedigo instantaacuteneo C que no conocemos Sabemos sinembargo que el resultado de codificar cierta secuencia de 10 siacutembolos generados por S ha dado comoresultado 100 010 110 100 011 01 (los espacios no forman parte del coacutedigo sino que se han agregado pa-

ra facilitar la lectura) y que en dicha secuencia 5 siacutembolos son a 3 son b y 2 son c (aunque desconocemosel orden en el que aparecen) Si C es un coacutedigo instantaacuteneo

a) iquestPodemos decodificar uniacutevocamente esta secuencia a pesar de no conocer la funcioacuten de codifica-cioacuten

b) Indica cuaacutel fue la secuencia de siacutembolos emitida por la fuente S (si has respondido afirmativa-mente el inciso anterior) o por lo menos dos posibles secuencias distintas que generen el mismoresultado al codificarse (si has respondido de forma negativa)

Comencemos por determinar las (posibles) longitudes de los coacutedigos asignados a cada siacutembolo Sien-do la secuencia de 17 bits tenemos soacutelo dos posibles combinaciones

bull ℓ(abc) = (1 2 3) rarr 5 times 1 + 3 times 2 + 2 times 3 = 17

bull ℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17

Luego el procedimiento consiste en determinar si es posible generar la secuencia indicada asignandopalabras con longitudes seguacuten una o de estas dos opciones Obseacutervese que en caso de hallar maacutes deuna posibilidad la secuencia no podraacute decodificarse de forma uniacutevoca Es evidente que el peor casoes aquel en el que soacutelo existe una posibilidad de decodificacioacuten porque aquel nos obliga a recorrersistemaacutetimcamente todas las posibles combinaciones (a fin de descartarslas)

Como ejemplo de esta buacutesqueda sistemaacutetica elegiremos la segunda opcioacuten en cuanto a longitudesℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17 Comenzamos a recorrer la secuencia de bits einmediatamente tenemos dos posibilidades comenzar con un bit (b) o con dos (a o c)

bull Si comenzamos por a tenemos a = 10

100 010 110 100 011 01

Luego seguimos con b = 0 oacute c = 00

Si b = 0 entonces el siguiente siacutembolo tambieacuten debe ser b ya que la opcioacuten c = 01 dariacuteacomo resultado un coacutedigo no instantaacuteneo Por tanto

f (a b b ) = 100 010 110 100 011 01Con lo cual evidentemente sigue otra vez a y debe ser c = 11 Esto completa la funcioacuten decodificacioacuten para los 3 siacutembolos pero al intentar decodificar con esta regla nos encontramos que

f (abbacba) = 100 010 110 100 011 01

El siguiente siacutembolo ha de ser b = 0 pero esto no es posible porque ya hemos asignado las tresque tenemos en la secuencia Por tanto esta opcioacuten no es correcta

Si c = 00 entonces el siguiente siacutembolo es nuevamente a = 10 y el siguiente siacutembolo ha deser b = 1 lo cual no es posible porque entonces el coacutedigo no es instantaacuteneo

6

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 724

bull Si comenzamos por b tenemos b = 1 y debemos elegir a = 00 y c = 01 oacute a = 01 y c = 00 Sianalizamos la segunda opcioacuten vemos que la secuencia se decodifica como

f (b c ) = 100 010 110 100 011 01f (b ca ) = 100 010 110 100 011 01

f (bcaa) = 100 010 110 100 011 01f (bcaab) = 100 010 110 100 011 01f (bcaaba) = 100 010 110 100 011 01f (bcaabac) = 100 010 110 100 011 01f (bcaabaca) = 100 010 110 100 011 01f (bcaabacab ) = 100 010 110 100 011 01f (bcaabacaba) = 100 010 110 100 011 01

Con lo cual completamos la decodificacioacuten con la cantidad exacta de siacutembolos que se solicita ycon un coacutedio instantaacuteneo

De forma anaacuteloga puede verificarse que con la otra opcioacuten de longitudes de palabra tambieacuten existeuna solucioacuten con lo cual la secuencia no resulta decodificable de forma uniacutevoca

EJERCICIO 79- Cierta fuente S sin memoria genera una secuencia de 6 siacutembolos La secuencia secodifica siacutembolo por siacutembolo utilizando un esquema de Huffman en base 2 para la fuente S La cadenabinaria resultante es 1 0 1 1 0 0 0 0 1 0 1 Se sabe que la fuente tiene un alfabeto de 5 siacutembolos ynos dicen que sus probabilidades son P A = 03 02502 02 005 oacute P B = 04 03 02 005005Determina cuaacutel de las siguientes afirmaciones es la correcta y justifica claramente tu eleccioacuten

a) Las probabilidades son P A = 03 02502 02 005

b) Las probabilidades son P B = 04 03 02 005005c) Ninguna de las dos (no es posible que una secuencia de 6 siacutembolos emitidos por una fuente con

probabiliades P A oacute P B al codificarse con un esquema Huffman genere la cadena binaria delenunciado)

d) Cualquiera de las dos (con cualquiera de las dos opciones P A oacute P B es posible que la fuente ge-nere una cadena binaria como la del enunciado al codificar mediante un esquema de Huffman unasecuencia de entrada de 6 siacutembolos)

Comenzamos por calcular la codificacioacuten de Huffman para P AP A 03 025 02 02 110 005 111

03 025 02 10 025 11

0300 025 01 045

055 0 045 1

1Obseacutervese que todos los siacutembolos de la fuente se codifican con 2 o maacutes bits lo que hace imposible quepodamos emitir 6 siacutembolos con soacutelo 11 bits (que es la longitud de la secuencia del enunciado) Veamosqueacute sucede con P B

7

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 824

P B 04 03 02 0051111 005 1110

04 03 02 110 01111

04 03 10 0311

040 061

1Vemos que uno de los siacutembolos se codifica con 1 bit lo cual hariacutea posible en principio codificar 6siacutembolos con 11 bits Verificamos si esto se cumple para la eleccioacuten particular que hemos hecho decodificacioacuten de Huffman

f B(abcde) = 0 10 110 1111 1110f minus1B (10 110 0 0 0 10 1) = bcaaab

Nos queda un bit sin decodificar con lo cual el esquema elegido no nos sirve Sin embargo tenemosvarias formas de modificar la asignacioacuten de unos y ceros a cada siacutembolo Una solucioacuten posible es lasiguiente

P B 04 03 02 0050001 005 0000

04 03 02 001 01000

04 03 01 0300

041 060

1

f B(abcde) = 1 01 001 0001 0000f minus1B (1 01 1 0000 1 01) = abaeab

EJERCICIO 710- Sea S = A P una fuente sin memoria con alfabeto A = a b c d e f g hPara codificar la fuente S utilizamos un coacutedigo ternario (base 3) C = 1 0 21 210 220 010 221 con funcioacuten de codificacioacuten f tal que f (a) = 1 f (b) = 0 f (c) = 21 y f (d) = 210 etc siendo f (h)desconocido Hallar todos los posibles valores de f (h) para los que C es un coacutedigo no singular que no

cumple con la desigualdad de Kraft

Para que no se cumpla la desigualdad de Kraft debe cumplirse991761 j

3minusℓj gt 1

2 times 1

31 +

1

32 + 4 times

1

33 +

1

3ℓhgt 1

25

27 +

1

3ℓhgt 1

13ℓh

gt 227

rArr 272

gt 3ℓh

Como soacutelo son posibles valores enteros para ℓh es faacutecil ver que la desigualdad se cumple para cualquierentero menor a 3 Alternativamente podemos aplicar logaritmos

27

2 gt 3ℓh

log3

27

2 gt ℓh

ℓh lt log3 27 minus log

3 2

ℓh lt 3 minus log3 2

8

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 924

No nos hace falta el valor exacto de log3 2 ≃ 06309 pues basta con saber que (de forma evidente) es

menor que la unidad con lo cual ℓh queda acotado por un nuacutemero entre 2 y 3 Luego siendo enterodeberaacute ser menor o igual a 2

Finalmente la solucioacuten al problema son todas las combinaciones de uno y dos siacutembolos ternarios

excepto los ya utilizados en el coacutedigo 2 00 01 02 10 11 12 20 22

EJERCICIO 711- El coacutedigo Morse utilizado en telegrafiacutea permite codificar cada letra del alfabetocon puntos y rayas La figura 1 ilustra dicha codificacioacuten para los siacutembolos utilizados en idioma ingleacutes

Figura 1 Coacutedigo Morse Internacional

a) El coacutedigo Morse separa cada letra con otro siacutembolo que podemos interpretar como un espacioiquestEs necesario utilizar dicho espacio iquestPor queacute

b) iquestEs el coacutedigo Morse un coacutedigo instantaacuteneo iquestPor queacute

c) En la figura 2 se indican las frecuencias tiacutepicas de apracicioacuten de las letras en el idioma ingleacutes Apartir de las mismas calcule la longitud promedio del coacutedigo Morse para un texto escrito en ingleacutes(suponer independencia de emisioacuten de las letras y no distincioacuten entre mayuacutesculas y minuacutesculas)

a) Siacute la sepacacioacuten es necesaria para garantizar la decodificacioacuten de forma uniacutevoca Por ejemploen ausencia del espacio de separacioacuten codificariacuteamos la letra A y la secuencia E T de la misma forma(punto-raya)

b) Si consideramos soacutelo la codificacioacuten de la tabla (sin el espacio de separacioacuten entre siacutembolos) elcoacutedigo Morse no es instantaacuteneo (pues no es uniacutevoco como vimos en el apartado (a))

c) La longitud promedio se obtiene simplemente sumando para cada siacutembolo el producto de sus fre-

cuencias de aparicioacuten por la cantidad de puntos y rayas con que se codifica resultando un promedio de

9

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1024

Figura 2 Frecuencias relativas de aparicioacuten de letras en el idioma ingleacutes

254167 puntos y rayas por letra (1543 puntos y 0999 rayas)

EJERCICIO 712- En la figura 2 se indican las frecuencias tiacutepicas de aparicioacuten de las letras en elidioma ingleacutes

a) A partir de las mismas calcula el coacutedigo binario de Huffman resultante (para codificar una letra ala vez) y su longitud promedio

b) Compara esta longitud con la cantidad promedio de puntos y rayas del coacutedigo Morse (ejercicioanterior) iquestCuaacutel de los dos coacutedigos tiene menor longitud promedio

c) Supongamos ahora que en el coacutedigo Morse interpretamos que cada palabra de coacutedigo terminacon un espacio Es decir cada letra se representa por el nuacutemreo correspondiente de puntos y rayasmaacutes un espacio al final Entonces la longitud promedio del coacutedigo Morse es igual al promedio depuntos y rayas por letra maacutes 1 (que es el promedio de espacios por letra) Dicha longitud resultamenor que la del coacutedigo de Huffman calculado en el apartado (a) Explica coacutemo es posible quepase esto si sabemos que los coacutedigos de Huffman son los coacutedigos instantaacuteneos de menor longitudpromedio posible

a) Procediendo de manera similar a lo visto en problemas anteriores podemos calcular una posiblecodificacioacuten de Huffman para esta fuente C = 0001 001111 10110 00000 011 11010 0011001001 0100 110110100 1101100 00001 11000 0101 0010 001110 110110110 1010 1000 11110111 110111 11001 110110101 001101 110110111 siendo la longitud promedio resultante de4205 bits por letra

Cuando la fuente tiene una cantidad de siacutembolos considerable es conveniente automatizar la construc-cioacuten del esquema de codificacioacuten En la figura 3 se indica una implementacioacuten sencilla del algoritmo de

10

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 3: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 324

g) La entropiacutea de la fuente es

H 2(S ) =991761 j

p j log2

1

p j≃ 19589

EJERCICIO 74- Considera una fuente S = A P con alfabeto de dos siacutembolos A = a b de proba-bilidades P = 2

3 13

Al concatenar siacutembolos de dos en dos obtenemos la fuente S2 cuyo alfabeto seriacuteaA2 = aaabbabb Suponiendo que cada siacutembolo de la fuente S es emitido de manera independientede los anteriores

a) Calcula el coacutedigo de Huffman en base 2 para S

b) Calcula el coacutedigo de Huffman en base 2 para S2

c) Calcula la longitud promedio necesaria para codificar cada siacutembolo de la fuente para los dosincisos anteriores y compara

d) Repite los apartados (b) y (c) suponiendo que los siacutembolos de S no se emiten de manera indepen-diente Asume que los siacutembolos se emiten de dos en dos respetando las siguientes probabilidadesconjuntas P(aa) = 1

2 P(ab) = 1

6 P(ba) = 1

4

a) Al tener soacutelo dos siacutembolos de forma trivial C H (S ) = 0 1b) Las probabilidades para S2 son 4

9 29

29

19

Aplicamos Huffman49 29 29 1949 29 39

49 591

con lo que el coacutedigo resultante (en una de sus posibles variantes) es C H (S 2) = 0 10 110 111Noacutetese que en cada paso las dos probabilidades maacutes pequentildeas (subrayadas) se fusionan y es la sumade ambas la que se utiliza en el siguiente paso (indicado en negrita)

c) En el inciso (a) se requiere un bit por cada siacutembolo de S En el inciso (b) calculamos la longitudmedia para C H (S 2)

1 times 4

9 + 2 times

2

9 + 3 times

2

9 + 3 times

1

9 =

17

9

y dividimos por dos ya que cada siacutembolo de S 2

consiste en dos siacutembolos de S Luego el esquema en (b)requiere menos bits por siacutembolo que el esquema en (a)d) Las probabilidades para S2 son ahora 1

2 16

14

112

Aplicamos Huffman612 212 312 112612 312 312612 612

1

con lo que el coacutedigo resultante (en una de sus posibles variantes) es C H (S 2) = 0 100 11 101 y sulongitud media

1 times

6

12 + 3 times

2

12 + 2 times

3

12 + 3 times

1

12 =

21

12

3

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 424

que resulta inferior (en bits por siacutembolo de S ) a los dos coacutedigos anteriores (apartados (a) y (b))

EJERCICIO 75- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dado no

ideal donde la probabilidad de sacar nuacutemeros primos es el triple que la de obtener nuacutemeros no primos

(todos los primos son equiprobables entre siacute al igual que los no primos) Para codificar S se utilizaC = 01 10 11 001 0000 0001 con f (1) = 01 f (2) = 10 f (3) = 11 f (4) = 001 f (5) = 0000 y f (6)= 0001

a) iquestEs el coacutedigo C uniacutevocamente decodificable

b) iquestEs C un coacutedigo de Huffman para la fuente S

a) Siacute es uniacutevoco ya que es instantaacuteneo (no hay palabras prefijo de otras)b) No no lo es Esto puede verse de forma directa al observar por ejemplo que f (4) tiene menor

longitud que f (5)

siendo P (S = 5)

el triple que P (S = 4)

(la codificacioacuten de Huffman siempre asignamenor longitud a mayor probabilidad)

EJERCICIO 76- Sea una fuente S = A P de 9 siacutembolos con las siguientes probabilidadesP = 1

4 15

110

110

110

110

120

120

120

Determina si cada uno de estos coacutedigos corresponde a una codifica-cioacuten de Huffman para la fuente S

a) C = 11 10 000 001 0100 0101 01100 01110 01111

b) C = 11 100 000 001 010 0110 1010 10110 10111

c) C = 00 10 110 111 0100 0101 0110 01110 01111

d) C = 10 11 000 001 010 110 0110 00110 00111

e) C = 01 000 110 100 0010 101 1110 1111 0011

Comenzamos por construir nuestro propio coacutedigo de Huffman para esta fuente (recordar que el algo-ritmo de Huffman da lugar a muacuteltiples opciones)

P 14 15 110 110 110 110 120 120 12014 15 110 110 110 110 120 110

14 15 110 110 110 110 320

14 15 110 110 15 32014 15 15 15 32014 15 15 720

14 25 72035 251

Comenzando desde la raiacutez seguimos las divisiones hacia arriba para generar las palabras del coacutedigo

4

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 524

P 14 15 110 110 110 110 120 120 01110 120 01111

14 15 110 110 110 110 120 0110 110 0111

14 15 110 110 110 0100 110 0111 320

14 15 110 110 110 111 15 320

14 15 15 15010 320 011

14 15 10 15 11 720

14 00 25 720 01

35 0 25 1

1Calculando la longitud media de este esquema

L(C H ) = 2

4 +

2

5 +

3

10 +

3

10 +

4

10 +

4

10 +

4

20 +

5

20 +

5

20 = 30

Del mismo modo si calculamos las longitudes promedio de los coacutedigos propuestos en el enunciadovemos que

a) L(C ) = 305

b) L(C ) = 31

c) L(C ) = 30

d) L(C ) = 28

e) L(C ) = 30

Por tanto soacutelo los coacutedigos de los apartados (c) y (e) pueden ser coacutedigos de Huffman para la fuente en

cuestioacuten La verificacioacuten final consiste en comprobar que sean instantaacuteneos lo cual se cumple en amboscasos ya que no hay palabras prefijo de otras De hecho el coacutedigo del apartado (d) tiene justamenteeste problema no es instantaacuteneo (001 es prefijo de 00110) lo cual explica por queacute puede tener longitudmenor que la obtenida mediante Huffman que es la miacutenima posible para un coacutedigo instantaacuteneo Alter-nativamente tambieacuten podriacuteamos haber descartado el coacutedigo del apartado (a) porque 01100 es una de laspalabras maacutes largas y el coacutedigo no contiene 01101

EJERCICIO 77- Sea S = A P una fuente sin memoria con alfabeto A = abcd y probabili-dades P = pa pb pc pd Se sabe que pa = 03 y pb = 02 pero se desconocen pc y pd Para codificarS se quiere utilizar un esquema de codificacioacuten binario instantaacuteneo y se propone utilizar un coacutedigo

C 1 = 0 10 110 con funcioacuten de codificacioacuten f 1 tal que f 1(a) = 0 f 1(b) = 10 y f 1(c) = 110 (des-conocemos f 1(d)) Determina si el coacutedigo propuesto es el maacutes eficiente posible para esta fuente (dadoslos requisitos de instantaacuteneo y binario) Justifica bien tu respuesta

Al solicitarse un coacutedigo instantaacuteneo el maacutes eficiente posible debe ser un esquema de Huffman Luegola uacutenica opcioacuten posible para completar el coacutedigo es f (d) = 111 Ahora bien como la suma de todas lasprobabilidades debe ser la unidad pc + pd = 05 y pb lt 025 tendremos que pc gt pb yoacute pd gt pb Esdecir habraacute al menos uno de estos dos siacutembolos que tiene mayor probabilidad que b y sin embargo secodifica con maacutes bits (3 frente a los 2 utilizados para b) lo cual no cumple con las reglas de codificacioacutende Huffman y por tanto no puede ser el coacutedigo maacutes eficiente posible para esta fuente

5

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 624

EJERCICIO 78- Sea S una fuente con alfabeto de 3 siacutembolos abc cuyas probabilidades son1

2 14

14

Para codificarla se ha utilizado un coacutedigo instantaacuteneo C que no conocemos Sabemos sinembargo que el resultado de codificar cierta secuencia de 10 siacutembolos generados por S ha dado comoresultado 100 010 110 100 011 01 (los espacios no forman parte del coacutedigo sino que se han agregado pa-

ra facilitar la lectura) y que en dicha secuencia 5 siacutembolos son a 3 son b y 2 son c (aunque desconocemosel orden en el que aparecen) Si C es un coacutedigo instantaacuteneo

a) iquestPodemos decodificar uniacutevocamente esta secuencia a pesar de no conocer la funcioacuten de codifica-cioacuten

b) Indica cuaacutel fue la secuencia de siacutembolos emitida por la fuente S (si has respondido afirmativa-mente el inciso anterior) o por lo menos dos posibles secuencias distintas que generen el mismoresultado al codificarse (si has respondido de forma negativa)

Comencemos por determinar las (posibles) longitudes de los coacutedigos asignados a cada siacutembolo Sien-do la secuencia de 17 bits tenemos soacutelo dos posibles combinaciones

bull ℓ(abc) = (1 2 3) rarr 5 times 1 + 3 times 2 + 2 times 3 = 17

bull ℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17

Luego el procedimiento consiste en determinar si es posible generar la secuencia indicada asignandopalabras con longitudes seguacuten una o de estas dos opciones Obseacutervese que en caso de hallar maacutes deuna posibilidad la secuencia no podraacute decodificarse de forma uniacutevoca Es evidente que el peor casoes aquel en el que soacutelo existe una posibilidad de decodificacioacuten porque aquel nos obliga a recorrersistemaacutetimcamente todas las posibles combinaciones (a fin de descartarslas)

Como ejemplo de esta buacutesqueda sistemaacutetica elegiremos la segunda opcioacuten en cuanto a longitudesℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17 Comenzamos a recorrer la secuencia de bits einmediatamente tenemos dos posibilidades comenzar con un bit (b) o con dos (a o c)

bull Si comenzamos por a tenemos a = 10

100 010 110 100 011 01

Luego seguimos con b = 0 oacute c = 00

Si b = 0 entonces el siguiente siacutembolo tambieacuten debe ser b ya que la opcioacuten c = 01 dariacuteacomo resultado un coacutedigo no instantaacuteneo Por tanto

f (a b b ) = 100 010 110 100 011 01Con lo cual evidentemente sigue otra vez a y debe ser c = 11 Esto completa la funcioacuten decodificacioacuten para los 3 siacutembolos pero al intentar decodificar con esta regla nos encontramos que

f (abbacba) = 100 010 110 100 011 01

El siguiente siacutembolo ha de ser b = 0 pero esto no es posible porque ya hemos asignado las tresque tenemos en la secuencia Por tanto esta opcioacuten no es correcta

Si c = 00 entonces el siguiente siacutembolo es nuevamente a = 10 y el siguiente siacutembolo ha deser b = 1 lo cual no es posible porque entonces el coacutedigo no es instantaacuteneo

6

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 724

bull Si comenzamos por b tenemos b = 1 y debemos elegir a = 00 y c = 01 oacute a = 01 y c = 00 Sianalizamos la segunda opcioacuten vemos que la secuencia se decodifica como

f (b c ) = 100 010 110 100 011 01f (b ca ) = 100 010 110 100 011 01

f (bcaa) = 100 010 110 100 011 01f (bcaab) = 100 010 110 100 011 01f (bcaaba) = 100 010 110 100 011 01f (bcaabac) = 100 010 110 100 011 01f (bcaabaca) = 100 010 110 100 011 01f (bcaabacab ) = 100 010 110 100 011 01f (bcaabacaba) = 100 010 110 100 011 01

Con lo cual completamos la decodificacioacuten con la cantidad exacta de siacutembolos que se solicita ycon un coacutedio instantaacuteneo

De forma anaacuteloga puede verificarse que con la otra opcioacuten de longitudes de palabra tambieacuten existeuna solucioacuten con lo cual la secuencia no resulta decodificable de forma uniacutevoca

EJERCICIO 79- Cierta fuente S sin memoria genera una secuencia de 6 siacutembolos La secuencia secodifica siacutembolo por siacutembolo utilizando un esquema de Huffman en base 2 para la fuente S La cadenabinaria resultante es 1 0 1 1 0 0 0 0 1 0 1 Se sabe que la fuente tiene un alfabeto de 5 siacutembolos ynos dicen que sus probabilidades son P A = 03 02502 02 005 oacute P B = 04 03 02 005005Determina cuaacutel de las siguientes afirmaciones es la correcta y justifica claramente tu eleccioacuten

a) Las probabilidades son P A = 03 02502 02 005

b) Las probabilidades son P B = 04 03 02 005005c) Ninguna de las dos (no es posible que una secuencia de 6 siacutembolos emitidos por una fuente con

probabiliades P A oacute P B al codificarse con un esquema Huffman genere la cadena binaria delenunciado)

d) Cualquiera de las dos (con cualquiera de las dos opciones P A oacute P B es posible que la fuente ge-nere una cadena binaria como la del enunciado al codificar mediante un esquema de Huffman unasecuencia de entrada de 6 siacutembolos)

Comenzamos por calcular la codificacioacuten de Huffman para P AP A 03 025 02 02 110 005 111

03 025 02 10 025 11

0300 025 01 045

055 0 045 1

1Obseacutervese que todos los siacutembolos de la fuente se codifican con 2 o maacutes bits lo que hace imposible quepodamos emitir 6 siacutembolos con soacutelo 11 bits (que es la longitud de la secuencia del enunciado) Veamosqueacute sucede con P B

7

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 824

P B 04 03 02 0051111 005 1110

04 03 02 110 01111

04 03 10 0311

040 061

1Vemos que uno de los siacutembolos se codifica con 1 bit lo cual hariacutea posible en principio codificar 6siacutembolos con 11 bits Verificamos si esto se cumple para la eleccioacuten particular que hemos hecho decodificacioacuten de Huffman

f B(abcde) = 0 10 110 1111 1110f minus1B (10 110 0 0 0 10 1) = bcaaab

Nos queda un bit sin decodificar con lo cual el esquema elegido no nos sirve Sin embargo tenemosvarias formas de modificar la asignacioacuten de unos y ceros a cada siacutembolo Una solucioacuten posible es lasiguiente

P B 04 03 02 0050001 005 0000

04 03 02 001 01000

04 03 01 0300

041 060

1

f B(abcde) = 1 01 001 0001 0000f minus1B (1 01 1 0000 1 01) = abaeab

EJERCICIO 710- Sea S = A P una fuente sin memoria con alfabeto A = a b c d e f g hPara codificar la fuente S utilizamos un coacutedigo ternario (base 3) C = 1 0 21 210 220 010 221 con funcioacuten de codificacioacuten f tal que f (a) = 1 f (b) = 0 f (c) = 21 y f (d) = 210 etc siendo f (h)desconocido Hallar todos los posibles valores de f (h) para los que C es un coacutedigo no singular que no

cumple con la desigualdad de Kraft

Para que no se cumpla la desigualdad de Kraft debe cumplirse991761 j

3minusℓj gt 1

2 times 1

31 +

1

32 + 4 times

1

33 +

1

3ℓhgt 1

25

27 +

1

3ℓhgt 1

13ℓh

gt 227

rArr 272

gt 3ℓh

Como soacutelo son posibles valores enteros para ℓh es faacutecil ver que la desigualdad se cumple para cualquierentero menor a 3 Alternativamente podemos aplicar logaritmos

27

2 gt 3ℓh

log3

27

2 gt ℓh

ℓh lt log3 27 minus log

3 2

ℓh lt 3 minus log3 2

8

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 924

No nos hace falta el valor exacto de log3 2 ≃ 06309 pues basta con saber que (de forma evidente) es

menor que la unidad con lo cual ℓh queda acotado por un nuacutemero entre 2 y 3 Luego siendo enterodeberaacute ser menor o igual a 2

Finalmente la solucioacuten al problema son todas las combinaciones de uno y dos siacutembolos ternarios

excepto los ya utilizados en el coacutedigo 2 00 01 02 10 11 12 20 22

EJERCICIO 711- El coacutedigo Morse utilizado en telegrafiacutea permite codificar cada letra del alfabetocon puntos y rayas La figura 1 ilustra dicha codificacioacuten para los siacutembolos utilizados en idioma ingleacutes

Figura 1 Coacutedigo Morse Internacional

a) El coacutedigo Morse separa cada letra con otro siacutembolo que podemos interpretar como un espacioiquestEs necesario utilizar dicho espacio iquestPor queacute

b) iquestEs el coacutedigo Morse un coacutedigo instantaacuteneo iquestPor queacute

c) En la figura 2 se indican las frecuencias tiacutepicas de apracicioacuten de las letras en el idioma ingleacutes Apartir de las mismas calcule la longitud promedio del coacutedigo Morse para un texto escrito en ingleacutes(suponer independencia de emisioacuten de las letras y no distincioacuten entre mayuacutesculas y minuacutesculas)

a) Siacute la sepacacioacuten es necesaria para garantizar la decodificacioacuten de forma uniacutevoca Por ejemploen ausencia del espacio de separacioacuten codificariacuteamos la letra A y la secuencia E T de la misma forma(punto-raya)

b) Si consideramos soacutelo la codificacioacuten de la tabla (sin el espacio de separacioacuten entre siacutembolos) elcoacutedigo Morse no es instantaacuteneo (pues no es uniacutevoco como vimos en el apartado (a))

c) La longitud promedio se obtiene simplemente sumando para cada siacutembolo el producto de sus fre-

cuencias de aparicioacuten por la cantidad de puntos y rayas con que se codifica resultando un promedio de

9

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1024

Figura 2 Frecuencias relativas de aparicioacuten de letras en el idioma ingleacutes

254167 puntos y rayas por letra (1543 puntos y 0999 rayas)

EJERCICIO 712- En la figura 2 se indican las frecuencias tiacutepicas de aparicioacuten de las letras en elidioma ingleacutes

a) A partir de las mismas calcula el coacutedigo binario de Huffman resultante (para codificar una letra ala vez) y su longitud promedio

b) Compara esta longitud con la cantidad promedio de puntos y rayas del coacutedigo Morse (ejercicioanterior) iquestCuaacutel de los dos coacutedigos tiene menor longitud promedio

c) Supongamos ahora que en el coacutedigo Morse interpretamos que cada palabra de coacutedigo terminacon un espacio Es decir cada letra se representa por el nuacutemreo correspondiente de puntos y rayasmaacutes un espacio al final Entonces la longitud promedio del coacutedigo Morse es igual al promedio depuntos y rayas por letra maacutes 1 (que es el promedio de espacios por letra) Dicha longitud resultamenor que la del coacutedigo de Huffman calculado en el apartado (a) Explica coacutemo es posible quepase esto si sabemos que los coacutedigos de Huffman son los coacutedigos instantaacuteneos de menor longitudpromedio posible

a) Procediendo de manera similar a lo visto en problemas anteriores podemos calcular una posiblecodificacioacuten de Huffman para esta fuente C = 0001 001111 10110 00000 011 11010 0011001001 0100 110110100 1101100 00001 11000 0101 0010 001110 110110110 1010 1000 11110111 110111 11001 110110101 001101 110110111 siendo la longitud promedio resultante de4205 bits por letra

Cuando la fuente tiene una cantidad de siacutembolos considerable es conveniente automatizar la construc-cioacuten del esquema de codificacioacuten En la figura 3 se indica una implementacioacuten sencilla del algoritmo de

10

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 4: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 424

que resulta inferior (en bits por siacutembolo de S ) a los dos coacutedigos anteriores (apartados (a) y (b))

EJERCICIO 75- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dado no

ideal donde la probabilidad de sacar nuacutemeros primos es el triple que la de obtener nuacutemeros no primos

(todos los primos son equiprobables entre siacute al igual que los no primos) Para codificar S se utilizaC = 01 10 11 001 0000 0001 con f (1) = 01 f (2) = 10 f (3) = 11 f (4) = 001 f (5) = 0000 y f (6)= 0001

a) iquestEs el coacutedigo C uniacutevocamente decodificable

b) iquestEs C un coacutedigo de Huffman para la fuente S

a) Siacute es uniacutevoco ya que es instantaacuteneo (no hay palabras prefijo de otras)b) No no lo es Esto puede verse de forma directa al observar por ejemplo que f (4) tiene menor

longitud que f (5)

siendo P (S = 5)

el triple que P (S = 4)

(la codificacioacuten de Huffman siempre asignamenor longitud a mayor probabilidad)

EJERCICIO 76- Sea una fuente S = A P de 9 siacutembolos con las siguientes probabilidadesP = 1

4 15

110

110

110

110

120

120

120

Determina si cada uno de estos coacutedigos corresponde a una codifica-cioacuten de Huffman para la fuente S

a) C = 11 10 000 001 0100 0101 01100 01110 01111

b) C = 11 100 000 001 010 0110 1010 10110 10111

c) C = 00 10 110 111 0100 0101 0110 01110 01111

d) C = 10 11 000 001 010 110 0110 00110 00111

e) C = 01 000 110 100 0010 101 1110 1111 0011

Comenzamos por construir nuestro propio coacutedigo de Huffman para esta fuente (recordar que el algo-ritmo de Huffman da lugar a muacuteltiples opciones)

P 14 15 110 110 110 110 120 120 12014 15 110 110 110 110 120 110

14 15 110 110 110 110 320

14 15 110 110 15 32014 15 15 15 32014 15 15 720

14 25 72035 251

Comenzando desde la raiacutez seguimos las divisiones hacia arriba para generar las palabras del coacutedigo

4

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 524

P 14 15 110 110 110 110 120 120 01110 120 01111

14 15 110 110 110 110 120 0110 110 0111

14 15 110 110 110 0100 110 0111 320

14 15 110 110 110 111 15 320

14 15 15 15010 320 011

14 15 10 15 11 720

14 00 25 720 01

35 0 25 1

1Calculando la longitud media de este esquema

L(C H ) = 2

4 +

2

5 +

3

10 +

3

10 +

4

10 +

4

10 +

4

20 +

5

20 +

5

20 = 30

Del mismo modo si calculamos las longitudes promedio de los coacutedigos propuestos en el enunciadovemos que

a) L(C ) = 305

b) L(C ) = 31

c) L(C ) = 30

d) L(C ) = 28

e) L(C ) = 30

Por tanto soacutelo los coacutedigos de los apartados (c) y (e) pueden ser coacutedigos de Huffman para la fuente en

cuestioacuten La verificacioacuten final consiste en comprobar que sean instantaacuteneos lo cual se cumple en amboscasos ya que no hay palabras prefijo de otras De hecho el coacutedigo del apartado (d) tiene justamenteeste problema no es instantaacuteneo (001 es prefijo de 00110) lo cual explica por queacute puede tener longitudmenor que la obtenida mediante Huffman que es la miacutenima posible para un coacutedigo instantaacuteneo Alter-nativamente tambieacuten podriacuteamos haber descartado el coacutedigo del apartado (a) porque 01100 es una de laspalabras maacutes largas y el coacutedigo no contiene 01101

EJERCICIO 77- Sea S = A P una fuente sin memoria con alfabeto A = abcd y probabili-dades P = pa pb pc pd Se sabe que pa = 03 y pb = 02 pero se desconocen pc y pd Para codificarS se quiere utilizar un esquema de codificacioacuten binario instantaacuteneo y se propone utilizar un coacutedigo

C 1 = 0 10 110 con funcioacuten de codificacioacuten f 1 tal que f 1(a) = 0 f 1(b) = 10 y f 1(c) = 110 (des-conocemos f 1(d)) Determina si el coacutedigo propuesto es el maacutes eficiente posible para esta fuente (dadoslos requisitos de instantaacuteneo y binario) Justifica bien tu respuesta

Al solicitarse un coacutedigo instantaacuteneo el maacutes eficiente posible debe ser un esquema de Huffman Luegola uacutenica opcioacuten posible para completar el coacutedigo es f (d) = 111 Ahora bien como la suma de todas lasprobabilidades debe ser la unidad pc + pd = 05 y pb lt 025 tendremos que pc gt pb yoacute pd gt pb Esdecir habraacute al menos uno de estos dos siacutembolos que tiene mayor probabilidad que b y sin embargo secodifica con maacutes bits (3 frente a los 2 utilizados para b) lo cual no cumple con las reglas de codificacioacutende Huffman y por tanto no puede ser el coacutedigo maacutes eficiente posible para esta fuente

5

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 624

EJERCICIO 78- Sea S una fuente con alfabeto de 3 siacutembolos abc cuyas probabilidades son1

2 14

14

Para codificarla se ha utilizado un coacutedigo instantaacuteneo C que no conocemos Sabemos sinembargo que el resultado de codificar cierta secuencia de 10 siacutembolos generados por S ha dado comoresultado 100 010 110 100 011 01 (los espacios no forman parte del coacutedigo sino que se han agregado pa-

ra facilitar la lectura) y que en dicha secuencia 5 siacutembolos son a 3 son b y 2 son c (aunque desconocemosel orden en el que aparecen) Si C es un coacutedigo instantaacuteneo

a) iquestPodemos decodificar uniacutevocamente esta secuencia a pesar de no conocer la funcioacuten de codifica-cioacuten

b) Indica cuaacutel fue la secuencia de siacutembolos emitida por la fuente S (si has respondido afirmativa-mente el inciso anterior) o por lo menos dos posibles secuencias distintas que generen el mismoresultado al codificarse (si has respondido de forma negativa)

Comencemos por determinar las (posibles) longitudes de los coacutedigos asignados a cada siacutembolo Sien-do la secuencia de 17 bits tenemos soacutelo dos posibles combinaciones

bull ℓ(abc) = (1 2 3) rarr 5 times 1 + 3 times 2 + 2 times 3 = 17

bull ℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17

Luego el procedimiento consiste en determinar si es posible generar la secuencia indicada asignandopalabras con longitudes seguacuten una o de estas dos opciones Obseacutervese que en caso de hallar maacutes deuna posibilidad la secuencia no podraacute decodificarse de forma uniacutevoca Es evidente que el peor casoes aquel en el que soacutelo existe una posibilidad de decodificacioacuten porque aquel nos obliga a recorrersistemaacutetimcamente todas las posibles combinaciones (a fin de descartarslas)

Como ejemplo de esta buacutesqueda sistemaacutetica elegiremos la segunda opcioacuten en cuanto a longitudesℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17 Comenzamos a recorrer la secuencia de bits einmediatamente tenemos dos posibilidades comenzar con un bit (b) o con dos (a o c)

bull Si comenzamos por a tenemos a = 10

100 010 110 100 011 01

Luego seguimos con b = 0 oacute c = 00

Si b = 0 entonces el siguiente siacutembolo tambieacuten debe ser b ya que la opcioacuten c = 01 dariacuteacomo resultado un coacutedigo no instantaacuteneo Por tanto

f (a b b ) = 100 010 110 100 011 01Con lo cual evidentemente sigue otra vez a y debe ser c = 11 Esto completa la funcioacuten decodificacioacuten para los 3 siacutembolos pero al intentar decodificar con esta regla nos encontramos que

f (abbacba) = 100 010 110 100 011 01

El siguiente siacutembolo ha de ser b = 0 pero esto no es posible porque ya hemos asignado las tresque tenemos en la secuencia Por tanto esta opcioacuten no es correcta

Si c = 00 entonces el siguiente siacutembolo es nuevamente a = 10 y el siguiente siacutembolo ha deser b = 1 lo cual no es posible porque entonces el coacutedigo no es instantaacuteneo

6

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 724

bull Si comenzamos por b tenemos b = 1 y debemos elegir a = 00 y c = 01 oacute a = 01 y c = 00 Sianalizamos la segunda opcioacuten vemos que la secuencia se decodifica como

f (b c ) = 100 010 110 100 011 01f (b ca ) = 100 010 110 100 011 01

f (bcaa) = 100 010 110 100 011 01f (bcaab) = 100 010 110 100 011 01f (bcaaba) = 100 010 110 100 011 01f (bcaabac) = 100 010 110 100 011 01f (bcaabaca) = 100 010 110 100 011 01f (bcaabacab ) = 100 010 110 100 011 01f (bcaabacaba) = 100 010 110 100 011 01

Con lo cual completamos la decodificacioacuten con la cantidad exacta de siacutembolos que se solicita ycon un coacutedio instantaacuteneo

De forma anaacuteloga puede verificarse que con la otra opcioacuten de longitudes de palabra tambieacuten existeuna solucioacuten con lo cual la secuencia no resulta decodificable de forma uniacutevoca

EJERCICIO 79- Cierta fuente S sin memoria genera una secuencia de 6 siacutembolos La secuencia secodifica siacutembolo por siacutembolo utilizando un esquema de Huffman en base 2 para la fuente S La cadenabinaria resultante es 1 0 1 1 0 0 0 0 1 0 1 Se sabe que la fuente tiene un alfabeto de 5 siacutembolos ynos dicen que sus probabilidades son P A = 03 02502 02 005 oacute P B = 04 03 02 005005Determina cuaacutel de las siguientes afirmaciones es la correcta y justifica claramente tu eleccioacuten

a) Las probabilidades son P A = 03 02502 02 005

b) Las probabilidades son P B = 04 03 02 005005c) Ninguna de las dos (no es posible que una secuencia de 6 siacutembolos emitidos por una fuente con

probabiliades P A oacute P B al codificarse con un esquema Huffman genere la cadena binaria delenunciado)

d) Cualquiera de las dos (con cualquiera de las dos opciones P A oacute P B es posible que la fuente ge-nere una cadena binaria como la del enunciado al codificar mediante un esquema de Huffman unasecuencia de entrada de 6 siacutembolos)

Comenzamos por calcular la codificacioacuten de Huffman para P AP A 03 025 02 02 110 005 111

03 025 02 10 025 11

0300 025 01 045

055 0 045 1

1Obseacutervese que todos los siacutembolos de la fuente se codifican con 2 o maacutes bits lo que hace imposible quepodamos emitir 6 siacutembolos con soacutelo 11 bits (que es la longitud de la secuencia del enunciado) Veamosqueacute sucede con P B

7

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 824

P B 04 03 02 0051111 005 1110

04 03 02 110 01111

04 03 10 0311

040 061

1Vemos que uno de los siacutembolos se codifica con 1 bit lo cual hariacutea posible en principio codificar 6siacutembolos con 11 bits Verificamos si esto se cumple para la eleccioacuten particular que hemos hecho decodificacioacuten de Huffman

f B(abcde) = 0 10 110 1111 1110f minus1B (10 110 0 0 0 10 1) = bcaaab

Nos queda un bit sin decodificar con lo cual el esquema elegido no nos sirve Sin embargo tenemosvarias formas de modificar la asignacioacuten de unos y ceros a cada siacutembolo Una solucioacuten posible es lasiguiente

P B 04 03 02 0050001 005 0000

04 03 02 001 01000

04 03 01 0300

041 060

1

f B(abcde) = 1 01 001 0001 0000f minus1B (1 01 1 0000 1 01) = abaeab

EJERCICIO 710- Sea S = A P una fuente sin memoria con alfabeto A = a b c d e f g hPara codificar la fuente S utilizamos un coacutedigo ternario (base 3) C = 1 0 21 210 220 010 221 con funcioacuten de codificacioacuten f tal que f (a) = 1 f (b) = 0 f (c) = 21 y f (d) = 210 etc siendo f (h)desconocido Hallar todos los posibles valores de f (h) para los que C es un coacutedigo no singular que no

cumple con la desigualdad de Kraft

Para que no se cumpla la desigualdad de Kraft debe cumplirse991761 j

3minusℓj gt 1

2 times 1

31 +

1

32 + 4 times

1

33 +

1

3ℓhgt 1

25

27 +

1

3ℓhgt 1

13ℓh

gt 227

rArr 272

gt 3ℓh

Como soacutelo son posibles valores enteros para ℓh es faacutecil ver que la desigualdad se cumple para cualquierentero menor a 3 Alternativamente podemos aplicar logaritmos

27

2 gt 3ℓh

log3

27

2 gt ℓh

ℓh lt log3 27 minus log

3 2

ℓh lt 3 minus log3 2

8

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 924

No nos hace falta el valor exacto de log3 2 ≃ 06309 pues basta con saber que (de forma evidente) es

menor que la unidad con lo cual ℓh queda acotado por un nuacutemero entre 2 y 3 Luego siendo enterodeberaacute ser menor o igual a 2

Finalmente la solucioacuten al problema son todas las combinaciones de uno y dos siacutembolos ternarios

excepto los ya utilizados en el coacutedigo 2 00 01 02 10 11 12 20 22

EJERCICIO 711- El coacutedigo Morse utilizado en telegrafiacutea permite codificar cada letra del alfabetocon puntos y rayas La figura 1 ilustra dicha codificacioacuten para los siacutembolos utilizados en idioma ingleacutes

Figura 1 Coacutedigo Morse Internacional

a) El coacutedigo Morse separa cada letra con otro siacutembolo que podemos interpretar como un espacioiquestEs necesario utilizar dicho espacio iquestPor queacute

b) iquestEs el coacutedigo Morse un coacutedigo instantaacuteneo iquestPor queacute

c) En la figura 2 se indican las frecuencias tiacutepicas de apracicioacuten de las letras en el idioma ingleacutes Apartir de las mismas calcule la longitud promedio del coacutedigo Morse para un texto escrito en ingleacutes(suponer independencia de emisioacuten de las letras y no distincioacuten entre mayuacutesculas y minuacutesculas)

a) Siacute la sepacacioacuten es necesaria para garantizar la decodificacioacuten de forma uniacutevoca Por ejemploen ausencia del espacio de separacioacuten codificariacuteamos la letra A y la secuencia E T de la misma forma(punto-raya)

b) Si consideramos soacutelo la codificacioacuten de la tabla (sin el espacio de separacioacuten entre siacutembolos) elcoacutedigo Morse no es instantaacuteneo (pues no es uniacutevoco como vimos en el apartado (a))

c) La longitud promedio se obtiene simplemente sumando para cada siacutembolo el producto de sus fre-

cuencias de aparicioacuten por la cantidad de puntos y rayas con que se codifica resultando un promedio de

9

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1024

Figura 2 Frecuencias relativas de aparicioacuten de letras en el idioma ingleacutes

254167 puntos y rayas por letra (1543 puntos y 0999 rayas)

EJERCICIO 712- En la figura 2 se indican las frecuencias tiacutepicas de aparicioacuten de las letras en elidioma ingleacutes

a) A partir de las mismas calcula el coacutedigo binario de Huffman resultante (para codificar una letra ala vez) y su longitud promedio

b) Compara esta longitud con la cantidad promedio de puntos y rayas del coacutedigo Morse (ejercicioanterior) iquestCuaacutel de los dos coacutedigos tiene menor longitud promedio

c) Supongamos ahora que en el coacutedigo Morse interpretamos que cada palabra de coacutedigo terminacon un espacio Es decir cada letra se representa por el nuacutemreo correspondiente de puntos y rayasmaacutes un espacio al final Entonces la longitud promedio del coacutedigo Morse es igual al promedio depuntos y rayas por letra maacutes 1 (que es el promedio de espacios por letra) Dicha longitud resultamenor que la del coacutedigo de Huffman calculado en el apartado (a) Explica coacutemo es posible quepase esto si sabemos que los coacutedigos de Huffman son los coacutedigos instantaacuteneos de menor longitudpromedio posible

a) Procediendo de manera similar a lo visto en problemas anteriores podemos calcular una posiblecodificacioacuten de Huffman para esta fuente C = 0001 001111 10110 00000 011 11010 0011001001 0100 110110100 1101100 00001 11000 0101 0010 001110 110110110 1010 1000 11110111 110111 11001 110110101 001101 110110111 siendo la longitud promedio resultante de4205 bits por letra

Cuando la fuente tiene una cantidad de siacutembolos considerable es conveniente automatizar la construc-cioacuten del esquema de codificacioacuten En la figura 3 se indica una implementacioacuten sencilla del algoritmo de

10

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 5: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 524

P 14 15 110 110 110 110 120 120 01110 120 01111

14 15 110 110 110 110 120 0110 110 0111

14 15 110 110 110 0100 110 0111 320

14 15 110 110 110 111 15 320

14 15 15 15010 320 011

14 15 10 15 11 720

14 00 25 720 01

35 0 25 1

1Calculando la longitud media de este esquema

L(C H ) = 2

4 +

2

5 +

3

10 +

3

10 +

4

10 +

4

10 +

4

20 +

5

20 +

5

20 = 30

Del mismo modo si calculamos las longitudes promedio de los coacutedigos propuestos en el enunciadovemos que

a) L(C ) = 305

b) L(C ) = 31

c) L(C ) = 30

d) L(C ) = 28

e) L(C ) = 30

Por tanto soacutelo los coacutedigos de los apartados (c) y (e) pueden ser coacutedigos de Huffman para la fuente en

cuestioacuten La verificacioacuten final consiste en comprobar que sean instantaacuteneos lo cual se cumple en amboscasos ya que no hay palabras prefijo de otras De hecho el coacutedigo del apartado (d) tiene justamenteeste problema no es instantaacuteneo (001 es prefijo de 00110) lo cual explica por queacute puede tener longitudmenor que la obtenida mediante Huffman que es la miacutenima posible para un coacutedigo instantaacuteneo Alter-nativamente tambieacuten podriacuteamos haber descartado el coacutedigo del apartado (a) porque 01100 es una de laspalabras maacutes largas y el coacutedigo no contiene 01101

EJERCICIO 77- Sea S = A P una fuente sin memoria con alfabeto A = abcd y probabili-dades P = pa pb pc pd Se sabe que pa = 03 y pb = 02 pero se desconocen pc y pd Para codificarS se quiere utilizar un esquema de codificacioacuten binario instantaacuteneo y se propone utilizar un coacutedigo

C 1 = 0 10 110 con funcioacuten de codificacioacuten f 1 tal que f 1(a) = 0 f 1(b) = 10 y f 1(c) = 110 (des-conocemos f 1(d)) Determina si el coacutedigo propuesto es el maacutes eficiente posible para esta fuente (dadoslos requisitos de instantaacuteneo y binario) Justifica bien tu respuesta

Al solicitarse un coacutedigo instantaacuteneo el maacutes eficiente posible debe ser un esquema de Huffman Luegola uacutenica opcioacuten posible para completar el coacutedigo es f (d) = 111 Ahora bien como la suma de todas lasprobabilidades debe ser la unidad pc + pd = 05 y pb lt 025 tendremos que pc gt pb yoacute pd gt pb Esdecir habraacute al menos uno de estos dos siacutembolos que tiene mayor probabilidad que b y sin embargo secodifica con maacutes bits (3 frente a los 2 utilizados para b) lo cual no cumple con las reglas de codificacioacutende Huffman y por tanto no puede ser el coacutedigo maacutes eficiente posible para esta fuente

5

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 624

EJERCICIO 78- Sea S una fuente con alfabeto de 3 siacutembolos abc cuyas probabilidades son1

2 14

14

Para codificarla se ha utilizado un coacutedigo instantaacuteneo C que no conocemos Sabemos sinembargo que el resultado de codificar cierta secuencia de 10 siacutembolos generados por S ha dado comoresultado 100 010 110 100 011 01 (los espacios no forman parte del coacutedigo sino que se han agregado pa-

ra facilitar la lectura) y que en dicha secuencia 5 siacutembolos son a 3 son b y 2 son c (aunque desconocemosel orden en el que aparecen) Si C es un coacutedigo instantaacuteneo

a) iquestPodemos decodificar uniacutevocamente esta secuencia a pesar de no conocer la funcioacuten de codifica-cioacuten

b) Indica cuaacutel fue la secuencia de siacutembolos emitida por la fuente S (si has respondido afirmativa-mente el inciso anterior) o por lo menos dos posibles secuencias distintas que generen el mismoresultado al codificarse (si has respondido de forma negativa)

Comencemos por determinar las (posibles) longitudes de los coacutedigos asignados a cada siacutembolo Sien-do la secuencia de 17 bits tenemos soacutelo dos posibles combinaciones

bull ℓ(abc) = (1 2 3) rarr 5 times 1 + 3 times 2 + 2 times 3 = 17

bull ℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17

Luego el procedimiento consiste en determinar si es posible generar la secuencia indicada asignandopalabras con longitudes seguacuten una o de estas dos opciones Obseacutervese que en caso de hallar maacutes deuna posibilidad la secuencia no podraacute decodificarse de forma uniacutevoca Es evidente que el peor casoes aquel en el que soacutelo existe una posibilidad de decodificacioacuten porque aquel nos obliga a recorrersistemaacutetimcamente todas las posibles combinaciones (a fin de descartarslas)

Como ejemplo de esta buacutesqueda sistemaacutetica elegiremos la segunda opcioacuten en cuanto a longitudesℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17 Comenzamos a recorrer la secuencia de bits einmediatamente tenemos dos posibilidades comenzar con un bit (b) o con dos (a o c)

bull Si comenzamos por a tenemos a = 10

100 010 110 100 011 01

Luego seguimos con b = 0 oacute c = 00

Si b = 0 entonces el siguiente siacutembolo tambieacuten debe ser b ya que la opcioacuten c = 01 dariacuteacomo resultado un coacutedigo no instantaacuteneo Por tanto

f (a b b ) = 100 010 110 100 011 01Con lo cual evidentemente sigue otra vez a y debe ser c = 11 Esto completa la funcioacuten decodificacioacuten para los 3 siacutembolos pero al intentar decodificar con esta regla nos encontramos que

f (abbacba) = 100 010 110 100 011 01

El siguiente siacutembolo ha de ser b = 0 pero esto no es posible porque ya hemos asignado las tresque tenemos en la secuencia Por tanto esta opcioacuten no es correcta

Si c = 00 entonces el siguiente siacutembolo es nuevamente a = 10 y el siguiente siacutembolo ha deser b = 1 lo cual no es posible porque entonces el coacutedigo no es instantaacuteneo

6

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 724

bull Si comenzamos por b tenemos b = 1 y debemos elegir a = 00 y c = 01 oacute a = 01 y c = 00 Sianalizamos la segunda opcioacuten vemos que la secuencia se decodifica como

f (b c ) = 100 010 110 100 011 01f (b ca ) = 100 010 110 100 011 01

f (bcaa) = 100 010 110 100 011 01f (bcaab) = 100 010 110 100 011 01f (bcaaba) = 100 010 110 100 011 01f (bcaabac) = 100 010 110 100 011 01f (bcaabaca) = 100 010 110 100 011 01f (bcaabacab ) = 100 010 110 100 011 01f (bcaabacaba) = 100 010 110 100 011 01

Con lo cual completamos la decodificacioacuten con la cantidad exacta de siacutembolos que se solicita ycon un coacutedio instantaacuteneo

De forma anaacuteloga puede verificarse que con la otra opcioacuten de longitudes de palabra tambieacuten existeuna solucioacuten con lo cual la secuencia no resulta decodificable de forma uniacutevoca

EJERCICIO 79- Cierta fuente S sin memoria genera una secuencia de 6 siacutembolos La secuencia secodifica siacutembolo por siacutembolo utilizando un esquema de Huffman en base 2 para la fuente S La cadenabinaria resultante es 1 0 1 1 0 0 0 0 1 0 1 Se sabe que la fuente tiene un alfabeto de 5 siacutembolos ynos dicen que sus probabilidades son P A = 03 02502 02 005 oacute P B = 04 03 02 005005Determina cuaacutel de las siguientes afirmaciones es la correcta y justifica claramente tu eleccioacuten

a) Las probabilidades son P A = 03 02502 02 005

b) Las probabilidades son P B = 04 03 02 005005c) Ninguna de las dos (no es posible que una secuencia de 6 siacutembolos emitidos por una fuente con

probabiliades P A oacute P B al codificarse con un esquema Huffman genere la cadena binaria delenunciado)

d) Cualquiera de las dos (con cualquiera de las dos opciones P A oacute P B es posible que la fuente ge-nere una cadena binaria como la del enunciado al codificar mediante un esquema de Huffman unasecuencia de entrada de 6 siacutembolos)

Comenzamos por calcular la codificacioacuten de Huffman para P AP A 03 025 02 02 110 005 111

03 025 02 10 025 11

0300 025 01 045

055 0 045 1

1Obseacutervese que todos los siacutembolos de la fuente se codifican con 2 o maacutes bits lo que hace imposible quepodamos emitir 6 siacutembolos con soacutelo 11 bits (que es la longitud de la secuencia del enunciado) Veamosqueacute sucede con P B

7

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 824

P B 04 03 02 0051111 005 1110

04 03 02 110 01111

04 03 10 0311

040 061

1Vemos que uno de los siacutembolos se codifica con 1 bit lo cual hariacutea posible en principio codificar 6siacutembolos con 11 bits Verificamos si esto se cumple para la eleccioacuten particular que hemos hecho decodificacioacuten de Huffman

f B(abcde) = 0 10 110 1111 1110f minus1B (10 110 0 0 0 10 1) = bcaaab

Nos queda un bit sin decodificar con lo cual el esquema elegido no nos sirve Sin embargo tenemosvarias formas de modificar la asignacioacuten de unos y ceros a cada siacutembolo Una solucioacuten posible es lasiguiente

P B 04 03 02 0050001 005 0000

04 03 02 001 01000

04 03 01 0300

041 060

1

f B(abcde) = 1 01 001 0001 0000f minus1B (1 01 1 0000 1 01) = abaeab

EJERCICIO 710- Sea S = A P una fuente sin memoria con alfabeto A = a b c d e f g hPara codificar la fuente S utilizamos un coacutedigo ternario (base 3) C = 1 0 21 210 220 010 221 con funcioacuten de codificacioacuten f tal que f (a) = 1 f (b) = 0 f (c) = 21 y f (d) = 210 etc siendo f (h)desconocido Hallar todos los posibles valores de f (h) para los que C es un coacutedigo no singular que no

cumple con la desigualdad de Kraft

Para que no se cumpla la desigualdad de Kraft debe cumplirse991761 j

3minusℓj gt 1

2 times 1

31 +

1

32 + 4 times

1

33 +

1

3ℓhgt 1

25

27 +

1

3ℓhgt 1

13ℓh

gt 227

rArr 272

gt 3ℓh

Como soacutelo son posibles valores enteros para ℓh es faacutecil ver que la desigualdad se cumple para cualquierentero menor a 3 Alternativamente podemos aplicar logaritmos

27

2 gt 3ℓh

log3

27

2 gt ℓh

ℓh lt log3 27 minus log

3 2

ℓh lt 3 minus log3 2

8

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 924

No nos hace falta el valor exacto de log3 2 ≃ 06309 pues basta con saber que (de forma evidente) es

menor que la unidad con lo cual ℓh queda acotado por un nuacutemero entre 2 y 3 Luego siendo enterodeberaacute ser menor o igual a 2

Finalmente la solucioacuten al problema son todas las combinaciones de uno y dos siacutembolos ternarios

excepto los ya utilizados en el coacutedigo 2 00 01 02 10 11 12 20 22

EJERCICIO 711- El coacutedigo Morse utilizado en telegrafiacutea permite codificar cada letra del alfabetocon puntos y rayas La figura 1 ilustra dicha codificacioacuten para los siacutembolos utilizados en idioma ingleacutes

Figura 1 Coacutedigo Morse Internacional

a) El coacutedigo Morse separa cada letra con otro siacutembolo que podemos interpretar como un espacioiquestEs necesario utilizar dicho espacio iquestPor queacute

b) iquestEs el coacutedigo Morse un coacutedigo instantaacuteneo iquestPor queacute

c) En la figura 2 se indican las frecuencias tiacutepicas de apracicioacuten de las letras en el idioma ingleacutes Apartir de las mismas calcule la longitud promedio del coacutedigo Morse para un texto escrito en ingleacutes(suponer independencia de emisioacuten de las letras y no distincioacuten entre mayuacutesculas y minuacutesculas)

a) Siacute la sepacacioacuten es necesaria para garantizar la decodificacioacuten de forma uniacutevoca Por ejemploen ausencia del espacio de separacioacuten codificariacuteamos la letra A y la secuencia E T de la misma forma(punto-raya)

b) Si consideramos soacutelo la codificacioacuten de la tabla (sin el espacio de separacioacuten entre siacutembolos) elcoacutedigo Morse no es instantaacuteneo (pues no es uniacutevoco como vimos en el apartado (a))

c) La longitud promedio se obtiene simplemente sumando para cada siacutembolo el producto de sus fre-

cuencias de aparicioacuten por la cantidad de puntos y rayas con que se codifica resultando un promedio de

9

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1024

Figura 2 Frecuencias relativas de aparicioacuten de letras en el idioma ingleacutes

254167 puntos y rayas por letra (1543 puntos y 0999 rayas)

EJERCICIO 712- En la figura 2 se indican las frecuencias tiacutepicas de aparicioacuten de las letras en elidioma ingleacutes

a) A partir de las mismas calcula el coacutedigo binario de Huffman resultante (para codificar una letra ala vez) y su longitud promedio

b) Compara esta longitud con la cantidad promedio de puntos y rayas del coacutedigo Morse (ejercicioanterior) iquestCuaacutel de los dos coacutedigos tiene menor longitud promedio

c) Supongamos ahora que en el coacutedigo Morse interpretamos que cada palabra de coacutedigo terminacon un espacio Es decir cada letra se representa por el nuacutemreo correspondiente de puntos y rayasmaacutes un espacio al final Entonces la longitud promedio del coacutedigo Morse es igual al promedio depuntos y rayas por letra maacutes 1 (que es el promedio de espacios por letra) Dicha longitud resultamenor que la del coacutedigo de Huffman calculado en el apartado (a) Explica coacutemo es posible quepase esto si sabemos que los coacutedigos de Huffman son los coacutedigos instantaacuteneos de menor longitudpromedio posible

a) Procediendo de manera similar a lo visto en problemas anteriores podemos calcular una posiblecodificacioacuten de Huffman para esta fuente C = 0001 001111 10110 00000 011 11010 0011001001 0100 110110100 1101100 00001 11000 0101 0010 001110 110110110 1010 1000 11110111 110111 11001 110110101 001101 110110111 siendo la longitud promedio resultante de4205 bits por letra

Cuando la fuente tiene una cantidad de siacutembolos considerable es conveniente automatizar la construc-cioacuten del esquema de codificacioacuten En la figura 3 se indica una implementacioacuten sencilla del algoritmo de

10

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 6: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 624

EJERCICIO 78- Sea S una fuente con alfabeto de 3 siacutembolos abc cuyas probabilidades son1

2 14

14

Para codificarla se ha utilizado un coacutedigo instantaacuteneo C que no conocemos Sabemos sinembargo que el resultado de codificar cierta secuencia de 10 siacutembolos generados por S ha dado comoresultado 100 010 110 100 011 01 (los espacios no forman parte del coacutedigo sino que se han agregado pa-

ra facilitar la lectura) y que en dicha secuencia 5 siacutembolos son a 3 son b y 2 son c (aunque desconocemosel orden en el que aparecen) Si C es un coacutedigo instantaacuteneo

a) iquestPodemos decodificar uniacutevocamente esta secuencia a pesar de no conocer la funcioacuten de codifica-cioacuten

b) Indica cuaacutel fue la secuencia de siacutembolos emitida por la fuente S (si has respondido afirmativa-mente el inciso anterior) o por lo menos dos posibles secuencias distintas que generen el mismoresultado al codificarse (si has respondido de forma negativa)

Comencemos por determinar las (posibles) longitudes de los coacutedigos asignados a cada siacutembolo Sien-do la secuencia de 17 bits tenemos soacutelo dos posibles combinaciones

bull ℓ(abc) = (1 2 3) rarr 5 times 1 + 3 times 2 + 2 times 3 = 17

bull ℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17

Luego el procedimiento consiste en determinar si es posible generar la secuencia indicada asignandopalabras con longitudes seguacuten una o de estas dos opciones Obseacutervese que en caso de hallar maacutes deuna posibilidad la secuencia no podraacute decodificarse de forma uniacutevoca Es evidente que el peor casoes aquel en el que soacutelo existe una posibilidad de decodificacioacuten porque aquel nos obliga a recorrersistemaacutetimcamente todas las posibles combinaciones (a fin de descartarslas)

Como ejemplo de esta buacutesqueda sistemaacutetica elegiremos la segunda opcioacuten en cuanto a longitudesℓ(abc) = (2 1 2) rarr 5 times 2 + 3 times 1 + 2 times 3 = 17 Comenzamos a recorrer la secuencia de bits einmediatamente tenemos dos posibilidades comenzar con un bit (b) o con dos (a o c)

bull Si comenzamos por a tenemos a = 10

100 010 110 100 011 01

Luego seguimos con b = 0 oacute c = 00

Si b = 0 entonces el siguiente siacutembolo tambieacuten debe ser b ya que la opcioacuten c = 01 dariacuteacomo resultado un coacutedigo no instantaacuteneo Por tanto

f (a b b ) = 100 010 110 100 011 01Con lo cual evidentemente sigue otra vez a y debe ser c = 11 Esto completa la funcioacuten decodificacioacuten para los 3 siacutembolos pero al intentar decodificar con esta regla nos encontramos que

f (abbacba) = 100 010 110 100 011 01

El siguiente siacutembolo ha de ser b = 0 pero esto no es posible porque ya hemos asignado las tresque tenemos en la secuencia Por tanto esta opcioacuten no es correcta

Si c = 00 entonces el siguiente siacutembolo es nuevamente a = 10 y el siguiente siacutembolo ha deser b = 1 lo cual no es posible porque entonces el coacutedigo no es instantaacuteneo

6

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 724

bull Si comenzamos por b tenemos b = 1 y debemos elegir a = 00 y c = 01 oacute a = 01 y c = 00 Sianalizamos la segunda opcioacuten vemos que la secuencia se decodifica como

f (b c ) = 100 010 110 100 011 01f (b ca ) = 100 010 110 100 011 01

f (bcaa) = 100 010 110 100 011 01f (bcaab) = 100 010 110 100 011 01f (bcaaba) = 100 010 110 100 011 01f (bcaabac) = 100 010 110 100 011 01f (bcaabaca) = 100 010 110 100 011 01f (bcaabacab ) = 100 010 110 100 011 01f (bcaabacaba) = 100 010 110 100 011 01

Con lo cual completamos la decodificacioacuten con la cantidad exacta de siacutembolos que se solicita ycon un coacutedio instantaacuteneo

De forma anaacuteloga puede verificarse que con la otra opcioacuten de longitudes de palabra tambieacuten existeuna solucioacuten con lo cual la secuencia no resulta decodificable de forma uniacutevoca

EJERCICIO 79- Cierta fuente S sin memoria genera una secuencia de 6 siacutembolos La secuencia secodifica siacutembolo por siacutembolo utilizando un esquema de Huffman en base 2 para la fuente S La cadenabinaria resultante es 1 0 1 1 0 0 0 0 1 0 1 Se sabe que la fuente tiene un alfabeto de 5 siacutembolos ynos dicen que sus probabilidades son P A = 03 02502 02 005 oacute P B = 04 03 02 005005Determina cuaacutel de las siguientes afirmaciones es la correcta y justifica claramente tu eleccioacuten

a) Las probabilidades son P A = 03 02502 02 005

b) Las probabilidades son P B = 04 03 02 005005c) Ninguna de las dos (no es posible que una secuencia de 6 siacutembolos emitidos por una fuente con

probabiliades P A oacute P B al codificarse con un esquema Huffman genere la cadena binaria delenunciado)

d) Cualquiera de las dos (con cualquiera de las dos opciones P A oacute P B es posible que la fuente ge-nere una cadena binaria como la del enunciado al codificar mediante un esquema de Huffman unasecuencia de entrada de 6 siacutembolos)

Comenzamos por calcular la codificacioacuten de Huffman para P AP A 03 025 02 02 110 005 111

03 025 02 10 025 11

0300 025 01 045

055 0 045 1

1Obseacutervese que todos los siacutembolos de la fuente se codifican con 2 o maacutes bits lo que hace imposible quepodamos emitir 6 siacutembolos con soacutelo 11 bits (que es la longitud de la secuencia del enunciado) Veamosqueacute sucede con P B

7

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 824

P B 04 03 02 0051111 005 1110

04 03 02 110 01111

04 03 10 0311

040 061

1Vemos que uno de los siacutembolos se codifica con 1 bit lo cual hariacutea posible en principio codificar 6siacutembolos con 11 bits Verificamos si esto se cumple para la eleccioacuten particular que hemos hecho decodificacioacuten de Huffman

f B(abcde) = 0 10 110 1111 1110f minus1B (10 110 0 0 0 10 1) = bcaaab

Nos queda un bit sin decodificar con lo cual el esquema elegido no nos sirve Sin embargo tenemosvarias formas de modificar la asignacioacuten de unos y ceros a cada siacutembolo Una solucioacuten posible es lasiguiente

P B 04 03 02 0050001 005 0000

04 03 02 001 01000

04 03 01 0300

041 060

1

f B(abcde) = 1 01 001 0001 0000f minus1B (1 01 1 0000 1 01) = abaeab

EJERCICIO 710- Sea S = A P una fuente sin memoria con alfabeto A = a b c d e f g hPara codificar la fuente S utilizamos un coacutedigo ternario (base 3) C = 1 0 21 210 220 010 221 con funcioacuten de codificacioacuten f tal que f (a) = 1 f (b) = 0 f (c) = 21 y f (d) = 210 etc siendo f (h)desconocido Hallar todos los posibles valores de f (h) para los que C es un coacutedigo no singular que no

cumple con la desigualdad de Kraft

Para que no se cumpla la desigualdad de Kraft debe cumplirse991761 j

3minusℓj gt 1

2 times 1

31 +

1

32 + 4 times

1

33 +

1

3ℓhgt 1

25

27 +

1

3ℓhgt 1

13ℓh

gt 227

rArr 272

gt 3ℓh

Como soacutelo son posibles valores enteros para ℓh es faacutecil ver que la desigualdad se cumple para cualquierentero menor a 3 Alternativamente podemos aplicar logaritmos

27

2 gt 3ℓh

log3

27

2 gt ℓh

ℓh lt log3 27 minus log

3 2

ℓh lt 3 minus log3 2

8

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 924

No nos hace falta el valor exacto de log3 2 ≃ 06309 pues basta con saber que (de forma evidente) es

menor que la unidad con lo cual ℓh queda acotado por un nuacutemero entre 2 y 3 Luego siendo enterodeberaacute ser menor o igual a 2

Finalmente la solucioacuten al problema son todas las combinaciones de uno y dos siacutembolos ternarios

excepto los ya utilizados en el coacutedigo 2 00 01 02 10 11 12 20 22

EJERCICIO 711- El coacutedigo Morse utilizado en telegrafiacutea permite codificar cada letra del alfabetocon puntos y rayas La figura 1 ilustra dicha codificacioacuten para los siacutembolos utilizados en idioma ingleacutes

Figura 1 Coacutedigo Morse Internacional

a) El coacutedigo Morse separa cada letra con otro siacutembolo que podemos interpretar como un espacioiquestEs necesario utilizar dicho espacio iquestPor queacute

b) iquestEs el coacutedigo Morse un coacutedigo instantaacuteneo iquestPor queacute

c) En la figura 2 se indican las frecuencias tiacutepicas de apracicioacuten de las letras en el idioma ingleacutes Apartir de las mismas calcule la longitud promedio del coacutedigo Morse para un texto escrito en ingleacutes(suponer independencia de emisioacuten de las letras y no distincioacuten entre mayuacutesculas y minuacutesculas)

a) Siacute la sepacacioacuten es necesaria para garantizar la decodificacioacuten de forma uniacutevoca Por ejemploen ausencia del espacio de separacioacuten codificariacuteamos la letra A y la secuencia E T de la misma forma(punto-raya)

b) Si consideramos soacutelo la codificacioacuten de la tabla (sin el espacio de separacioacuten entre siacutembolos) elcoacutedigo Morse no es instantaacuteneo (pues no es uniacutevoco como vimos en el apartado (a))

c) La longitud promedio se obtiene simplemente sumando para cada siacutembolo el producto de sus fre-

cuencias de aparicioacuten por la cantidad de puntos y rayas con que se codifica resultando un promedio de

9

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1024

Figura 2 Frecuencias relativas de aparicioacuten de letras en el idioma ingleacutes

254167 puntos y rayas por letra (1543 puntos y 0999 rayas)

EJERCICIO 712- En la figura 2 se indican las frecuencias tiacutepicas de aparicioacuten de las letras en elidioma ingleacutes

a) A partir de las mismas calcula el coacutedigo binario de Huffman resultante (para codificar una letra ala vez) y su longitud promedio

b) Compara esta longitud con la cantidad promedio de puntos y rayas del coacutedigo Morse (ejercicioanterior) iquestCuaacutel de los dos coacutedigos tiene menor longitud promedio

c) Supongamos ahora que en el coacutedigo Morse interpretamos que cada palabra de coacutedigo terminacon un espacio Es decir cada letra se representa por el nuacutemreo correspondiente de puntos y rayasmaacutes un espacio al final Entonces la longitud promedio del coacutedigo Morse es igual al promedio depuntos y rayas por letra maacutes 1 (que es el promedio de espacios por letra) Dicha longitud resultamenor que la del coacutedigo de Huffman calculado en el apartado (a) Explica coacutemo es posible quepase esto si sabemos que los coacutedigos de Huffman son los coacutedigos instantaacuteneos de menor longitudpromedio posible

a) Procediendo de manera similar a lo visto en problemas anteriores podemos calcular una posiblecodificacioacuten de Huffman para esta fuente C = 0001 001111 10110 00000 011 11010 0011001001 0100 110110100 1101100 00001 11000 0101 0010 001110 110110110 1010 1000 11110111 110111 11001 110110101 001101 110110111 siendo la longitud promedio resultante de4205 bits por letra

Cuando la fuente tiene una cantidad de siacutembolos considerable es conveniente automatizar la construc-cioacuten del esquema de codificacioacuten En la figura 3 se indica una implementacioacuten sencilla del algoritmo de

10

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 7: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 724

bull Si comenzamos por b tenemos b = 1 y debemos elegir a = 00 y c = 01 oacute a = 01 y c = 00 Sianalizamos la segunda opcioacuten vemos que la secuencia se decodifica como

f (b c ) = 100 010 110 100 011 01f (b ca ) = 100 010 110 100 011 01

f (bcaa) = 100 010 110 100 011 01f (bcaab) = 100 010 110 100 011 01f (bcaaba) = 100 010 110 100 011 01f (bcaabac) = 100 010 110 100 011 01f (bcaabaca) = 100 010 110 100 011 01f (bcaabacab ) = 100 010 110 100 011 01f (bcaabacaba) = 100 010 110 100 011 01

Con lo cual completamos la decodificacioacuten con la cantidad exacta de siacutembolos que se solicita ycon un coacutedio instantaacuteneo

De forma anaacuteloga puede verificarse que con la otra opcioacuten de longitudes de palabra tambieacuten existeuna solucioacuten con lo cual la secuencia no resulta decodificable de forma uniacutevoca

EJERCICIO 79- Cierta fuente S sin memoria genera una secuencia de 6 siacutembolos La secuencia secodifica siacutembolo por siacutembolo utilizando un esquema de Huffman en base 2 para la fuente S La cadenabinaria resultante es 1 0 1 1 0 0 0 0 1 0 1 Se sabe que la fuente tiene un alfabeto de 5 siacutembolos ynos dicen que sus probabilidades son P A = 03 02502 02 005 oacute P B = 04 03 02 005005Determina cuaacutel de las siguientes afirmaciones es la correcta y justifica claramente tu eleccioacuten

a) Las probabilidades son P A = 03 02502 02 005

b) Las probabilidades son P B = 04 03 02 005005c) Ninguna de las dos (no es posible que una secuencia de 6 siacutembolos emitidos por una fuente con

probabiliades P A oacute P B al codificarse con un esquema Huffman genere la cadena binaria delenunciado)

d) Cualquiera de las dos (con cualquiera de las dos opciones P A oacute P B es posible que la fuente ge-nere una cadena binaria como la del enunciado al codificar mediante un esquema de Huffman unasecuencia de entrada de 6 siacutembolos)

Comenzamos por calcular la codificacioacuten de Huffman para P AP A 03 025 02 02 110 005 111

03 025 02 10 025 11

0300 025 01 045

055 0 045 1

1Obseacutervese que todos los siacutembolos de la fuente se codifican con 2 o maacutes bits lo que hace imposible quepodamos emitir 6 siacutembolos con soacutelo 11 bits (que es la longitud de la secuencia del enunciado) Veamosqueacute sucede con P B

7

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 824

P B 04 03 02 0051111 005 1110

04 03 02 110 01111

04 03 10 0311

040 061

1Vemos que uno de los siacutembolos se codifica con 1 bit lo cual hariacutea posible en principio codificar 6siacutembolos con 11 bits Verificamos si esto se cumple para la eleccioacuten particular que hemos hecho decodificacioacuten de Huffman

f B(abcde) = 0 10 110 1111 1110f minus1B (10 110 0 0 0 10 1) = bcaaab

Nos queda un bit sin decodificar con lo cual el esquema elegido no nos sirve Sin embargo tenemosvarias formas de modificar la asignacioacuten de unos y ceros a cada siacutembolo Una solucioacuten posible es lasiguiente

P B 04 03 02 0050001 005 0000

04 03 02 001 01000

04 03 01 0300

041 060

1

f B(abcde) = 1 01 001 0001 0000f minus1B (1 01 1 0000 1 01) = abaeab

EJERCICIO 710- Sea S = A P una fuente sin memoria con alfabeto A = a b c d e f g hPara codificar la fuente S utilizamos un coacutedigo ternario (base 3) C = 1 0 21 210 220 010 221 con funcioacuten de codificacioacuten f tal que f (a) = 1 f (b) = 0 f (c) = 21 y f (d) = 210 etc siendo f (h)desconocido Hallar todos los posibles valores de f (h) para los que C es un coacutedigo no singular que no

cumple con la desigualdad de Kraft

Para que no se cumpla la desigualdad de Kraft debe cumplirse991761 j

3minusℓj gt 1

2 times 1

31 +

1

32 + 4 times

1

33 +

1

3ℓhgt 1

25

27 +

1

3ℓhgt 1

13ℓh

gt 227

rArr 272

gt 3ℓh

Como soacutelo son posibles valores enteros para ℓh es faacutecil ver que la desigualdad se cumple para cualquierentero menor a 3 Alternativamente podemos aplicar logaritmos

27

2 gt 3ℓh

log3

27

2 gt ℓh

ℓh lt log3 27 minus log

3 2

ℓh lt 3 minus log3 2

8

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 924

No nos hace falta el valor exacto de log3 2 ≃ 06309 pues basta con saber que (de forma evidente) es

menor que la unidad con lo cual ℓh queda acotado por un nuacutemero entre 2 y 3 Luego siendo enterodeberaacute ser menor o igual a 2

Finalmente la solucioacuten al problema son todas las combinaciones de uno y dos siacutembolos ternarios

excepto los ya utilizados en el coacutedigo 2 00 01 02 10 11 12 20 22

EJERCICIO 711- El coacutedigo Morse utilizado en telegrafiacutea permite codificar cada letra del alfabetocon puntos y rayas La figura 1 ilustra dicha codificacioacuten para los siacutembolos utilizados en idioma ingleacutes

Figura 1 Coacutedigo Morse Internacional

a) El coacutedigo Morse separa cada letra con otro siacutembolo que podemos interpretar como un espacioiquestEs necesario utilizar dicho espacio iquestPor queacute

b) iquestEs el coacutedigo Morse un coacutedigo instantaacuteneo iquestPor queacute

c) En la figura 2 se indican las frecuencias tiacutepicas de apracicioacuten de las letras en el idioma ingleacutes Apartir de las mismas calcule la longitud promedio del coacutedigo Morse para un texto escrito en ingleacutes(suponer independencia de emisioacuten de las letras y no distincioacuten entre mayuacutesculas y minuacutesculas)

a) Siacute la sepacacioacuten es necesaria para garantizar la decodificacioacuten de forma uniacutevoca Por ejemploen ausencia del espacio de separacioacuten codificariacuteamos la letra A y la secuencia E T de la misma forma(punto-raya)

b) Si consideramos soacutelo la codificacioacuten de la tabla (sin el espacio de separacioacuten entre siacutembolos) elcoacutedigo Morse no es instantaacuteneo (pues no es uniacutevoco como vimos en el apartado (a))

c) La longitud promedio se obtiene simplemente sumando para cada siacutembolo el producto de sus fre-

cuencias de aparicioacuten por la cantidad de puntos y rayas con que se codifica resultando un promedio de

9

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1024

Figura 2 Frecuencias relativas de aparicioacuten de letras en el idioma ingleacutes

254167 puntos y rayas por letra (1543 puntos y 0999 rayas)

EJERCICIO 712- En la figura 2 se indican las frecuencias tiacutepicas de aparicioacuten de las letras en elidioma ingleacutes

a) A partir de las mismas calcula el coacutedigo binario de Huffman resultante (para codificar una letra ala vez) y su longitud promedio

b) Compara esta longitud con la cantidad promedio de puntos y rayas del coacutedigo Morse (ejercicioanterior) iquestCuaacutel de los dos coacutedigos tiene menor longitud promedio

c) Supongamos ahora que en el coacutedigo Morse interpretamos que cada palabra de coacutedigo terminacon un espacio Es decir cada letra se representa por el nuacutemreo correspondiente de puntos y rayasmaacutes un espacio al final Entonces la longitud promedio del coacutedigo Morse es igual al promedio depuntos y rayas por letra maacutes 1 (que es el promedio de espacios por letra) Dicha longitud resultamenor que la del coacutedigo de Huffman calculado en el apartado (a) Explica coacutemo es posible quepase esto si sabemos que los coacutedigos de Huffman son los coacutedigos instantaacuteneos de menor longitudpromedio posible

a) Procediendo de manera similar a lo visto en problemas anteriores podemos calcular una posiblecodificacioacuten de Huffman para esta fuente C = 0001 001111 10110 00000 011 11010 0011001001 0100 110110100 1101100 00001 11000 0101 0010 001110 110110110 1010 1000 11110111 110111 11001 110110101 001101 110110111 siendo la longitud promedio resultante de4205 bits por letra

Cuando la fuente tiene una cantidad de siacutembolos considerable es conveniente automatizar la construc-cioacuten del esquema de codificacioacuten En la figura 3 se indica una implementacioacuten sencilla del algoritmo de

10

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 8: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 824

P B 04 03 02 0051111 005 1110

04 03 02 110 01111

04 03 10 0311

040 061

1Vemos que uno de los siacutembolos se codifica con 1 bit lo cual hariacutea posible en principio codificar 6siacutembolos con 11 bits Verificamos si esto se cumple para la eleccioacuten particular que hemos hecho decodificacioacuten de Huffman

f B(abcde) = 0 10 110 1111 1110f minus1B (10 110 0 0 0 10 1) = bcaaab

Nos queda un bit sin decodificar con lo cual el esquema elegido no nos sirve Sin embargo tenemosvarias formas de modificar la asignacioacuten de unos y ceros a cada siacutembolo Una solucioacuten posible es lasiguiente

P B 04 03 02 0050001 005 0000

04 03 02 001 01000

04 03 01 0300

041 060

1

f B(abcde) = 1 01 001 0001 0000f minus1B (1 01 1 0000 1 01) = abaeab

EJERCICIO 710- Sea S = A P una fuente sin memoria con alfabeto A = a b c d e f g hPara codificar la fuente S utilizamos un coacutedigo ternario (base 3) C = 1 0 21 210 220 010 221 con funcioacuten de codificacioacuten f tal que f (a) = 1 f (b) = 0 f (c) = 21 y f (d) = 210 etc siendo f (h)desconocido Hallar todos los posibles valores de f (h) para los que C es un coacutedigo no singular que no

cumple con la desigualdad de Kraft

Para que no se cumpla la desigualdad de Kraft debe cumplirse991761 j

3minusℓj gt 1

2 times 1

31 +

1

32 + 4 times

1

33 +

1

3ℓhgt 1

25

27 +

1

3ℓhgt 1

13ℓh

gt 227

rArr 272

gt 3ℓh

Como soacutelo son posibles valores enteros para ℓh es faacutecil ver que la desigualdad se cumple para cualquierentero menor a 3 Alternativamente podemos aplicar logaritmos

27

2 gt 3ℓh

log3

27

2 gt ℓh

ℓh lt log3 27 minus log

3 2

ℓh lt 3 minus log3 2

8

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 924

No nos hace falta el valor exacto de log3 2 ≃ 06309 pues basta con saber que (de forma evidente) es

menor que la unidad con lo cual ℓh queda acotado por un nuacutemero entre 2 y 3 Luego siendo enterodeberaacute ser menor o igual a 2

Finalmente la solucioacuten al problema son todas las combinaciones de uno y dos siacutembolos ternarios

excepto los ya utilizados en el coacutedigo 2 00 01 02 10 11 12 20 22

EJERCICIO 711- El coacutedigo Morse utilizado en telegrafiacutea permite codificar cada letra del alfabetocon puntos y rayas La figura 1 ilustra dicha codificacioacuten para los siacutembolos utilizados en idioma ingleacutes

Figura 1 Coacutedigo Morse Internacional

a) El coacutedigo Morse separa cada letra con otro siacutembolo que podemos interpretar como un espacioiquestEs necesario utilizar dicho espacio iquestPor queacute

b) iquestEs el coacutedigo Morse un coacutedigo instantaacuteneo iquestPor queacute

c) En la figura 2 se indican las frecuencias tiacutepicas de apracicioacuten de las letras en el idioma ingleacutes Apartir de las mismas calcule la longitud promedio del coacutedigo Morse para un texto escrito en ingleacutes(suponer independencia de emisioacuten de las letras y no distincioacuten entre mayuacutesculas y minuacutesculas)

a) Siacute la sepacacioacuten es necesaria para garantizar la decodificacioacuten de forma uniacutevoca Por ejemploen ausencia del espacio de separacioacuten codificariacuteamos la letra A y la secuencia E T de la misma forma(punto-raya)

b) Si consideramos soacutelo la codificacioacuten de la tabla (sin el espacio de separacioacuten entre siacutembolos) elcoacutedigo Morse no es instantaacuteneo (pues no es uniacutevoco como vimos en el apartado (a))

c) La longitud promedio se obtiene simplemente sumando para cada siacutembolo el producto de sus fre-

cuencias de aparicioacuten por la cantidad de puntos y rayas con que se codifica resultando un promedio de

9

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1024

Figura 2 Frecuencias relativas de aparicioacuten de letras en el idioma ingleacutes

254167 puntos y rayas por letra (1543 puntos y 0999 rayas)

EJERCICIO 712- En la figura 2 se indican las frecuencias tiacutepicas de aparicioacuten de las letras en elidioma ingleacutes

a) A partir de las mismas calcula el coacutedigo binario de Huffman resultante (para codificar una letra ala vez) y su longitud promedio

b) Compara esta longitud con la cantidad promedio de puntos y rayas del coacutedigo Morse (ejercicioanterior) iquestCuaacutel de los dos coacutedigos tiene menor longitud promedio

c) Supongamos ahora que en el coacutedigo Morse interpretamos que cada palabra de coacutedigo terminacon un espacio Es decir cada letra se representa por el nuacutemreo correspondiente de puntos y rayasmaacutes un espacio al final Entonces la longitud promedio del coacutedigo Morse es igual al promedio depuntos y rayas por letra maacutes 1 (que es el promedio de espacios por letra) Dicha longitud resultamenor que la del coacutedigo de Huffman calculado en el apartado (a) Explica coacutemo es posible quepase esto si sabemos que los coacutedigos de Huffman son los coacutedigos instantaacuteneos de menor longitudpromedio posible

a) Procediendo de manera similar a lo visto en problemas anteriores podemos calcular una posiblecodificacioacuten de Huffman para esta fuente C = 0001 001111 10110 00000 011 11010 0011001001 0100 110110100 1101100 00001 11000 0101 0010 001110 110110110 1010 1000 11110111 110111 11001 110110101 001101 110110111 siendo la longitud promedio resultante de4205 bits por letra

Cuando la fuente tiene una cantidad de siacutembolos considerable es conveniente automatizar la construc-cioacuten del esquema de codificacioacuten En la figura 3 se indica una implementacioacuten sencilla del algoritmo de

10

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 9: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 924

No nos hace falta el valor exacto de log3 2 ≃ 06309 pues basta con saber que (de forma evidente) es

menor que la unidad con lo cual ℓh queda acotado por un nuacutemero entre 2 y 3 Luego siendo enterodeberaacute ser menor o igual a 2

Finalmente la solucioacuten al problema son todas las combinaciones de uno y dos siacutembolos ternarios

excepto los ya utilizados en el coacutedigo 2 00 01 02 10 11 12 20 22

EJERCICIO 711- El coacutedigo Morse utilizado en telegrafiacutea permite codificar cada letra del alfabetocon puntos y rayas La figura 1 ilustra dicha codificacioacuten para los siacutembolos utilizados en idioma ingleacutes

Figura 1 Coacutedigo Morse Internacional

a) El coacutedigo Morse separa cada letra con otro siacutembolo que podemos interpretar como un espacioiquestEs necesario utilizar dicho espacio iquestPor queacute

b) iquestEs el coacutedigo Morse un coacutedigo instantaacuteneo iquestPor queacute

c) En la figura 2 se indican las frecuencias tiacutepicas de apracicioacuten de las letras en el idioma ingleacutes Apartir de las mismas calcule la longitud promedio del coacutedigo Morse para un texto escrito en ingleacutes(suponer independencia de emisioacuten de las letras y no distincioacuten entre mayuacutesculas y minuacutesculas)

a) Siacute la sepacacioacuten es necesaria para garantizar la decodificacioacuten de forma uniacutevoca Por ejemploen ausencia del espacio de separacioacuten codificariacuteamos la letra A y la secuencia E T de la misma forma(punto-raya)

b) Si consideramos soacutelo la codificacioacuten de la tabla (sin el espacio de separacioacuten entre siacutembolos) elcoacutedigo Morse no es instantaacuteneo (pues no es uniacutevoco como vimos en el apartado (a))

c) La longitud promedio se obtiene simplemente sumando para cada siacutembolo el producto de sus fre-

cuencias de aparicioacuten por la cantidad de puntos y rayas con que se codifica resultando un promedio de

9

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1024

Figura 2 Frecuencias relativas de aparicioacuten de letras en el idioma ingleacutes

254167 puntos y rayas por letra (1543 puntos y 0999 rayas)

EJERCICIO 712- En la figura 2 se indican las frecuencias tiacutepicas de aparicioacuten de las letras en elidioma ingleacutes

a) A partir de las mismas calcula el coacutedigo binario de Huffman resultante (para codificar una letra ala vez) y su longitud promedio

b) Compara esta longitud con la cantidad promedio de puntos y rayas del coacutedigo Morse (ejercicioanterior) iquestCuaacutel de los dos coacutedigos tiene menor longitud promedio

c) Supongamos ahora que en el coacutedigo Morse interpretamos que cada palabra de coacutedigo terminacon un espacio Es decir cada letra se representa por el nuacutemreo correspondiente de puntos y rayasmaacutes un espacio al final Entonces la longitud promedio del coacutedigo Morse es igual al promedio depuntos y rayas por letra maacutes 1 (que es el promedio de espacios por letra) Dicha longitud resultamenor que la del coacutedigo de Huffman calculado en el apartado (a) Explica coacutemo es posible quepase esto si sabemos que los coacutedigos de Huffman son los coacutedigos instantaacuteneos de menor longitudpromedio posible

a) Procediendo de manera similar a lo visto en problemas anteriores podemos calcular una posiblecodificacioacuten de Huffman para esta fuente C = 0001 001111 10110 00000 011 11010 0011001001 0100 110110100 1101100 00001 11000 0101 0010 001110 110110110 1010 1000 11110111 110111 11001 110110101 001101 110110111 siendo la longitud promedio resultante de4205 bits por letra

Cuando la fuente tiene una cantidad de siacutembolos considerable es conveniente automatizar la construc-cioacuten del esquema de codificacioacuten En la figura 3 se indica una implementacioacuten sencilla del algoritmo de

10

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 10: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1024

Figura 2 Frecuencias relativas de aparicioacuten de letras en el idioma ingleacutes

254167 puntos y rayas por letra (1543 puntos y 0999 rayas)

EJERCICIO 712- En la figura 2 se indican las frecuencias tiacutepicas de aparicioacuten de las letras en elidioma ingleacutes

a) A partir de las mismas calcula el coacutedigo binario de Huffman resultante (para codificar una letra ala vez) y su longitud promedio

b) Compara esta longitud con la cantidad promedio de puntos y rayas del coacutedigo Morse (ejercicioanterior) iquestCuaacutel de los dos coacutedigos tiene menor longitud promedio

c) Supongamos ahora que en el coacutedigo Morse interpretamos que cada palabra de coacutedigo terminacon un espacio Es decir cada letra se representa por el nuacutemreo correspondiente de puntos y rayasmaacutes un espacio al final Entonces la longitud promedio del coacutedigo Morse es igual al promedio depuntos y rayas por letra maacutes 1 (que es el promedio de espacios por letra) Dicha longitud resultamenor que la del coacutedigo de Huffman calculado en el apartado (a) Explica coacutemo es posible quepase esto si sabemos que los coacutedigos de Huffman son los coacutedigos instantaacuteneos de menor longitudpromedio posible

a) Procediendo de manera similar a lo visto en problemas anteriores podemos calcular una posiblecodificacioacuten de Huffman para esta fuente C = 0001 001111 10110 00000 011 11010 0011001001 0100 110110100 1101100 00001 11000 0101 0010 001110 110110110 1010 1000 11110111 110111 11001 110110101 001101 110110111 siendo la longitud promedio resultante de4205 bits por letra

Cuando la fuente tiene una cantidad de siacutembolos considerable es conveniente automatizar la construc-cioacuten del esquema de codificacioacuten En la figura 3 se indica una implementacioacuten sencilla del algoritmo de

10

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 11: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1124

Figura 3 Codificacioacuten de Huffman en base 2 para Matlab

11

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 12: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1224

Huffman para base 2 en Matlab

b) La longitud del coacutedigo Morse es bastante menor que la del coacutedigo de Huffman del apartado (a)

c) El resultado se debe a que el coacutedigo de Huffman con un espacio adicional para terminar cada letrautiliza tres siacutembolos mientras que el coacutedigo de Huffman calculado en el apartado (a) utiliza soacutelo dosPodemos verificar que construyendo un coacutedigo de Huffman en base 3 obtenemos una longitud mediaigual a 27032 por letra la cual es menor que los 354 resultante del coacutedigo Morse con el espacio adicio-nal indicado en el enunciado

EJERCICIO 713- La fuente S con alfabeto a1 a2 a3 a4 y siacutembolos equiprobables se codifica conun coacutedigo C = 0 01 011 0111

a) Razona si el coacutedigo es uniacutevocamente decodificable

b) Razona si el coacutedigo es instantaacuteneoc) Comprueba si el coacutedigo cumple la desigualdad de Kraft

a) El coacutedigo es uniacutevocamente decodificable ya que para cualquier secuencia de siacutembolos recibidospodemos decodificarlo sin ambiguumledad

b) El coacutedigo no es instantaacuteneo ya que no es un coacutedigo prefijo Por ejemplo la palabra 0 es prefijo delas demaacutes palabras

c) El coacutedigo cumple la desigualdad de Kraft

991761 j

rminuslj = 1

2 +

1

22 +

1

23 +

1

24 =

3

4 =

15

16

EJERCICIO 714- Sea una fuente S con alfabeto abcde y probabilidades 03 015 025 01 02

a) Codificar la secuencia ace mediante un coacutedigo de Huffman

b) Hallar el intervalo que contiene el valor a codificar usando codificacioacuten aritmeacutetica

a) El coacutedigo Huffman es 00 110 01 111 10 Por tanto la secuencia ace se codificaraacute como 000110

b) Para la codificacioacuten aritmeacutetica asignamos a cada siacutembolos su propio rango de probabilidad

a b c d e[0 03) [03 045) [045 07) [07 08) [08 1)

Y para cada siacutembolo localizamos el intervalo y los liacutemites superiores e inferiores

Codificacioacuten de a

inf = 0 (1)

sup = 03 (2)

12

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 13: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1324

Codificacioacuten de c

inf = 0 + (03 minus 0) times 045 = 0135 (3)

sup = 0 + (03 minus 0) times 07 = 021 (4)

Codificacioacuten de cinf = 0135 + (021 minus 0135) times 08 = 0195 (5)

sup = 0135 + (021 minus 0135) times 1 = 0210 (6)

Por tanto la secuencia ace se puede codificar mediante cualquier valor dentro del rango [0195 0210)

EJERCICIO 715- Sea una fuente S de 6 siacutembolos equiprobables

a) Hallar la entropiacutea de la fuente (tema siguiente)

b) iquestEs posible construir un coacutedigo binario instantaacuteneo con longitudes de palabra 2 2 3 3 3 3

c) iquestCuaacutel es la longitud media miacutenima para cualquier coacutedigo compacto de dicha fuente (con dar unacota inferior es suficiente)

d) iquestEs posible construir un coacutedigo binario uniacutevoco con longitud media superior a 28

e) Hallar un posible coacutedigo de Huffman de dicha fuente y su longitud media

a) Puesto que los siacutembolos son equiprobables

H (S ) =991761 j

p j log2

1

p j= log

2 6 ≃ 2396

b) Comprobamos que cumple la desigualdad de Kraft991761 j

rminuslj = 1

22 middot 2 +

1

23 middot 4 = 1

y por tanto siacute es posible

c) Para cualquier coacutedigo C uniacutevocamente decodificable se cumple que L(C ) ge H (S ) Por tantoL(C ) ge 2396 Para hallar el valor exacto podriacuteamos construir un coacutedigo Huffman y hallar sulongitud media

d) No hay cotas superiores para un coacutedigo uniacutevoco

e) Un posible coacutedigo de Huffman es C H = 00 01 100 101 110 111 y su longitud media LH =sum j l j times p j = 267 Esta seriacutea la longitud media miacutenima de cualquier coacutedigo uniacutevocamente deco-

dificable

EJERCICIO 716- Sea una fuente S con alfabeto de fuente A = 1 2 3 4 y siacutembolos equiprobables

a) Dar un ejemplo de coacutedigo singular

b) Dar un ejemplo de coacutedigo uniacutevoco pero no instantaacuteneo

c) Dar un ejemplo de coacutedigo oacuteptimo

Muacuteltiples soluciones Veaacutese la teoriacutea para algunos ejemplos

13

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 14: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1424

Tema 8- Informacioacute i Entropia

EJERCICIO 81- Sea S = A P una fuente sin memoria con alfabeto A = abcde y probabili-

dades P = 16

14

15

215

14

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la entropiacutea (binaria) de la segunda extensioacuten de la fuente S2

c) Calcula las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten deHuffman en base 2 sobre S2

d) Construye el esquema de Huffman en base 2 para S2 y calcula su eficiencia

a) Utilizando la definicioacuten de entropiacutea

H 2(S ) =991761 j

p j log2

1

p j≃ 2283

b) Dado que las extensiones se efectuacutean asumiendo independencia

H 2(S 2) = 2 times H 2(S ) ≃ 4566

c) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 2(S 2) le LCH lt H 2(S 2) + 1

4566 le LCH lt 5566

d) La segunda extensioacuten de la fuente del enunciado consiste en 25 siacutembolos dobles cuyas probabili-

dades son todos los productos posibles de dos siacutembolos de S S

2

= A

2

P

2

A2

= aa ab ac ad aeba bb bc bd be ca cb cc cd ce da db dc dd de ea eb ec ed ee P 2 = 1

36 124

130

145

124

124

116

1

20 130

116

130

120

125

275

120

145

130

275

4

225 130

124

1

16 120

130

116

Con estos datos podemos calcular elesquema de Huffman y obtenemos una longitud promedio de 459 bits por siacutembolo de S 2 Por tanto laeficiencia de este esquema de Huffman para S 2 es η = 4566459 = 09984

14

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 15: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1524

EJERCICIO 8 2- Dada la misma fuente de informacioacuten del Ejercicio 1

a) Calcular la entropiacutea (ternaria) de la extensioacuten sexta de S

b) Calcular las cotas miacutenima y maacutexima para la longitud promedio de un esquema de codificacioacuten de

Huffman en base 3 sobre S6

a) Dado que las extensiones se efectuacutean asumiendo independencia

H 3(S 6) = 6 times H 3(S )

H 3(S 6) = 6 times991761 j

p j log3

1

p j≃ 8642

b) La longitud del esquema de Huffman (LCH ) estaraacute acotada por la entropiacutea y la entropiacutea maacutes uno

H 3(S 6) le LCH lt H 3(S 6) + 1

8642 le LCH lt 9642

EJERCICIO 83- Determinar si las siguientes afirmaciones son verdaderas o falsas (justificar)

a) Dada una fuente S de 3 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo deHuffman en base 4 para S3 (tercera extensioacuten de la fuente S) con una longitud promedio mayorque 55

16

b) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio mayor a 59

8

c) Dada una fuente S de 4 siacutembolos equiprobables y sin memoria puede construirse un coacutedigo ter-nario uniacutevoco para S 5 con longitud promedio menor a 59

8

d) Sean dos fuentes S y T con entropiacutea H (S ) y H (T ) respectivamente Si la informacioacuten mutuaI (S T ) gt 0 y H (S ) gt H (T ) entonces H (S T ) gt 2 times H (T ) minus I (S T )

a) FALSO La entropiacutea de la fuente en base 4 es H 4(S ) = log4 (3) ≃ 07925 con lo cual para la tercera

extensioacuten tenemos H 4(S 3) = 3 times H 4(S ) ≃ 2377 y la longitud promedio de un esquema de Huffman

para la misma queda acotada entre 2377 y 3377 claramente 5516

= 34375 gt 3377

b) VERDADERO Sin necesidad de hacer caacutelculos siempre es posible construir un coacutedigo uniacutevococon longitud mayor a cualquier cota especificada

c) VERDADERO La entropiacutea de la fuente en base 3 es H 3(S ) = log3 (4) ≃ 1269 con lo cual para la

quinta extensioacuten tenemos H 3(S 5) = 5 times H 3(S ) ≃ 6309 y la longitud promedio de un coacutedigo uniacutevocoqueda por tanto acotada inferiormente por 6309 Puesto que 598 = 7375 siacute se puede construir uncoacutedigo ternario uniacutevoco para S 5 con longitud promedio menor a 59

8

15

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 16: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1624

d) VERDADERO

H (S T ) = H (S ) + H (T ) minus I (S T ) gt 2H (T ) minus I (S T )

EJERCICIO 84- Sea S una fuente que genera nuacutemeros de acuerdo al resultado de tirar un dadoideal donde todas las caras tienen la misma probabilidad de ocurrencia Por tanto S puede generarlos nuacutemeros del 1 al 6 equiprobablemente Definimos las variables aleatorias X =sale nuacutemero parY =sale un nuacutemero mayor que 3 y Z =sale el nuacutemero 5

a) Calcular H2(S)

b) Calcular H2(X ) H2(Y ) H2(Z )

c) Calcular I(X Y ) I(Z X ) e I(Z Y )

a) La fuente S tiene 6 siacutembolos cada uno con probabilidad 1

6 por lo cual H (S ) = 6 times 1

6 log

2 (6) ≃

2585

b) La variable aleatoria X tiene dos siacutembolos verdadero o falso Tendremos X = verdadero paralos nuacutemeros pares que son tres y todos tienen probabilidad 1

6 por tanto P (X = verdadero) = 3times1

6 = 1

2

De modo similar el evento complementario tambieacuten tiene probabilidad 1

2 y la entropiacutea resultante es

H (X ) = log2 (2) = 1 El mismo resultado se obtiene par H (Y ) ya que las posibilidades de obtener un

nuacutemero mayor que 3 o no mayor que 3 son las mismasEn cuanto a Z seraacute verdadero soacutelo si obtenemos un 5 que ocurriraacute con probabilidad 1

6 el evento

complementario tiene entonces probabilidad 5

6 y la entropiacutea es H (Z ) = 1

6 log

2 (6) + 5

6 log

2 (6

5) ≃ 065

c) Para hallar la informacioacuten mutua podemos optar por utilizar las entropiacuteas conjuntas I (X Y ) =H (X ) + H (Y ) minus H (X Y ) o las condicionales I (X Y ) = H (X ) minus H (X |Y ) = H (Y ) minus H (Y |X )

Por ejemplo la entropiacutea conjunta de X e Y es

H (X Y ) =991761i

991761 j

P (X = i Y = j)log 1

P (X = i Y = j )

Las probabilidades conjuntas involucradas son 4 a saber

P (X = v Y = v) = prob nuacutemero par y mayor que 3 = P (S = 4) + P (S = 6) = 1

3

P (X = v Y = f ) = prob nuacutemero par y no mayor que 3 = P (S = 2) = 1

6 P (X = f Y = v) = prob nuacutemero impar y mayor que 3 = P (S = 5) = 1

6

P (X = f Y = f ) = prob nuacutemero impar y no mayor que 3 = P (S = 1) + P (S = 3) = 1

3

Luego

H (X Y ) = 2 times 1

3 times log

2 (3) + 2 times

1

6 times log

2 (6) ≃ 19183

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 1 + 1 minus 19183 ≃ 00817

Elijamos entropiacutea condicional para el caso siguiente I (Z X ) Necesitamos las probabilidades condi-

cionales que tambieacuten seraacuten cuatro Si elegimos utilizar H (Z |X ) tendremos

16

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 17: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1724

P (Z = v | X = v) = prob nuacutemero 5 dado que el nuacutemero es par = 0

P (Z = f | X = v) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 2 oacute 4 oacute 6 = 1

P (Z = v | X = f ) = prob nuacutemero 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 1

3

P (Z = f | X = f ) = prob nuacutemero = 5 dado que el nuacutemero es impar == P (S = 5 | S = 1 oacute 3 oacute 5 = 2

3

Luego

H (Z |X ) =991761i

P (X = i)

983080991761 j

P (Z = j | X = i)log 1

P (Z = j | X = i)

983081

H (Z |X ) = 12 times 0 + 12 times983080

13 log2 (3) + 23 log2 ( 32)983081

≃ 04591

I (Z X ) = H (Z ) minus H (Z |X ) ≃ 065 minus 04591 ≃ 01909

Del mismo modo podemos calcular I (Z Y ) Puede verificarse que H (Z |Y ) coincide con H (Z |X )por lo que resulta maacutes instructivo utilizar I (Z Y ) = H (Y ) minus H (Y |Z )

P (Y = v | Z = v) = P (S gt 3 | S = 5) = 1

P (Y = f | Z = v) = P (S le 3 | S = 5) = 0

P (Y = v | Z = f ) = P (S gt 3 | S = 5) = 2

5

P (Y = f | Z = f ) = P (S le 3 | S = 5) = 3

5

Luego y recordando que Z tiene probabilidades 1

6 y 5

6 resulta

H (Y |Z ) = 1

6 times 0 +

5

6 times

9830802

5 log

2

5

2 +

3

5 log

2

5

3

983081≃ 08091

I (Z Y ) = H (Y ) minus H (Y |Z ) ≃ 1 minus 0 8091 ≃ 01909

EJERCICIO 85- Se dispone de 3 esquemas de codificacioacuten para la fuente S = S P tal como semuestra en la siguiente tabla

Alfabeto (S ) Probabilidad (P ) Coacutedigo C 1 Coacutedigo C 2 Coacutedigo C 3a 04 1 11 1b 03 01 10 10c 02 001 01 100d 01 000 00 1000

Definimos las variables aleatorias X =la fuente S emite el siacutembolo a e Y =el primer caraacutecter delcoacutedigo asignado al siacutembolo emitido por S es un uno Calcula la informacioacuten mutua entre X e Y I(X Y ) para cada caso

17

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 18: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1824

Comenzamos por notar que H (X ) = minus06 times log2 (06) minus 04 times log

2 (04) ≃ 0971 Al igual que

en el ejercicio anterior podemos elegir entre utilizar entropiacuteas condicionales o entropiacuteas conjuntas Sinembargo en este caso parece maacutes directo el uso de condicionales H (X |Y ) ya que implican menoscaacutelculo

Para el coacutedigo C 1 la variable Y es verdadero soacutelo si S = a coincidiendo exactamente con X Portanto sin necesidad de caacutelculos adicionales I (X Y ) = H (X ) ≃ 0971Para el coacutedigo C 2 la variable Y es verdadero par a y b es decir P (Y = verdadero) = P (S =

a) + P (S = b) = 07 P (Y = falso) = 03 Las probabilidades condicionales son

P (X = v | Y = v) = 04

07 = 4

7

P (X = f | Y = v) = 03

07 = 3

7

P (X = v | Y = f ) = 0

P (X = f | Y = f ) = 1

Luego

H (X |Y ) = 07 times H (X | Y = v) + 03 times H (X | Y = f )

H (X |Y ) = 07 times

9830804

7 log

2

7

4 +

3

7 log

2

7

3

983081+ 03 times 0 ≃ 06897

I (X Y ) = H (X ) minus H (X |Y ) ≃ 02813

Finalmente para el coacutedigo C 3 vemos que Y es siempre verdadero por lo que H (Y ) = 0 al igual quela informacioacuten mutua I (X Y ) = 0 (la informacioacuten mutua entre dos variables es siempre menor o igual

que la miacutenima de las entropiacuteas de las variables individuales)Los resultados para los coacutedigos C 1 y C 3 que se han deducido conceptualmente pueden verificarse demanera numeacuterica procediendo como se ha mostrado para el coacutedigo C 2

EJERCICIO 86- Albert y Berta juegan a piedra papel tijeras Albert elige piedra con probabilidad12 papel con probabilidad 14 y tijeras con probabilidad 14 Berta elige piedra o papel con la mismafrecuencia pero nunca elige tijeras Albert y Berta eligen independientemente Sean A y B las variablesaleatorias que indican las jugadas de Albert y Berta respectivamente Sea X = 1 si gana Albert X = 2si gana Berta y X = 0 si hay empate1 Calcular H (A B) H (A|X = 2) e I (X A)

Siguiendo el orden piedra papel tijera tenemos

P (A) = 1

2 1

4 1

4

P (B) = 1

2 1

2 0

1Recordar que en el juego en cuestioacuten el papel vence a la piedra la piedra vence a la tijera y la tijera vence al papel

18

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 19: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 1924

Utilizando las reglas del juego calculamos las probabilidades para X

P (X = 0) = P (A = P ie cap B = P ie cup A = P ap cap B = P ap cup A = T ij cap B = T ij)

P (X = 0) = 9830801

2

times 1

2983081+ 983080

1

4

times 1

2983081+ 983080

1

4

times 0983081 = 3

8P (X = 1) = P (A = P ie cap B = T ij cup A = P ap cap B = P ie cup A = T ij cap B = P ap)

P (X = 1) =

9830801

2 times 0

983081+

9830801

4 times

1

2

983081+

9830801

4 times

1

2

983081=

1

4

P (X = 2) = P (A = P ie cap B = P ap cup A = P ap cap B = T ij cup A = T ij cap B = P ie)

P (X = 2) =

9830801

2 times

1

2

983081+

9830801

4 times 0

983081+

9830801

4 times

1

2

983081=

3

8

a) Como la eleccioacuten de ambos jugadores se hace de manera independiente tenemos que A y B sonindependientes Luego I (A B) = 0 y podemos calcular la entropiacutea conjunta como

H (A B) = H (A) + H (B) minus I (A B)

H (A) = 1

2 log

2 2 +

2

4 log

2 4 =

3

2

H (B) = 2

2 log

2 2 = 1

H (A B) = 15 + 1 minus 0 = 25

b) Utilizando la definicioacuten de probabilidad condicional

P (A = P ie|X = 2) = P (A = P ie cap X = 2)

P (X = 2) =

14

38 =

2

3

P (A = P ap|X = 2) = P (A = P ap cap X = 2)

P (X = 2) =

0

14 = 0

P (A = T ij|X = 2) = P (A = T ij cap X = 2)

P (X = 2) =

18

38 =

1

3

Luego

H (A|X = 2) =991761i

983080P (A = i | X = 2) log 1

P (A = i | X = 2)983081

≃ 09183

c) Comenzamos por completar las probabilidades condicionales P (A|X ) procediendo como en elinciso anterior

P (A | X = 0) = 2

3 1

3 0 rArr H (A | X = 0) ≃ 09183

P (A | X = 1) = 0 1

2 1

2 rArr H (A | X = 1) = 1

19

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 20: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2024

y luego calculamos la entropiacutea condicional y la informacioacuten mutua

H (A|X ) =991761i

P (X = i) H (A | X = i)

H (A|X ) ≃ 38 times 09183 + 14 times 1 + 38 times 09183 ≃ 09387

I (X A) = H (A) minus H (A|X ) ≃ 05613

EJERCICIO 87- Supongamos que hay dos dados muy extrantildeos de 4 caras cada uno (numeradas 12 3 4) Para estudiarlos definimos dos fuentes de informacioacuten S y T que generan nuacutemeros de acuerdoal nuacutemero resultante en el primero y en el segundo dado respectivamente Los nuacutemeros que salen en elprimer dado (el que corresponde a S) ocurren los cuatro equiprobablemente Sin embargo el segundodado estaacute atado al primero de forma tal que

Si en el primer dado sale un nuacutemero impar en el segundo saldraacute par (2 o 4 con igual probabilidad)

Si en el primer dado sale un nuacutemero par en el segundo puede salir cualquier nuacutemero equiproba-blemente exceptuando el mismo nuacutemero que en el primer dado (que no puede salir)

iquestCuaacutel es la cota inferior (teoacuterica) para la longitud promedio (expresada en bits) que se necesita para co-dificar el resultado de tirar estos dos dados (suponiendo que podemos agrupar los nuacutemeros generadosen secuencias tan largas como se quiera)

La cota inferior que se pide es la entropiacutea conjunta H (S T ) y como se pide el resultado en bits ha

de ser calculada en base 2A partir de las reglas del enunciado las probabilidades conjuntas de S y T son

P (S = 1 T = 1 2 3 4) = 0 1

8 0 1

8

P (S = 2 T = 1 2 3 4) = 1

12 0 1

12

1

12

P (S = 3 T = 1 2 3 4) = 0 18

0 18

P (S = 4 T = 1 2 3 4) = 1

12 1

12 1

12 0

con lo cual la entropiacutea conjunta resulta

H (S T ) =991761i

991761 j

P (S = i T = j )log 1

P (S = i T = j)

H (S T ) = 4 times 1

8 log

2 8 + 6 times

1

12 log

2(12) ≃ 32925 bits

20

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 21: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2124

EJERCICIO 88- Una fuente S genera nuacutemeros de acuerdo al resultado de tirar un dado honradoDicha fuente se codificaraacute en base 2 utilizando el coacutedigo C = 00 01 10 110 1110 1111 Ahorarealizamos un lanzamiento del dado y lo codificamos Asumiendo que numeramos los bits de coacutedigo enforma ascendente de izquierda a derecha

a) iquestCuaacutel es la entropiacutea (en base 2) del primer bit

b) iquestCuaacutel es la entropiacutea (en base 2) del segundo bit suponiendo que conocemos el primero

a) El primer bit es cero si obtenemos 1 oacute 2 y uno en los restantes cuatro casos Al ser los seis casosequiprobables tenemos que el primer bit seraacute cero con probabilidad 1

3 y uno con probabilidad 2

3 Luego

H 2(1er bit) = 1

3 log

2 3 +

2

3 log

2

3

2 ≃ 09183

b) En este caso necesitamos las probabilidades condicionales del segundo bit dado el primero Comotodos los nuacutemeros del dado son equiprobables el caacutelculo se reduce a un mero conteo de casos favorablesSi el primer bit es cero tenemos dos opciones 00 oacute 01 con el segundo bit en cero oacute uno con igual

probabilidad (12) Por tanto H 2(2do bit | 1er bit = 0) = 1 bitSi el primer bit es uno tenemos cuatro opciones una con el segundo bit en cero y las otras tres con el

segundo bit en uno con probabilidades 14 y 34 respectivamente Por tanto H 2(2do bit | 1er bit = 1) ≃08113 bits

Finalmente la entropiacutea que buscamos resulta

H 2(2do bit | 1er bit) ≃ 2

6 times 1 +

4

6 times 08113 ≃ 08742

EJERCICIO 89- Una fuente S genera nuacutemeros de acuerdo a la suma de dos dados honrados Losdados son independientes pero cuando la suma resulta ser muacuteltiplo de 4 la tirada se anula y se repite(las veces que sea necesario hasta que la suma no sea muacuteltiplo de 4) Calcula la informacioacuten (en bits)que provee el conocimiento del valor de uno de los dados respecto del valor de la fuente S

Lo que nos pide el enunciado es calcular la informacioacuten mutua entre la fuente y un dado LlamamosD1 y D2 a los dados sin importar la eleccioacuten ya que son ideacutenticos Calcularemos I (S D1) utilizandoI (S D1) = H (S ) minus H (S |D1)

Al realizar un lanzamiento de D1 y D2 tenemos 36 posibles combinaciones pero hay nueve cuya sumaes muacuteltiplo de 4 (tres que suman 4 cinco que suman 8 y una que suma 12) Por tanto nos quedan 27posibles combinaciones todas equiprobables Esto hace que las probabilidades de S sean como sigue

P (S = 2) = 1

27 P (S = 3) = 2

27 P (S = 5) = 4

27

P (S = 6) = 5

27 P (S = 7) = 6

27 P (S = 9) = 4

27

P (S = 10) = 3

27 P (S = 11) = 2

27

con lo cual H 2(S ) ≃ 28336 bits Calculamos ahora las probabilidades condicionales de S con respecto

a D1

21

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 22: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2224

P (S = 2 3 5 6 7 | D1 = 1) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 1) = 5

27

P (S = 3 5 6 7 | D1 = 2) = 1

4 1

4 1

4

1

4 P (D1 = 2) = 4

27

P (S = 5 6 7 9 | D1 = 3) = 1

4 1

4 1

4

1

4 P (D1 = 3) = 4

27

P (S = 5 6 7 9 10 | D1 = 4) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 4) = 5

27

P (S = 6 7 9 10 11 | D1 = 5) = 1

5 1

5 1

5

1

5

1

5 P (D1 = 5) = 5

27

P (S = 7 9 10 11 | D1 = 6) = 1

4 1

4 1

4

1

4 P (D1 = 6) = 4

27

Noacutetese que para calcular P (D1) SOacuteLO se han tenido en cuenta las paacutertidas vaacutelidas (para una partida novaacutelida S no genera ninguacuten siacutembolo) Finalmente

H (S |D1) = 3 times 5

27 times log

2 5 + 3 times

4

27 times log

2(4) ≃ 21788 bits

I (S D1) = H (S ) minus H (S |D1) ≃ 06548 bits

EJERCICIO 810- Sean X e Y dos variables aleatorias tal que X toma valores enteros entre 0 y 2(inclusive) e Y toma los valores 0 oacute 1 Si combinamos X e Y tenemos 6 casos posibles cuyas probabi-lidades se detallan en la siguiente tabla

P (X Y ) X = 0 X = 1 X = 2

Y = 0 14 112 16Y = 1 112 14 16

a) iquestSon X e Y estadiacutesticamente independientes Justificarb) Calcular la informacioacuten mutua I(X Y )

c) iquestEs posible permutar dos entradas de la tabla de P (X Y ) definida arriba tal que se incremente lainformacioacuten mutua entre X e Y Justificar

a) NO Calculando las probabilidades marginales de X e Y vemos que ambas tienen distribucioacuten uni-forme con probabilidades de 1

3 y 1

2 respectivamente Si X e Y fueran independientes todos los valores

de la tabla seriacutean 1

6 pues coincidiriacutean con el producto de las probabilidades marginales

b) Como tenemos las probabilidades marginales y conjunta procedemos de forma directa

H (X ) = log2 3 ≃ 1585

H (Y ) = log2 2 = 1

H (X Y ) = 2

4 log

2 4 +

2

6 log

2 6 +

2

12 log

2 12 ≃ 24591

I (X Y ) = H (X ) + H (Y ) minus H (X Y ) ≃ 01258

c) NO Esto se ve claramente en la ecuacioacuten utilizada en el apartado anterior para calcular la infor-macioacuten mutua las entropiacuteas marginales estaacuten sumando y la entropiacutea conjunta restando Mientras quecualquier permutacioacuten de la tabla no afecta a H (X Y ) los valores de H (X ) y H (Y ) son maacuteximos en

la situacioacuten actual (ya que ambas variables tiene distribucioacuten uniforme) Es decir cualquier permutacioacuten

22

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 23: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2324

que realicemos haraacute que H (X ) y H (Y ) se mantengan en su valor actual o se reduzcan sin modificarH (X Y ) Por tanto la informacioacuten mutua soacutelo puede mantener su valor o reducirse

EJERCICIO 811- Sea la fuente S = A P sin memoria y con alfabeto de 5 siacutembolos equiprobables

Para codificar S queremos utilizar un coacutedigo binario que en promedio por cada siacutembolo emitido por Snecesite menos de 235 bits Ademaacutes si es posible preferimos que el coacutedigo sea instantaacuteneo (para cadasiacutembolo de S) pero si esto no se puede hacer nos conformariacuteamos con que el coacutedigo sea uniacutevocamentedecodificable

a) Es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifica-ciones indicadas

b) No es posible construir un coacutedigo instantaacuteneo para los siacutembolos de S que cumpla con las especifi-caciones indicadas pero siacute se puede construir uno uniacutevoco que las cumpla

c) No es posible construir un coacutedigo instantaacuteneo ni tampoco uniacutevoco que cumpla con las especifica-ciones indicadas

Indica cuaacutel de las respuestas consideras correcta explicando por queacute y en caso de seleccionar (a) oacute (b)indica un posible coacutedigo que cumpla las especificaciones solicitadas

La entropiacutea de la fuente es H (S ) = log2 5 ≃ 23219 bits menor que los 235 bits especificados en el

enunciado por lo que podremos construir un coacutedigo uniacutevoco con menos de 235 bits por siacutembolo Estodescarta la opcioacuten (c)

Para saber si podemos construirlo instantaacuteneop para S buscamos el coacutedigo de Huffman para estafuente resultando C H = 01 10 11 000 001 cuya longitud promedio es L(C H ) = 24 bits mayor que

235 Luego no es posible construir un coacutedigo instantaacuteneo para S con la longitud promedio solicitada yla respuesta correcta es (b)

Para completar nuestra respuesta buscamos un coacutedigo uniacutevoco C U con L(C U ) lt 235 bits por siacutem-bolo de S Una opcioacuten sencilla consiste en realizar extensiones de S y aplicar Huffman Las cotas delongitud promedio por cada siacutembolo de S utilizando la extensioacuten n-eacutesima resultaraacuten

H (S ) le L(C H S n)

n lt H (S ) +

1

n

siendo L(C H S n) la longitud promedio de un esquema de Huffman para la extensioacuten n-eacutesima de S Como soacutelo nos interesa la cota superior buscamos n tal que

H (S ) + 1

n le 235 rArr

1

n le 235 minus H (S ) rArr n ge

1

235 minus H (S )

de lo que resulta n ge 3563 y la desigualdad que buscamos se cumpliraacute a partir de n = 36Debe notarse que la cota calculada nos da la seguridad de conseguir una longitud menor que 235 bits

por siacutembolo de S pero por lo general (para valores bajos de n) la longitud media de los esquemas deHuffman suele acercarse maacutes a la cota inferior que a la superior Es decir es muy probable que con unn mucho maacutes pequentildeo sea suficiente En este caso en concreto realizando las extensiones de S y susrespectivos esquemas de Huffman podemos comprobar que con n = 3 cumplimos con nuestro objetivo

S 2

25 siacutembolos L(C H S 2

) = 472 bits (236 bits por siacutembolo de S )

23

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24

Page 24: Tdc Bloc3 Sol

7212019 Tdc Bloc3 Sol

httpslidepdfcomreaderfulltdc-bloc3-sol 2424

S 3 125 siacutembolos L(C H S 3) = 6976 bits (23253 bits por siacutembolo de S )

EJERCICIO 812- Sea S = A P una fuente sin memoria con alfabeto A = a b c d y probabili-dades P = 1

6

18

58

112

Si concatenamos los siacutembolos de S de cuatro en cuatro obtenemos la fuente S4

(cuarta extensioacuten de la fuente S)

a) Calcula la entropiacutea (binaria) de la fuente H2(S)

b) Calcula la eficiencia de un coacutedigo de longitud fija 2 para codificar los siacutembolos de S

c) Calcula la entropiacutea (binaria) de la cuarta extensioacuten de S H2(S4)

d) Calcula la longitud media de un coacutedigo que codifique S4 para que tenga la misma eficiencia queel coacutedigo del apartado (b)

e) Calcula la longitud miacutenima de un coacutedigo fijo para S

4

y su eficiencia

a) Aplicando la definicioacuten la entropiacutea de la fuente resulta

H 2(S ) =991761i

pi log2

1

pi

H 2(S ) = 1

6 log

2 6 +

1

8 log

2 8 +

5

8 log

2

8

5 +

1

12 log

2 12 ≃ 15284 bits

b) La eficiencia de un coacutedigo de longitud media 2 es η = 152842 = 07642

c) Como la fuente no tiene memoria tenemos queH 2(S 4) = 4 times H 2(S ) ≃ 61135 bits

d) Para S 4 un coacutedigo cuya eficiencia sea 07642 tendraacute una longitud promedio L(S 4) = 6113507642 =8 bits y por tanto de 2 bits por siacutembolo de S

e) Como S 4 consta de 256 siacutembolos de fuente si se utiliza un coacutedigo de longitud fija eacuteste tendraacute comomiacutenimo una longitud de 8 bits y la eficiencia seraacute η = 611358 = 07642

EJERCICIO 813- Sean S y T dos fuentes independientes Demostrar a partir de las probabilidadesde los siacutembolos de cada fuente que al ser las fuentes independientes se cumple que H (S T ) = H (S ) +

H (T )Hecho en clase

24