8/17/2019 Kodovi Zavrsni Salabahter (1)

1/2

Pojam teorije informacije?Matematička teorija,

temeljena na statistici i teoriji vjerojatnosti, koja se bavi

komunikacijom, tj.prijenosom informacija od izvora do

odredista i to:-sto brze-sto tocnije 

Što opisuje p(Xi|Yj) -Vjerojatnost da je na izvoru

oabran simbol Xi ako je na oreištu primljen simbol Yj .Što je u teoriji informacije entropija?-Entropija jesrenja vrijenost vlastitog saržaja informacije slučajne

varijable X. 

Pojam kodiranja i vrste kodiranja u teoriji informacije? 

 – Kodiranje je postupak dodjeljivanja kodnih riječi

(kodova) simbolima poruke:

Kompresija,kriptografija,zastitno kodiranje.

Objasni p(Xi)=∑( , ),( )=1=∑(,)=1-Vjerojatnost pojave simbola je zbroj vjerojatnosti pojave

svih parova u kojima se taj simbol pojavljuje.

Što je kapacitet kanala?-Kapacitet kanala je definirankao maksimum transinformacije, gdje se maksimizacijaprovoi po svim mogudim raziobama vjerojatnosti

pojave simbola na ulazu.

Najosnovnija svojstva kompresije? Najosnovnija

svojstva bilo koje metode kompresije su: - Izvodi li se

kompreija s gubicima ili bez gubitaka- Omjer kompresije

Što je to stacionarni izvor?-Izvor je stacionaran, ako senjegova statistička svojstva ne mijenjaju s vremenom. 

Što je nesingularan kod?Kod je nesingularan ako svakomsimbolu ojeljuje rukčiju konu riječ. 

Što je optimalan kod?- Optimalan kod je prefiksni kod snajmanjom mogudom prosječnom uljinom kone riječi. Što je blok kod? Kod K zove se blok kod ukoliko suduljine svih njegovih konih riječi jenake.- Ako kodne

riječi koa K imaju uljinu n, ona je K blok ko uljine n. 

Što je Hammingova udaljenost?- Hammingovaualjenost između vije kone riječi je broj pozicija na

kojima se kone riječi razlikuju,tj. Broj pozicija na kojima

kone riječi imaju različite simbole. 

Što su ekvivalentni kodovi?- Dva binarna blok koda suekvivalentna ukoliko se jedan iz drugoga mogu dobiti

uzastopnom primjenom slijeedih postupaka:1.

permutacijom simbola nad jednom ili vise pozicija koda

2. zamjenom dviju pozicija koda.

Što je binarni blok kod?- Binarni blok kod se nazivalinearni binarni blok kod ako se zbrajanjem bilo koje

vije kone riječi (vektora) opet obiva neka kona riječ

iz koa ili ako se mnozenjem bilo koje kone riječi

skalarom iz abecee opet obiva kona riječ iz koa. 

Što je težina kodne riječi?Težina kone riječi x koa K jebroj pozicija kone riječi na kojima se nalazi simbol 1. 

Što je dualni kod? - Neka su x vektori koda K, tada skupsvih vektora y vektorskog prostora V(n),koji su

ortogonalni na sve x, tvori dualni kod koda K.

8/17/2019 Kodovi Zavrsni Salabahter (1)

2/2

Što je sindrom kod linearnih blok kodova?- Sindromprimljene kone riječi y koa K s matricom provjere

pariteta H je vektor obiven umnoškom: S(y)=y*H^T 

Što je Hammingov kod? - Hammingov kod je bilo kojilinearni blok ko čija matrica provjere pariteta H ima r

reaka, a u stupcima ima sve mogude vektore dimenzijer>1 osim vektora .

Objasni uvjetnu entropiju H(Y|X) i matematički zapis?-Uvjetna entropija H(Y|X) je efinirana kao prosječna

vrijenost entropije slučajne varijable Y uz poznati X,

gdje se prosjek uzima po svim vrijednostima varijable X.

H(Y|X)= ∑ ∑ ( ) ().

Što je srednji uzajamni sadržaj informacije imatematički zapis?- Uzajamni saržaj informacijeizmeđu slučajnih varijabli X i Y je efiniran kao relativna

entropija između raziobe njihovih zruženih

vjerojatnosti i raziobe umnoška njihovih pojeinačnihvjerojatnosti. I(X,Y)=∑ ∑ ( )

()

()() 

Što je Kraftova udaljenost (nejednakost) i matematičkizapis?- Kraftova nejednakost ili teorem o minimalnim

uljinama konih riječi potrebnim za konstruiranje

prefiksnog koda.

Koji je cilj zaštitnog kodiranja?- Cilj zaštitnog koiranja je:1. Iskoristiti onaj zaštitni ko koji uvoi najmanje

mogude povedanje prosječne uljine konih riječi u

onosu na prosječnu uljinu poruka.2. Istovremeno

osigurava prihvatljivo malu vjerojatnost a pogreške

simbola zaštitno koirane poruke nastale pri prijenosu

ostanu neotkrivene

.Objasnite i matematički dokažite veze imeđuEntropije,uvjetne entropije i uzajamnog

sadržaja?Uzajamni saržaj informacije je razlika izmeđuzbroja pojeinačnih entropija varijabli i zružene

entropije tih istih varijab -Kada su varijable ovisne jeda o

rugoj, njihova zružena entropija manja je o zbroja

vlastitih entropija. I(X;Y)=H(X) – H(X|Y)