Kodiranje slovnih Kodiranje slovnih znakovaznakova

►RazvojemRazvojem Interneta i međunarodne Interneta i međunarodne komunikacije putem računala počeo komunikacije putem računala počeo se pojavljivati problem prikaza se pojavljivati problem prikaza slovnih znakova na različitim slovnih znakova na različitim računalima, tipkovnicama, različitim računalima, tipkovnicama, različitim jezicima i pismimajezicima i pismima

►Većina zemalja u svijetu je raspored Većina zemalja u svijetu je raspored slovnih znakova na tipkovnicama slovnih znakova na tipkovnicama računala prilagođavala svojem jeziku računala prilagođavala svojem jeziku i svojim specifičnim znakovimai svojim specifičnim znakovima

►Slovne znakove računalo prepoznaje Slovne znakove računalo prepoznaje kao kodovekao kodove (brojeve) (brojeve)

►Masovnom upotrebom Interneta i Masovnom upotrebom Interneta i elektroničke pošteelektroničke pošte nastaje nastaje problem problem prikaza slovnih znakova na prikaza slovnih znakova na računalima računalima

►Komunikacija među ljudima koji se Komunikacija među ljudima koji se nalaze u različitim dijelovima nalaze u različitim dijelovima ssvijeta vijeta bila je otežana bila je otežana

►različitim slovnim znakovima različitim slovnim znakovima dodjdodjeljivaneeljivane su su iste kodne pozicijeiste kodne pozicije

►Problemi prepoznavanja koda i prikaza Problemi prepoznavanja koda i prikaza su najčešći kod specifičnih znakova su najčešći kod specifičnih znakova unutar jednog jezikaunutar jednog jezika

► Slovni znakovi latiničnog pisma Slovni znakovi latiničnog pisma kojima se koristi engleski jezik prvi su kojima se koristi engleski jezik prvi su dobili jedinstvene kodove koji se dobili jedinstvene kodove koji se koriste u cijelom svijetukoriste u cijelom svijetu

Model kodiranja Model kodiranja ►Model kodiranja sastoji se od četiri Model kodiranja sastoji se od četiri

osnovne razine prikazivanja, a to su:osnovne razine prikazivanja, a to su:

1. repertoar znakova;1. repertoar znakova;

2. set kodiranih znakova;2. set kodiranih znakova;

3. algoritam za kodiranje;3. algoritam za kodiranje;

4. shema kodiranja znakova.4. shema kodiranja znakova.

►Repertoar znakovaRepertoar znakova je skup svih je skup svih znakova koje je potrebno kodiratiznakova koje je potrebno kodirati

► Skup tih znakova može biti otvoren Skup tih znakova može biti otvoren kao kod UNICODE-a ili zatvoren kao u kao kod UNICODE-a ili zatvoren kao u drugim kodnim sustavima (ASCII, drugim kodnim sustavima (ASCII, ANSI)ANSI)

►Otvoreni skup znakova može se Otvoreni skup znakova može se dodatno proširivati dodavanjem novih dodatno proširivati dodavanjem novih znakovaznakova

►Set kodiranih znakovaSet kodiranih znakova je dobiven je dobiven mapiranjem iz nekog repertoara u set mapiranjem iz nekog repertoara u set kodova, odnosno cijelih brojevakodova, odnosno cijelih brojeva

► Svakom znaku iz repertoara dodijeljuje Svakom znaku iz repertoara dodijeljuje se jedinstveni broj, odnosno kodna se jedinstveni broj, odnosno kodna pozicija pozicija

►Niz brojevaNiz brojeva (kodova) (kodova) ne mora ići po ne mora ići po redu, već se može ostaviti puno praznina redu, već se može ostaviti puno praznina za buduću upotrebu ili kontrolne funkcijeza buduću upotrebu ili kontrolne funkcije

►Algoritam za kodiranjeAlgoritam za kodiranje je metoda za je metoda za prikaz znakova u digitalnom oblikuprikaz znakova u digitalnom obliku

► Vrši se mapiranje kodnih pozicija u Vrši se mapiranje kodnih pozicija u podatkovni niz (8 bitni kod, 16 bitni podatkovni niz (8 bitni kod, 16 bitni kod, 32 bitni kod)kod, 32 bitni kod)

►Shema kodiranjaShema kodiranja znakova je način znakova je način mapiranjamapiranja koda. Govori kojim redom koda. Govori kojim redom su poslagani bajtovi u 16 i 32 bitnim su poslagani bajtovi u 16 i 32 bitnim kodovimakodovima

►U heksadecimalnom sustavuU heksadecimalnom sustavu 16-bitno 16-bitno kodiranje ima raspon od 0000 do kodiranje ima raspon od 0000 do FFFFFFFF

Kodni sustaviKodni sustaviASCII ili ISO 646ASCII ili ISO 646► American Standard Code for Information American Standard Code for Information

Interchange je najstariji kodni sustav i Interchange je najstariji kodni sustav i temelji se na 8 bitnom kodiranjutemelji se na 8 bitnom kodiranju

► U decimalnom sustavu kodiranje u ASCII U decimalnom sustavu kodiranje u ASCII standardu kreće od broja 32, pod kojim se standardu kreće od broja 32, pod kojim se nalazi prazninanalazi praznina (razmak) (razmak) do broja 126 pod do broja 126 pod kojim se nalazi tildakojim se nalazi tilda..

► Kodovi od 0 Kodovi od 0 -- 31 i 127 rezervirani su za 31 i 127 rezervirani su za kontrolne kodove (kontrolne kodove (sistemske komandesistemske komande))

Pozicije od 128 do 255 se ne koriste u ASCII-Pozicije od 128 do 255 se ne koriste u ASCII-uu

ISO Latin 1 ili ISO 8859-1ISO Latin 1 ili ISO 8859-1►Kodni susutav Latin 1 je 8-bitni kodni Kodni susutav Latin 1 je 8-bitni kodni

sustav. Sadrži kodove od 160 do 255 sustav. Sadrži kodove od 160 do 255 to su znakovi sa naglascima i druga to su znakovi sa naglascima i druga slova potrebna za pisanje u zapadnoj slova potrebna za pisanje u zapadnoj Europi i ASCII podskup znakova koji Europi i ASCII podskup znakova koji se nalaze na istim kodnim se nalaze na istim kodnim pozicijama. Tekstovi pisani ASCII pozicijama. Tekstovi pisani ASCII kodnim sustavom izgledaju jednako i kodnim sustavom izgledaju jednako i ako se čitaju nekim Latin 1 fontom ako se čitaju nekim Latin 1 fontom zbog istih kodnih pozicija znakova.zbog istih kodnih pozicija znakova.

► ISO Latin 2 je sustav kodiranja koji u ISO Latin 2 je sustav kodiranja koji u sebi sadrži slova potrebna za pisanje sebi sadrži slova potrebna za pisanje u jezicima srednje Europeu jezicima srednje Europe

►On u sebi sadrži specifične znakove On u sebi sadrži specifične znakove hrvatske abecede hrvatske abecede

UNICODE ili ISO 10646UNICODE ili ISO 10646

► Unicode se kao standard razvija od Unicode se kao standard razvija od 1988.godine , a 1991. godine je utemeljen 1988.godine , a 1991. godine je utemeljen UNICODE konzorcij kao neprofitna UNICODE konzorcij kao neprofitna organizacija. UNICODE konzorcij čine: Apple, organizacija. UNICODE konzorcij čine: Apple, HP, IBM, Microsoft, Oracle, SAP, SAM. Nastao HP, IBM, Microsoft, Oracle, SAP, SAM. Nastao je iz potrebe za standardiziranom i je iz potrebe za standardiziranom i univerzalnom shemom šifriranja pisanih univerzalnom shemom šifriranja pisanih znakova i teksta. UNICODE omogućuje znakova i teksta. UNICODE omogućuje internacionalnu izmjenu tekstovnih internacionalnu izmjenu tekstovnih podataka, podržava sve svjetske jezike i podataka, podržava sve svjetske jezike i pokriva područje egzotičnih jezičnih skupina.pokriva područje egzotičnih jezičnih skupina.

►UNICODE tablica – font prvobitno je UNICODE tablica – font prvobitno je mogla prihvatiti 65 535 znakovamogla prihvatiti 65 535 znakova

► Temelji se na 16-bitnom kodiranjuTemelji se na 16-bitnom kodiranju► Znakovi imaju jedinstvene kodne Znakovi imaju jedinstvene kodne

brojeve izražene u heksadecimalnom brojeve izražene u heksadecimalnom obliku i mogu biti od 0000 do FFFF obliku i mogu biti od 0000 do FFFF

► To nije zatvoreni sustav; može To nije zatvoreni sustav; može nadopunjavati svoj skup znakova nadopunjavati svoj skup znakova

►Uvidjelo se da je prvobitnih 65 535 Uvidjelo se da je prvobitnih 65 535 kodnih pozicija malo pa se raspon kodnih pozicija malo pa se raspon proširio i sada može prihvatiti 1 114 proširio i sada može prihvatiti 1 114 111 znakova111 znakova

► Osnovni standardi kodiranja unutar Osnovni standardi kodiranja unutar UNICODE-a su UTF 32, UTF 16 i UTF 8UNICODE-a su UTF 32, UTF 16 i UTF 8

►UTF 32 troši 4 bajta, odnosno 32 bita UTF 32 troši 4 bajta, odnosno 32 bita po kodnoj poziciji i koristi se za po kodnoj poziciji i koristi se za specijalne primjene. specijalne primjene.

►UTF 16 troši 2 bajta, odnosno 16 UTF 16 troši 2 bajta, odnosno 16 bitova po kodnoj pozicijibitova po kodnoj poziciji

► UTF 8 je najrašireniji standard UTF 8 je najrašireniji standard kodiranjakodiranja

► Takozvani ASCII repertoar od 0 do Takozvani ASCII repertoar od 0 do 128 predstavlja se kao jedan bajt za 128 predstavlja se kao jedan bajt za svaki znak. Svi drugi kodovi prikazani svaki znak. Svi drugi kodovi prikazani su tako da se jedan znak predstavlja su tako da se jedan znak predstavlja kao niz od 2 do 4 bajta od kojih je kao niz od 2 do 4 bajta od kojih je svaki u rasponu od 128 do 255svaki u rasponu od 128 do 255

►Npr. slovni znak „a“ je za sve jezike Npr. slovni znak „a“ je za sve jezike koji ga koriste jedan jedinstveni znak koji ga koriste jedan jedinstveni znak i on se u UNICODE fontu nalazi na i on se u UNICODE fontu nalazi na kodnom mjestu 0061. kodnom mjestu 0061.

UNICODE kodna pozicija kurentnog slova a

►UNICODE font je organiziran tako da UNICODE font je organiziran tako da su u njemu slovni znakovi složeni po su u njemu slovni znakovi složeni po kodnim tablicamakodnim tablicama

►Ne dopušta višestruko šifriranje istog Ne dopušta višestruko šifriranje istog znaka, niti dopušta da više znakova znaka, niti dopušta da više znakova imaju istu šifruimaju istu šifru

► Zadržao je kodni dio ASCII i ANSI Zadržao je kodni dio ASCII i ANSI standarda koji imaju 256 kodnih standarda koji imaju 256 kodnih pozicija. pozicija.

►Pisani tekstovi izgledaju Pisani tekstovi izgledaju besprijekorno ako se gledaju nekim besprijekorno ako se gledaju nekim UNICODE fontomUNICODE fontom

►UNICODE rješava odnos Interneta i UNICODE rješava odnos Interneta i tiskovine, gdje se pod pojmom tiskovine, gdje se pod pojmom interneta podrazumijeva interneta podrazumijeva komunikacija pismima različitih komunikacija pismima različitih narodanaroda

► Primjena UNICODE-a kod specifiPrimjena UNICODE-a kod specifiččnih nih hrvatskih znakovahrvatskih znakova

►Unicode je kodni sustav koji svakom Unicode je kodni sustav koji svakom slovnom znaku dodjeljuje jedinstveni slovnom znaku dodjeljuje jedinstveni broj i ako se znak nalazi na pravom broj i ako se znak nalazi na pravom mjestu trebao bi bitimjestu trebao bi biti č čitljiv na svim itljiv na svim platformama i u svim programimaplatformama i u svim programima

Č č Ć ć Đ đ Š š Ž ž

010C 010D 0106 0107 0110 0111 0160 0161 017D 017E

Propisane Unicode pozicije karakterističnih hrvatskih znakova

►Uz pomoć Unicode-a grafički Uz pomoć Unicode-a grafički programi kojima se svakodnevno programi kojima se svakodnevno služimo omogućuju nam korištenje služimo omogućuju nam korištenje svih hrvatskih znakova svih hrvatskih znakova

►Proces je često obrnut, npr. kad je Proces je često obrnut, npr. kad je grafičko rješenje ambalaže ili brošure grafičko rješenje ambalaže ili brošure sa originalnim fontom potrebno sa originalnim fontom potrebno primijeniti na stranim tržištima. U tom primijeniti na stranim tržištima. U tom slučaju grafički dizajner projektira slučaju grafički dizajner projektira nove znakove karakteristične za nove znakove karakteristične za određeni jezik i proširuje font, koji se određeni jezik i proširuje font, koji se može dalje primjenjivatimože dalje primjenjivati

►ČČesti su zahtjevi izdavaesti su zahtjevi izdavaččkih kukih kućća za a za ureuređđivanjem karakteristiivanjem karakterističčnih slovnih nih slovnih znakovaznakova

►Na primjerNa primjer, kad , kad kod gotovih kod gotovih prijeloma knjiga koji su pohranjeni u prijeloma knjiga koji su pohranjeni u arhivi treba otvoriti dokumente na arhivi treba otvoriti dokumente na novim ranovim raččunalimaunalima, , unijeti potrebne unijeti potrebne tekstualne izmjene i formatirati za tekstualne izmjene i formatirati za ispis na novim platformamaispis na novim platformama

►Problem se rjeProblem se rješšava na naava na naččin da se tajin da se taj „„staristari“ “ font uredi za rad na novim font uredi za rad na novim platformamaplatformama, tako , tako da se da se karakteristikarakterističčni hrvatski znakovi stave ni hrvatski znakovi stave na novena nove, , primjerice Unicodeprimjerice Unicode, , pozicijepozicije

►Prilikom projektiranja karakteristiPrilikom projektiranja karakterističčnih nih znakova hrvatske abecede potrebno je znakova hrvatske abecede potrebno je voditi ravoditi raččuna o svim karakteristikama una o svim karakteristikama tog fontatog fonta, , kako ne bi dokako ne bi doššlo do lo do vizualnog odskakanja karakteristivizualnog odskakanja karakterističčnih nih slovnih znakova od cjelineslovnih znakova od cjeline