Diplomski radUporaba vieslojnog perceptrona za raspoznavanje brojano-slovanih znakova na registarskim tablicamaAutor: Kristijan KraupnerPredmet: Raspoznavanje uzorakaMentor: prof. dr. sc. Slobodan Ribari

rujan 2003.ZAVOD ZA ELEKTRONIKU, MIKROELEKTRONIKU, RAUNALNE I INTELIGENTNE SUSTAVE

Slikovna baza registarskih tablica512 snimaka vozila u razliitim uvjetima koriten digitalni fotoaparat OLYMPUS CAMEDIA C-2040 ZOOMfotografije zadnjeg dijela vozilasnimano iz priblino jednake udaljenosti640 x 480 piksela, JPEG format

primjeri

Slikovna baza registarskih tablica

Slikovna baza registarskih tablica

Predobrada slika

pretvaranje u sive slikemetoda globalnog rastezanja kontrasta (rad kolegice Vlaste Srebri)

Predobrada slikadaljnja predobrada ADOBE Photoshop 7.0 izdvajanje tablica i oznake drava (crop)

izdvajanje znakova (crop)

normiranje dimenzija na 20x32 piksela (resize)

Predobrada slika

binarizacija uzoraka (treshold value)

Izvedba vieslojnog perceptrona (MLP)struktura MLP-atroslojni perceptron aciklika potpuno povezana troslojna mrea strukture 640x20x38prvi sloj - 32 x 20 slikovnih elemenata (piksela) - binarne vrijednosti 640 neuronaskriveni sloj 20 neuronaizlazni sloj 38 neurona (38 klasa)znamenke 0 9 (10 neurona)velika slova engleske abecede A Z, bez Q (25 neurona)velika slova , i (3 neurona)

Izvedba MLP-astruktura MLP-a:slika32 x 20 pikselaulazni sloj640 (32x20) vorovaskriveni sloj20 vorovaizlazni sloj38 vorova012Z

Izvedba MLP-asvojstva mreeneuroni (vorovi) sigmoidalna aktivacijska f.

uenje algoritmom propagacije greke unatrag (generalizirano delta pravilo)

izlazni neuron skriveni neuron online (sekvencijalni) nain uenja

Izvedba MLP-aparametri uenjamoment uenja = 0.05brzina uenja = 0.025

20 uzoraka za uenje po znaku (760 uzoraka)10 uzoraka za testiranje po znaku (380 uzoraka)

broj epoha = 900greka raspoznavanja testnih uzoraka 10.7%

Rezultati klasifikacijerezultati klasifikacije znakovaukupno 4.243 uzoraka (uenje, testiranje, provjera)

86.2 % tono raspoznatih znakovavei broj uzoraka za uenje poveava uspjenost rasp.potekoe u raspoznavanju1 I, 0 O; slinost S i , C i , Z i

ukupan broj uzorakabroj tono klasificiranih uzoraka1000 epoha, 5 uzoraka, = 0.03, = 0.031000 epoha, 10 uzoraka, = 0.025, = 0.02900 epoha, 20 uzoraka, = 0.05, = 0.025424330793386365872.6%79.8%86.2%

Rezultati klasifikacijepostupak klasifikacije tablice i oznake drave

Rezultati klasifikacijerezultati klasifikacije tablica i oznaka draveukupno 407 registarskih tablicaukupno 243 oznake draveuspjenost raspoznavanja:tablica i pripadna oznaka (gdje je ima) - 43.5% samo tablica 54.5% (222 tablice)samo oznaka drave 65.4% (159 oznaka)problemi netone oznake, vrlo loe naljepnice

broj znakova koje treba tono raspoznati (tablica do 9 znakova, oznaka drave 13 znaka)

Rezultati klasifikacije - primjeri

Rezultati klasifikacije - primjeri

Sintaksna analiza registarskih tablicapostupak klasifikacije uz provjeru sintakse

Sintaksna analiza registarskih tablicarezultati klasifikacije koritenjem sintaksne analizeuspjenost raspoznavanja:tablica i pripadna oznaka (gdje je ima) 68.8%samo tablica 73.5% (299 tablica)samo oznaka drave 87.7% (213 oznaka)

ogranienja sintakseneke sluajeve sintaksa ne moe rijeiti6. znak hrvatskih tablica (moe biti i slovo i broj)potreba za uvoenjem stupnja pouzdanosti (confidence measure) raspoznatog znaka

Rezultati klasifikacije - primjeri

Rezultati klasifikacije - primjeri

Zakljuakutjecaj na uspjenost raspoznavanjaveliina i kvaliteta uzoraka (uenje, testiranje)odabir strukture MLP-a (broja slojeva, broja vorova sloja)odreivanje optimalnih parametara uenja i dr.direktno prezentiranje binarnih uzoraka mrei ovisnost o kvaliteti uzorkamrea osjetljiva na promjene u uzorcima (skaliranje, rotacija)problem vrlo slinih uzoraka (klase nedovoljno razliite)S i , C i , Z i , 1 i I, 0 i O, B i 8, i dr.

mogunosti poboljanjaizdvajanje znaajki uzoraka (momenti, bone projekcije, kodiranje i sl.) znaajke invarijantne na promjene u kvaliteti uzorakaodabir to veeg broja reprezentativnih uzoraka pojedinog znaka za uenje (nekoliko stotina uzoraka po znaku)multi-ekspertni pristup vei broj neuronskih mrea