Sveuciliste J.J.Strossmayera u OsijekuOdjel za matematiku

Sveucilisni nastavnicki studij matematike i informatike

Marija Gerovac

Klasifikacija asistenata prema uspjesnostipomocu neuronskih mreza i stabala

odlucivanja

diplomski rad

Osijek, 2011.

Sveuciliste J.J.Strossmayera u OsijekuOdjel za matematiku

Sveucilisni nastavnicki studij matematike i informatike

Marija Gerovac

Klasifikacija asistenata prema uspjesnostipomocu neuronskih mreza i stabala

odlucivanja

diplomski rad

Voditelj: prof. dr. sc. Marijana Zekic-Susac

Osijek, 2011.

Sadrzaj

1 Uvod 1

2 Teorijski koncept neuronskih mreza i stabala odlucivanja 2

2.1 Neuronske mreze . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.1.1 Osnove neuronskih mreza . . . . . . . . . . . . . . . . 2

2.1.2 Arhitektura neuronskih mreza . . . . . . . . . . . . . 4

2.1.3 Neuronske mreze za problem klasifikacije . . . . . . . 10

2.2 Stabla odlucivanja . . . . . . . . . . . . . . . . . . . . . . . . 16

2.2.1 Klasifikacijska i regresijska stabla . . . . . . . . . . . . 16

2.2.2 Stabla odlucivanja za problem klasifikacije . . . . . . . 18

3 Prethodna istrazivanja 20

3.1 Jedinstvena sveucilisna studentska anketa na Sveucilistu JosipaJurja Strossmayera u Osijeku . . . . . . . . . . . . . . . . . . 20

3.2 Ostala istrazivanja . . . . . . . . . . . . . . . . . . . . . . . . 25

4 Rezultati 28

4.1 Neuronske mreze . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.2 Stabla odlucivanja . . . . . . . . . . . . . . . . . . . . . . . . 35

4.3 Usporedba rezultata modela neuronske mreze i stabala odlucivanja 42

5 Zakljucak 43

6 Literatura 44

7 Sazetak 47

8 Summary 48

9 Zivotopis 49

4

1 Uvod

Cilj ovog rada je pronaci vazne cimbenike koji utjecu na uspjesnost radaasistenata dodjeljujuci im ocjenu. Kao metodologija upotrijebljene su dvijemetode rudarenja podataka pogodne za klasifikaciju: umjetne neuronskemreze i stabla odlucivanja. Neuronske mreze su u brojnim podrucjima pokazaleuspjeh u rjesavanju problema predvidanja, klasifikacije i prepoznavanja uzo-raka. Njihova tocnost usporedena je sa stablima odlucivanja kako bi se dobiomodel koji daje tocniju klasifikaciju asistenata.

Rad sadrzi podatke o 151 asistentu, koji su ocjenjivani tijekom tri redovna idva ljetna semestra, zaposlenih na Odjelu za statistiku Sveucilista Wisconsin-Madison. Na temelju 5 ulaznih varijabli asistente klasificiramo u odredenuklasu prema kvaliteti.

Analiza osjetljivosti provedena nakon treniranja i testiranja neuronskih mreza,te analiza znacajnosti varijabli provedena kod stabala odlucivanja ukazujuna jacinu utjecaja pojedine ulazne varijable na uspjeh asistenata, cime jeomoguceno donijeti zakljucak o mogucim prediktorima uspjesnosti preda-vanja pojedinog asistenta.

Rad se sastoji od prikaza upotrijebljene metodologije, pregleda prethodnihistrazivanja u tom podrucju, te od prikaza rezultata i zakljucka sa smjerni-cama za daljnja istrazivanja.

1

2 Teorijski koncept neuronskih mreza i sta-

bala odlucivanja

2.1 Neuronske mreze

2.1.1 Osnove neuronskih mreza

Neuronske mreze su metoda umjetne inteligencije (umjetna inteligencija jeznanost i praksa kreiranja inteligentnih strojeva, te posebno inteligentnihracunalnih programa (McCarthy, 2007 )) struktuiranih prema ljudskom mozgu.Umjetne neuronske mreze pripadaju u inteligentne metode rudarenja po-dataka (eng. data mining), ciji je cilj pronaci skrivene veze medu podacima.Umjetna neuronska mreza ima dosta dodirnih tocaka sa strukturom ljudskogmozga. Ta slicnost nije izrazena u gradivnim elementima tih mreza, jer je,naravno, ljudska neuronska struktura bioloska, sastavljena od stanica u ko-jima se informacije prenose kemijskim i elektricnim putem. Za razliku odtoga, umjetna (racunalna) neuronska mreza temelji se na tehnologiji u kojojse promjene stanja prenose iskljucivo elektricno (prema [12], [16], [18]).Osnovne racunalne arhitekture neuronskih mreza dane su u sljedecim pot-poglavljima.Veza izmedu bioloske i umjetne neuronske mreze.

Tablica 2.1 Usporedba bioloske i umjetne neuronske mreze

Bioloska neuronska mrezaBioloski neuron je temeljna jedinica sredisnjeg zivcanog sustava. Ukupni brojneurona u zivcanom sustavu covjeka iznosi 1011 . Neuroni su svrstani takoda je svaka pojedina skupina zaduzena za odredene funkcije. Unutar sameskupine neuroni su cvrsto povezani tako da na ulaze jednih neurona dolazeizlazi drugih neurona. Veze mogu biti i povratne. Sam neuron sastoji se odtijela neurona, dentrita i aksona (Slika 2.1 ).

2

Slika 2.1 Grada bioloskog neurona [23]

Umjetna neuronska mreza

Ne postoji jedinstvena definicija umjetne neuronske mreze, no moze se pri-hvatiti Kohonenova definicija (1988.): ”Umjetna neuronska mreza je skupmedusobno povezanih,jednostavnih elemenata (najcesce elemenata koji semogu prilagodavati), koji rade paralelno i koji su organizirani na nacin da jeodnos te neuronske mreze prema objektima u stvarnom svijetu isti kao odnosbioloskog neuronskog sustava.”Umjetna neuronska mreza predstavlja sustav od velikog broja jedinica (neu-rona) koji imaju svojstvo pamcenja podataka koje obraduju preko vlastitelokalne memorije (prema [12], [16], [18]).

3

Slika 2.2 Grada umjetnog neurona [23]

Oznake uz Sliku 2.2 : ulaz xn -n-ti ulazni podatak, wni - tezinski koeficijentn-tog ulaza za i-ti neuron, izlazi - izlazni podatak iz i-tog neurona.Struktura neuronske mreze temelji se na modelu umjetnog neurona.Umjetni neuron - jedinica za obradu podataka (varijabla)koja prima pondi-rane ulazne vrijednosti od drugih varijabli, prema nekoj formuli transformiraprimljenu vrijednost te salje izlaz drugim varijablama. Ucenje se odvijapromjenom vrijednosti ”tezina” medu varijablama (tezine wni su ponderikojima se mnoze ulazne vrijednosti u neki ”neuron”).

2.1.2 Arhitektura neuronskih mreza

Model umjetne neuronske mreze (Slika 2.3 ) sastoji se od velikog broja neu-rona koji su organizirani u slojeve. Osnovna organizacija sastoji se od trisloja: ulazni, skriveni i izlazni sloj. Ulazni sloj prima signale iz okoline. Unasem slucaju signali su parametri koje zelimo obraditi neuronskom mrezom.Signali se prenose iz ulaznog u skriveni sloj gdje se obraduju. Informacijekoje se smatraju vaznima prenose se izlaznom sloju. Na izlaznom sloju, kojije ujedno i zadnji sloj neuronske mreze, dobivaju se konacni rezultati obradeulaznih parametara (prema [12], [16], [18]).

4

Slika 2.3 Grada umjetne neuronske mreze [23],modificirano

Proces dizajniranja neuronske mreze sastoji se od cetiri faze (Zahedi, 1993.):

1. Rasporedivanje neurona u razlicite slojeve

2. Odredivanje tipa veze izmedu neurona

3. Odredivanje nacina na koji neuroni primaju ulaze i proizvode izlaze

4. Odredivanje pravila ucenja za prilagodavanje tezinskih koeficijenata.

Postoji veliki broj razlicitih realizacija neuronskih mreza, a samim tim postojimnogo podjela. Krajnji rezultat neuronske mreze je njezina arhitektura.

Prema gore navedenom procesu dizajniranja,kriteriji za razlikovanje arhitek-tura neuronskih mreza su:

1. broj slojeva - mogu biti dvoslojene (samo ulazni i izlazni sloj) iviseslojne (osim ulaznog i izlaznog sadrze i jedan ili vise dodatnih slo-jeva)

2. tip veze izmedu neurona - dijelimo ih na inter-slojne veze medu ko-jima razlikujemo potpuno povezane, djelomicno povezane, dvosmjerne,hijerarhijske, unaprijed povezane i rezonantne (Perceptron, ”sirenjeunatrag” ,itd.) te na intra-slojne medu kojima razlikujemo ponavl-jajuce i on-center/of-surround veze

5

3. veza izmedu ulaznih i izlaznih vrijednosti - razlikujemo autoaso-cijativne u kojima je ulazni vektor istog sastava kao i izlazni (koriste seu prepoznavanju uzoraka obrade signala) i heteroasocijativne u kojimase izlazni vektor razlikuje od ulaznog vektora.

4. ulazne i izlazne funkcije (detaljnije informacije bit ce navedene kas-nije u tekstu)

5. tip ucenja - nadgledano i nenadgledano (detaljnije informacije bit cenavedene kasnije u tekstu)

6. sigurnost ispaljivanja - podjela na deterministicke (neuron dostigneodredenu razinu aktivacije, salje impulse drugim neuronima tzv. is-paljivanje i stohasticke mreze (ispaljivanje nije sigurno, odvija se premaprobabilistickoj distribuciji)

7. vremenske karakteristike - staticke mreze (primaju ulaze u jednomprolazu) i dinamicke (primaju ulaze u vremenskim intervalima)

8. vrijeme ucenja - skupno ili batch ucenje (mreza uci samo u fazi ucenja,dok su u ostalim fazama tezine fiksirane) te on-line ucenje (mrezaprilagodava svoje tezine i u fazi opoziva).

Ulazne i prijenosne funkcijeUlazne (sumacijske) funkcijeKada neki neuron prima ulaz iz prethodnog sloja, vrijednost njegovog ulazaracuna se prema ulaznoj funkciji koja se obicno naziva ”sumacijska funkcija”.Najjednostavnija takva funkcija je za neuron i s tezinom veze izmedu tadva neurona, zatim sumiranjem tog umnoska za sve neurone j povezane sneuronom i(prema [17]).

ulazi =n∑

i=0

(wjiizlazj). (2.1)

U izrazu n predstavlja broj neurona u sloju koji salje svoj izlaz primljen odstrane neurona i.Postoje jos dva dodatna tipa ulaza u nekoj mrezi: exinputi (ulaz koji neuroni prima iz vanjske okoline) i biasi (vrijednost pojacanja upotrebljava se zakontrolu aktivacije neurona u nekim mrezama)(prema [18]).

Izlazne(prijenosne) funkcijeNakon primanja ulaza prema gore navedenoj sumacijskoj funkciji neuron salje

6

izlaz drugim neuronima s kojima je povezan (obicno se radi o neuronima usljedecem sloju). Izlaz neurona racuna se prema prijenosnoj funkciji.

Najcesce koristene prijenosne funkcije su:

- Funkcija koraka - izlaz u funkciji s korakom racuna se prema formuli:

izlazi =

{0 , ulazi ≤ T1 , ulazi < T

(2.2)

gdje se T naziva prag funkcije, T ∈ R.

- Signum funkcija - predstavlja poseban oblik funkcije koraka (danas serijetko koristi)

izlazi =

1 , ulazi > 00 , ulazi = 0−1 , ulazi < 0

(2.3)

- Sigmoidna funkcija -logisticka funkcija

izlazi =1

1 + eg·ulazi(2.4)

gdje se g naziva doprinosom funkcije. Doprinos odreduje zaobljenostfunkcije oko nule. Vrijednost funkcije su realni brojevi iz intervala〈0, 1〉. Sigmoidna funkcije je najcesce koristena prijenosna funkcija uradu s neuronskim mrezama.

Slika 2.5 Graf sigmoidne funkcije [20]

7

- Hiperbolicko-tangentna funkcija - poseban oblik sigmoidne funkcije .

izlazi =eu − e−ueu − e−u

(2.5)

gdje je u = g · ulazi.Graf hiperbolicko-tangentne funkcije slican je grafu sigmoidne funkcijesamo sto je interval vrijednosti funkcije u ovom slucaju 〈−1, 1〉.

Slika 2.6 Graf hiperbolicko-tangentne funkcije [20]

- Linearna funkcija

izlazi = u = g · ulazi (2.6)

- Linearna funkcija s pragom

izlazi =

{0 , ulazi ≤ T

izlazi − T , ulazi < T, T ∈ R (2.7)

Tipovi ucenjaUcenje proces racunanja tezina izmedu neurona u mrezi. Kao sto smo dosada naveli neuronske mreze po tipu ucenja mogu biti nadgledane i ne-nadgledane. Razlika izmedu navedena dva tipa ucenja je u raspolozivostipoznatih izlaza u uzorku za uvjezbavanje. Kod nadgledanog ucenja skup po-dataka za uvjezbavanje sastoji se od prethodnih slucajeva s poznatim ulaznimi izlaznim vrijednostima. Sustav neuronske mreze prima stvarni izlaz, racuna

8

pogresku i prilagodava tezine u odnosu na pogresku. Kod nenadgledanogucenja stvarni izlazi nisu poznati i tezine se ne prilagodavanju na osnovistvarnih vrijednosti izlaza. Takav tip ucenja obicno se upotrebljava za pre-poznavanje uzoraka i klasteriranje.Svaka neuronska mreza prolazi kroz cetiri operativne faze: faze ucenja (treni-ranja), faze unakrsne validacije, faze testiranje i operativne faze. U faziucenja mreza uci na uzorku pripremljenom za treniranje na proslim slucajevima.U fazi unakrsne validacije mreza nastoji optimizirati duljinu treniranja i brojskrivenih neurona u fazi testiranja. Mreza se testira na uzorku za testi-ranje koji do sada nije vidjela i taj se rezultat uzima kao ocjena mreze.U operativnoj fazi se neuronske mreze primjenjuju na novim slucajevima snepoznatim rezultatima.

Pravila ucenjaPravila ucenja predstavljaju formulu koja se koristi za prilagodavanje tezinaveza medu neuronima (prema [12], [16], [18]). Izmedu razlicitih, do sadarazvijenih pravila ucenja, najcesce se koriste:

- Delta praviloPravilo najmanjih srednjih kvadrata minimizira funkciju cilja odredivanjemvrijednosti i tezina, a cilj je minimizirati sumu kvadrata gresaka. Greskaje definirana kao razlika izmedu izracunatog i stvarnog (zeljenog) izlazanekog neurona za dane podatke.jednadzba za delta pravilo je

4wji = η · izlazcj · εi (2.8)

gdje je 4wji vrijednost prilagodavanja tezine veze od neurona j premaneuronu i, a racun se prema

4wji = wnovaji − wstara

ji (2.9)

izlazcj je vrijednost izlaza izracunatog u neuronu j, dok jevarepsiloni sirova greska koja je dana formulom

varepsiloni = izlazci − izlazdi (2.10)

izlazdi predstavlja stvarni (zeljeni) izlaz koji se upotrebljava za izracunavanjegreske.

9

- Poopceno delta praviloDodavanjem derivacije ulazne funkcije u delta pravilo dobiveno je poopcenodelta pravilo pa se prilagodavanje tezina racuna prema formuli

4wji = η · izlazcj · ci · f ′(Ij) (2.11)

gdje Ii predstavlja ulaz u neuron i.

- Kohonen-ovo praviloKohonen-ova mreza ne uci na poznatim izlazima, a tezine se prilagodavajukoristeci ulaz u neuron i :

4wp = η · extulazi − wp (2.12)

dok je extulazi ulaz koji neuron i prima iz vanjske okoline.Pravilo se upotrebljava u Kohonen-ovoj samoorganizirajucoj mrezi.

2.1.3 Neuronske mreze za problem klasifikacije

Postoji vise vrsta neuronskih mreza koje se mogu koristiti u rjesavanju prob-lema klasifikacije, a medu najpoznatijima ( pokazalo se i najpouzdanijima)su probabilisticka neuronska mreza, mreza ucece vektorske kvantizacije temreze opce namjene (kao sto su viseslojni perceptron i mreza s radijalnozasnovanom funkcijom).

U iducim poglavljima poblize ce biti opisane mreze opce namjene : viseslojniperceptron (MLP) i mreza s radijalno zasnovanom funkcijom (RBF) koje sui koristene u prakticnom dijelu rada (prema [12], [16], [18]).

1. Viseslojni perceptronArhitekturaViseslojni perceptron (Multi layer perceptron, skr. MLP) pored ulaznogi izlaznog sloja ima i najmanje jedan skriveni sloj neurona. U praksi sekoriste mreze sa najvise 3 skrivena sloja.

10

Slika 2.7 Arhitektura viseslojnog perceptrona [20]

MLP se obicno treniraju s logaritmom ”sirenje unatrag”. Prvi tvoracalgoritma ”sirenje unatrag” bio je Paul Werbos 1971., a prosirena jeod strane Rumelharta, Hintona i Williamsa 1986. Bila je to prva NMs jednim ili vise skrivenih slojeva.Algoritam ”sirenje unatrag” ima prosjecnu kvadratnu gresku jednakuza sve uzorke a racuna se prema formuli (prema [17])

MSE =1

n

n−1∑i=1

(ti − oi)2. (2.13)

MSE greska se tumaci kao prosjecno odstupanje stvarnih izlaznih vri-jednosti od onih dobivenih mrezom (najpovoljnija je vrijednost sto blizanuli).Osim MSE greske za ocjenjivanje mreze, koriste se jos i matrica konfuz-ije i prosjecna stopa klasifikacije. Cilj je dobiti sto vecu prosjecnu stopuklasifikacije (najbolje je 100). Stopa klasifikacije je postotak (udio)slucajeva koje je mreza ispravno klasificirala i prikazuje broj (posto-tak) ispravno i neispravno klasificiranih uzoraka.Prosjecna stopa klasifikacije racuna se na sljedeci nacin:

cp =

∑∞i=1 cii

(2.14)

11

gdje je cp prosjecna stopa klasifikacije, a ci stope tocnosti za svaku klasuposebno.

Tijek podataka u mrezi moze se opisati sljedecim koracima:

1. Od ulaznog prema skrivenom sloju - ulazni sloj ucitava podatkeiz ulaznog skupa podataka i salje ih u prvi skriveni sloj

2. U skrivenom sloju - jedinice u sloju primaju ulaz korigiran zatezinski koeficijent i prenose ga u naredni skriveni sloj, ukoliko gaima, ili u izlazni sloj koristeci aktivacijsku funkciju

3. Kako informacije putuju kroz mrezu, zbrajaju se ulazi i izlazi zasvaku jedinicu obrade

4. U izlaznom sloju - za svaku jedinicu obrade racuna se sirova lokalnapogreska koja se dalje koristi u odredivanju tezina

5. Sirenje unazad od izlaznog sloja do skrivenih slojeva - daljnjaobrada sirove pogreske i prilagodavanje tezina.

2. Mreza s radijalnom funkcijom

Mrezu s radijalnom funkcijom (engl. Radial Basic Function, skr.RBF)predlozio je M.J.D.Powell (Karatalopoulos, 1996.). Moze se upotreblja-vati u istim situacijama kao i mreza s postupkom povratne informacije.Ta mreza upotrebljava radijalno simetricnu i radijalno ogranicenu akti-vacijsku funkciju u svojem skrivenom sloju. Funkcija ulaznog (nultog)sloja je da prosljeduje ulaze u mrezu na ulaz prvog sloja koji je sacinjenod neurona s aktivacijskim funkcijama koje imaju kruznu osnovicu tesu po tome RBF neuronske mreze i dobile ime (Radial Basic Function- funkcije s kruznom osnovicom)(prema [12], [16], [18]).Mreza se sastoji samo od tri sloja: ulaznog, izlaznog i skrivenog sloja.Takva arhitektura, uz velik broj neurona u skrivenom sloju odgovarabroju ulaznih varijabli te broj neurona u izlaznome sloju odgovara brojuizlaznih varijabli.

Algoritam ucenja u mrezi s radijalnom funkcijom moze se, kroz slo-jeve, opisati na sljedeci nacin:

- ucenje pocinje u skrivenom sloju s nenadgledanim algoritmomkako bi se odredilo srediste

- ucenje se nastavlja u izlaznome sloju s nadgledanim algoritmomkako bi se izracunala pogreska

12

- istodobno se primjenjuje nadgledani algoritam u skrivenome i izlaznomesloju kako bi se prilagodile tezine u mrezi

Drugi sloj mreze, koji je ujedno i njezin izlazni sloj, sastoji se od pre-ceptrona s linearnom aktivacijskom funkcijom jedinicnog pojacanja.

Najcesce koristene aktivacijske funkcije u skrivenome sloju su:

- thin-plate-spline funkcija

Ψ1(ν) = (ν)2 · log ν1 (2.15)

- Gaussova funkcija

Ψ1(ν) = c−ν2

2σ2(2.16)

- visekvadraticna funkcija √ν1 + σ2 (2.17)

- inverzna visekvadraticna funkcija

1√ν1 + σ2

(2.18)

Iako mreza s radijalnom funkcijom ima brzi algoritam za ucenje, ponekadse moze dogoditi da je potrebno vise vremena za ucenje nego kod mrezes postupkom povratne informacije.Pocetna faza ucenja kod mreze s radijalnom funkcijom temelji se nanenadgledanoj fazi pridodavanja podataka pojedinim skupinama stogabi se moglo dogoditi da se u toj fazi izgube neke vazne informacije.

13

Slika 2.8 Arhitektura RBF-a [18]

RBF neuronska mreza ima sposobnost aproksimirati proizvoljnu nelinearnukontinuiranu funkciju. Tri parametra RBF neuronskih mreza odreduju njenuaproksimacijsku sposobnost.To su:

1. polozaj sredista neurona

2. varijance aktivacijskih funkcija neurona

3. tezinski koeficijenti izlaznog sloja mreze.

Pomocu razlicitih algoritama ucenja ovi parametri se podesavaju kako bi sedobilo odgovarajuce ponasanje mreze. RBF mreze iznimno su ucinkovite uslucajevima kada je moguce unaprijed rasporediti sredista neurona i odreditiiznose varijanci RBF neurona. Time se ucenje mreze svodi na podesavanjetezinskih koeficijenata izlaznog sloja. Tada vladanje RBF neuronske mrezepostaje linearno ovisno o parametrima, sto je velika prednost. Medutim, zadobivanje kvalitetnih rezultata na ovaj nacin potreban je jako velik broj neu-rona. Da bi se to izbjeglo postupak ucenja mreze prosiruje se i na podesavanjesredista i varijanci neurona RBF mreze. To prosirenje nam omogucava znatnosmanjenje broja RBF neurona.

14

Nedostatci i primjena mrezeIako mreza s radijalnom funkcijom ima brzi algoritam za ucenje, ponekadse moze dogoditi da je potrebno vise vremena za ucenje nego kod mrezes postupkom povratne informacije. Pocetna faza ucenja kod mreze s radi-jalnom funkcijom temelji se na nenadgledanoj fazi pridodavanja podatakapojedinim skupinama stoga bi se moglo dogoditi da se u toj fazi izgube nekevazne informacije.

15

2.2 Stabla odlucivanja

Stabla odlucivanja vrlo su popularne tehnike modeliranja za klasifikacijskei predikcijske probleme. Stabla odlucivanja u odnosu na neuronske mrezenude modele podataka u ”citljivom”, razumljivom obliku tj. u obliku pravila(prema [13],[14],[20]).Stabla odlucivanja koristimo u :

1. analizi odlucivanja (eng. Descision analysis) - koriste se kako bi vizualno(graficki) predstavila nacin donosenja odluka od strane eksperta (ko-riste se kod ekspertnih sustava). Takva stabla odlucivanja opisuju nacinkako ljudski ekspert dolazi do odluke kod nekog problema odlucivanjai kreiraju se rucno.

2. strojnom ucenju - stabla odlucivanja su prediktivni modeli koji natemelju podataka izvode njihove veze u cilju dobivanja izlaznih vri-jednosti . Kao takvi modeli se koriste u rudarenju podataka (eng.Data mining). Stabla se temelje na podacima, a ne na odluci ekspertai nazivamo ih klasifikacijskim i regresijskim stablima. Kod ove metodestablo je rezultat koji se dobiva metodom.

Dalje cemo se baviti stablima u strojnom ucenju i to CART stablima.

2.2.1 Klasifikacijska i regresijska stabla

Klasifikacijska i regresijska stabla (eng. Classification and Regression Tress- CART) su metoda kojom se dobiva graficki prikaz modela utjecaja ulaznihvarijabli na izlaznu. Pri tome izlazna varijabla mora biti izrazena u oblikuklasa ili kategorija (prema [13][14][20]).

Nacin funkcioniranja stabla:

- Svaki cvor u grafickom stablu predstavlja jednu ulaznu varijablu nacijim rubovima su oznacena ”djeca” - cvorovi za svaku mogucu vrijed-nost neke ulazne varijable

- Svaki list u stablu predstavlja vrijednost ciljne (izlazne) varijable akosu dane vrijednosti ulaznih varijabli predstavljene putem od korijenastabla do tog lista

16

- Stablo se dobiva ucenjem na podacima na nacin da se vrsi grananje(eng. splitting) izvornog skupa podataka u podskupove na temeljutestiranja vrijednosti varijabli

- Proces se ponavlja na svakom izvedenom podskupu na rekurzivan nacin(eng. recursive partitioning). Rekurzija je zavrsena kada podskupodredenog cvora ema sve iste vrijednosti izlazne varijable ili kada daljnjegrananje vise ne doprinosi poboljsanju rezultata (F. Witten, 2000.).

Osnovni preduvjeti za koristenje tehnike stabla odlucivanja su (prema [13],[14],[20]):

1. Opis u obliku parova vrijednosti (atributa) - podaci o primjeru morajubiti opisani u obliku konacnog broja atributa

2. Prethodno definiran konacan broja klasa (vrijednost ciljnog atributa) -kategorija kojima primjeri pripadaju moraju biti definirane unaprijedi treba ih biti konacan broj

3. Klase moraju biti diskretne - svaki primjer mora pripadati samo jednojod postojecih klasa kojih mora biti znatno manje nego li broja primjera

4. Znacajan broj primjera - obicno je pozeljno da u skupu primjera zageneriranje stabla odlucivanja postoji barem nekoliko stotina primjera.

Slika 2.9 Primjer jednostavne strukture stabla odlucivanja [18]

17

2.2.2 Stabla odlucivanja za problem klasifikacije

Stabla za klasifikaciju se koriste za klasificiranje kategoricke, zavisne, vari-jable iz jedne ili vise kontinuiranih i/ili kategorijalni varijabli (prema [13],[14],[20]).

Proces dizajniranja klasifikacijskog stabla odlucivanja sastoji se od 4 faze:

1. odredivanja kriterija tocnosti

2. odredivanja algoritma grananja

3. odredivanja uvjeta prestanka grananja

4. odabira najboljeg stabla

Odredivanje kriterija tocnostiCilj klasifikacijske analize stabla je dobiti najtocnije klasificiranje. Najtocnijeklasificiranje je klasificiranje uz minimalne troskove. Minimizirati troskoveznaci smanjiti udio pogresno klasificiranih slucajeva.

Postoje dva moguca izbora:

- prior probabilities - estimated (znaci da ce program iz podataka odreditikoliki je udio pojedine klase u uzorku i odrediti prethodnu vrijednostpripadanja slucajeva u pojedinu klasu ) i equal (ako znamo da postojijednak broj slucajeva u svakoj klasi)

- misclassification cost - trosak krive klasifikacije jest ”kazna” za krivoklasificiranje odredenog primjera. Ima vrijednosst equal (znaci da ce sepogresno svrstavanje slucajeva u klasu tretirati s podjednakim troskovima(greskom) za svaku klasu).

Odredivanje algoritma grananjaAlgoritmi predstavljaju razlicite nacine pretrazivanja stabla i prijeloma granakako bi se dobilo sto manje stablo koje objasnjava veze izmedu ulaznih iizlazne varijable.

Klasifikacijski i regresijski algoritam (CART algoritam) na temelju raspolozivihpodataka o ulaznim i izlaznim varijablama kreira binarno stablo grananjemslogova u svakom cvoru prema funkciji odredenoj za svaku ulaznu varijablu .

18

Prvo se izgraduje maksimalno stablo koje se zatim smanjuje na odgovarajucinivo.

CART algoritam uzima u obzir sva moguca grananja kako bi pronasao na-jbolje grananje za tocnost modela. Najbolje grananje odreduje se za svakiatribut u svakom cvoru, a pobjednik se izabire s pomocu Gini indeksa (For-mula 2.19 ). Algoritam moze uspjesno raditi s kontinuiranim i kategorijal-nim varijablama. Stablo raste sve dok se ne pronade novo grananje kojepoboljsava uspjesnost stabla u razdvajanju slogova u klase. Svako sljedecegrananje ima na raspolaganju manje reprezentativnu populaciju, potrebnoje smanjivati stablo, kako bi se dobila tocnija klasifikacija. Cilj je identifici-rati one grane koje omogucuju najmanje prediktivne sposobnosti po listu ugrani, kako bi ih se izbacilo iz stabla. Pobjednicko podstablo se odabire natemelju ukupne greske (stope pogresne klasifikacije) dobivene kada se modelprimijeni na testnom uzorku.

Formula za izracun Gini indeksa

IG(t) = 1−m∑i=1

p2i , (2.19)

gdje je t trenutni cvor, pi je vjerojatnost klase i u cvoru t, a m je broj klasau modelu.

19

3 Prethodna istrazivanja

U okviru prethodnih istrazivanja bit ce predstavljena Jedinstvena sveucilisnastudentska anketa sa Sveucilista J.J.Strossmayera u Osijeku , a zatim idrugi radovi u znanstvenim casopisima s temom neuronskih mreza i stabalaodlucivanja.

3.1 Jedinstvena sveucilisna studentska anketa na SveucilistuJosipa Jurja Strossmayera u Osijeku

U radu ce biti opisana studentska anketa Sveucilista u Osijeku kako bismomogli usporediti ankete (kriterije, rezultate) ovog sveucilista s koristenimmodelom u ovom radu tj. anketom Sveucilista u Winsconsinu koja se baviistom problematikom.

Jedinstvena sveucilisna studentska anketa pokrenuta je u okviru uspostavl-janja sustava osiguravanja i unaprjedivanja kvalitete studiranja na SveucilistuJosipa Jurja Strossmayera u Osijeku, a prvi put je provedena tijekom akademske2005./2006. godine. Osnovni razlog njenog pokretanja je dobivanje informa-cija o kvaliteti studiranja na Sveucilistu iz studentske perspektive (prema[15]).Anketa je u pocetku bila djelomicno elektronski provodena, a danas se u ci-jelosti provodi elektronski, uz tehnicku potporu Elektrotehnickog fakulteta uOsijeku. Kontinuirano se povecavao broj evaluiranih predmeta i nastavnika,te broj studenata koji sudjeluju u anketi, unaprjedivala se kvaliteta grafickihi numerickih prikaza rezultata ankete.U prvoj provedenoj anketi sudjelovali su studenti druge i trece godine studija,a evaluirali su predmete, nastavnike i asistente/suradnike koje su slusali uprethodnoj akademskoj godini. U zadnjoj provedenoj anketi koja je bila2010. godine evaluirani su predmeti, nastavnici i suradnici sa svih godinasvih znanstveno-nastavnih i umjetnicko-nastavnih sastavnica Sveucilista.Sudionici ankete: 17 znanstveno-nastavnih sastavnica Sveucilista, 4128 stu-denata i 57 780 anketnih obrazaca.

20

Tablica 3.1 Kronoloski pregled [15]

Slika 3.1 Postotak izlazaka na anketu po fakultetima [15]

Anketna pitanja su podijeljena u dva dijela: prvi dio pitanja odnosi se nastudente, a drugi dio jeste ocjenjivanje nastavnika.

21

Prva grupa pitanja:

1. redovitost pohadanja nastave

2. redovitost odrzavanja nastave

3. razlozi pohadanja nastave

4. kolokvij

5. polaganje ispita

6. prilagodenost predznanja tezini gradiva

Druga grupa pitanja:

1. ocjena nastavnika i asistenta/suradnika

2. nacin i zanimljivost izlaganja

3. nacin ocjenjivanja

4. otvorenost i pristupacnost

Tablica 3.3 Kronoloski pregled ocjena [15]

22

Tablica 3.2 Pregled ocjena akademske godine 2009./10. [15]

23

Tablica 3.4 Analiza rezultata ankete po pitanjima akademske godine2009./10. [15]

Studentska anketa predstavlja integralni dio procesa vrednovanja nastave, aprovodi se zato sto je upravi Sveucilista i svim clanovim akademske zajed-nice vazno aktivno sudjelovanje studenata u edukativnom procesu. Vazno jepratiti i podrzavati dobar rad nastavnika, ali i na vrijeme uocavati problemei kriticne tocke te kroz rezultate i analizu ankete transparentno predstavitimisljenje studenata o studiju i nastavnicima.

24

3.2 Ostala istrazivanja

U ovom odjeljku bit ce ukratko opisani radovi koji su pokazali uspjesnostneuronskih mreza i stabala odlucivanja u rjesavanju razlicitih problema.

Zekic-Susac i drugi ([19]) u radu se bave kreiranjem modela za predvidanjeuspjesnosti studenata s pomocu neuronskih mreza i klasifikacijskih stabalaodlucivanja, te analizom cimbenika koji utjecu na uspjesnost studenata.Kreiran je model koji na temelju demografskih podataka o studentima, tepodacima o njihovom ponasanju i stavovima prema ucenju nastoji klasifici-rati u jednu od dviju kategorija uspjesnosti. Uspjesnost je mjerena prosjekomocjena na studiju. Trenirano je i testirano vise arhitektura neuronskih mrezaciji je najbolji model dobiven pomocu viseslojne perceprton mreze. Stablaodlucivanja dala su znatno vecu tocnost klasifikacije od neuronskih mreza, teih se predlaze koristiti kao tocniju metodu na promatranom skupu podataka.Analiza osjetljivosti izlaznih varijabli na ulazne provedena kod neuronskihmreza upucuje da su kolokviranje, prisustvo na vjezbama, vaznost ocjene zastudenta medu najznacajnijim cimbenicima za uspjesnost studenta. Stablaodlucivanja izlucila su vrijeme provedeno u ucenju, prisustvo na vjezbama,te vrstu materijala iz kojih se uci kao najznacajnije varijable.

Zaidah i Dalilela ([22]) u radu se bave predvidanjem akademske uspjesnostistudenata. Akademska uspjesnost studenata kljucna je za obrazovne us-tanove,jer razvojem strategijskih programa moze se planirati poboljsanjerada ustanove studenata tijekom razdoblja studiranja. U radu je kao izlaznavarijabla uzeta varijabla kumulativni prosjek ocjena (CGPA - cumulativegrade point average) nakon diplome , a kao ulazne varijable uzete su CGPAnakon prvog semestra studiranja kako bi se predvidio uspjeh studenta napostdiplomskom studijskom programu. Razvijena su tri prediktivna mod-ela i to koristeci SAS Enterprise Miner, umjetne neuronske mreze, stablaodlucivanja i linearna regresija. Rezultat ove studije pokazuje da sva trimodela imaju vise od 80 % tocnosti. Najuspjesnijima su se pokazale neu-ronske mreze.

Cortez i Silva ([6]) se bave uspjesnoscu ucenika srednjih skola. Iako je obra-zovna razina portugalskog stanovnistva poboljsana u posljednjih nekolikodesetljeca, statistika pokazuje da se Portugal u Europi nalazi na posljednjemmjestu uspjesnosti, posebno se istice neuspjeh na podrucju matematike iportugalskog jezika. Podaci u istrazivanju su stvarni i prikupljeni su skolskihizvjesca i upitnika. Kao varijable uzete su ocjene ucenika, demografska i so-cijalna obiljezja te obiljezja povezana sa skolovanjem. Analiza je pokazala

25

da postoje i druge relevantne znacajke (npr. broj izostanaka iz skole, posao iobrazovanje roditelja, konzumacija alkohola, i td.). Analiza je vrsena pomocustabala odlucivanja i neuronskih mreza. Kao izravan ishod ovog istrazivanjadoslo je do poboljsanja kvalitete obrazovanja i upravljanja skolskim resur-sima.

Da se neronske mreze i stabla odlucivanja mogu ujesno koristiti i u drugimpodrucjima pokazazali su radovi :

A. Mirceska, A. Kulakov i S. Stoleski ([8]) se bave ulogom umjetnih neu-ronskih mreza u detekciji abnormalnosti funkcije rada pluca. Umjetna neu-ronska mreza je sustav temeljen na radu bioloske neuronske mreze, drugimrijecima, ona predstavlja oponasanje bioloske neuronske mreze. Cilj ovograda je usporediti svojstva dviju razlicitih verzija neuronski mreznih ARTalgoritama kao sto su neizravne ART i ARTFC metode koristene za klasi-fikaciju plucnih funkcija, otkrivanje restriktivnih, opstruktivnih i normalnihuzoraka disajnih abnormalnosti putem svake neuronske mreze s podacimaprikupljenim spirometrijom. Spirometrijski podaci su prikupljeni na 150pacijenata standardnim postupkom prikupljanja, gdje se 100 ispitanika ko-risti za obuku i 50 za testiranje, respektivno. Rezultati su pokazali da stan-dardi neizravni ART algoritam raste brze od ARTFC, koji uspjesno rjesavaproblem kategorizacije proliferacija.

M. Dragicevic ([8]) se bavi neuronskim mrezama i analitickim hijerarhijskimprocesom u segmentaciji turistickog trzista. Segmentacija trzista temelj jeza donosenje strateskih odluka u poduzecu. Na taj nacin identificiraju se ra-zlicite skupine potrosaca koje su, s obzirom na turisticke preferencije, unutarsebe homogene i zahtijevaju indenticne proizvode i/ili marketinske mikseve.Vise je nacina segmentiranja trzista, a najcesce rabljena metoda je socio-demografska segmentacija trzista. Cilj je uputiti na suvremene metode, kaosto su modeli neuronskih mreza i analiticki hijerarhijski proces, koji moguvrlo uspjesno produziti u procesu segmentiranja trzista i odabira ciljnih seg-menata, pa na taj nacin olaksati i unaprijediti donosenje odluka u ovomslozenom procesu s kojim se suocava turisticki menadzment. Modeli neu-ronskih mreza omogucuju podjelu trzista na odredene homogene grupe ilisegmente, a analiticki hijerarhijski proces omogucuje odabir adekvatnog, tj.prioritetnoga trzisnog segmenta. Ove tehnike pokazale su se efikasnijima odlinearnih metoda. Obje metode pruzaju visok stupanj pouzdanosti.

26

Iz navedenog pregleda prethodnih istrazivanja moze se zakljuciti da neu-ronske mreze imaju siroku primjenu, tj mogu se primijeniti na razlicitim po-drucjima od medicine, ekonomije, turizma i ostalih grana. Izbor algoritmaili mreze ovisi o podacima i potrebama istrazivanja, ali vecina istrazivanjakoristi MLP algoritam, stabla odlucivanja, genetske algoritme ili neke drugeinteligentne metode.

27

4 Rezultati

4.1 Neuronske mreze

Opis modela i podatakaIstrazivan je problem klasifikacije asistenata prema uspjesnosti na temeljupodataka raspolozivih u bazi UCI Machine Learning Repository, Universityof California Irvine ([3]).

Uzorak obuhvaca varijable pridruzene ispitanicima (studentima) cija je vri-jednost pokazatelj rada asistenata.

Cilj modela NM je klasificirati asistenta u jednu od klasa: 1 = los, 2 =dobar i 3 = odlican.

Raspoloziva baza sadrzi podatke o 151 studentu, koji su ocjenjivani tijekomtri redovna i dva ljetna semestra, zaposlenom na Odjelu za statistiku SveucilistaWinsconsin-Madison. Na temelju 5 ulaznih varijabli asistente klasificiramou odredenu klasu.

Tablica 4.1 Pregled ulaznih varijabli

U podacima nema nedostajucih vrijednosti (missing value).

28

Tablica 4.2 Pregled izlazne varijable

Broj opazanja u svakoj kategoriji dan je sljedecom tablicom:

Tablica 4.3 Broj opazanja po kategorijama

Izgradnja neuronske mrezePriprema podataka koji se nalaze u Microsoft Office Exel datoteci:- svaki stupac predstavlja jednu varijablu- u stupcima su najprije navedene ulazne varijable, dok je u zadnjem stupcunavedena izlazna varijabla-svaki redak predstavlja jedno promatranje (podatke karakteristicne za jednogasistenata)

Parametri u izgradnji mrezeTijekom testiranja razlicitih neuronskih mreza na ovim podacima uzorak jebio podijeljen na dva razlicita nacina keje prikazuje sljedeca tablica:

29

Tablica 4.4 Podjela uzorka

Arhitekture se razlikuju po broju skrivenih neurona, aktivacijskim funkci-jama u skrivenom, odnosno izlaznom sloju, algoritmu treniranja, funkcijigreske ili raspodijeli uzoraka. Minimalni broj neurona u skrivenom sloju istije za sve testirane arhitekture i iznosi 2, dok je maksimalni broj neurona uskrivenom sloju ogranicen na 50.

Rezultati nakon faze treniranja neuronske mrezeTestirano je 10 arhitektura NM mijenjanjem broja skrivenih neurona, akti-vacijskih funkcija u skrivenom, odnosno izlaznom sloju, algoritma treniranja,funkcija greske i raspodijele uzorka. Parametri i rezultati svake pojedinemreze prikazane su u sljedecoj tablici:

30

Tablica 4.5 Rezultati testiranih arhitektura neuronskih mreza

31

Cilj treniranja mreze za problem klasifikacije je dobiti sto vecu prosjecnustopu klasifikacije (izrazena u %, pozeljno 100%). U sljedecoj tablici nalazise mreza koja je dala najbolji rezultata jer ima najvecu prosjecnu stopuklasifikacije.

Tablica 4.6 Nauspjesniji rezultat neuronske mreze

Struktura najboljeg rezultata

Najuspjesnija neuronska mreza je MLP mreza sa strukturom 50 - 15 - 3 ( 50neurona u ulaznoms sloju, 15 u skrivenom sloju i 3 u izlaznom sloju). Stopaklasifikacije na uzorku za treniranje je 71,96 %.U nastavku ce biti detaljnije opisani rezultati ove najuspjesnije mreze.

Analiza uspjesnosti neuronske mreze

Matrica konfuzije

Matrica konfuzije za najuspjesniji model prikazana je Tablicom 4.7.

32

Tablica 4.7 Matrica konfuzije za najuspjesniji model neuronske mreze

U stupcima matrice konfuzije prikazan je stvarni broj asistenata odredeneklase u uzorku za validaciju.Od 8 asistenata koji pripadaju u prvu klasu (1-los) NM je svrstala 5 asiste-nata u ispravnu klasu, dok je 3 asistenta svrstala u pogresne klase (jednogasistenta u klasu 2-dobar i dva asistenata u klasu 3-odlican). Tocnost NM zaprvu klasu iznosi 62 % (prvi stupac Tablice 4.7 ). Od 7 asistenata koji pri-padaju drugoj klasi (2-dobar) NM je svrstala 5 asistenata u ispravnu klasu,dok je 2 asistenta svrstala u pogresne klase (jednog asistenta u klasu 1-losi jednog asistenata u klasu 3-odlican). Tocnost NM za drugu klasu iznosi71 % (drugi stupac Tablice 4.7 ). Od 7 asistenata koji pripadaju trecoj klasi(3-odlican) NM je svrstala 5 asistenata u ispravnu klasu, dok je 2 asistentasvrstala u pogresne klase (jednog asistenta u klasu 1-los i jednog asistenatau klasu 2-dobar). Tocnost NM za drugu klasu iznosi 71 % (treci stupacTablice 4.7 ). To znaci da bi ova mreza, kada bi je u buducnosti koristili nanekim novim podacima u praksi, klasificirala asistente sa ocekivanom stopomtocnosti 67,67 %.

Analiza osjetljivost ulaznih varijabli na izlaznuAnaliza osjetljivosti izlazne varijable na ulazne varijable pokazuje koliko po-jedina ulazna varijabla (Engleski govornik, Nastavnik predmeta, Predmet,Vrsta semestra i Velicina razreda) utjece na izlanu varijablu (Ocjena asis-tenta) tj. na tocnost klasifikacije. Na sljedecem grafikonu je prikazana os-jetljivost izlazne varijable na svaku pojedinu ulaznu varijablu.

33

Tablica 4.8 Tablica analize osjetljivosti

Grafikon 4.1 Grafikon analize osjetljivosti

Iz grafikona analize osjetljivosti izlazne varijable na ulazne varijable lako seuocava da su varijable Nastavnik predmeta i Velicina razreda najznacajnijeulazne varijable, dok ostale ulazne varijable imaju manji utjecaj. Najmanjeznacajna varijabla je varijabla Engleski govornik.

34

4.2 Stabla odlucivanja

Opis modela

Promatran je problem klasifikacije asistenata prema uspjesnosti. Izraden jemodel stabla odlucivanja na bazi podataka o studentima. Koristen je uzorakod 151 studenta, od kojih smo uzeli 129 za treniranje (85%) i 22 za testiranje(15%). Cilj je s pomocu stabla odlucivanja razvrstati studente u pripadajuceklase uspjesnosti (1 - los, 2 - dobar, 3 - odlican).

Testirana stabla odlucivanja za pronalazenje najuspjesnijeg modela

Tablica 4.9 Parametri stabla odlucivanja testiranih za promatrani problem

Na podacima su primjenjivanje dvije metode razvrstavanja podataka:

- DBUS = Discriminant - based univariate splits for categ. and orederedpredictors

- C&RT = Style exhaustive search for univariate split

kojima smo mijenjali zaustavne kriterije (stopping options):

- POME = Prune on misclassification error

35

- POD = Prune on deviance

- SDS = Style direct stopping

Nakon sto su primjenjena sva tri pravila zaustavljanja na obje metode razvrsta-vanja, ciji su rezultati dani u gornjoj tablici, najbolji rezultat je dobivenprimjenom metode C&RT i pravila zaustavljanja POD. Najbolji model utablici oznacen je po renim brojem 5 i daje 17 cvorova u lijevoj i 17 cvorovau desnoj grani. Prosjecna stopa tocnosti klasifikacije na uzorku za treniranjeiznosi 79,92 %.

Na uzorku za testiranje prosjecna stopa klasifikacije iznosi 45,33%, dok je zasvaku klasu pojedinacno iznosi 37,5%, 42,85% i 57,15%.

Rezultati najuspjesnijeg modela

36

Tablica 4.10 Struktura stabla odlucivanja najuspjesnijeg modela

Tablica prikazuje strukturu grananja stabla. Za svaki se cvor vidi: redni brojcvora, broj elemenata pojedine klase u svakom cvoru, kategorija koja prevla-dava, kriticna varijabla po kojoj se dijeli cvor, potomke cvora te vrijednostza varijablu po kojoj je izvrsena podjela.

Pojasnjenje Tablice 4.10 : prvi cvor sadrzi 15 asistenta klase 1, 4 asistentaklase 2 i 6 asistenta klase 3, te prevladava klasa 1 (odlicni asistenti). Kriticnavarijabla je Velicina razreda, a potomci cvora su cvorovi 6 (lijeva grana) i 7(desna grana). Vrijednost pri kojoj je izvrsen prijelom je -27,0000, njih 104jedinke (24+37+43=104) se razvrstava dalje u cvor 2, a preostalih 7 jedinkiu cvor 3 (3+4+0).Analogno se dijele ostale grane stabla u ostalim cvorovima.

37

Slika 1. Graficki prikaz stabla odlucivanja za najuspjesniji model

Na Slici 1. prikazan je izgled cijelog stabla odlucivanja za najbolji model(C&RT - POD). Nacinjeno je 17 podjela, a postoji 18 krajnjih cvorova (nadkojima nema vise podjela jer je unutar cvora jedna kategorija, sto znaci daje cilj postignut ). Stablo ima dvije glavne grane - lijevu i desnu, te ukupno33 cvora. U lijevoj grani je 3-oje djece (child node), a u desnoj 31-o djete.

Tablica 4.11 Matrica konfuzije za najuspjesniji model stabla odlucivanja nauzorku za treniranje

38

U Tablici 4.11 prikazana je matrica konfuzije dobivena na dijelu uzorka zatreniranje (85%). Od ukupno 39 asistenata koji su stvarno pripadali u prvuklasu, stablo je njih 33 ispravno svrstalo, dok je 5 pogresno svrstano u druguklasu i 1 pogresno svrstano u trecu klasu . Od ukupno 41 asistenta kojipripadaju u drugu klasu, stablo je ispravno svrstalo njih 36, dok su 3 pogresnosvrstana u prvu klasu i 2 u trecu. Od ukupno 49 asistenata koji su stvarnopripadali u trecu klasu, stablo je njih 33 ispravno svrstalo, dok je 10 pogresnosvrstano u prvu klasu i 6 u drugu klasu.

Tablica 4.12 Matrica konfuzije i stope tocnosti za najuspjesniji modelstabla odlucivanja na uzorku za treniranje

Stopa tocnosti je dobivena dijeljenjem tocno svrstanih jedinki odredene klasesa ukupnim brojem jedinki te klase, izrazeno u postotku.

Tablica 4.13 Matrica konfuzije za najuspjesniji model stabla odlucivanja nauzorku za testiranje

U Tablici 4.13 prikazana je matrica konfuzije dobivena na dijelu uzorka zatestiranje (15%). Od 8 asistenata koji su stvarno pripadali u prvu klasu,

39

stablo je 2 asistenta klasificiralo u drugu klasu i 3 asistenta u trecu klasu.Od 7 asistenata koji su stvarno pripadali u drugu klasu, stablo je 3 asistentasvrstalo u klasu tri. Od 7 asistenata koji su stvarno pripadali u trecu klasu,stablo je 3 asistenta klasificiralo u prvu klasu i 1 asistenta u drugu klasu.

Tablica 4.14 Matrica konfuzije i stope tocnosti za najuspjesniji modelstabla odlucivanja na uzorku za testiranje

Promatran je uzorak za testiranje od 22 elementa. Asistenti prve klase suklasificirani s tocnoscu 37,5%, asistenti druge klase s tocnoscu 57,15%, aasistenti trece klase s tocnoscu 42,85%. Prosjecna stopa tocnosti se racunakao prosjek pojedinacnih stopa tocnosti i ona iznosi 45,83%.

40

Analiza znacajnosti ulaznih varijabliAnalizu znacajnosti ulaznih varijabli provodimo rangiranjem varijabli: sto jevisa vrijednost ranga, veca je znacajnost pojedine varijable u modelu (0 =najnizi znacaj, 100 = najvisi znacaj)

Tablica 4.15 Tablica analize osjetljivosti

Iz Tablice 4.15 se vidi da je varijabla Velicina razreda najznacajnija za ovajmodel, dok varijabla Engleski govornik ima najmanju znacajnost. VarijablaNastavnik predmeta je takoder jako znacajna.

Grafikon 4.2 Znacajnost ulaznih varijabli

41

Iz grafikona 4.2 mogu se ocitati isti podaci kao iz Tablice 14.15, dakle na-jznacajnija varijabla je Velicina razreda dok je od najmanje znacajnosti var-ijabla Engleski govornik .

4.3 Usporedba rezultata modela neuronske mreze i sta-bala odlucivanja

Pomocu modela neuronskih mreza i stabala odlucivanja promatrali smo prob-lem klasifikacije asistenata prema uspjesnosti.

Neuronske mreze su uspjesnije klasificirale asistente i zato bi model neuron-skih mreza bio korisniji u praksi.Prosjecna stopa tocnosti neuronskih mreza iznosi 67,67 % dok prosjecna stopatocnosti stabla odlucivanja iznosi 45,83 %. Iz rezultata je vidljivo da jepotrebno u buducim strazivanjima raditi na povecanju tocnosti modela.Analize osjetljivosti ulaznih varijabli na izlaznu (Grafikon 4.1, Grafikon 4.2 )pokazale su da su dobiveni jako slicni rezultati, i jedna i druga analiza supokazale da najveci utjecaj imaju varijable Nastavnik predmeta i Velicinarazreda dok varijable Engleski govornik i Vrsta semestra imaju najmanji ut-jecaj.

42

5 Zakljucak

Rad se bavi kreiranjem modela za klasifikaciju asistenata prema uspjesnosti.Na temelju pet ulaznih varijabli koje opisuju asistente, asistenti se klasifi-ciraju u tri klase - los, dobar, odlican. Kao metode koristene su umjetneneuronske mreze i stabla odlucivanja, koji imaju veliku primjenu u brojnimpodrucjima.

Najbolji model neuronske mreze rezultirao je stopom tocnosti 67,67 % dokje stopa tocnosti najboljeg modela stabla odlucivanja 45,83 % .

Model temeljen na neuronskim mrezama pokazao je vecu tocnost klasifikacijeod stabala odlucivanja, ukazujuci da su neuronske mreze uspjesnija metodau klasificiranju uspjesnosti asistenata na promatranom skupu podataka.

Analiza osjetljivosti pokazala je da su varijable Nastavnik predmeta i Velicinarazreda najznacajnije za uspjesnost asistenata.

S obzirom na relativno mali broj ulaznih varijabli i ogranicenost uzorkakoristenog u ovom radu, tocnost klasificiranja modela mogla bi se unapri-jediti uvodenjem dodatnog broja ulaznih varijabli i povecanjem uzorka.

Potencijalne koristi modela koji ce uspjeti s velikom tocnoscu klasificiratiasistente prema uspjesnosti su velike. Model bi bilo korisno poboljsati i pri-lagoditi potrebama ustanova koje s pomocu modela uspjesnosti zele donositiodluke o zaposlenju asistenata u svojoj ustanovi. Kao dobar pocetak urazvoju ovog modela mozemo smatrati u radu opisanu Jedinstvenu sveucilisnuanketu Sveucilista J.J.Strosmayera u Osijeku.

43

6 Literatura

Literatura

[1] B. Dalbelo Basic, Umjetna inteligencija, Fakultet elektotehnike iracunarstva, Zavod za elektroniku, mikroelektroniku, racunalne i in-teligentne sustave,http://www.fer.hr/ download/repository/UI 1 uvod.pdf

[2] B. Dalbelo Basic, M. Cupic, Jan Snajder, Umjetne neuronske mreze,Fakultet elektotehnike i racunarstva, Zavod za elektroniku, mikroelek-troniku, racunalne i inteligentne sustave,http://www.fer.hr/ download/repository/UI 14 umjetne neuronskemreze.pdf

[3] Baza podataka, Center for Machine Learning and Intelligent Systems,University of Clofornia Irvinghttp://archive.ics.uci.edu/ml/datasets/Teaching+Assistant+Evaluation

[4] Bidgoli,H., Intelligent Management Support Systems, Quorum Book,1998.

[5] M.Bosnjak, Neuronske mreze, predavanja sa kolegija Strojno ucenje,PMF, Zagrebhttp://web.math.hr/nastava/su

[6] P.Cortez, ASilva, Using data mining to predict secondary school studentperformance, Dep. Information Systems/Algoritmi RaD Centre Univer-sity of Minho, Portugalrepositorium.sdum.uminho.pt/bitstream/1822/8024/1/student.pdf

[7] V. Ceric, M.Varga, Informacijska tehnologija u poslovanju, Element,Zagreb, 2004.

[8] Hrcak, portal znanstvenih casopisa Rebublike Hrvatskehrcak.srce.com

[9] V. Ilic, Neuronske mrezehttp://solair.eunet.rs/ ilicv/neuro.html

[10] S. Loncaric, Viseslojni perceptron, Fakultet elektrotehnike i racunarstva,Zagrebhttp://nm.zesoi.fer.hr/predavanja/pdf/neuro04.pdf

44

[11] S. Loncaric, Neuronske mreze, Fakultet elektrotehnike i racunarstva,Zagrebhttp://nm.zesoi.fer.hr/predavanja/pdf/neuro07.pdf

[12] S. Russel, P. Norving, Artifcial Intelligence, a modern approach, Pren-tice Hall series in Artifcial Intelligence, 2003.

[13] Statisica help manual

[14] Statsoft helphttp://www.statsoft.com/textbook/classification-and-regression-trees/

[15] Sveuciliste J.J. Strossmayera u Osijeku, Jedinstvena sveucilisna anketahttp://www.unios.hr/indeks.php

[16] Z. Sevarac, Aplikacioni okvir za razvoj neuronskih mreza, diplomskirad Univerzitet u Beogradu, Fakultet organizacijskih znanosti, Beograd,2004.http://is.fon.rs/sites/default/files/Aplikacioni%20okvir%20za%20razvoj%20neuronskih%20mreza.pdf

[17] Taopis, The autopoietic information systemhttp://autopoiesis.foi.hr/wiki.php

[18] M. Zekic-Susac, Neuronske mreze u predvidanju profitabilnosti ulaganja,doktorska disertacija, Sveuciliste u Zagrebu, Fakultet organizacije i in-formatike Varazdin 2000.

[19] M. Zekic-Susac,A. Frajman-Jaksic, N.Drvenkar, Neuronske mrezei stabla odlucivanja za predvidanje uspjesnosti studiranja, UDK007:378.14(497.5)

[20] M. Zekic-Susac, Osnove umjetne inteligencije, predavanja, Odjel zamatematiku, Osijek, 2010.

[21] B.Snajder, Data miningspvp.zesoi.fer.hr/seminari/2004/data mining-bsnajder/algoritmi.html

[22] Zaidah, Daliela, Predicting students’ academic performance: comparingartificial neural network, decision tree and linear regression, Faculty ofInformation Technology and Quantitative Sciences, Universiti TeknologiMARA, Malaysiahttp : //www.sas.com/offices/asiapacific/malaysia/academic/2007sumpaper/ZaidahDaliela.pdf

45

[23] Wikipedia,the freee encyclopedia, Artifficial neural networkhttp://en.wikipedia.org/wiki/Artificialneuralnetwork

46

7 Sazetak

Cilj i svrha rada je kreirati model za klasifikaciju asistenata prema uspjesnostikoristeci neuronske mreze i stabala odlucivanja te poblize objasniti nacin nakoji ove metode umjetne inteligencije djeluju. U radu je opisana metodologijaneuronskih mreza i stabala odlucivanja, prikazan je nacin njihova funkcioni-ranja te je na primjeru klasifikacije asistenata pokazana mogucnost primjeneovih metoda u praksi. Analizirani su i protumaceni rezultati za oba modela,predstavljena njihova uspjesnost i prepoznat model koji je najuspjesniji zakoristenje u praksi.

Iznesene su odredene smjernice za buduca istrazivanja, uz prosirenje brojaulaznih varijabli i povecanje uzorka, te prosirenjem metodologije drugimtehnikama umjetne inteligencije moguce bi bilo kreirati uspjesniji model kojibi mogao imati primjenu u obrazovanim ustanovama.

Kljucne rijeci: umjetna inteligencija, neuronske mreze, stabla odlucivanja,klasifikacija, uspjesnost asistenata

47

8 Summary

The main reason and purpose of this paper is to create a model for the clas-sification of the assistants according to performance using neural networksand decision trees, and to explain in which way these methods of artificialintelligence work. The paper describes the methodology of neural networksand decision trees, shows how they function and on example of classifica-tions of assistents demonstrates the possibility of applying these methods inpractice. The results of both models were analysed and described in orderto show their usability and success for usage in practice.

At the end of this work are given some guidelines for further research. Byexpanding the number of input variables, increasing sample and by extendingthe methodology to other techniques of artifcial intelligence it would be pos-sible to create a successful model that could have applications in educationinstitutions.

Key words: artifcial intelligence, neural networks, decision trees, classifica-tion, assistant performance

48

9 Zivotopis

Rodena 15. ozujaka 1986. godine u Vinkovcima. 1993. godine upisuje os-novnu skolu u Komletincima, a prirodoslovno - matematicku gimnaziju uVinkovcima pohada u razdoblju od 2000. do 2004. godine.Preddiplomski studij na Odjelu za matematiku u Osijeku upisuje 2004. go-dine gdje obranom zavrsnog rada na temu Brojevi e i π stjece naziv Sveucilisnaprvostupnica matematike.Trenutno pohada sveucilisni nastavnicki studij matematike i informatike naistom fakultetu .

49