ID3 Algoritam

Stefan Jovanovićst.jovanovic@gmail.com

Kako na efikasan način raditi sa velikom količinom informacija

U nekim modelima nije od ključne važnosti tačnost klasifikacije i predikcije modela

Čitljivost modela od suštinskog značajaUpotreba u SQL upitima

2/20Stefan Jovanović st.jovanovic@gmail.com

Problem?

Sposobnost generisanja razumljivih modelaPravila se mogu lako inerpretirati običnim

jezikomReprezentacija u obliku pravilaSposobnost korišćenja svih tipova atributaJasno odražava važnost pojedinih atributaMali računarki zahtevi

3/20Stefan Jovanović st.jovanovic@gmail.com

Prednosti metode stabla odlučivanja

ID3 je naslednik sistema za učenje koncepata (CLS – Concept Learning System)

Bazični i jedan od najčešće korišćenih algoritama iz metode stabla odlučivanja

Primeri se klasifikuju polazeci od čvora i prateći grane sve dok se ne dostigne čvor oznacen sa YES ili NO

4/20Stefan Jovanović

st.jovanovic@gmail.com

Osnovno (1/2)

Algoritam konvergira iterativnoCLS služi kao podprogram algoritmu ID3Odabirom prozora povećava se efikasnost

algoritmaIsključuje nevažne faktoreInformacioni pristup pri izboru najdiskriminatornijeg čvora

5/20Stefan Jovanović st.jovanovic@gmail.com

Osnovno (2/2)

Resava zadatke učenja sa jednim konceptom ikoristi naučene koncepte da klasifikuje nove primere

Zahteva da svi primeri budu dostupni u prvom koraku

Ograničen broj primera koji se mogu efektivno rešiti

6/20Stefan Jovanović st.jovanovic@gmail.com

CLS Algoritam (1/2)

Počinje praznim stablom odlučivanja i iterativno ga gradi sve dok ne klasifikuje sve primere

Algoritam rada:Ukoliko su svi primeri pripadaju istoj klasi formirati odgovarajući čvor i statiU suprotnom podeliti ulazni skup primera na

podskupove i primeniti algoritan na svaki podskup

7/20Stefan Jovanović st.jovanovic@gmail.com

CLS Algoritam (2/2)

Odabrati slučajan podskup veličine W (iz celokupnog skupa primera)Primeniti CLS algoritam za formiranje stabla odlučivanjaPretražiti celokupan skup primera

da bi se pronašli izuzetciAko postoje izuzetci uključiti ih u prozor i

ponoviti prethodne korake

8/20Stefan Jovanović st.jovanovic@gmail.com

Skica algoritma ID3

Mera neuredjenosti sistema

Karakteriše “čistotu” nekog sistema

Entropija(S) = -pp log2 pp - pn log2 pn Pp – proporcija pozitivnih primera u S Pn – proporcija negativnih primera u S

Uzima se da važi: 0 log 0 = 0

9/20Stefan Jovanović st.jovanovic@gmail.com

Entropija (1/2)

10/20Stefan Jovanović st.jovanovic@gmail.com

Entropija (2/2)

- Ukoliko ciljni atribut uzima više od dve vrednosti

Opis u obliku parova: atributi – vrednost

Definisan konačan broj klasa

Klase moraju biti diskretne

Značajan broj primera (nekoliko stotina)

11/20Stefan Jovanović st.jovanovic@gmail.com

Preduslovi za korišćenje

Nebo Pritisak Vetar Kisa

Čisto Raste Severni NeOblacno Raste Juzni DaOblacno Stabilan Severni DaČisto Opada Severni NeOblacno Opada Severni DaOblacno Raste Severni DaOblacno Opada Juzni NeČisto Raste Juzni Ne

12/20Stefan Jovanović st.jovanovic@gmail.com

Primer Target

13/20Stefan Jovanović st.jovanovic@gmail.com

Nebo Pritisak Vetar Kisa

Čisto Raste Severni NeOblacno Raste Juzni DaOblacno Stabilan Severni DaČisto Opada Severni NeOblacno Opada Severni DaOblacno Raste Severni DaOblacno Opada Juzni NeČisto Raste Juzni Ne

M

14/20Stefan Jovanović st.jovanovic@gmail.com

Nebo Pritisak Vetar Kisa

Čisto Raste Severni NeOblacno Raste Juzni DaOblacno Stabilan Severni DaČisto Opada Severni NeOblacno Opada Severni DaOblacno Raste Severni DaOblacno Opada Juzni NeČisto Raste Juzni Ne

M

15/20Stefan Jovanović st.jovanovic@gmail.com

Nebo Pritisak Vetar Kisa

Čisto Raste Severni NeOblacno Raste Juzni DaOblacno Stabilan Severni DaČisto Opada Severni NeOblacno Opada Severni DaOblacno Raste Severni DaOblacno Opada Juzni NeČisto Raste Juzni Ne

M

16/20Stefan Jovanović st.jovanovic@gmail.com

Nebo Pritisak Vetar Kisa

Čisto Raste Severni NeOblacno Raste Juzni DaOblacno Stabilan Severni DaČisto Opada Severni NeOblacno Opada Severni DaOblacno Raste Severni DaOblacno Opada Juzni NeČisto Raste Juzni Ne

BM(vetar) = 1 - B

M(nebo) = 1 - BM(pritisak) = 1 - B

Informacioni sadržaj:

17/20Stefan Jovanović st.jovanovic@gmail.com

NEBO

ČISTO OBLAČNO

PRITISAKNE

STAGNIRAOPADA RAST

E

DA DAVETAR

JUZNISEVERNI

NEDA

M(vetar) = M(nebo) = M(pritisak) =

Klasifukuje sve primere iz skupa podatakaGeneriše stabla koja su “preterano dobra”

RešenjaZaustaviti proces rasta stabla

pre nego što se dostigne savršena klasifikacija

• Generisati potpuno stablo, a potom vršiti skraćivanje

18/20Stefan Jovanović st.jovanovic@gmail.com

Over - fitting

http://sr.wikipedia.org

http://dms.irb.hr/tutorial/hr_tut_dtrees.php

http://en.wikipedia.org/wiki/ID3_algorithm

Boško Nikolić, Materijali za nastavu iz predmeta “Ekspertski sistemi”

19/20Stefan Jovanović st.jovanovic@gmail.com

Reference

20/20Stefan Jovanović st.jovanovic@gmail.com

Hvala na pažnji!

Pitanja?

st.jovanovic@gmail.com