INTELIGENTNI SISTEMI Primjene neuronskih mrežalejla-bm.com.ba/IS/IS_11_Primjene_NM.pdf ·...
Transcript of INTELIGENTNI SISTEMI Primjene neuronskih mrežalejla-bm.com.ba/IS/IS_11_Primjene_NM.pdf ·...
14.12.2014
1
INTELIGENTNI SISTEMI
Primjene neuronskih mreža
Vanr. Prof.dr. Lejla Banjanovic-Mehmedovic
Copyright: Lejla Banjanović-Mehmedović
1Inteligentni sistemi 11
Primjene neuronskih mreža
� Aproksimacija funkcija
� Klasifikacija
� Predikcija
� Identifikacija i upravljanje
Copyright: Lejla Banjanović-Mehmedović
2Inteligentni sistemi 11
14.12.2014
2
Neuronske mreže kao aproksimatori funkcija
Copyright: Lejla Banjanović-Mehmedović
3Inteligentni sistemi 11
Neuronske mreže kao aproksimatori funkcija
� Ulaz:
� Pomoćna varijabla:
� Izlaz:
� Skup podataka za treniranje:
Copyright: Lejla Banjanović-Mehmedović
( ) ( ) ( ) ( )[ ]Tn ixixixix ,,, 21 L=
( ) ( ) ( ) ( )[ ]Tn iziziziz
z,,, 21 L=
( ) ( ) ( )( ),y i G x i z i=
( ) ( )( ) ( ) ( )( ){ }1 , 1 , , ,G x y x M y M= L
4Inteligentni sistemi 11
14.12.2014
3
Definicija problema aproksimacije funkcije
� Problem aproksimacije je odreñivanje optimalnih vrijednosti parametara θ = θ* uz koje je funkcija Fnajbolja aproksimacija funkcije G:
� Kao mjera kvaliteta:
Copyright: Lejla Banjanović-Mehmedović
[ ] θρ θ ρ θ θ∗ ≤ ∀ ∈ ( )( , ), ( ) ( , ), ( ) , RnF G F Gx x x x
[ ]1
( , ), ( ) ( ) ( , ) ( ) ( , )p
p
pC
F G G F G F dxρ θ θ θ = − = − ∫x x x x x x
[ ]2 2
1 1
( ( )) ( , ( )) ( ( )) ( , ( ))N N
v v
G v F v G v F vθ θ∗
= =
− ≤ − ∑ ∑x x x x
5Inteligentni sistemi 11
Copyright: Lejla Banjanović-Mehmedović
Primjer: neuronske mreže kao aproksimatori funkcije
Loša aproksimacija neuronske mreže
strukture [5 1] sa brzinom učenja 0.05
Konfiguracija mreže [10 5 1] kroz 100 epoha treniranja, koja daje mnogo bolje rezulate
6Inteligentni sistemi 11
14.12.2014
4
Aproksimacija funcije prema ulaznim uzorcima
Rezultat treniranja neuronske mreže sa 1 neuronom u skrivenom sloju
Rezultat treniranja neuronske mreže sa 5 neurona u skrivenom sloju pri prilagoñenju funkcije prema ulaznim uzorcima
Copyright: Lejla Banjanović-Mehmedović
7Inteligentni sistemi 11
Primjena MLP neuronskih mreža u klasifikaciji i predikciji
Copyright: Lejla Banjanović-Mehmedović
8Inteligentni sistemi 11
14.12.2014
5
RELEVANTNI PARAMETRI SISTEMAKLASIFIKACIJE KVALITETA UGLJA
� Za potrebe klasifikacije i predikcije korišten je sljedeći skup atributa:
Naziv atributa
Opseg vrjednosti
B=Rudnik01, D=Rudnik02, M=Rudnik03, S=Rudnik04
[Eksplo] 0=Kop, 1=Jama
[Sinklin] J,S
[NAsortiman] M=Mješani, O=Orah, S=Sitni
[Dekada] I,II,III
[Mjesec] 1-12
[Dan] 1-7
[BrVagona] 1-15
[GVlaga] 13,4-52,4
[HVlaga] 0-33,12
[Pepeo] 1,06-50,2
[Z] N, D
[K] A,B,C,D,E,F,G
Oznaka
klase
Vrijednosti
unutar klase
A više od 12000
B 12000-11000
C 11000-10000
D 10000- 9000
E 9000- 8000
F 8000- 7000
G manje od 7000
Copyright: Lejla Banjanović-Mehmedović
9Inteligentni sistemi 11
10
KLASIFIKACIJA KVALITETA UGLJA
1x
2x
1y
2y
3y
Copyright: Lejla Banjanović-Mehmedović
10Inteligentni sistemi 11
14.12.2014
6
11
Klasifikacija korištenjem neuronskih mreža
� Analiza dobivenih rezultata
� Promjena brzine učenja
�Correctly classified instances
�Root mean squared error
Copyright: Lejla Banjanović-Mehmedović
11Inteligentni sistemi 11
12
Klasifikacija korištenjem neuronskih mreža
� Analiza dobivenih rezultata
� Promjena momenta učenja
�Correctly classified instances
�Root mean squared error
Copyright: Lejla Banjanović-Mehmedović
12Inteligentni sistemi 11
14.12.2014
7
13
Klasifikacija korištenjem neuronskih mreža
� Analiza dobivenih rezultata
� Promjena broja neurona
� Correctly classified instances
� Root mean squared error
Copyright: Lejla Banjanović-Mehmedović
13Inteligentni sistemi 11
14
Klasifikacija korištenjem neuronskih mreža
� Analiza dobivenih rezultata
� Promjena broja epoha
�Correctly classified instances
�Root mean squared error
Copyright: Lejla Banjanović-Mehmedović
14Inteligentni sistemi 11
14.12.2014
8
Kriteriji za evaluaciju modela
� Prikaz mogućih rezultata pri rješavanja problema klasifikacije u dvije klase
� Ispravna klasifikaciju uzoraka:� Stvarno pozitivni (eng. true positive – TP)
� Stvarno negativni (eng. true negative – TN)
� Greške u klasifikaciji:
� Lažno pozitivni (eng. false positive– FP) i
� Lažno negativni (eng. false negative – FN)
Inteligentni sistemi 11 Copyright: Lejla Banjanović-Mehmedović
15
Klasifikacija Stvarna klasifikacija
Željena klasifikacija
Ponašanje Normalno ponašanje Poremećaj
Normalno ponašanje Stvarno pozitivno Lažno pozitivno
Poremećaj Lažno negativno Stvarno negativno
Kriteriji za evaluaciju modela
� Tačnost (eng. accuracy – ACC):
� Preciznost (eng. precision– PR):
� Senzitivnost (eng. sensitivity ili true positive rate – TPR) ili (eng. recall):
Inteligentni sistemi 11 Copyright: Lejla Banjanović-Mehmedović
16
14.12.2014
9
Kriteriji za izračunavanje greške� Srednja apsolutna greška (eng. mean absolute error – MAE):
� Korijen srednje kvadratne greške (eng. root mean squared error –RMSE):
� Relativna apsolutna greška (eng. relative absolute error– RAE):
� Korijen relativne kvadratne greške (eng. root relative squared error–RRSE):
� ai - stvarne vrijednosti, pi - željene vrijednosti
Inteligentni sistemi 11 Copyright: Lejla Banjanović-Mehmedović
17
18
Klasifikacija korištenjem neuronskih mreža
� Analiza efekata optimizirane neuronske mreže pri predikciji kvalteta uglja za proizvoljno odabran broj uzoraka
Copyright: Lejla Banjanović-Mehmedović
18Inteligentni sistemi 11
14.12.2014
10
19
Klasifikacija korištenjem neuronskih mreža
� Analiza efekata optimizirane neuronske mreže pri predikciji kvalteta uglja za proizvoljno odabran broj uzoraka
KOMPARCIJA STVARNE I PREDIKTOVANE ZAGARANTOVANE VRIJEDNOSTI KVALITETA ZA PRVIH 250 UZORAKA
8000
9000
10000
11000
12000
13000
14000
0 25 50 75 100 125 150 175 200 225 250
Uzorak
En
erg
etsk
a vr
ijed
no
st
Prediktovano Z Stvarno Z
KOMPARACIJA STVARNE I PREDIKTOVANE VRIJEDNOST KLASE KVALITETA
6000
7000
8000
9000
10000
11000
12000
13000
0 25 50 75 100 125 150 175 200 225 250
Uzorak
En
erg
etsk
a vr
ijed
no
st
Prediktovano K Stvarno K
Copyright: Lejla Banjanović-Mehmedović
19Inteligentni sistemi 11
Primjena neuronskih mreža u identifikaciji
Copyright: Lejla Banjanović-Mehmedović
20Inteligentni sistemi 11
14.12.2014
11
Primjena neuronskih mreža u upravljačkim strukturama
� Inteligentno upravljanje je klasa upravljačkih tehnika koja koristi različite računarske tehnike vještačke inteligencije poput:
� neuronskih mreža
� Bayesove vjerovatnoće
� fuzzy logike
� mašinskog učenja
� evolucionog računarstva
� genetskih algoritama
� i njihovih kombinacija
Inteligentni sistemi 11 21Copyright: Lejla Banjanović-Mehmedović
Neuronske mreže
� Podjela NM prema načinu prostiranja signala kroz mrežu :
� Statičke mreže (eng. feedforward) - primaju ulaze u jednom prolazu, viši slojevi ne vraćaju informacije u niže slojeve
� Dinamičke mreže (eng.feedback) - primaju ulaze u vremenskim intervalima, viši slojevi vraćaju informacije unazad u niže slojeve
� Statičke neuronske mreže sadrže težinske koeficijente povezane samo u unaprijednoj vezi, bez elemenata kašnjenja. Kod ovih mreža, s obzirom da nemaju dinamičke memorije, izlaz mreže zavisi samo od trenutnih ulaza i težinskih koeficijenata.
� Za razliku od statičkih, dinamičke neuronske mreže u svojoj strukturi sadrže povratne veze, odnosno, u povratnim vezama se nalaze težinski koeficijenti i elementi kašnjenja, što je ključno za sposobnost memorisanja podataka u mreži.
Inteligentni sistemi 11 22Copyright: Lejla Banjanović-Mehmedović
14.12.2014
12
� Dinamičke mreže:
� Hopfieldove neuronske mreže
� Elmanove neuronske mreže
� NARX neuronske mreže
� Hopfieldove neuronske mreže su jednoslojne mreže s povratnim djelovanjem s izlaza na ulaz mreže.
� Elmanove neuronske mreže su višeslojne dinamičke neuronske mreže.
� NARX neuronske mreže – Ove neuronske mreže sastoje se od MLP neuronske mreže kojoj je izvana dodano povratno djelovanje i to tako da se na ulaz mrežedovode vrijednosti izlaznih signala mreže iz prethodnogkoraka uzorkovanja.
Dinamičke neuronske mreže
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 23
NARX mreže
Copyright: Lejla Banjanović-Mehmedović
Matematički opis NARX mreže zasniva se na matematičkom opisu MLP mreže.
Inteligentni sistemi 11 24
14.12.2014
13
� Zbog svoje nelinearne prirode (nelinearne aktivacijske funkcije), neuronske mreže su pogodne za realizaciju kompleksnih nelinearnih funkcija i sistema.
� Osnovna osobina zbog koje su neuronske mreže vrlo dobar alat za identifikaciju sistema je mogućnost da uče iz iskustva (treniranje).
� Neuronske mreže se mogu primijeniti i na netrenirane ulaze, gdje se na osnovu naučenog može prediktovati izlaz iz procesa.
Primjena neuronskih mreža u identifikaciji
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 25
� Promatranjem tehničkih sistema, teoretskom analizom se dobivaju tzv. fizikalni matematički modeli sistema, koji fizikalne zakonitosti njegovog ponašanja opisuju matematičkim jednačinama. Taj se postupak naziva modeliranjem sistema.
� Eksperimentalna analiza podrazumijeva odreñivanje tzv. eksperimentalnog matematičkog modela sistema na osnovu skupa mjernih vrijednosti ulaznih i izlaznih signala sistema. Ovaj se postupak naziva identifikacijom sistema.
Primjena neuronskih mreža u identifikaciji
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 26
14.12.2014
14
� Postupak identifikacije odvija se u nekoliko osnovnih koraka:
� prikupljanje ulazno-izlaznih podataka, tj. mjernih vrijednosti ulaznih i izlaznih signala procesa
� izbor strukture modela procesa
� izbor kriterija kvaliteta modela procesa
� estimacija parametara modela procesa
� izbor optimalne dimenzije modela i njegovo vrednovanje.
Identifikacija sistema
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 27
Blok šema postupka identifikacije procesa
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 28
14.12.2014
15
� Uobičajena pretpostavka u identifikaciji procesa je da je proces koji se identificira linearan i vremenski nepromjenljiv.
� Meñutim, kod nekih procesa nelinearnost je jako izražena tako da linearni modeli nisu dovoljno dobri za opis njihovog ponašanja, već se moraju primijeniti nelinearni modeli.
Identifikacija sistema
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 29
Identifikacija sistema
� Ponašanje nelineranog dinamičkog sistema u prostoru stanja:
� Kao aproksimacijska funkcija primjenjuje se:
� Parametriranjem funkcije odreñena je struktura modela procesa:
� Predikcijski model procesa ili prediktor!
� Vektor signala greški izmeñu izlaznih signala procesa i modela (vektor predikcijskih greški):
Copyright: Lejla Banjanović-Mehmedović
),,,( 11 Θ−− kkN yukf
),,,()( 11 Θ= −−∧
kkN yukfky
)()()( kykyke∧
−=
Inteligentni sistemi 11 30
)(),,()( 11 kyukfky kk ζ+= −−
14.12.2014
16
Identifikacija sistema
� U statistici se predikcijski model naziva nelinearnom regresijom.
� Vektor - regresijski vektor, njegove komponente - regresori
Inteligentni sistemi 11 Copyright: Lejla Banjanović-Mehmedović
31
)(kϕ
[ ] ),)(),(()),(()( Θ=Θ=∧
kkfkfky uyNN ϕϕϕ
[ ] [ ]Tuy nbkukunakykykkk )(),...,1(),(),...,1()(),()( −−−−== ϕϕϕ
Identifikacija sistema
� Razdvajanjem funkcije u kompoziciju dviju funkcija razdvaja se i problem izbora strukture opšteg nelinearnog modela procesa na dva zasebna problema:� izbor regresijskoga vektora , odnosno funkcije
koja preslikava prostor prošlih mjernih vrijednosti ulaznih i izlaznih signala procesa u regresijski prostor i
� izbor aproksimacijske funkcije koja preslikava regresijski prostor u izlazni prostor modela procesa
Copyright: Lejla Banjanović-Mehmedović
)(kϕ ),( 11 −− kk yuϕ
),( ΘϕNf
Inteligentni sistemi 11 32
14.12.2014
17
Modelske strukture
� U najopštijem slučaju, struktura modela može imati oblik:
Copyright: Lejla Banjanović-Mehmedović
33
� Nelinearni modeli:•NFIR modeli (engl. Nonlinear FIR models)•NARX modeli (engl. Nonlinear ARX models)•NOE modeli (engl. Nonlinear OE models) •NARMAX modeli ( engl. Nonlinear ARMAX models),•NBJ modeli (engl. Nonlinear BJ models).
Inteligentni sistemi 11
Izbor regresijskog vektora
Copyright: Lejla Banjanović-Mehmedović
Izbor (pseudo) regresijskog vektora φ(k)
� Tabela 1. Pregled regresora, odgovarajućih linearnih modela i
grupa nelinearnih modela procesa
RegresoriLinearni
model
Grupa
nelinearnih
modela
FIR model NFIR modeli
ARX model NARX modeli
OE model NOE modeli
ARMAX
model
NARMAX
modeli
BJ model NBJ modeli
Inteligentni sistemi 11 34
14.12.2014
18
Aproskimator nelinearne funkcije
Copyright: Lejla Banjanović-Mehmedović
�
Inteligentni sistemi 11 35