C_05
-
Upload
bogdanbalaican -
Category
Documents
-
view
22 -
download
7
description
Transcript of C_05
-
SISTEME INTELIGENTE DE SUPORT DECIZIONAL As.dr.ing. Laura-Nicoleta IVANCIU
Curs 6 Reele Neuronale Artificiale
-
2
Cuprins Principii Bazele biologice Arhitectura RNA Instruire Tipuri de probleme rezolvabile cu RNA
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
3
Principiile RNA
Ce nseamn Calcul Natural i Calcul Neural? Ce nseamn RNA? Care sunt componentele care determin o reea neuronal?
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
4
S ne aducem aminte... ncadrarea IC IC = modelarea numeric a inteligenei biologice - suprapunere semnificativ cu soft computing - exploateaz tolerana la imprecizie, nesiguran i adevr parial, pentru a obine flexibilitate, robustee i costuri sczute
- difer fundamental de calculul convenional (hard), caracterizat de lipsa impreciziei i a adevrurilor pariale
Curs 6 Reele Neuronale Artificiale Principiile RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
5
Principiile RNA
Curs 6 Reele Neuronale Artificiale
Calcul neural (neuronal)
RN = suport hard pentru calcul neural
- rezolvarea problemelor de asociere - se bazeaz pe extragerea unui model pe baz de exemple - nvare pe baz de suficient de multe exemple
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
6
S ne aducem aminte... Reele Neuronale Artificiale - sisteme de prelucrare a informaiei, ce modeleaz structura paralel masiv a creierului inspiraie biologic - numr mare de elemente de prelucrare (neuroni) relativ simple
- conexiuni ponderate ntre neuroni
- cunotinele sunt stocate n ponderile conexiunilor
Curs 6 Reele Neuronale Artificiale Principiile RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
7
Alte definiii
RNA = calculator distribuit, masiv paralel, care achiziioneaz noi cunotine pe baza experienei anterioare i le face disponibile pentru utilizarea ulterioar (S.Haykin, 1994) Asemnarea cu creierul uman cunotinele sunt achiziionate de reeaua neural printr-un proces de nvare
cunotinele sunt depozitate n conexiunile inter-neuronale (ponderi sinaptice)
Curs 6 Reele Neuronale Artificiale Principiile RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
8
RNA este complet determinat prin: tipul unitilor funcionale (elemente de procesare numite neuroni)
arhitectur (amplasare uniti funcionale)
algoritm de funcionare (transformare semnal intrare n semnal ieire) algoritm de nvare (cum achiziioneaz reeaua noi cunotine pe baz de exemple)
Curs 6 Reele Neuronale Artificiale Principiile RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
9
Denumiri alternative pentru RNA neurocalcul
conexionism
procesare paralel distribuit sisteme adaptive
reele cu auto-organizare
Curs 6 Reele Neuronale Artificiale Principiile RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
10
Bazele biologice ale RNA
Cum arat un neuron natural? Cum arat un neuron artificial? Ce sunt funciile de activare?
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
11
Neuronul natural unitate morfo-funcional a sistemului nervos ~100 mld. neuroni n creier i mduva spinrii 1000-10.000 sinapse/neuron NU se regenereaz
Curs 6 Reele Neuronale Artificiale Bazele biologice ale RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
12
Tipuri de neuroni naturali senzoriali (bipolari) (0.9%) receptori -> SNC moto-neuron (multipolari) (9%)
SNC -> muchi, glande = 4...100m inter-neuroni (pseudopolari)
-> mduva spinrii -> piele, muchi
Curs 6 Reele Neuronale Artificiale Bazele biologice ale RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
13
Neuronul artificial Modelul de baz McCulloch-Pitts (1943) Modelul derivat
w ponderi sinaptice f funcie de integrare/agregare/activare
bias (polarizare)
Curs 6 Reele Neuronale Artificiale Bazele biologice ale RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
14
Funcii de activare
Curs 6 Reele Neuronale Artificiale Bazele biologice ale RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
15
Arhitectura RNA
Care sunt unitile funcionale ale RNA? Ce tipuri de RNA exist? Ce caracteristici mprumut RNA de la creier?
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
16
Uniti funcionale ale RNA
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
17
Arhitectura RNA reele feed-forward (unidirecionale)
unistrat
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
18
Arhitectura RNA reele feed-forward (unidirecionale)
multistrat - mai lente dect cele unistrat - pot implementa funcii mai complexe
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
19
Arhitectura RNA reele feed-back (bidirecionale/recurente) cele mai complexe dinamice pentru fiecare stare de intrare, se caut starea de echilibru reele laticeale se folosesc la Self Organizing Maps (SOM)
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
20
Caracteristici ale RNA mprumutate de la creier capacitatea de a nva nvare din exemple ajustarea ponderilor pe baza unor modele antrenare cu seturi mari de date
capacitatea de a generaliza pot da rspunsuri corecte pentru intrri uor diferite de cele cu care au fost antrenate
capacitatea de a sintetiza
pot da rspunsuri corecte pentru intrri afectate de zgomot/imprecise/ pariale
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
21
Tipuri remarcabile de RNA Reele cu nvare supervizat feed-back: maina Boltzmann, Learning Vector Quantization (LVQ) feed-forward: perceptron, Adaline, Madaline
Reele cu nvare nesupervizat feed-back: reele Grossberg, reele Hopfield (discrete/continue), memorii asociative (bidirecionale/temporale), reele Kohonen cu auto-organizare feed-forward: memorii asociative liniare/distribuite, memorii asociative fuzzy
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
22
Instruirea RNA
Ce nseamn instruirea RNA? Care sunt tehnicile de instruire ale RNA? Ce nseamn i care sunt regulile i algoritmii de instruire? Prin ce se caracterizeaz fiecare regul/algoritm de instruire?
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
23
Instruirea RNA = procesul adaptrii ponderilor, printr-o stimulare din partea unui expert sau a mediului, sau nesupervizat, prin analiza statistic a vectorilor de intrare Algoritm de instruire = modul n care se modific ponderile
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
24
Tehnici de instruire Dup momentul de timp n care se face instruirea offline
instruire + utilizare
Ex: recunoatere comenzi vocale, recunoatere scris de mn online
instruire n timpul funcionrii (on the fly)
Ex: compensare ecou, filtre adaptive
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
25
Tehnici de instruire Dup modul n care se face instruirea supervizat
Set de instruire = perechi (intrare, ieire dorit) Epoc de instruire = prezentarea ntregului set de instruire
cu ntrire
online semnal de ntrire extern (poate fi binar)
nesupervizat online/offline cea mai rapid clasificarea statistic a intrrilor (distan euclidian)
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
26
Reguli i algoritmi de instruire Regul de instruire = formul matematic care specific cum se modific parametrii RNA, pentru a atinge obiectivul dorit regula de corecie a erorii regula hebbian regula de instruire competitiv regula de tip Boltzmann
Algoritm de instruire = proces iterativ bazat pe o regul de instruire Etape: 1. iniializare ponderi 2. calcul ieire neuroni 3. calcul cantitate w cu care se modific fiecare pondere 4. modificare ponderi 5. salt la etapa 2 recalcularea ieirilor neuronilor
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
27
Instruire prin minimizarea erorii
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
28
Instruire bazat pe gradient Regula de instruire pas de instruire, subunitar Regula Widrow-Hoff (regula Delta) Algoritmul de gradient 1. iniializare ponderi wkj i bias cu valori mici, subunitare 2. calcul ieire neuroni 3. calcul eroare ek 3. calcul cantitate wkj cu care se modific fiecare pondere 4. modificare ponderi wkj(n+1) = wkj(n) + wkj(n) 5. salt la etapa 2 recalcularea ieirilor neuronilor n:= n + 1
Curs 6 Reele Neuronale Artificiale Instruirea RNA
)(
)()()(
nw
nEnEnw
k
k
kkk exnw **)(
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
29
Instruire hebbian Postulatul lui Donald Hebb (1949) n cazul n care un axon al unui neuron A transmite impulsuri unui neuron B i n mod repetat i persistent A duce la activarea lui B, atunci apare un proces metabolic, la nivelul uneia sau ambelor celule, astfel nct aceast tendin de activare a lui B de ctre A este ntrit. Dac doi neuroni sunt activai sincron, ponderea conexiunii dintre ei crete. Ex: experimentul lui Pavlov - instruire nesupervizat - reea cu memorie
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
30
Instruire hebbian Regula de instruire Algoritmul de instruire hebbian 1. iniializare ponderi wkj i bias cu valori mici, subunitare 2. calcul ieire neuroni 3. modificare ponderi wkj(n+1) = wkj(n) + wkj(n) 4. salt la etapa 2 recalcularea ieirilor neuronilor n:= n + 1
Curs 6 Reele Neuronale Artificiale Instruirea RNA
ijij yxw **
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
31
Instruire hebbian Avantaje: simplitatea arhitecturii reelei simplitatea algoritmului de instruire rezultate satisfctoare dac intrarea i ieirea sunt ortogonale Dezvantaje: necesitate ortogonalitate ntre intrare i ieire cretere nelimitat a ponderilor factor de uitare, subunitar, tipic ntre 0.01 i 0.1
Curs 6 Reele Neuronale Artificiale Instruirea RNA
ijjijij wyxyw ****
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
32
Instruire competitiv - unul sau mai muli neuroni concureaz pentru a fi activai - winner takes all criteriul activrii maxime - instruire nesupervizat Ex: Self Organizing Maps (Theuvo Kohonen, anii 80)
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
33
Instruire competitiv Regula de instruire ,neuron j ctigtor Dat fiind un vector de intrare xi, ctig neuronul al crui vector de ponderi w este cel mai apropiat (ca distan euclidian) fa de xi. Algoritmul de instruire competitiv 1. iniializare ponderi wkj i bias cu valori mici, subunitare 2. cutare neuron ctigtor (distan euclidian minim) 3. calcul i modificare ponderi wkj(n+1) = wkj(n) + wkj(n) 4. salt la etapa 2 recalcularea ieirilor neuronilor n:= n + 1 Instruirea se oprete cnd nu mai apar modificri semnificative ale ponderilor.
Curs 6 Reele Neuronale Artificiale Instruirea RNA
0
)( ijjij
wxw
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
34
Instruirea Boltzmann - simulated annealing (clire simulat) - inspirat din termodinamic - analogie cu procesul restructurrii cristaline a metalelor
-nivel ct mai sczut de energie -> minim al erorii
Se ridic temperatura T a unui metal la o valoare mare. Din aceast cauz, atomii devin foarte mobili i au micari aleatorii, cu att mai ample cu ct este mai ridicat temperatura T. Se face o rcire lent, progresiv, reducnd valoarea lui T. Atomii se reorganizeaz i ajung la stri de energie inferioare energiei lor iniiale. n final, metalul devine mai dur i energia sa este minim pentru temperatura dat.
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
35
Tipuri de probleme rezolvabile cu RNA
Ce tipuri de probleme se pot rezolva cu RNA? Care sunt avantajele RNA? Care sunt dezavantajele RNA?
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
36
Tipuri de probleme rezolvabile cu RNA clasificare gruparea vectorilor de intrare n clase domeniu de ieire discret Ex: recunoaterea formelor, operaii de telecom (decodare, demodulare, regenerare semnale), decizie
aproximare de funcii interpolare perechi intrare-ieire domeniu de ieire continuu
Ex: modelarea direct/invers a unui sistem necunoscut, predicie
optimizare gsirea punctului de minim/maxim al unei funcii set de ponderi pentru care diferena dintre ieirea dorit i ieirea reelei este minim, n sens statistic Ex: problema comis-voiajorului
Curs 6 Reele Neuronale Artificiale Tipuri de probleme
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
37
Avantaje ale RNA instrumente robuste de calcul capabile de generalizare pot modela funcii liniare/neliniare realizeaz mapare intrri/ieiri fr a beneficia de un model cunoscut apriori (free estimation, blind processing) adaptabile online/offline toleran la erori/date imprecise pot rezolva sarcini complexe
Curs 6 Reele Neuronale Artificiale Tipuri de probleme
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
38
Dezavantaje ale RNA problema scalabilitii
numrul mare de conexiuni reduce viteza de procesare; se prefer implementare hardware
abordare de tip black-box
nu pot explica rezultatul furnizat instrumente sub-optimale pentru reelele recurente nu s-a demonstrat stabilitatea
Curs 6 Reele Neuronale Artificiale Tipuri de probleme
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
-
39
Sumar
Principii Bazele biologice ale RNA Arhitectura RNA Instruire Tipuri de probleme rezolvabile cu RNA
Curs 6 Reele Neuronale Artificiale
n episodul urmtor: SISD bazate pe RNA.
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014