NeuraleNeurale NetwerkenNetwerkenKunstmatige IntelligentieKunstmatige Intelligentie
Rijksuniversiteit GroningenRijksuniversiteit Groningen
Mei 2005
practicum
• deze week wel deels programmerenHopfield
• volgende week geen programmerenKohonen
• wachten op cijfers excuses, maar er is een goede reden
doel van dit vak
inleiding NN literatuur onderzoek
eigen onderzoek
engineering wereld
vb. Elman – Finding structure in time
hc 9hc 9
• ElmanElman
• stof: artikelstof: artikel
overzichtoverzicht
• inleidinginleiding
• netwerknetwerk
• experimentenexperimenten
• conclusieconclusie
• andere bronnenandere bronnen
inleiding
• classificeer input patronen over meerdere tijdstappen (spraak, bewegende beelden,...)
• tijd = belangrijk– onderzoek– engineering
• neurale netwerken: tijd = moelijk
• eenvoudigste oplossing: paralellizeren
paralellizeren
• meerdere tijdstappen tegelijk aanbieden
• nadelen hiervan:– gebruik buffer niet biologisch plausibel– input moet steeds zelfde aantal tijdstappen zijn– inputs die hetzefde zijn, worden verschillend
geclassificeerd:(0, 1, 0, 1, 0, 0, 0, 0) = (0, 0, 0, 1, 0, 1, 0, 0) + Δt
– hogere plaats en tijd complexiteit
• oplossing: recurrente netwerken
recurrente netwerken
• geheugen: vorige netwerk-toestand is deel van de input
• recursie
• natuurlijke taalverwerking
• Jordan (1986)
• Elman (1990)
overzichtoverzicht
• inleidinginleiding
• netwerknetwerk
• experimentenexperimenten
• conclusieconclusie
• andere bronnenandere bronnen
MLP
Jordan (1986)
output layer
hidden layer
context layer
Elman (1990)
output layer
hidden layer
context layer
FIXED
backprop
backpropbackprop
Jordan vs Elman
Jordan: hidden(t) = input(t) + output(t - 1)Elman: hidden(t) = input(t) + hidden(t – 1)
Waarom is Elman beter dan Jordan?• onderzoek: dichter bij de natuur• engineering: rijker geheugen
• voordeel Jordan: output → deel volgende inputbeter voor te stellen (minder black-box)
• geheugen bestreikt meerdere tijdstappen door recursieve eigenschap
i(nput), h(idden), c(ontext), o(utput)
o(t) ← h(t)
h(t) ← i(t) + c(t)c(t) = h(t – 1)
h(t - 1) ← i(t - 1) + c(t - 1) c(t - 1) = h(t – 2)
h(t - 2) ← i(t - 2) + c(t - 2) c(t - 2) = h(t – 3)
h(t - 3) ← i(t - 3) + c(t - 3) c(t - 3) = h(t – 4)
h(t - 4) ← i(t - 4) + c(t - 4) c(t - 4) = h(t – 5)
h(t - 5) ← i(t - 5) + c(t - 5) c(t - 5) = h(t – 6)
...
overzichtoverzicht
• inleidinginleiding
• netwerknetwerk
• experimentenexperimenten
• conclusieconclusie
• andere bronnenandere bronnen
experiment 1:temporele XOR variant
• XOR triples• drie bits achter elkaar aanbieden• de derde wordt bepaald door de eerste twee• | 0, 0, 0 | 1, 0, 1 | 1, 1, 0 | 1, ... • getraind netwerk
– gemiddelde error op eerste twee 0,5– gemiddelde error op de derde 0,0
experiment 2:diibaguuuguuubabadii...
• zinnen-generator: medeklinkers {b, d, g} in willekeurige volgorde met steeds een vast klinkerpatroon → woorden {ba, dii, guuu}
• elke letter is een vector met 6 binaire componenten: (consonant, vowel, interrupted, high, back, voiced)
• de letters worden één voor één aangeboden, het netwerk leert de volgende te voorspellen
• trainen: 200 keer dezelfde semi-willekeurige input sequentie van 1.000 letters
• testen: andere sequentie op dezelfde manier gegenereerd
input #
RM
S e
rro
r
a
d
i i
g
uu
u
b
a
g
uu
u
d
i
i
zelfde gedrag als bij temporele XOR (medeklinker bepaalt rest woord)
in plaats van hele output vector, de error op de componenten analyseren(bijvoorbeeld consonant en voiced)
natuurgetrouwe error curve!
experiment 3:manyyearsagoaboyandgirllivedbythesea...
• zinnen-generator:– lexicon: 15 Engelse woorden, 5-bits vectoren
– zinnen van 4 tot 9 woorden
– houdt zich aan Engelse woordvolgorde
– sequentie van 200 zinnen zonder “whitespace”
REDEN: in gesproken taal zitten geen pauzes
• trainen: 10 keer dezefde sequentie
• testen: op een andere sequentie die op dezelfde manier gegenereerd is
input #
RM
S e
rro
r
m a n y y e a r s a g o a b o y a n d g i r l l i v e d b y t h e s e a t h e y p l a y e d h a p p i l y
de rest van een woord wordt niet deterministisch bepaald door eerste letter(lexicon met letter-overeenkomsten tussen de woorden)
voorspelbaarheid neemt toe met het aantal letters dat geweest is...natuurgetrouwe error curve!
experiment 4:cat eat mouse man sleep ...
• woordvolgorde ipv. lettervolgorde• Chomsky (1957)• kan een PDP (parallel distributed processing) netwerk
een grammatica leren?
• zinnen-generator:– lexicon: 29 Engelse woorden in 13 klasses– elk woord is een 29-bits vector,
bv. woman = (00000000000000000000000000010)
geen correlaties tussen woorden vanwege orthogonale vectoren
categorie voorbeeld
NOUN-HUM man, woman
NOUN-ANIM cat, mouse
NOUN-INANIM
book, rock
NOUN-AGRESS
dragon, monster
NOUN-FRAG glass, plate
NOUN-FOOD Cookie
VERB-INTRAN
think, sleep
VERB-TRAN see, chase
VERB-AGPAT
move, break
VERB-PERCEPT
smell, see
VERB-DESTROY
break, smash
VERB-EAT eat
WOORD 1 WOORD 2
WOORD 3
NOUN-HUM VERB-EAT NOUN-FOOD
NOUN-HUM VERB-PERCEPT NOUN-INANIM
NOUN-HUM VERB-DESTROY NOUN-FRAG
NOUN-HUM VERB-INTRAN
NOUN-HUM VERB-TRAN NOUN-HUM
NOUN-HUM VERB-AGPAT NOUN-INANIM
NOUN-HUM VERB-AGPAT
NOUN-ANIM VERB-EAT NOUN-FOOD
NOUN-ANIM VERB-TRAN NOUN-ANIM
NOUN-ANIM VERB-AGPAT NOUN-INANIM
NOUN-ANIM VERB-AGPAT
NOUN-INANIM VERB-AGPAT
NOUN-AGRESS VERB-DESTROY NOUN-FRAG
NOUN-AGRESS VERB-EAT NOUN-HUM
NOUN-AGRESS VERB-EAT NOUN-ANIM
NOUN-AGRESS VERB-EAT NOUN-FOOD
• trainen: 6 maal door een sequentie van 10.000 zinnen
• testen: output vectoren vergelijken met training set statistiek
• verder: hidden layer activaties zijn hierarchisch gestructureerd →
overzichtoverzicht
• inleidinginleiding
• netwerknetwerk
• experimentenexperimenten
• conclusieconclusie
• andere bronnenandere bronnen
conclusie
• tijd paralellizeren is simpel, maar niet goed genoeg
• door gebruik context layer– geen buffer– inputs van variabele lengte– in tijd verschoven inputs zijn hetzelfde
conclusies
• Elman net voorspelt klasse, niet instantie (natuurgetrouw)
• Elman netwerk vooral voor onderzoek interessant, voor engineers niet zo...HMM wint van NN op NLP
• sub-symbolische systemen kunnen hierarchische structuren en verwachtingspatronen leren uit temporele informatie
overzichtoverzicht
• inleidinginleiding
• netwerknetwerk
• experimentenexperimenten
• conclusieconclusie
• andere bronnenandere bronnen
engineering toepassingengeen tentamenstof
APPLICATION OF A RECURRENT NEURAL NETWORK IN ONLINE MODELLING OF REAL-TIME SYSTEMS
Keywords: Recurrent Elman networks; modelling; on-line learning; real-time systems.
modelling non-linear dynamical systems;fabrieks processen in de gaten houdenalarm (of ingrijpen) als metingen van de voorspelling afwijken
Considering the number of recurrent neural topologies and training algorithms available, the choice of an appropriate pair (architecture, learning) is intimately dependent on the purposes and can be decisive for its success, e.g. the non-linear control schemes with NN identification.
Incorporate available information from the approximate model into the NN initialisation, instead of choosing the weighting values randomly
Detection of Transformer Winding Faults Using Wavelet Analysis and Neural Network
Keywords: Transformer internal fault, neural network, wavelet transform.
analyseer de elektrische signalen van de transformator met een Elman netwerk
verhoog betrouwbaarheid, spaar kosten
The simulation results of four cases: improved BP-NN with wavelet preprocessing, Elman network with wavelet preprocessing, improved BP-NN without preprocessing, and Elman network without preprocessing are compared and discussed.
feature extraction
input voor Elman net
onderzoekstoepassing
COGNITIVE MODDELINGzoals ACT-R:
vergelijken model/proefpersoon →
resultaten zijn hetzelfde →
de theorie klopt
een antwoord op de vraag: Wat kan een engineer met NN?
Therefore the primary focus of this report is to describe algorithms for ANNs which perform particularly strongly for processing the following commonly used applications: – Function approximation;– Time series processing; ELMAN– Classification;– Pattern recognition;
These are suggested because they are well established tasks for which ANNs are used extensively.
volgende college (laatste)volgende college (laatste)
• Spiking NeuronsSpiking Neurons
• stof: artikelstof: artikel
Top Related