NeuraleNeurale NetwerkenNetwerkenKunstmatige IntelligentieKunstmatige Intelligentie

Rijksuniversiteit GroningenRijksuniversiteit Groningen

Mei 2005

hc 10hc 10

• Spiking neuronsSpiking neurons

• stof: artikelstof: artikel

overzichtoverzicht

• inleidinginleiding

• ll

• ll

drie generaties

1. threshold transfer function2. continuous transfer function (bv sigmoid)3. spike trains (integrate-and-fire)

beschouwing biologische plausibiliteit:elke generatie meer natuurgetrouw dan de vorige

beschouwing computationele kracht:• 1 is universeel voor digitale functies• 2 en 3 ook voor analoge functies• 3 heeft een hogere uitdrukkingskracht dan 2

(met minder neuronen kun je hetzelfde)

biologische neuronen

• menselijk zenuwstelsel: ±100 miljard neuronen• 1 mm3 cortex: ±10.000 neuronen

met elk ±10.000 verbindingen naar andere neuronen (kilometers axonen/dendrieten per mm3)

• neural staining:

biologische neuronen

axon

synaps dendriet

dendriet axon

synaps

synaps

cellichaam(soma)

synaptic efficacy is BIOLOGISCHE TEGENHANGER van gewicht

biologische neuronenuitleg termen op p. 12, 13 boek

dendrieten:• activatie uit dendrieten depolariseert

of hyperpolariseert het mebraan (PostSynaptic Potential)

• depolarisatie werkt exciterend (EPSP)

• hyperpolarisatie werkt inhiberend (IPSP)

• graded potentialsaxon:• rust potentiaal axon: -70 mV met

binnenkant neuron negatief(firing threshold -50 mV)

• als de PSPs genoeg activatie veroorzaken, dan ontstaat een aktiepotentiaal

• all-or-nothing potentials• Hodgkin & Huxley (1952)

4 s spikes in 30 visual cortex cells

benodigde tijdvoor visueleverwerking!

informatieoverdracht tussen biologische en kunstmatige neuronen

• spiking neurons gebruiken spike patronen

• standaard kunstmatige neuronen gebruiken activatie tussen 0 en 1

• axon activatie:spiking nonspiking

0 0

fmax 1 /)(1

1

ae

y

PSPs vs actiepotentialen

• graded vs all-or-nothing

• EPSPs, IPSPs vs spike trains

• integrate-and-fire (spike 1-2 ms)• informatie in aantal spikes en de timing van

losse spikes• (relative/absolute) refractory period (10 ms)

beperkt vuurfrequentie

NV neural viewer

www.btinternet.com/~cfinnie

• recovery periods, flames

• edge detector

• interaural

neurale dynamica

• intracellular clamp: potentiaal verschil meten tussen binnen en buiten de cel

• clamp voorbeelden

• ui(t) – urest = εij

• EPSP in neuron i veroorzaakt door spike van neuron j: εij(t – tj

(f)) clamp

j frest

fjijii

resti

utttttu

uu

)()ˆ()(

)0()(

parameters η0, τ, Δt > 0

wiskundig model SRM0

)(0

)(

)(

)(

__

0__/1)(

0,)(:

)(

fi

tt

fif

i

fi

ii

tttfore

tttforttt

ttdt

dutuspike

fi

zie artikel voor uitleg functionaliteit en symbolen

verschillende PSPs

actie potentiaal (blauw) niet in goede proportie

• verschil in teken (IPSP, EPSP), verschil in hoogte

• verschil in lengte• vertraging

• in modellen hebben alle PSPs vaak dezelfde vorm, rechthoekig of driehoekig meestal

netwerk types

MLP, Hopfield, Kohonen, Elman, ...

leren: algoritmes moeten aangepast worden, maar het idee is hetzelfde

beperkingen van SRM0

• alle PSPs hebben dezelfde vorm– PSPs niet afhankelijk van de toestand van het neuron

• dynamica alleen afhakelijk van laatste spike– geen adaptatie– geen bursting neurons– geen inhibitory rebound spike

• bij veel input spikes tellen de PSPs niet lineair op (in biologische neuronen)

uitgebreidere modellen...

spiking neurons in hardware [3], [4]geen tentamenstof

VLSI systems can use data representations of eitherbinary (digital VLSI) or continuous (analog VLSI) voltages.Progress in digital technology has been tremendous,providing us with ever faster, more precise and smallerequipment. In digital systems an energy-hungrysynchronisation clock makes it certain that parts are readyfor action. Analog systems consume much less power andspace on silicon than digital systems (in many orders ofmagnitude) and are easily interfaced with the analog realworld. However, their design is hard, due to noise computationis fundamentally (slightly) inaccurate and sufficientlyreliable non-volatile analog memory does not (yet) exist[20,4].

Hybrid (noise resistant digital communication and memory, cheap analog computation)

referenties[1] W. Gernster, W.M. Kistler (2002) Spiking neuron models: single neurons, populations, plasticity. Cambridge university press

[2] W. Maass (1997) Networks of spiking neurons: the third generation of neural network models. Journal unknown (Elsevier press)

[3] J. Vreeken (in press) Spiking neural networks, an introduction.

[4] G. Indeviri et al. (2002) A competitive network of spiking VLSI neurons. Journal unknown

[5] J. W. Kalat (2001) Biological Psychology. Wadsworth Thomson learning

laatste college aanstaande laatste college aanstaande woensdagwoensdag

• voorbeeld-tentamen-vragenvoorbeeld-tentamen-vragen

• practicum: feedback en ruimte voor practicum: feedback en ruimte voor vragenvragen