Neurale Netwerken

Click here to load reader

download Neurale Netwerken

of 29

  • date post

    31-Dec-2015
  • Category

    Documents

  • view

    38
  • download

    0

Embed Size (px)

description

Neurale Netwerken. Kunstmatige Intelligentie Rijksuniversiteit Groningen. Mei 2005. hc 10. Spiking neurons stof: artikel. overzicht. inleiding l l. drie generaties. threshold transfer function continuous transfer function (bv sigmoid) spike trains (integrate-and-fire) - PowerPoint PPT Presentation

Transcript of Neurale Netwerken

  • Neurale NetwerkenKunstmatige IntelligentieRijksuniversiteit GroningenMei 2005

  • hc 10

    Spiking neurons

    stof: artikel

  • overzichtinleidingll

  • drie generatiesthreshold transfer functioncontinuous transfer function (bv sigmoid)spike trains (integrate-and-fire)

    beschouwing biologische plausibiliteit:elke generatie meer natuurgetrouw dan de vorige

    beschouwing computationele kracht:1 is universeel voor digitale functies2 en 3 ook voor analoge functies3 heeft een hogere uitdrukkingskracht dan 2(met minder neuronen kun je hetzelfde)

  • biologische neuronen

    menselijk zenuwstelsel: 100 miljard neuronen1 mm3 cortex: 10.000 neuronenmet elk 10.000 verbindingen naar andere neuronen (kilometers axonen/dendrieten per mm3)

    neural staining:

  • biologische neuronenaxonsynapsdendrietdendrietaxonsynapssynapscellichaam(soma)synaptic efficacy is BIOLOGISCHE TEGENHANGER van gewicht

  • biologische neuronenuitleg termen op p. 12, 13 boek

  • dendrieten:activatie uit dendrieten depolariseert of hyperpolariseert het mebraan (PostSynaptic Potential)depolarisatie werkt exciterend (EPSP)hyperpolarisatie werkt inhiberend (IPSP)graded potentialsaxon:rust potentiaal axon: -70 mV met binnenkant neuron negatief(firing threshold -50 mV)als de PSPs genoeg activatie veroorzaken, dan ontstaat een aktiepotentiaalall-or-nothing potentialsHodgkin & Huxley (1952)

  • 4 s spikes in 30 visual cortex cells

  • informatieoverdracht tussen biologische en kunstmatige neuronenspiking neurons gebruiken spike patronenstandaard kunstmatige neuronen gebruiken activatie tussen 0 en 1axon activatie:

  • PSPs vs actiepotentialengradedvsall-or-nothingEPSPs, IPSPsvsspike trains

    integrate-and-fire (spike 1-2 ms)informatie in aantal spikes en de timing van losse spikes(relative/absolute) refractory period (10 ms) beperkt vuurfrequentie

  • NV neural viewer

    www.btinternet.com/~cfinnie

    recovery periods, flamesedge detectorinteraural

  • neurale dynamicaintracellular clamp: potentiaal verschil meten tussen binnen en buiten de celclamp voorbeeldenui(t) urest = ijEPSP in neuron i veroorzaakt door spike van neuron j: ij(t tj(f))

  • wiskundig model SRM0parameters 0, , t > 0zie artikel voor uitleg functionaliteit en symbolen

  • verschillende PSPsactie potentiaal (blauw) niet in goede proportie

    verschil in teken (IPSP, EPSP), verschil in hoogteverschil in lengtevertraging

    in modellen hebben alle PSPs vaak dezelfde vorm, rechthoekig of driehoekig meestal

  • netwerk typesMLP, Hopfield, Kohonen, Elman, ...

    leren: algoritmes moeten aangepast worden, maar het idee is hetzelfde

  • beperkingen van SRM0alle PSPs hebben dezelfde vormPSPs niet afhankelijk van de toestand van het neurondynamica alleen afhakelijk van laatste spikegeen adaptatiegeen bursting neuronsgeen inhibitory rebound spikebij veel input spikes tellen de PSPs niet lineair op (in biologische neuronen)

    uitgebreidere modellen...

  • spiking neurons in hardware [3], [4]geen tentamenstofVLSI systems can use data representations of eitherbinary (digital VLSI) or continuous (analog VLSI) voltages.Progress in digital technology has been tremendous,providing us with ever faster, more precise and smallerequipment. In digital systems an energy-hungrysynchronisation clock makes it certain that parts are readyfor action. Analog systems consume much less power andspace on silicon than digital systems (in many orders ofmagnitude) and are easily interfaced with the analog realworld. However, their design is hard, due to noise computationis fundamentally (slightly) inaccurate and sufficientlyreliable non-volatile analog memory does not (yet) exist[20,4].

    Hybrid (noise resistant digital communication and memory, cheap analog computation)

  • referenties[1] W. Gernster, W.M. Kistler (2002) Spiking neuron models: single neurons, populations, plasticity. Cambridge university press

    [2] W. Maass (1997) Networks of spiking neurons: the third generation of neural network models. Journal unknown (Elsevier press)

    [3] J. Vreeken (in press) Spiking neural networks, an introduction.

    [4] G. Indeviri et al. (2002) A competitive network of spiking VLSI neurons. Journal unknown

    [5] J. W. Kalat (2001) Biological Psychology. Wadsworth Thomson learning

  • laatste college aanstaande woensdag

    voorbeeld-tentamen-vragen

    practicum: feedback en ruimte voor vragen

    Welkomrelatie van 1 en 2 met spike trainsuitzonderingen: electrical synapse, zeldzame neuron typeslet op: in biologische neuronen kan informatie overgedragen worden in de vorm van wisselende patronen, dan verandert de vuurfrequentie steeds (zie grafiek). Verder: een actie potentiaal is binair, all-or-nothingrefractory period = undershoot resting potentialleuke vraag: waarom hebben we evolutionistisch gezien zon gespannen resting potential?!?!Hubel en Wiesel, kattenSLAKKEN, met grote neuronen (100x) en weinig!inktvis (Hodgkin en Huxley)ook vertellen over stroom toedienent tjf is gewoon om te zorgen dat de laatste firing time bij 0 ligt!all PSPs have the same shape!!!GEBRUIK HET BORDde spike is een delta puls, ziet er dus NIET zo uit als in het bovenste plaatje!!!refractory period kun je implementeren door theta een scherp afnemend exponentieel verloop te geven, met oneindig hoge waarde bij t = last firing time...Hebbian is makkelijker aan te passen voor spikes ((bijna) synchrone spikes versterken gewicht) dan backpropbijvoorbeeld uitgeput neuron, lagere PSPs