Reţele neurale Reţele neurale

Click here to load reader

  • date post

    31-Dec-2016
  • Category

    Documents

  • view

    215
  • download

    0

Embed Size (px)

Transcript of Reţele neurale Reţele neurale

  • Sisteme de programepentru timp realUniversitatea Politehnica din Bucuresti2004-2005Adina Magda Floreahttp://turing.cs.pub.ro/sptr_05

  • Curs Nr. 4Reele neuraleReele neurale - introducereReele neurale artificialeReele neurale Hopfield

    *

  • 1. Reele neurale - Introducere(Artificial Neural Networks)RN (ANN) - multime de elemente de prelucrare neliniara care opereaza in paralel si care sunt legate intre ele in structuri ce seamana cu retelele neuronale biologice.Model inspirat din retelele neuronale din creierul uman.In literatura de specialitate ele se mai numesc: retele neurale, modele conexioniste (nume dat mai ales structurilor aparute recent), sisteme neuromorfice, modele de calcul distribuit.

    *

  • 1.1 CaracteristiciSunt formate dintr-un numar mare de elemente de prelucrare simple, identice; din punct de vedere functional aceste elemente sunt asemanatoare neuronilor din creierul umanElementele de prelucrare sunt conectate prin legaturi; fiecare legatura are asociata o pondere ce codifica cunostintele retelei neuronaleControlul functionarii este paralel si distribuit Sunt capabile sa invete prin modificarea automata a ponderilor; pot realiza deci achizitia automata a cunostintelor.*

  • 1.2 De ce ANN?Capacitate de invatare si adaptare din exempleAuto-organizare: o RN poate sa-si creeze propria organizare sau reprezentare a informatiei primita pe parcursul invatariiOperare in timp real: odata invatata functioneaza repede + prelucrari in paralelGrad mare de robustete si toleranta la defecte: defectarea unui anumit numar de noduri sau legaturi nu afecteaza, in general, comportarea si performanta retelei.*

  • 1.3 Scurt istoric1943 - McCulloch, Pitts - model simplu (binary devices with fixed thresholds)1960 - Rosenblatt

    - perceptron - (feed-forward ANN)- enunta si demonstreaza teorema de convergenta a perceptronului1960 - Widrow, Hoff - ADALINE (ADAptive LInear Element)- dispozitiv electronic analogic- folosea ca regula de invatare Least-Mean-Squares (LMS)1969 - Minsky, Papert - au demonstrat limitarile perceptronului1970 - Retele neurale ca memorii adresabile prin continut

    *

  • Scurt istoric (cont.)1970 - RN s-au cam abandonat1980 - Cercetari reluate1982 - Hopfield - functia de energie - a pus in evidenta notiunea de memorie ca o multime de atractori dinamici stabili1986 - Rumelhart - perceptroni multinivel, retele backpropagation (recurrent networks) 1988 - Grossberg si Carpenter in 1988 - algoritmi de rezonanta - retele ART (Adaptive Resonance Theory)1988 - Anderson si Kohonen (independent) - tehnici asociative

    *

  • 1.4 Modelul neuronului uman

    *

  • Picture from PENN School of Medicine http://mail.med.upenn.edu/~hessd/Lesson2.html Purkinje neuron in the cerebellum. The branch-like structures above the spherical cell body are dendrites. Colors represent membrane potentials (top) and calcium ion concentrations (bottom) during signal conduction through the dendrites.*

  • Modelul neuronului uman (cont.)Creierul are 1010 neuroni. 1 neuron primeste intrari de la 105 sinapse 1016 sinapse *Componentele unui neuronSinapse

  • 1.5 Modelul neuronului artificialMcCulloch, Pitts (1943) au propus un model simplu al neuronului, cu intrari binare

    *

  • Modelul neuronului artificial (cont.)y = f (i=1,nwixi - )y = f (i=0,nwixi)wi reprezinta intensitatea legaturii (conexiunii) de la neuronul cu iesirea xiDaca fi > 0 excitareDaca fi < 0 inhibareDaca fi = 0 nu exista sinapsa intre neuroni - valoarea de prag peste care neuronul se activeaza

    X0= -1f(x) = 1 - daca x 0 0 - in caz contrar*

  • 2. Reele neurale artificialeModelul unei ANN este caracterizat de:Topologia reteleiCaracteristicile elementelor de prelucrare (noduri / neuroni)Regulile de actualizare / modificare (invatare) a ponderilorSensul de propagare a semnalelor de activare prin retea

    *

  • 2.1 Caracteristici ANNTipul de invatare: supervizat, nesupervizat, fara invatareSensul de propagare a semnalelorFeed-forward networks - un singur sensFeedback networks - in ambele sensuri (dinamice, numite si recurente)

    Regulile de actualizare a ponderilor (invatare)Mapare asociativa: reteaua invata sa produca anumite valori ale intrarilor pentru sabloane particulare aplicate la intrare (regasire sabloane distorsionate, memorie adresabila prin continut)Detectarea regularitatilor: reteaua invata sa raspunda anumitor propietati particulare ale sabloanelor de intrare; fiecare iesire are o anumita semnificatie

    *

  • Caracteristici ANN (cont.)Numarul de straturi sau niveluriTipul intrarilor si al iesirilor: intreg, realTipul functiei de transfer (activare)limitator logica nivel sigmoid

    *t = i=1,nwixi -

    f(t) = 1 / (1 + e-t)f(t) = (et - e-t) / (et + e-t)fffttt111

  • Caracteristici ANN (cont.)Functia activare - sigmoid

    T temperatur absolut (grade Kelvin).KB = 1,38 * 10-16 erg/K, constanta lui Boltzmann.

    *

  • 2.2 Exemple

    *

  • Exemple (cont.)

    *

  • Exemple (cont.) - Recunoasterea sabloanelor

    *Retea antrenata sa recunoasca literele T si H

  • Exemple (cont.) - Recunoasterea sabloanelor

    *AntrenareFunctionare

  • Exemple (cont.)

    *O retea poate arata si asa!

  • 2.3 RN de clasificare cu sabloane fixe - taxonomie

    *

  • 3. Reele neurale Hopfield1986 Hopfield a propus un model de RN ca o teorie a memorieiCaracteristici:

    Reprezentare distribuita. O data este stocata ca un sablon de activare a unui set de elemente de prelucrare. In plus, diverse date pot fi stocate sub forma de sabloane diferite, utilizind aceeasi multime de elemente de prelucrare. Control asincron, distribuit. Fiecare element de prelucrare (nod/neuron) ia decizii numai pe baza informatiilor locale. Aceste informatii locale converg spre sinteza solutiei globale.*

  • Reele neurale HopfieldCaracteristici:

    Memorie adresabila prin continut. In retea pot fi stocate un anumit numar de sabloane. Pentru regasirea unui sablon, este suficient sa se specifice numai o parte a acestuia, iar reteaua gaseste automat intreg sablonul. Toleranta la defecte. Daca o parte din elementele de prelucrare lucreaza incorect sau se defecteaza, reteaua continua sa functioneze corect.*

  • 3.1 Caracteristici reele HopfieldProblema: Sa se memoreze un set de M sabloane xis (x1xN), s=1,M, astfel incat daca se da un sablon li reteaua sa raspunda producand sablonul care este cel mai apropiat de li , deci cel mai apropiat xisPosibilitate: calcul serial(conventional) - memorarea sabloanelor xis si scrierea unui program care sa calculeze distanta Hamming

    si alegem xis pentru care aceasta distanta este minima*s = 1,M

  • Caracteristici reele Hopfield (cont.)Cum se poate face acelasi lucru cu o RN?Prezentand la intrare sablonul li ce structura si ce ponderi va face iesirile egale cu xis minim?Memorie adresabila prin continut si nu foarte sensibila la eroriDinamica unei memorii asociative

    atractoribazine de atractie*

  • 3.2 Structura reelei Hopfieldwij = wji, intrari binare (+1 si 1 sau +1 si 0), functia de transfer limitator*Intrari la momentul tIntrari la mom. t+1

  • Structura reelei Hopfield (cont.)Relaxare paralelaExista doua moduri de actualizare a iesirilor:sincron si asincronAbordarea sincrona necesita un ceas central si este potential sezitiva la erori de timing.In modul asincron se poate proceda in doua feluri:-la fiecare interval de timp se selecteaza aleator un neuron si se actualizeza-fiecare neuron isi actualizeaza independent iesirea cu o anumita probabilitate la fiecare unitate de timp.Cele doua posibilitati sunt echivalente (cu exceptia distributiei intervalelor de actualizare). Prima este potrivita pentru simularea cu un control centralizat iar cea de a doua este potrivita pentru unitati hardware independente. *

  • Algoritmul de relaxare paralela a retelei HopfieldCalculul ponderilor initiale

    2. Initializeaza reteaua cu sablonul necunoscut

    3. repeta pana la convergenta (xj(tk+1) =xj(tk))

    4. xj xj este sablonul cautatsfarsit*0

  • 3.3 AvantajeUtilizare:memorat asociativ ieirea reprezint coninutul cutatclasificator ieirea comparat cu unul dintre cele M exempleProcedura de relaxare paralel: cutare n spaiul strilor. O configurare de intrare va folosi reeaua ca s ajung ntr-un minim local, starea cea mai apropiat.*

  • 3.4 LimitariDou limitri majore:(1) numrul de abloane ce pot fi stocate i regsite este limitat:memoria adresat poate conine elemente incorect regsiteclasificate neidentificriHopfield a artat c acest comportament apare destul de rar dac numrul de clase M 0.138*N (2) - un ablon poate fi instabil dac are multe valori identice cu un alt ablon n exemple.ablon instabil reeaua converge spre o stare diferit de cea asociat ablonului*

  • 3.5 Motivarea alegerii ponderilorCaz simplu: un singur ablon xi (M=1) pe care vrem s-l memorm.Condiia ca reteaua s fie stabil:

    Acest lucru este adevrat dac wij proporional cu xixj deoarece xi2 =1.

    Se observ c dac un numr de intrri din ablonul de intrare ( 1/2) sunt greite, ele vor fi depite n suma intrrilor i f(...) va genera corect xj (exista 2 atractori).O configuratie initiala apropiata (in termeni de distanta Hamming) de xj se va relaxa repede la xj.*

  • Motivarea alegerii ponderilor (cont.)Caz cu mai multe sabloane (M)

    Regula lui Hebb

    Stabilitatea unui sablon particular xpjConditia de stabilitate esteunde hpj al neuronului j pentru sablonul p este:*

  • 3.6 Functia de energieO funcie a configuraiei ni a sistemului. Putem s ne imaginm aceast funcie ca descriind nite suprafee. Proprietatea fundamental a funciei de e