Cap. 3. Retele Neurale

Click here to load reader

download Cap. 3. Retele Neurale

of 35

  • date post

    15-Sep-2015
  • Category

    Documents

  • view

    18
  • download

    1

Embed Size (px)

description

Cap. 3. Retele Neurale

Transcript of Cap. 3. Retele Neurale

  • Partea a II-aTehnologii avansate n SEE:Inteligen artificial

  • Cap 3. Reele neuronale artificiale Reelele Neuronale Artificiale (RNA) sunt sisteme dinamice de prelucrare a informaiei, formate dintr-un numr mare de elemente neuronale de prelucrare, interconectate. RNA se caracterizeaz prin procesare paralel, nvare din exemple, comportare bun n regim de date parial perturbate, iar problema analizat nu trebuie formalizat prin reguli clare. Dou direcii distincte ce constituie modelele dominante (paradigmele) ale inteligenei artificiale: Paradigma logico-simbolic care presupune mecanisme de reprezentare simbolic a cunotinelor i utilizarea diferitelor modele logice pentru a deduce noi cunotine din faptele memorate n baza de cunotine a sistemului; Paradigma conexionist prin care s-a introdus un nou concept de calcul calculul neuronal i a generat realizri cunoscute sub numele de RNA.O alt abordare pornete de la urmtoarele premise:Nu sunt cunoscute modelul matematic i algoritmul pentru gsirea soluiei problemei, iar identificarea formalismului logico-matematic de rezolvare este foarte dificil sau imposibil;Sistemul informatic trebuie s fie capabil s nvee din exemple (experien), s se autoinstruiasc i s gseasc singur soluii; Sistemul trebuie s se poat adapta unei palete largi de probleme.

  • Cele mai atractive caracteristici ale RN sunt:

    posibilitatea prelucrrii total paralele, asigurnd construirea unor arhitecturi deosebit de performante, rspunsurile fiind oferite n timp real;

    nvare din exemple (supervizat sau nesupervizat) a fenomenului pentru care se antreneaz;

    procesul care este prezentat n perioada de antrenare nu trebuie descris prin reguli clare. Aceast caracteristic face uoar modelarea unor procese complexe, a cror legi de funcionare sunt fie prea complicate, fie sunt neclare din punct de vedere analitic;

    comportare bun n situaia unui set de date de intrare incomplet, performan datorat capacitii de a asocia datele de intrare disponibile cu setul (sau seturile) complet (complete) de date de antrenare cu care rezoneaz cel mai bine;

    comportarea bun n regim de date de intrare parial greite, datorit aceluiai mecanism de lucru prezentat anterior;

    funcionarea relativ corect i n situaia n care anumii neuroni se defecteaz, datorit memorrii distribuite a informaiei n reea. Astfel, orice neuron particip la formarea potenialilor neuroni de ieire pentru toate seturile de vectori de intrare (antrenare). 3.1 Reele neuronale artificiale

  • 3.2 Analogia ntre structura sistemului nervos i reelele neuronale artificialeCelula nervoas are cu unele excepii urmtoarea structur (fig. 3.1):

    mai multe dendrite ramificate prin care recepioneaz informaii diferite de la ali neuroni;corpul celulei care realizeaz o prelucrare a stimulilor informaiilor primite i elaboreaz rspunsul;un axon o fibr unic care transmite rspunsul elaborat ctre alte celule;sinapse ramificaii ale axonului care realizeaz legturi cu ali neuroni (axonul unei celule umane realizeaz n medie 103 legturi sinaptice cu ali neuroni). Fig. 3.1. Structura celulei nervoase.

  • 3.3 Modele formale ale neuronului artificialNeuronul formalEste un element de procesare a informaiei care modeleaz, de o manier simplificat, neuronul real. Cea mai simpl versiune de neuron formal este un automat linear cu dou stri (fig. 3.2): activ (+1) i inactiv ( 1). Unele modele de RNA, folosesc convenia activ (+1) i inactiv (0).Neuronul formal are o structur asemntoare neuronului uman, fiind o unitate elementar de procesare care realizeaz o operaie simpl pe o mrime de intrare pentru a produce o mrime de ieire. Acesta este alctuit dintr-un corp, un set de intrri i o ieire. Fig. 3.2. Structura neuronului formal.

  • 3.3 Modele formale ale neuronului artificial

  • 3.3 Modele formale ale neuronului artificialFunciile de activare

  • 3.3 Modele formale ale neuronului artificial

  • 3.3 Modele formale ale neuronului artificial

  • Modelul McCulloch-Pits (MCP), reprezint primul model formal al neuronului i de altfel i cel mai simplu i a fost propus de W. McCulloch i S. Pitts n anul 1943.

    Funcia de baz a acestui neuron este aceea c, folosind o anumit schem, adun ponderat intrrile i produce o ieire, numai dac suma respectiv depete o valoare de prag Modelul formal de neuron MCP utilizeaz ca funcie de transfer funcia treaptFig. 3.4. Modelul formal al unui neuron McCulloch-Pits. 3.3 Modele formale ale neuronului artificial

  • 3.3 Modele formale ale neuronului artificial(3.5)

  • 3.3 Modele formale ale neuronului artificialNeuronul clasificator sau perceptronul Pornind de la modelul MCP, psihologul Rosenblatt (1957) a introdus noiunea de perceptron sau neuron clasificator (fig. 3.5). Fig. 3.5. Modelul perceptronului. Ecuaiile de funcionare ale perceptronului sunt urmtoarele:(3.6)

  • 3.3 Modele formale ale neuronului artificialFig. 3.6. Comportarea perceptronului n cazul unei clasificri binare.Modelul astfel definit al perceptronului poate fi utilizat n clasificarea unei mulimi de vectori de intrare n dou clase, fie A, corespunztoare ieirilor , fie B corespunztoare ieirilor . Elementele clasei A sunt separate de elementele clasei B atunci cnd, care determin frontiera celor dou semispaii n spaiul cu n dimensiuni (fig. 4.6).

  • Etapa de nvare are ca scop calculul ponderilor i al valorii pragului de activare pe baza unei mulimi de M exemple, pentru fiecare exemplu specificndu-se valorile de intrare mpreun cu ieirea y corespunztoare clasei A sau clasei B. Informal, corecia ponderilor se face astfel: dac pentru un exemplu perceptronul se activeaz cnd ar trebui s fie inactiv, se reduc ponderile wi cu o cantitate proporional cu xi, iar dac perceptronul nu se activeaz dei ar trebui s o fac, se crete wi cu o cantitate proporional cu xi 3.3 Modele formale ale neuronului artificialSemnificativ este faptul c structura neural a perceptronului este prima nzestrat cu un algoritm de nvare supervizat. Acest algoritm modific valorile ponderilor ori de cte ori la intrarea reelei este prezentat o configuraie (pattern) incorect clasificat. Dup un numr finit de iteraii, ponderile capt valori stabile, care corespund nvrii frontierelor de separaie ntre configuraii aparinnd claselor diferite. n funcionarea perceptronului se disting dou etape: de nvare pe baza exemplelor i apoi, de clasificare a exemplelor necunoscute.

  • 3.3 Modele formale ale neuronului artificial

  • 3.3 Modele formale ale neuronului artificial

  • 3.4 Structuri ale reelelor neuronale artificiale Structura general n general, neuronul formal calculeaz numai suma ponderat a intrrilor, asupra creia se aplic o funcie de activare ce are n general o form neliniar. Pentru ndeplinirea unor funcii care s fac posibil abordarea unor probleme complexe, de interes practic, este necesar ca neuronii s fie asociai ntr-un sistem numit reea neuronal.Fig. 3.9. Arhitectura tipic a unei RNA.

  • Reelele neuronale sunt organizate pe straturi; reeaua din figura 3.9 conine trei straturi de neuroni, dintre care primul este stratul de intrare, iar ultimul este stratul de ieire, stratul intermediar purtnd denumirea de strat ascuns. Singurele straturi care realizeaz procesarea propriu-zis a informaiei sunt stratul ascuns i cel de ieire. Neuronii din primul strat au numai rolul de a prelua mrimile de intrare n reea; de aceea aceti neuroni fie nu au funcii de activare, fie folosesc funcii de activare identitate ( ). Legturile dintre straturile RNA se realizeaz prin conexiuni sinaptice ponderate. Pentru RNA din figura 3.9, fiecare neuron dintr-un strat este legat cu toi neuronii din stratul urmtor i nu exist legturi ntre straturile neconsecutive (de exemplu intrare-ieire). O astfel de structur este cunoscut sub denumirea de RNA complet conectat. 3.4 Structuri ale reelelor neuronale artificiale Structura RNA este descris complet de matricea ponderilor conexiunilor dintre dou straturi consecutive [W], ale crei elemente indic influena pe care ieirea neuronului i din stratul inferior o are asupra activrii neuronului j din stratul superior.

  • 3.4 Structuri ale reelelor neuronale artificiale RNA i dovedesc capacitatea de tratare global, asociind neuronii prin intermediul unor ponderi ( ). Ansamblul ponderilor W constituie parametrii ce caracterizeaz, ntr-o manier absolut, procesul modelat de reea. Astfel, antrenarea reelei necesit o strategie de ajustare a ponderilor respective un algoritm de antrenare. n cadrul antrenrii se prezint reelei neuronale un numr de exemple (intrri/ieiri), ale cror atribute sunt cunoscute i reprezentative pentru modelul de proces avut n vedere. Ansamblul respectiv de exemple se numete, ca i n cazul arborilor de decizie, mulime de antrenare. Proprieti ale RNA:fiecare neuron acioneaz independent de ceilali neuroni din acelai strat; ieirea unui neuron depinde numai de semnalele ce se aplic pe conexiunile sinaptice de intrare;activarea fiecrui neuron depinde numai de informaii cu caracter local; informaia ce este prelucrat de neuron provine numai de pe conexiunile adiacente, nefiind necesar cunoaterea strilor altor neuroni cu care neuronul considerat nu are legturi directe;numrul mare de conexiuni existente asigur un grad ridicat de rezervare i uureaz reprezentarea distribuit a informaiei. Primele dou proprieti permit funcionarea eficient a RNA n paralel, iar ultima proprietate le confer o sensibilitate redus fa de posibilele perturbaii i caliti de generalizare greu de obinut cu sistemele clasice de calcul.

  • 3.4 Structuri ale reelelor neuronale artificiale Perceptronul multistrat MLP Perceptronul, unitatea funcional a unei reele neuronale, este capabil s realizeze o clasif