Fundamente Calcul Evolutiv

29
2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV APLICAII 1 CAPITOLUL 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV. APLICAII 2.1. Calculul Evolutiv 2.1.1. Defini ie și paradigme Calculul Evolutiv reprezintă o optimizare a mașinii de învățare și a paradigmelor de clasificare, bazată aproximativ pe mecanisme de evolu ție, cum sunt selecția naturală și biologia genetică. Include Algoritmii Genetici, Programarea Evolutivă, Strategii de Evoluție și de Programare Genetică [2]. Paradigmele Calculului Evolutiv variază în func ție de metodele de implementare și de optimizare, însă, indiferent de complexitatea problemei, căutarea se realizează într-o popula ție de puncte cu un număr suficient de elemente, este utilizată în mod direct funcția fitness precum și reguli de tranziție probabilistice, îndefavoarea celor deterministe [2]. 2.1.2. Conceptul de populaie Fiecare membru al populației reprezintă un punct în hipe rspa țiul domeniului problemei, așadar, este o soluție potențială a problemei. Cu fiecare epocă de antrenare este generată o populație nouă, dar dimensiune a acesteia ramâne, de obicei, constantă. Operatori precum crossover-ul si mutația sporesc în mod semnificativ performan țele de căutare ale Calcului Evolutiv.

description

curs Fundamente Calcul Evolutiv

Transcript of Fundamente Calcul Evolutiv

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    1

    CAPITOLUL 2FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV.

    APLICAII

    2.1. Calculul Evolutiv

    2.1.1. Definiiei paradigme

    Calculul Evolutiv reprezint o optimizare a mainii de nvare i aparadigmelor de clasificare, bazat aproximativ pe mecanisme de evoluie, cumsunt selecia natural i biologia genetic. Include Algoritmii Genetici,Programarea Evolutiv, Strategii de Evoluie i de Programare Genetic [2].

    Paradigmele Calculului Evolutiv variaz n funcie de metodele deimplementare i de optimizare, ns, indiferent de complexitatea problemei,cutarea se realizeaz ntr-o populaie de puncte cu un numr suficient deelemente, este utilizat n mod direct funcia fitness precum i reguli detranziie probabilistice, ndefavoarea celor deterministe [2].

    2.1.2. Conceptul de populaie

    Fiecare membru al populaiei reprezint un punct n hiperspaiuldomeniului problemei, aadar, este o soluie potenial a problemei. Cu fiecareepoc de antrenare este generat o populaie nou, dar dimensiunea acesteiaramne, de obicei, constant. Operatori precum crossover-ul si mutaia sporescn mod semnificativ performanele de cutare ale Calcului Evolutiv.

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    2

    2.1.3. Funcia fitness

    O funcie fitness este un tip special de funcie de optimizare, care estefolosit pentru a ilustra, sub forma unei singure valori, ct de bun este o soluiea unui sistem pentru atingerea obiectivelor stabilite. Chiar dac AlgoritmulGenetic este realizat integral de ctre computer, proiectantul uman este cel careconcepe funcia fitness. Dac aceasta este conceput n mod eronat, algoritmulva converge cu o soluie necorespunztoare, ori va avea dificulti la procesulde convergen [2].

    2.1.4. Regulile tranziiei probabilistice

    Calculul Evolutiv opereaz cu reguli de tranziie probabilistice, aa cum s-a menionat la 2.1.1. Alegerea trsturilor optime de ctre algoritm nu este unproces aleator. Cutarea este ndreptat spre regiuni care au valori mai mari alefitness-ului, diferite paradigme ale Calculului Evolutiv folosesc procedeestochastice pentru acest pas [2].

    2.1.5. Procedura generic a Calculului Evolutiv

    Paii efectuai n algoritmul obinerii unui set superior de trsturi sunt:iniializarea populaiei, calcularea funciei fitness pentru fiecare individ,reproducerea exemplarelor selectate pentru a forma o populaie nou, aplicareaoperatorilor evolutivi (mutaie, crossover etc), dup care se trece din nou la aldoilea pas, care este repetat pn la atingerea rezultatele dorite [2].

    2.1.7. Instrumente de aplicare ale Calculului Evolutiv

    Termenii definitorii pentru CE sunt clasificarea i optimizarea. Referitor laoptimizare, Eberhart menioneazc Optimization and classification presume:mostly optimization, non-differentiable, many local optima, may not know

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    3

    optimum, Sistemul poate fi dinamic, variabil n timp sau chiar haotic.Instrumentele EC sunt rapide, uor de implementat i pot rezolva o gam largde probleme, cu ajustri minime ale parametrilor, optimization versusmeliorization (perhaps try other approaches first) [2]. Sistemul poate fi dinamic,variabil n timp sau chiar haotic. Instrumentele EC sunt rapide, uor deimplementat i pot rezolva o gam larg de probleme, cu ajustri minime aleparametrilor.

    2.2. Algoritmi Genetici

    2.2.1. Principii de baz

    Algoritmii genetici (AG) sunt metode adaptive pentru rezolvareaproblemelor de cutare i optimizare. Se bazeaz pe o serie de proprieti aleproceselor genetice ale organismelor biologice. n evoluia generaiilor,populaiile naturale evolueaz bazndu-se pe principiul seleciei naturale i alsupravieuirii celui mai bun. Similar, AG genereaz (evolueaz) soluii aleproblemei care trebuie rezolvat.

    Principiile de baz ale AG au fost introduse de Holland [3]. AG simuleazprocesele evoluiei populaiei naturale.

    Algoritmii genetici utilizeaz o populaie de indivizi, potentiale solutii aleproblemei date, fiecarui individ asociindu-se o anumit valoare a performaneisale, funcie de ct de bine rezolv problema dat. Cei mai buni indivizi au maimulte anse s supravieuiasc generaiilor urmtoare, s produc urmaicare vor moteni caracteristici utile de la parinii lor. Se obine astfel o noupopulaie de soluii.

    Algoritmii genetici sunt cunoscuti ca o metoda slab n comunitatea demetode de inteligen artificial deoarece au la baz relativ putine ipotezedespre problema n cauz.

    Avantajul major al algoritmilor genetici este faptul c sunt robuti, putndrezolva o gam larg de probleme dificil de rezolvat prin alte metode. Nu segaranteaza obtinerea unui optim global, dar, in general, ofera soluii

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    4

    acceptabile (aproximari acceptabile).Daca insa exista o metoda specializata pentru problema in cauza, atunci

    AG nu sunt intotdeauna o alegere buna. Pe de alta parte, tendinta actuala decercetare este de a utiliza AG hibrizi, combinand metode existente cu AG clasic.

    Metodele globale de cutare utilizate de AG nu folosesc informaii degradient i din acest punct de vedere rezult ca funciile nedifereniabile ifunciile cu multiple optime locale reprezint clase de probleme potrivite pentruAG.

    Algoritmul AG clasic poate fi schematizat dup cum urmeaz:

    begint=0;

    genereaz aleator populaia initial P(t); evalueaz populaia P(t)

    while criteriul de terminare nu e satisfcut dobegin selecteaz prini din P(t) in P(t+1) recombin indivizi din P(t+1) efectueaz mutaii in P(t+1) t=t+1end

    end

    Cele mai importante caracteristici ale AG pot fi sintetizate dup cumurmeaza: reprezentarea sau codificarea (binar sau nu) a soluiei ntr-uncromozom, funcia fitness (de evaluare a performanei unui individ); selectareainidivizilor prini pentru operaiile genetice (diverse metode de selecie),operatorii genetici.

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    5

    Figura 2.1. Schematizarea pailor unui AG [4]

    Figura 2.2. Descrierea etapelor AG [4]

    2.2.2. Reprezentarea AG

    Se presupune c soluia unei probleme se reprezint printr-un set de

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    6

    parametri (gene) formnd cromozomul (un ir de lungime fix peste un alfabetfinit). Setul de parametri reprezentat de un cromozom formeaz genotipul.Genotipul conine informaiile cerute pentru formarea orAGnismelor, cereprezint fenotipul.

    Exist doua tipuri importante de reprezentare: reprezentare binar n careparametri de optimizat sunt codificaibinar (cu o precizie determinat) fiecare bitreprezentnd o gena din cromzom, iar reprezentrile binare ale fiecruiparametru (totalitatea genelor) sunt unite prin concatenare formnd cromozomul.Un exemplu este funcia deJong, care conine maxime locale multiple:

    )(*005.00.1

    )(cos),(

    22

    222

    6 yx

    yxyxF

    (1)

    Figura 2.3. Funcia deJong F6(x,y) pentru y = 0 [4]

    n cazul funciei deJong, pentru a obine o reprezentare binar avariabilelor (x,y), se decide precizia (numarul de bii) cu care se doretereprezentarea i apoi prin concatenarea celor dou reprezentri se genereazcromozomul: Crom_binar = a1a2aNb1b2bN, a,b {0,1}, n care irul de bii

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    7

    a1a2aN constituie parametrul x iar irul de bii b1b2bN reprezint parametruly, N fiind precizia de reprezentare.

    Reprezentarea de tip binar este cea pentru care exist un suport teoretic(Teorema Schematelor) oferit de Goldberg [5] fiind numit principiul buildingblocks i urmarete ca schematele scurte (buci din cromozom), de ordinmic, s fie relevante pentru problema de baz i relativ corelate cu schematelepeste alte poziii fixate; acest lucru este greu de realizat n practic. Exist nsoperatori care acioneaz prin rearanjarea genelor n cromozom.

    n cadrul reprezentrii float, parametrii de optimizat sunt tratai cuprecizia oferit de suportul compilatorului (ex. float, double n C) fiecareparametru reprezentnd o gen distinct n cromozom: Crom_float = xy, n care xi y reprezint valori propriu-zise pentru care sunt stabilite intervale de variatie.

    Reprezentarea dedicat intervine in cazul problemelor ne-convenionale,un exemplu tipic fiind problema comis-voiajorului: Travel Salesman Problem(TSP). Pentru aceasta problema reprezentarea este sub forma de permurtari, deexemplu P1[0] = 1 3 6 4 2 5, in care cifrele reprezinta orasele si permutareacaracterizeaza ordinea de vizitare.

    2.2.3. Funcia fitness caracteristic AG

    Funcia fitness returneaz o valoare numeric proporional cuperformana sau abilitatea individului de a rezolva problema. Aceasta trebuie sfie rapida avnd n vedere c apelul acestei funcii este dat de produsul dintrenumrul de indivizi n populaie i numrul de generaii.

    n cazul optimizrii funciilor, funcia fitness este chiar funcia de

    optimizat, dar n alte probleme se urmresc diverse msuri relativ la funcia de

    optimizat. n cazul exemplulului funciei lui deJong se definete funcia de

    fitness ca fiind exact funcia de calculat, fitness = f(x,y), n care se urmrete

    determinarea setului de parametri (x,y) pentru care valoarea f(x,y) este maxim:

    )(*005.00.1

    )(cos),(

    22

    222

    yx

    yxyxf

    (2)

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    8

    Multe probleme practice impun una sau mai multe restricii care trebuiesatisfcute, ele fiind reprezentate prin relaii de eAGlitate sau ineAGlitate. Ometod de a ncorpora aceste restricii n funcia fitness este metodapenalizrii: problema cu restricii este transformat ntr-o problemneconstrns prin asocierea unui cost sau penalizare n funcia fitness.

    2.2.4. Selecia

    Mecanismele de selectie in cei mai muli AG sunt fie proporionale cufitness (Roata Ruletei), fie de tip turnir (Rank Based).

    2.2.4.1. Mecanismul Roata Ruletei

    Daca f1, f2, fn sunt performanele celor n indivizi din populaie, RoataRuletei ataeaz fiecrui individ probabilitatea de selecie:

    Pf

    fi

    i

    jj

    n

    1 (3)

    Dup cum se poate observa i din formul, probabilitatea de selecie estedirect proporional cu valoarea fitness-ului, ceea ce nseamn c indivizii cufitness superior vor fi selectai mai des dect indivizii cu fitness redus.

    Metoda este foarte simpl, dar are dificulti n a trata problema super-individualilor, conducnd spre o convergenprematur.

    2.2.4.2. Mecanismul rank-based

    n aceast metod, selectarea unui individ depinde de numrul de ordine n

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    9

    populatie, numr de ordine determinat, de exemplu, de ordonarea indivizilor npopulaie functie de valoarea fitness-ullui. Exist mai multe variante, cu diferitepresiuni de selecie.

    2.2.5. Operatorii genetici

    2.2.5.1. Reproducerea

    Reprezint copierea individului printe n generaia urmtoare, frmodificri. De exemplu, considerm individul i din populaie la generaia nca reprezentnd un parinte Pi[n] = 01100100. Prin reproducere se COPIE acestindivid n populaia de la generatia n+1, genernd un descendent: Dj[n+1] =01100100, n care am considerat exemplul unui cromozom care conine cte 4bii pentru dou variabile (x,y).

    2.2.5.2. Recombinarea

    Utilitatea acestui operator este dependent de problem. Modul decodificare are un efect crucial asupra eficienei recombinrii. Dac schema decodificare ncurajeaz propagarea i formarea building blocks sub un operatorde recombinare, atunci acesta este util.

    Considerm pentru exemplificare doi prini i si k. Pi[n] = 01100100 iPk[n] = 11011101.

    Din punct de vedere tehnic exista trei tipuri de recombinri:a) Recombinare ntr-un punct

    Pi[n] = 01100100Pk[n] = 11011101

    Se alege aleator un punct de recombinare, fie acesta, de exemplu, poziia3 n cromozom (n cazul unui cromozom alcatuit din 8 gene, exist 7 poziii derecombinare):

    Pi[n] = 011 | 00100Pk[n] = 110 | 11101

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    10

    Se obtin urmtorii descendeni:Di[n+1] = 110 | 00100Dk[n+1] = 011 | 11101

    b) Recombinare n dou puncteSe aleg aleator dou puncte de recombinare. Fie acestea, de exemplu,

    poziiile 2 si 4 n cromozom:Pi[n] = 01 | 10 | 0100Pk[n] = 11 | 01 | 1101Se obtin urmtorii descendeni:Di[n+1] = 01 | 01 | 0100Dk[n+1] = 11 | 10 | 1101

    c) Recombinare uniform

    Se genereaz aleator o masc de recombinare, fie aceasta M = 00110101.Pe baza acestei mti se aleg poziiile n cromozom care urmeaz s fierecombinate. n acest caz urmeaz sa fie supuse recombinrii poziiile 3,4,6 irespectiv 8 din cei doi parini alei:

    Pi[n] = 01100100Pk[n] = 11011101M = 00110101Se obin urmtorii descendeni, poziiile subliniate fiind cele care au fost

    supuse recombinrii pe baza matii de recombinare M:Di[n+1] = 01100101Dk[n+1] = 11011100Aceste tipuri de recombinri se pot aplica i pentru reprezentri de tip float,

    respectnd aceleai principii ca la reprezentrile binare.n schema binar de reprezentare, s-a artat empiric c recombinarea n

    dou puncte si cea uniform sunt eficiente pentru multe probleme, mai alespentru cele de optimizare numeric. Anumite probleme de optimizarecombinatorial (Traveling Sales Problem sau probleme de planificare) necesittipuri speciale de recombinare (bazate pe ordine), proiectate special pentruproblema n cauz.

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    11

    Proiectarea operatorilor de recombinare rmne mai departe o art i nuo stiin.

    2.2.5.3. Operatori de recombinare speciali

    Exemplificm un alt tip de recombinare i anume recombinarea aritmetic.Aceasta este caracterizat de o relaie de tipul urmtor:

    G[m](Di[n+1]) = a * G[m](Pk[n]) + (1-a) * G[m](Pl[n]) (4)

    unde:G[m](Di[n+1]) este gena de pe poziia m a cromozomului descendent i

    Di[n+1] la generatia n+1;G[m](Pk[n]), G[m](Pl[n]) sunt genele de pe pozitia m a cromozomilor

    parini k Pk[n] i respectiv l Pl[n] la generaia n;a este o constant, uzual avnd valori n intervalul [0,1].Un alt tip de operator de recombinare special este recombinarea

    restricionat. nainte de a prezenta eforturile depuse pentru realizarea acestuioperator, trebuie precizat o observaie privind modul de ncruciare n natur.n AG se permit recombinrile la ntmplare, dar n natur nu: speciile nu seincrucieaz ntre ele.

    Fie funcia urmtoare:

    Figura 2.4. [5]

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    12

    Optimul din stnga este 00000 iar cel din dreapta este 11111.Prin ncruciri repetate ale irurilor din populaie, descendenii tind s

    fie de forma 00111 11000, cu performane sczute. ncrucirile ntre speciiproduc asa numiii letali.

    Un letal este descendentul unor prini provenii din nie diferite. Deifiecare printe poate fi foarte performant, combinaia dintre ei poate fi puternicneperformant, caznd n valea dintre cele dou maxime. Natura previnencruciarea dintre speciile diferite printr-o varietate de tehnici. Acest lucru arputea fi realizat n recombinrile genetice prin presiuni asupra condiiilor desimilaritate pe care trebuie s le ndeplineasc prinii.

    Filozofia general a recombinrii restricionate presupune cadescendentul unor prini similari (din aceeasi ni) s fie similar cu acetia,ns acest lucru depinde puternic de codificarea problemei.

    2.2.5.4. Mutaia

    Reprezint alterarea aleatoare a unei gene a cromozomului cu o anumitprobabilitate. Opinia general este c recombinarea este mai important prinaceea c exploreaz rapid spaiul de cutare. Mutaia realizeaz o cutarealeatoare mai slab dar asigur ca nici un punct din spaiul de cutare s nuaib probabilitatea de a fi examinat 0.

    Mutaia este considerat un operator secundar pentru AG, ns poate fifoarte util n tehnicile de tunning, n condiiile n care mutaia intervinedependent de vrsta individului. n optimizrile numerice, reprezentarea floatcuplat cu mutaii adecvate se comport n marea majoritate a situaiile maibine dect reprezentarea binar.

    n general, mutaia are forma:

    G[m](Di[n+1]) = G[m](Pk[n]) + (5)

    unde G[m](Di[n+1] este gena de pe poziia m a cromozomuluidescendent i Di[n+1] la generaia n+1, G[m](Pk[n]) este gena de pe poziia

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    13

    m a cromozomului printe k Pk[n] la generaia n; este un numr generataleator.

    Din punct de vedere tehnic, enumerm dou tipuri de mutaie:a) Mutaie uniform: mutaie pentru care factorul de perturbare esteconstant indiferent de poziia genei creia i se aplic perturbarea saunumrul de generaii scurs de la nceperea algoritmului genetic (vrstaindividului).b) Mutaie neuniform: mutaie pentru care factorul de perturbare estevariabil funcie de poziia genei creia i se aplica perturbarea sau funciede numrul de generaii (vrsta individului).Pentru reprezentarea binar mutaiile pot fi exemplificate dup cum

    urmeaz:a) Mutaie uniform: fie un printe Pi[n] = 01100100. Se alege aleator ogen creia urmeaz s i se aplice mutaia, fie aceasta, de exemplu, gena7 n cromozom. Se obine urmtorul descendent Di[n+1] = 11000110.b) Mutaie neuniform: n acest caz considerm c algoritmul esteproiectat s ruleze pentru 100 de generaii i se impun restricii pentrumutaie de genul:

    - se aplic o mutaie pentru bitul cel mai semnificativ (poziiile 1 i 5)pentru nr.gen [0, 25)

    - se aplic o mutaie pentru bitul doi ca semnificaie (pozitiile 2 i 6)pentru nr.gen [25, 50)

    - se aplic o mutaie pentru bitul trei ca semnificaie (poziiile 3 i 7)pentru nr.gen [50, 75)

    - se aplic o mutaie pentru ultimul bit semnificativ (poziiile 4 i 8)pentru nr.gen [75, 100]n acest fel, la nceputul evoluiei se permit modificri majore indivizilor (n

    scopul explorrii ct mai diverse a spaiului de cutare) iar spre sfritulevoluiei se realizeaz o reglare de tip fine tunning deoarece este permisdoar o mutaie pentru biii cel mai puin semnificativi.

    Pentru reprezentarea float mutaiile pot fi exemplificate dup cumurmeaz:

    a) Mutaie uniform: Fie un printe Pi[n] = xy. Se alege aleator o gen

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    14

    creia urmeaz s i se aplice o mutaie, de exemplu, gena 2 (y) ncromozom. Se obine urmtorul descendent Di[n+1] = xy*, unde y* poatereprezenta o valoare y* = y + ( fiind o valoare fix) sau poatereprezenta una din limitele intervalului maxim de variaie pentruparametrul y: y* = {ymin, y max}, unde y [ymin, y max].b) Mutaie neuniform: n acest caz considerm c valoarea de perturbare nu mai este o valoare constant ci este o valoare care depinde de vrstaindividului, adic de numrul de generaii:

    y* = y + , = (nr.max.gen nr.gen) / nr.max.gen * (6)n acest caz valoarea de perturbare scade de la o valoare maxim pn la

    o valoare nul pe masur ce indivizii evolueaz cu numrul de generaii,determinnd un fine tunning pe masur ce indivizii se apropie de convergen(soluia optim).

    2.2.5.5. Elitismul

    Operatorul de elitism are rolul de a pstra indivizii cu performanesuperioare de la o generaie la urmtoarea. n mod uzual se lucreaz cu ovaloare unitar a operatorului de elitism (adic un singur super-individ BEST_Individ este pstrat de la o generaie la urmtoarea). Dup evaluareantregii populaii la o generaie dat, se compar cel mai performant individexistent pn la acea generaie i dac acesta este mai performant dect celmai bun individ la generaia curent este transmis generaiei urmtoare peprima poziie n clasamentul indivizilor din populaie, iar n cazul n caregeneraia curent genereaz cel puin un individ cu performane superioareBEST_Individului acesta este nlocuit cu noul BEST.

    Acest operator de elitism are o influen foarte mare asupra convergeneialgoritmului. Dac se lucreaz fr operator de elitism este necesar s se lucrezecu populaii suficient de mari astfel nct pierderea unui BEST de la o generaiela urmtoarea s poat fi recuperat n generaiile urmtoare. Dac se lucreazcu operator de elitism cu valori mari (2..5 indivizi), atunci algoritmul intr foarterepede ntr-o concentrare de indivizi ceea ce duce la o convergen prematur

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    15

    ntr-un sub-optim local.

    2.3. Reele Neuronale Artificiale (RNA)

    O Reea Neuronal Artificial este o paradigm ce are ca rol prelucrareainformaiilor, inspirat de modul n care creierul uman proceseaz informaia.Topologia cuprinde noduri n straturi ascunse, conexiuni n reea, ponderiiniializate, funcii de activare. Toate acestea joac un rol important pentruperformana RNA, ce depinde de problema ce trebuie soluionat. Prea muliparametri duc la o generalizare redus (over fitting), iar prea puini parametriduc la nvare greit (under fitting) [1].

    Figura 2.5. RNA cu dou straturi ascunse [4]

    Datele (pattern-urile) sunt introduse n reea, iar ieirea este comparatcu valoarea dorit pentru a calcula eroarea. Corecia se face prin re-adaptareaponderilor sinaptice. Au fost implementati mai muli algoritmi de antrenare, celmai frecvent este algoritmul back-propagation (de propagare invers)Levenberg-Marquardt (LM), extensie a algoritmului LMS (Least Mean Square).

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    16

    (Riedmiller 1993)Procesul de nvare poate fi supervizat sau nesupervizat, depinde de

    tipul problemei (clasificare sau regresie). Antrenarea este realizat n mai multemoduri. n cadrul antrenrii stochastice, intrrile sunt selectate aleatoriu din set.Antrenarea batch presupune efectuarea complet a antrenrii, dup careurmeaz ajustarea ponderilor. n cel de-al treilea mod, antrenarea incremental,ponderile sunt ajustate dup prezentarea fiecrui pattern.

    Criteriul de oprire poate fi o limit prestabilit (dat de algoritmul celor maimici ptrate, Minimum Square Error), sau poate fi chiar numrul de epoci deantrenare.

    2.4. Aplicaii imetode de implementare aleCalculului Evolutiv

    2.4.1. Monitorizarea sistemelor mecanice rotative [4]

    Pentru a ilustra eficacitatea Algoritmilor Genetici n cazul alegeriitrsturilor optime, s-a abordat o problem simpl despre monitorizareafuncionalitii unui rulment cu role, folosind RNA. Pentru configuraia de tests-au folosit mai muli rulmeni cu defecte ale cursei. Geometriile canelurilorfolosite n aceste teste sunt descrise n [7]. n total, patru senzori, treiaccelerometre i un senzor de emisii acustice, au fost folosii pentru a aveasemnal de la toi cei opt rulmeni defeci i de la cel complet funcional.Aceti senzori au fost conectai la un dispozitiv de condiionare a semnalului.Semnalele rezultate sunt filtrate cu ajutorul unui FTJ (filtru trece jos) programabil,astfel nct fiecare ieire s aib masa izolat. Defectele au fost clasificate npatru categorii, n funcie de dimensiunea lor. Toate testele au fost efectuate la osarcin radial de 14730 N la o vitez de rotaie de 1400 rpm.

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    17

    Figura 2.6. (a) Defect de curs exterioar a rulmentului (b) Configuraiiexperimentale [4]

    Figurile urmtoare prezint instantanee ale semnalului de vibraie pentruun rulment sntos i doi rulmeni ce conin defecte. Fiecare impuls alsemnalului corespunde unei role individuale a rulmentului i, prin urmare, pentruun rulment cu 25 de role trebuie s apar un numr egal de astfel de vrfuri,pentru fiecare revoluie descris de rulment. Figura 2.7 ne arat, de asemenea,modul n care semnalul de vibraie devine mai mare pe msur ce defectul semrete.

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    18

    Figura 2.7. Capturi ale semnalelor de vibraie pentru diferite cauze aledefectelor la 1400 RPM si 14730 N sarcin radial. Fiecare impuls corespundeunei role diferite din rulment.

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    19

    2.4.2. Simulri relevante

    Anterior, a fost utilizat o abordare bazat pe o hart auto-organizant (SelfOrganizing Map) pentru a dezvolta un sistem de monitorizare a strii defuncionalitate a rulmenilor [8]. SOM are capacitatea de a mapa un semnalmulti-dimensional ntr-o hart a trsturilor cu un nivel dimensional sczut [9][10]. SOM lucreaz cu grupuri (clustere) de informaii pe intrare, ce provin dindatele brute achiziionate.

    Figura urmtoare reprezint cartografierea gradului de uzur a rulmentului,cu identificarea, prin nuane, a exemplarelor cu defecte i a celor intacte. Setulde caracteristici bune se afl ntr-o zon separat. n timpul alegeriicaracteristicilor corespunztoare, s-a constatat c perechile de trsturi limitatenu au putut forma baza unei SOM ce ar putea s fie folosit pentru monitorizareastrii de funcionalitate a dispozitivului. S-a irosit mult timp i mult energiepentru a putea selecta trsturile bune i n final perechea ideal a fost gsit. Afost resimit nevoia unei tehnici automate pentru a identifica setul, tehnic ce arputea fi ulizat n continuare pentru a instrui aceste hri auto-organizante. ncontinuare s-a mers pe aceast direcie de cercetare, considerndu-se c unAlgoritm Genetic poate fi considerat alegerea potrivit pentru scopul dorit.

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    20

    Figura 2.8. Imagine detaliat a rspunsului accelerometrului (axa z) [4]

    Caracteristicile de tip kurtosis i curve-length ale acestui accelerometrusurprind strile principalele ale evoluiei defectului, astfel se observ cumtraiectoria se modific n timp (nuana cea mai deschis e asociat cu numrulmaxim de defecte).

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    21

    2.4.3. Extragerea caracteristicilor [4]

    Aa cum s-a menionat mai devreme, cercetrile publicate au fostrealizate pe baza extraciei caracteristicilor rulmenilor defeci. O mare partedin informaiile cu privire la distribuia punctelor de date poate fi obinutfolosind transformri (de ordinul nti, doi, n) ale datelor brute prelevate de lasenzori. Caracteristici precum media, variana, deviaia standard i kurtosis (momentul de ordin 4 central normalizat) sunt cele mai frecvente caracteristicipentru a descrie componentele mecanice rotative. O abordare sugerat [11] afost adaptat pentru a crea o varietate de caracteristici: patru seturi decaracteristici au fost obinute bazndu-se pe pre-procesarea datelor, acestea aufost calculate pornind de la datele tuturor senzorilor, pentru toate cele patrunivele ale defectelor, aa cum este descris mai jos.

    2.4.3.1. Caracteristici statistice [4]

    Un numr de caracteristici au fost calculate pornind de la momentele ixm

    i covariana xC ale semnalelor de vibratie de la sensori. Momentul numrul i al

    unei variabile aleatoare X reprezint estimantul E(X i ).

    )1()1(xx mC (7)

    2)1()2()2( )( xxx mmC (8)

    3)1()1()2()3()3( )(23 xxxxx mmmmC (9))1()3(2)2()4()4( 4)(3 xxxxx mmmmC

    4)1(2)1()2( )(6)(12 xxx mmm (10)

    Cele trei accelerometre au fost utilizate pentru a msura componenteleindividuale ale vibraiilor pe 3 direcii: x, y, z. Pentru a calcula efectulcombinrii, un al patrulea semnal w a fost generat conform ecuaiei (11).Ecuaiile (7)-(10) au fost calculate pentru x, y, z, w si a (emisia semnaluluiacustic).

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    22

    )( 222 zyxvw (11)

    n total s-au folosit 128 segmente pentru fiecare din cele nouexperimente, pentru a forma o secven de 1152 puncte eantion. Fiecruipunct i corespund patru serii de timp asociate celor patru senzori. Un vector decaracteristici cu 38 de elemente este determinat pe baza ecuaiei (12), astfel s-aobinut o matrice de dimensiune 1152x38 pentru realizarea experimentelor cucaracteristici statistice.

    2.4.3.2. Diferene i sume de semnal [4]

    Pentru a realiza o pre-procesare suplimentar a semnalelor de date brute,semnalele sum i diferen au fost calculate pentru toate cele patru canalepentru a evidenia amplitudinile minime i maxime, dup cum este artatinecuaiile 13 i 14. Diferena ntre semnale ar trebui s se mreasc, de fiecaredat cnd variaz componenta de nalt frecven, i semnalele de sum vorprezenta efecte similare n cazul joasei frecvene.

    )1()()( nxnxnd (13)

    )1(})({)( )1( nimnxni x (14)

    Ecuaiile (7)-(12) au fost aplicate pentru d(n) i i(n) pentru a crea ncdou matrici de caracteristici 38x1152. Din moment ce aceste semnale sum idiferen conin numai derivate de ordin 1, calculul lor este destul de rapid

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    23

    pentru cerinele procesrii n timp real i din acest motiv sunt o opiunepotrivit pentru calcularea trsturilor.

    2.4.3.3. Caracteristici spectrale [4]

    Orice defect asociat cu bilele rulmentului este exprimat de o componentspectral de nalt frecven. Pentru fiecare din cele patru canale a fostefectuat cte o Transformat Fourier pe 64 de puncte. S-a constatat camplitudinile componentelor spectrale erau relativ reduse ncepnd cu valoarea32. n consecin, numai primele 32 de valori ale fiecrui canal au fostmemorate.

    Astfel rezult o alt matrice de caracteristici trsturile spectrale dedimensiune 128x1152.

    Reies cinci seturi de trsturi: trsturile statistice ale semnalului brut (38valori), caracteristicile statistice ale semnalului sum (38) i ale semnaluluidiferen (38), caracteristici spectrale (128) i toate acestea luate laolalt (242).Valorile brute au fost normalizate utiliznd ecuaia (9). S-a dovedit c timpul deantrenare al unei Reele Neurale Artificialese reduce semnificativ [11], ceea ceduce la o nvare rapid, uniform i la erori mici de antrenare [1].

    xxii sxx /)( (15)

    x este media, iar xs reprezint variana etapei x.

    2.4.4. Implementri ale Algoritmilor Genetici [4]

    Aproximativ toate tehnicile de clasificare bazate Reele NeuronaleArtificiale necesit timpi mari de antrenare ale reelelor complexe, frgaraniaobinerii unor performane superioare. Este la limita capacitiicomputaionale formarea i testarea fiecrei combinaii de trsturi. Mai multdect att, cutarea unei structuri optime a RNA crete complexitatea spaiuluide cutare (stocare) n mod considerabil. n aceste condiii, Algoritmii Geneticireprezint tehnica de optimizare neliniar cea mai potrivit. Detaliile

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    24

    implementrii sunt descrise n cele ce urmeaz.Experimentele au fost efectuate n mediul Matlab, avnd la dispoziie un

    procesor Pentium Celeron 2.2 Ghz i 512 MB RAM.

    2.4.4.1. Codarea cromozomilor [4]

    Pentru a rezolva aceasta problem, a fost adoptat o reprezentare binar acromozomilor. Lungimea cromozomului depinde n mod direct de numrul detrsturi necesare n setul de soluii al intrrilor Reetei Neuronale Artificiale.Pentru acest studiu numrul a fost stabilit la 10. Numrul este, de obicei definitde cantitatea de timp i de puterea de procesare disponibil. Cu toate acestea, ocutare bazat pe un Algoritm Genetic mbuntit cu limitri adiionale poatefi utilizat pentru a cuta n mod dinamic o valoarea optim pentru numrul detrsturi, fapt care este mult mai avantajos dect specificarea valorii n modexplicit. Avnd n vedere ca selecia trebuie s fie facut din 38 (alteori 76,128sau 242, depinznd de setul de caracteristici) valori, fiecare gen este alctuitdin 6 (respectiv 7 sau 8) bii. Ca rezultat, lungimea total a cromozomilor devine60 (6x10) respectiv 70 sau 80 n celelalte cazuri. n cazul genotipurilor frfenotipuri semnificative corespunztoare, numerele generate au fost plasate njurul numrului maxim de caracteristici din setul corespunztor. Mai multeexperimente au fost efectuate n scopul determinrii unei dimensiunicorespunztoare a populaiei, prin ncercri i erori. S-a constatat c opopulaie de 20 indivizi a fost adecvat pentru ca procesul sa convearg n timprezonabil i, prin urmare, aceast dimensiune a fost stabilit n majoritateaexperimentelor. S-a constatat mai trziu c o codare pe 10 caractere folosindtipul intreg este o metod mai rapid i mai eficient, care ar avea grij, deasemenea, de genotipuri fr fenotipuri corespunztoare.

    2.4.4.2 Crossover [4]

    S-a implementat un operator crossover de tip multi-punct. Locul amplasriipunctelor este determinat aleator. Asupra tuturor indivizilor din populaie a fost

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    25

    aplicat crossover-ul, dup ce acetia au fost mperecheai conform fitness-ului.Cromozomii sunt apoi sortai n ordinea descendent a fitness-ului, iar perechiles-au format ntre vecinii imediat alturai, n sensul c cel mai bun cromozom afost cuplat cu unul urmtor foarte bun, al treilea cel mai bun cu urmtorul etc.Figura 2.9.a) ilustreaz crossover-ul pe 4 puncte.

    2.4.4.3. Mutaia [4]

    S-a implementat o mutaie multipunct de tip bit-flip, bazat pe oprobabilitate anterior specificat (pm). Din nou, locaia mutaiei este stabilitaleatoriu, de fiecare dat cnd operatorul de mutaie esteaplicat cromozomului.Figura 2.9.b) ilustreaz mutaia pe un singur punct.

    Figura 2.9. Componentele de baz i principiile implementrii AG [4]

    2.4.4.4. Funcia fitness [4]

    Dou funcii fitness au fost folosite pentru a capta performana sistemului.Numrul clasificrilor corecte realizate de ctre RNA a reprezentat prima funciefitness. Ieirea RNA dorit trebuie s fie 1, 2, 3 sau 4 (valori ce corespunddiferitelor nivele ale erorii). Valoarea ieirii RNA a fost rotunjit la cel maiapropiat soluie de tip ntreg (figura 2.9.c)). Acesta reprezint o clasificare de

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    26

    succes fcut de RNA i diminueaz nivelul erorii de nvare. Eroarea totalabsolut reprezint acurateea antrenrii.

    Dup ce s-a obinut o nou generaie de descendeni, este evaluatfitness-ul tuturor cromozomilor (prini i urmai), i cei cu fitness-ul cel maimare sunt selectai pentru viitoarea generaie a ciclului genetic urmtor.Procedura detaliat este ilustrat n figura 2.10.

    Figura 2.10. Diagrama pailor folosii n implementareaRNA optimizat AG [4]

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    27

    S-au comparat performaneleRNA cu i fr optimizarea cu AG. Numrulde noduri ascunse a fost stabilit la 12 n ambele cazuri. Cu aceast valoare, RNA(fr AG) a nregistrat cea mai bun performan, ns numrul intrarilor estemai mare dect n cazul soluiei optimizate, care ns folosete mai multenoduri ascunse. Un algoritm flexibil de propagare invers (back-propagation) afost creat de Riedmiller i Braun (1993), mbuntit fa de cele existente prinfaptul c strategia de instruire folosete o funcie de activare tangent-sigmoidalpentru intrri i straturi ascunse iar pentru ieiri o funcie liniar.

    2.5. Interpretarea rezultatelor i concluzii [4]

    Tabel 1. Comparaie ntreRNA i RNA optimizat AG [4]

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    28

    Tabel 2. Comparaie folosind parametri identici: RNA i RNA optimizat AG [4]

    S-a demonstrat c utilizarea Algoritmilor Genetici pentru selecia unui setoptimal de trsturi (ntr-o aplicaie de clasificare cuRNA) este o tehnic foarteeficient. Indiferent de dimensiunile spaiului de cutare, AG pot identifica cusucces numrul dorit de caracteristici bune. Definiia termenului bun estespecific fiecrei tehnici de clasificare, iar un Algoritm Genetic optimizeaz ceamai bun combinaie pe baza performanei obinute direct de la succesulclasificatorului. Avnd n vedere faptul c acest obiectiv a fost deja atins,cercetarea impune alte dou direcii: prima ar fi realizarea unei RNA maiadaptive (pentru ca numrul de noduri ascunse i intrri s poat evolua cuajutorul AG). A doua este reprezentat de constrngere suplimentar datorattimpului de calcul va fi implementat ca parametru al funciei fitness, ce poate fiutilizat pentru a determina numrul optim de trsturi ce trebuie selectate.Atingerea unor asemenea performane este necesar sistemelor complexeprecum sistemele de transmisie planetare, n cadrul crora unele defecte nu potfi distinse cu uurin.

    2.6. Bibliografie de capitol

    [1] Duda., R.O., Hart, P.E., Stork, D.G., Pattern Classification , SecondEdition, Wiley-Interscience, Publications, 2001

    [2] Eberhart, Russel C., Yuhui, Shi: Computational Intelligence: Conceptsto Implementation, MorAGn Kaufmann Publishers, 2007,ISBN 978-1-558607590

    [3] Holland, J.H.: Adaptation in Natural and Artificial System, University ofMichigan Press, Ann Arbor (1975/1994)

    [4] Saad Ashraf, Saxena Abhinav, Evolving an Artificial Neural NetworkClassifier for Condition Monitoring of Rotating Mechanical Systems, 2005

    [5] Goldberg D.: Genetic Algorithms in Search, Optimization and MachineLearning. Addison Wesley

  • 2 FUNDAMENTE TEORETICE ALE CALCULULUI EVOLUTIV

    APLICAII

    29

    [6] Riedmiller, M., Braun, H., "A direct adaptive method for fasterbackpropagation learning: the RPROP algorithm, IEEE International Conferenceon Neural Networks, 1993, vol. 1, pp. 586 591.

    [7] Billington,S. A., Sensor and Machine Condition Effects in Roller BearingDiagnostics MastersThesis, Department of Mechanical Engneering, GerogiaInstitute of Technology, Atlanta, 1997

    [8] Saxena, A., Saad, A, Fault Diagnosis in Rotating Mechanical SystemsUsing Self-Organizing Maps, Artificial Neural Networks in Engineering(ANNIE04), St. Louis, Missouri, 2004

    [9] Kohonen, T., New Developments and Applicatons of Self-OrganizingMaps, IEEE Transactions 1996, pag.164 171

    [10] Kohonen, T., Simula, O., Oja, E., Simula, O., Engineering Applicationsof the Self-Organizing Maps, Proceedings of the IEEE, Vol. 84, No. 10, October1996, pp. 1358 1384.

    [11] Jack, L.B., Nandi, A.K., Genetic Algorithms for Feature Selection inMachine Condition Monitoring With vibration Signals, IEE Proceedings, ImageSignal Processing, Vol. 147, No. 3, June 2000, pp 205-212