Sieci neuronowe

Wprowadzenie Neuron Sieci neuronowe Sieci liniowe Sieci nieliniowe Postscriptum

Sztuczna Inteligencja i Systemy EkspertoweSieci neuronowe.

Aleksander Pohlhttp://apohllo.pl/dydaktyka/ai

Wyzsza Szkoła Zarzadzania i Bankowosci

9 czerwca 2009

Aleksander Pohl WSZiB

Sieci neuronowe


Plan prezentacji

Wprowadzenie

Neuron

Sieci neuronowe

Sieci liniowe

Sieci nieliniowe

Postscriptum


Sieci neuronowe


Historia (1)

◮ Ramon y Cajal (1906) opis struktury sieci nerwowej◮ Hodgin i Huxley (1963) model propagacji sygnału w

aksonie◮ Eccles (1963) Model synapsy◮ Hubel i Wiesel (1981) Model kory wzrokowej


Sieci neuronowe


Historia (2)

Perceptron (1957) Frank Rosenblatt, Charles Wightmann◮ Układ elektromechaniczny◮ Rozpoznawanie znaków alfanumerycznych◮ 103 przełaczen na sekunde◮ Wrazliwy na dane wejsciowe◮ Odporny na uszkodzenia◮ 8 komórek 512 połaczen


Sieci neuronowe


Historia (3)

Madaline (1960) Bernard Widrow (Standford)◮ Układ elektrochemiczny◮ Komercyjne zastosowania: analiza sygnałów (radary,

modemy itp.)◮ 104 przełaczen na sekunde◮ „Adaptive Linear Element”◮ 8 komórek 128 połaczen


Sieci neuronowe


Historia (4)

◮ Lata 70-te zahamowanie rozwoju◮ Wady i ograniczenia sieci liniowych 1-warstwowych -

Minsky i Papert

◮ John Hopfield (1982) AT&T◮ 1984 – Optical resonator

◮ 6.4 ∗ 104 elementow◮ 1.6 ∗ 107 połaczen◮ 1.6 ∗ 105 przełaczen na sekunde


Sieci neuronowe


Plan prezentacji

Wprowadzenie

Neuron

Sieci neuronowe

Sieci liniowe

Sieci nieliniowe

Postscriptum


Sieci neuronowe


Neuron w przyrodzi


Sieci neuronowe


Synapsa w przyrodzie


Sieci neuronowe


Sztuczny neuron


Sieci neuronowe


Topologia sztucznej sieci neuronowej


Sieci neuronowe


Plan prezentacji

Wprowadzenie

Neuron

Sieci neuronowe

Sieci liniowe

Sieci nieliniowe

Postscriptum


Sieci neuronowe


Siec neuronowa

◮ Paradygmat obliczeniowy oparty na masowo równołegłejarchitekturze mózgów zwierzecych.

◮ Sztuczna siec neuronowa ma postac wieloprocesorowegosystemu złozonego z wielu niewielkich elementówobliczeniowych (tzw. Neuronów), z gesta siecia połaczen(tzw. Dendrytów), prostych komunikatów i adaptacyjnejinterakcji miedzy elementami

◮ Topologia i parametry połaczen stanowia program


Sieci neuronowe


Porównanie paradygmatów

◮ Algorytmy „klasyczne”◮ Szybkie obliczenia sekwencyjne◮ Dostarczaja dokładnych wyników◮ Rozwiazanie problemu znajdowane przez programiste

◮ Sieci Neuronowe◮ Masowo równoległe◮ Odporne na szumy◮ Adaptacyjne zachowanie◮ Odpornosc na błedy◮ Rozwiazanie problemu znajdowane przez uczenie sieci


Sieci neuronowe


Dziedziny zastosowania

◮ Diagnostyka układów◮ Badania psychiatryczne◮ Prognozy: giełdowe, gospodarcze, sprzedazy◮ Analiza spektralna◮ Sterowanie procesów przemysłowych◮ Selekcja doboru celów sledztwa◮ Rozpoznawanie wzorców (70%)


Sieci neuronowe


Zastosowania

◮ Predykcja◮ Klasyfikacja◮ Kojarzenie danych◮ Analiza danych◮ Filtracja sygnałów◮ Optymalizacja


Sieci neuronowe


Realizacje (1)

◮ Software◮ Sieci analogowe

◮ Ładunki na kondensatorach◮ 109 – 1011 p/s

◮ Układy optoelektroniczne◮ Liniowe przekształcenia przez układy modyfikowalnej

transparencji◮ Nieliniowe przekształcenia poprzez ukł. Elektroniczny◮ 1014 – 1015 p/s


Sieci neuronowe


Realizacje (2)

◮ Układy cyfrowe typowe◮ Układy dedykowane◮ Procesory DSP◮ Karty rozszerzen◮ 106 – 107 p/s, 256k neuronow

◮ Specjalizowane układy scalone◮ 9 ∗ 107 p/s

◮ Mózg◮ 1010 komórek, 1015 połaczen, 1018 op/s


Sieci neuronowe


Plan prezentacji

Wprowadzenie

Neuron

Sieci neuronowe

Sieci liniowe

Sieci nieliniowe

Postscriptum


Sieci neuronowe


Liniowe sieci neuronowe

◮ y =∑

wixi

◮ y znormalizowane do 0 albo do 1


Sieci neuronowe


Uczenie (1)

◮ Z nauczycielem◮ Reguła delta (reguła najmniejszych kwadratów):

∆Wi = η ∗ (D − Y )Xi

◮ Bez nauczyciela (hebbian learning)◮ w (m)(j+1)

i = w (m)(j)i + ηx (j)

i y (j)m

◮ „clustering”◮ Róznicowe – bierzemy przyrosty wejsc◮ Instar (Grossberg) – dla ustalonego m:

◮ w (m)(j+1)i = w (m)(j)

i + η(j)(x (j)

i − w (m)(j)i )

◮ Waga dostatecznie mała, rosnaca 0 → 1 – v ∗ j◮ Outstar (cała warstwa)


Sieci neuronowe


Uczenie (2)

◮ Competitive learning◮ Siec Kohonena

◮ Instar z normalizowanym X, m – maksymalne wyjscie◮ Uczymy tylko jeden

◮ Siec Kohonena – z uwzglednieniem sasiedztwa◮ Uczymy dany neuron – i jego sasiadów◮ dwuwymiarowe sasiedztwo – rozpoznaje obiekty 2D


Sieci neuronowe


Siec z jednym neuronem

Rysunek: Hiperpłaszczyzna


Sieci neuronowe


Siec z dwoma neuronami

Rysunek: Obszar wypukły


Sieci neuronowe


Siec z wieloma neuronami

Rysunek: „Dziura”


Sieci neuronowe


Plan prezentacji

Wprowadzenie

Neuron

Sieci neuronowe

Sieci liniowe

Sieci nieliniowe

Postscriptum


Sieci neuronowe


Nieliniowe sieci neuronowe

◮ „Bias”y =

∑wixi + w0

◮ funkcja pobudzenia – sigmoidalnay = 1

1+e−px


Sieci neuronowe



◮ Uczenie pojedynczej warstwy◮ Algorytm delta – metoda najmniejszych kwadratów◮ Sieci wielowarstwowe◮ algorytm „back-propagation”

◮ y (j)m = φ(

∑w (m)(j)

i y (j)i )

◮ sygnał wyjscia m-tego neuronu w kroku j


Sieci neuronowe



◮ „Back-propagation” algorithm◮ Dla ustalonego m, suma po wszystkich i neuronów

dostarczajacych dane. Mozna dobrac porzadek zeby „y”były niezalezne

◮ y (j)m = φ(

∑i w (m)(j)

i y (j)i )

◮ Bład sieci wnioskujemy z błedów warstwy nizej. Suma powszystkich neuronach dla których m wysyła swój sygnał

◮ δ(j)m = φ(

∑k w (m)(j)

k δ(j)k )


Sieci neuronowe


Sieci CP

◮ „Counter Propagation” (Hecht-Nielsena)◮ 1-sza warstwa – normalizowana siec Kohonena. 1 wyjscie

niezerowe „counter”◮ 2-ga warstwa „Instar” Grossberga

◮ Uczone niezaleznie◮ 1-sza mała waga poczatkowa, rosnie◮ 2-ga mała waga poczatkowa, maleje◮ Uogólnia i kojarzy – mozna odwrócic siec◮ Doskonale klasyfikuje – redukcja informacji


Sieci neuronowe


Sieci rezonansowe

Sieci ART – patent Univ. of Boston◮ ART1 – obrazy binarne◮ ART2 – obrazy analogowe

◮

◮ Ilosc neuronów wieksza niz ilosc klas◮ Sprzezone wyjscie z wejsciem◮ Stan wyjsciowy 1 tylko na jednym, pozostałe 0 – brak

odpornosci na szumy


Sieci neuronowe


Sieci rezonansowe

Sieci ART◮ Sprzezenie wyjscia z wejsciem◮ Układ kontrolny – eliminuje puste dane wejsciowe.

Wzmacnia czułosc elementów drugiej warstwy◮ System Orientujacy (novelity detector)◮ Typowe wady sieci bez nauczyciela – nie wykrywa

niewielkich znaczacych zmian


Sieci neuronowe


Sieci Hopfielda (1)

◮ Pierwsza z odwróconym kierunkiem przepływu (1982)◮ Zatarcie granicy pomiedzy wejsciem a wyjsciem◮ Brak wyraznych warstw

◮ y (j)m = φ(e(j)

m )

◮ e(j)m =

∑i w (m)

i y (j)i + x (j)

m

◮ w (m)i – współczynnik wyjscia i-tego neuronu z wejsciem

m-tego neuronu


Sieci neuronowe


Sieci Hopfielda (2)

◮ y (j+1)m = −1 gdy e(j)

m < w (m)0

◮ y (j+1)m = y (j)

m gdy e(j)m = w (m)

0

◮ y (j+1)m = 1 gdy e(j)

m > w (m)0


Sieci neuronowe


Sieci Hopfielda (3)

◮ Brak wydzielonych warstw◮ Wprowadzamy dana X, i iterujemy do osiagniecia stanu

stabilnego◮ Content Addressable Memory (CAM)◮ Pojemnosc: 0.15 N.◮ Maszyny Bolzmanna

◮ Wyjscie jest zmieniane losowo w zal. Od wejscia →

wyzarzanie


Sieci neuronowe


Sieci Hintona

◮ Slad pamieciowy – engram nie posiada połozenia(charakter holologiczy)

◮ 2 warstwy – 1-sza neurony o 1 wejsciu, wyjscie dokazdego neuronu z 2-giej warstwy

◮ Uczymy metoda Hebba. Ciag wejsciowy (X1,Y1), (X2,Y2)(skojarzenia)

◮ Odpowiada na X skojarzeniem Y


Sieci neuronowe


Sieci BAM

◮ Dwie warstwy, jak w ART, ale podobna do Hopfielda◮ Wektor Y ostatniej warstwy skierowany na wejscie, brak

odpowiednika w przyrodzie◮ „histereza” wag – adaptuje sie◮ Dobrze reaguje na dane odległe od nauczonych, szuka ich

iteracyjnie◮ Pojemnosc: w zaleznosci od typu danych (nawet wieksza

niz n)


Sieci neuronowe


Plan prezentacji

Wprowadzenie

Neuron

Sieci neuronowe

Sieci liniowe

Sieci nieliniowe

Postscriptum


Sieci neuronowe


Materiały zródłowe

◮ L.Sterling, E.Shapiro - „The Art Of Prolog”◮ Ivan Bratko - „Prolog – Programming For Artificial

Intelligence”◮ Slajdy zostały przygotowane za zgoda

dr. Michała Korzyckiego na podstawie jego wykładu.


Sieci neuronowe

Sieci neuronowe

Technology

Transcript of Sieci neuronowe