Neurono vé sítě
description
Transcript of Neurono vé sítě
Neuronové sítě
Jakub Krátký
Obsah prezentace
Definice Charakteristika umělých neuronových
sítí Základní aplikační oblasti Perceptron Minsky-Papertův omyl Jednovrstvé sítě Vícevrstvé sítě Zdroje
Definice neuronových sítí
Umělá neuronová síť je distribuovaný výpočetní systém sestávající z dílčích podsystémů (neuronů), který je inspirován neurofyziologickými poznatky o struktuře a činnosti neuronů a nervových systémů živých organizmů, a který je ve větší či menší míře realizuje.
Charakteristika umělých neuronových sítí
Umělé neuronové sítě (ANN) se snaží napodobit funkci biologické mozkové tkáněSchopnost extrahovat a reprezentovat závislosti v datech, které nejsou zřejméSchopnost řešit silně nelineární úlohySchopnost učit se a generalizovat své znalosti
Základní aplikační oblasti
KlasifikaceRegresePredikceAsociaceOptimalizaceFiltraceshluková analýzakomprese dat
Perceptron
Tvořen jediným neuronemLineární separátory – výstup (aktivita) neuronuS – nelineární přenosová funkcexi – hodnota i-tého vstupu
wi – hodnota i-té synaptické váhyΘ – práh neuronu (posunutí)Výraz v závorce – vnitřní potenciál
Základní typy aktivačních funkcí
Minsky-Papertův omyl
x1
x2
y resp. d
1
w02
1
1
w01
w03
w11
w22
w21
w12
w13
w23
y1
y2
0 0.2 0.4 0.6 0.8 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
x1
x 2
1w
2w
nw fy
1x
2x
nx
10 x
0w
Jednovrstvé sítě I – Hopfieldova síť
Zpětnovazební (rekurentní) síťVybavuje nejbližšího souseda (autoasociativní), není klasifikátorem!Učí se HebbovskyTypicky binární vstupyUčení jednorázové (zapamatování vstupních vzorů), vybavování iteračníSíť má tolik neuronů, kolik má vstupůPočet naučitelných vzorů ≈ 15% počtu vstupů
Jednovrstvé sítě I – Hopfieldova síť
Výstup neuronu je připojen na vstupy všech ostatních neuronů, avšak ne na svůj vlastníMezi každými dvěma neurony existuje vzájemné a identické propojení
ny1ny2y1y
nx1x 2x 1nx nx
ny
1nx
1ny2x
2y
1x
1y
Jednovrstvé sítě I – Hopfieldova síťUčení vybavování
,01
jipro
jiproxxw
s
kkjki
ij
ii xy )0(
n
iiijj tywfty
1
1
Jednovrstvé sítě II – Kohonenova
SOM – Self Organizing MapsUčení bez učitele, samoorganizuje seJe bez výstupuProvádí shlukovou analýzuNení klasifikátorem
Jednovrstvé sítě II – Kohonenova
Učení iterační pomocí okolí a laterální inhibice
Jednovrstvé sítě II – Kohonenova
Vícevrstvé sítě I – ML perceptron
Nejrozšířenější a nejpoužívanější síťIterační metoda učení s učitelemJednorázové vybavováníTrénovací, testovací a validační množina
Vícevrstvé sítě I – ML perceptronNejpoužívanější metoda učení – backpropagation => zpětné šíření chybyGradientní metodaAktivační funkce musí být spojitá a diferencovatelná, typicky sigmoidaUčení je ukončeno ve chvíli, kdy globální chyba klesne pod předem stanovenou mezProblém uváznutí v lokálním extrému a přeučení (over-fitting)
Vícevrstvé sítě II – RBF
Radial Basis Function (RBF), síť radiálních jednotekDva typy neuronů: radiální a perceptronového typu (nejčastěji lineární)Váhy v první vrstvě jsou nastavovány pevně na začátku učení, ve druhé vrstvě podobně jako u vícevrstvé perceptronové sítě nebo přímo regresíSíť se učí velmi rychleVhodná jak pro klasifikaci, tak pro regresi
Vícevrstvé sítě II – RBF1
ijc jkw
x1
x2
nx
kw0
2
h
1
y1
y2
my
b
cx 2 e
h
jjjk
h
jjjkkk wwwy
010 )()(
Postsynaptický potenciál Aktivační funkce
Adaptace vah
Vícevrstvé sítě III - GAME
Při učení roste podle datVybírá nejlepší jednotky pomocí genetického algoritmuHeterogenní jednotky (lineární, sigmoidní, polynomiální, malé neuronové sítě,..)Každá jednotka počet vstupů roven číslu vrstvy
Zdroje
http://gerstner.felk.cvut.cz/biolab/33KP/prednasky_ann/prezentace_ns.ppthttp://service.felk.cvut.cz/courses/36NAN/Mařík V., Štěpánková O., Lažanský J. a kol.: Umělá inteligence 4. Academia, Praha, 2003Šnorek, M., Jiřina, M.: Neuronové sítě a neuropočítače. Skripta ČVUT, Praha 1997