Obhajoba dizertačnej práce (slovensky)

Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov

Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky

Zhrnutie a záver

Ukotvenie významov v senzomotorickej kognícii:konekcionistický prístupobhajoba dizertačnej práce

RNDr. Kristína Rebrováškoliteľ: doc. Ing. Igor Farkaš, PhD.

Katedra aplikovanej informatiky, FMFI UK

27. marec 2014

1 / 30



Zhrnutie a záver

Prehľad

1 Motivácia a empirické poznatky

2 Robotický model systému zrkadliacich neurónov

3 Algoritmus obojsmerného učenia na báze aktivačných fáz

4 Experimenty a výsledky

5 Zhrnutie a záver

2 / 30



Zhrnutie a záver

Ukotvená kognícia

kognitivizmus vs. stelesnená kogníciastelesnená a ukotvená kognícia: závisí na tele situovanomv prostredí, s ktorým agent interagujevýznam konceptov musí byť agentovi vlastný, rovnako ako jehokognitívne schopnosti (riadenie, porozumenie, rozhodovanie)rastúca empirická podpora

3 / 30



Zhrnutie a záver

Senzomotorická kognícia

porozumenie na základe prepojenia akcie a percepcie - párovaniepozorovanej akcie a akcie z vlastného motorického repertoárasystém zrkadliacich neurónov (mirror neuron system,MNS) (Pellegrino a kol., 1992; Rizzolatti a kol. 2001; Rizzolatti aSinigaglia, 2010)

obojsmerný tok informácie medzi vizuálnymia motorickými oblasťami (Tessitore a kol,2010)

variantné a invariantné neuróny v STS (Perret a kol, 1991),ale aj v F5 (Caggiano a kol, 2009)

4 / 30



Zhrnutie a záver

Systém zrkadliacich neurónov

5 / 30



Zhrnutie a záver

Výpočtové modely systému zrkadliacich neurónov

klasický prístup: napr.MNS1 (Oztop a Arbib, 2002)

model reflektuje biologickéčasti MNSzákladný predpoklad:vizuálna informácia, ktorávstupuje do MNS je pozičneinvariantnáill-posed problem,zjednodušenie

Farkaš I., Malý M., Rebrová K.: Mirror neurons – theoretical and computational issues.Technical report TR-2011-028. Comenius University in Bratislava. 2011.

6 / 30



Zhrnutie a záver

Robotický model systému zrkadliacich neurónov

MSOM

motor executivemodule

visual preprocessing

module

F5mirror

neurons(after kWTA)

MSOM

STSpvariant visual

representation(after kWTA)

STSainvariant visual representation

(SOM)

BALbidirectional association

sending weights

sending weights

input sequences input sequences

AIP PATHWAY

PF PATHWAY

interakcia medzi MN a STS(Tessitore a kol., 2012)

modulárna architektúra,na najvyššej úrovni dochádzak rozpoznaniu a porozumeniu akciirobot iCub sa učí uchopovaťpredmety 3 spôsobmipárovanie motorickej reprezentácieakcie s vizuálnymi reprezentáciamizo 4 perspektívRebrová K., Pecháč M., Farkaš I.: Towards arobotic model of the mirror neuron system.Proc. of ICDL Epi-Rob, IEEE. 2013.

7 / 30



Zhrnutie a záver

Nižšie exekučné a percepčné moduly

Úchop silou

Úchop zboku

Presný úchop

spojité učenie posilňovaním (reinforcement learning),algoritmus CACLA (Continuous Actor Critic Learning Automaton,van Hasselt, 2007)

motorické dáta: hodnoty zo 16 kĺbov pravého ramena robota

"predspracované" vizuálne dáta: 3D súradnice kĺbov robota +prstov zrotované, preškálované a premietnuté do 2D

perspektívy: 0◦ = vlastná, 180◦ = oproti, 90◦ a 270◦ = zboku

Farkaš I., Malík T., Rebrová K.: Grounding the meanings in sensorimotorbehavior using reinforcement learning. Frontiers in Neurorobotics 6(1).2012. doi: 10.3389/fnbot.2012.00001.

8 / 30



Zhrnutie a záver

Vyššie asociačné oblasti F5 a STSp

rekurentná samoorganizujúca sa zlučovacia mapa MSOM(Merge SOM, Strickert a Hammer, 2005)

topografické mapovanie motorických (F5) a vizuálnych (STSp)sekvenciíbinarizácia: algoritmus k-WTA (k víťazov berie všetko)

winp(t)

xnx1 q1 qnq(t)x(t)

wctx(t)

winp(t-1)

wctx(t-1)

9 / 30



Zhrnutie a záver

Najvyššie oblasti modelu: PF a AIP dráhy

dráha PF: obojsmerná asociácia medzi F5 a STSpcez oblasť PF (skrytá vrstva)algoritmus BAL odvodený od biologicky plauzibilnéhoalgoritmu GeneRecnajnovšia časť modelu: dráha F5a–AIP–STSa (AIP pathway)

motorická informácia z F5 (typ úchopu) premietnutá do STSa cez AIP -uľahčuje formovanie invariantných reprezentácií v STSa

nový algoritmus: SOM s laterálnou excitáciou

ai = aSOMi +N∑j=0

w latij aj , (1)

aSOMi = exp(−di ). (2)

10 / 30



Zhrnutie a záver

Algoritmus obojsmerného učenia na báze aktivačných fáz

F F

B B

vrstva x yskrytávrstva

xh hy

váhy hx yhváhy

váhy váhy

vrstva

odvodené od zovšeobecnenej recirkulácie (GeneralizedRecirculation, GeneRec) (O’Reilly, 1996, O’Reilly a Munakata, 1999)

biologicky plauzibilné učenie na báze rozdielu aktivačných fáz2 vstupno–výstupné vrstvy x a y a 2 aktivačné fázy: dopredná(F) a spätná (B)Farkaš I., Rebrová K.: Bidirectional activation-based neural network learningalgorithm. Proc. of ICANN. Springer. 2013.

11 / 30



Zhrnutie a záver

BAL: úprava váh

inicializácia: malé náhodné hodnoty s Gaussovskou distribúciouv smere F: ∆wF

ij = λ · aFi (aB

j − aFj )

v smere B: ∆wBij = λ · aB

i (aFj − aB

j )

rýchlosť učenia λTrénovateľné prahy neurónov

Layer Phase Net Input Activationx F - xFih F ηF

j =∑

i wIHij xF

i hFj = σ(ηFj )

y F ηFk =

∑j w

HOjk hF

j yFk = σ(ηF

k )

y B - yBk

h B ηBj =

∑k wOH

kj yBk hBj = σ(ηB

j )

x B ηBi =

∑j w

HIji hBj xBi = σ(ηB

i )

12 / 30



Zhrnutie a záver

GeneRec verzus BAL

jednosmerné mapovaniedynamické neurónyčiastočné obojsmerné šírenieaktivácie

obojsmerná asociácia"štandardné" neurónykompletne obojsmernéšírenie aktivácie

13 / 30



Zhrnutie a záver

BAL: enkodér 4-2-4

konvergencia:

BAL: 65%GeneRec základný: 90%,Generec symetrický a CHL: 56%

počet epoch: 102 až 103

(GeneRec konverguje rýchlejšie)

0 1 2 3

0

20

40

60

rýchlosť učenia

úspe

šné

siet

e

2 2.1 2.20

20

40

0 1,000 2,000 3,000 4,000 5,000

0

0.5

1

epocha

úspe

šnos

ťsi

ete

vzoryF

vzoryB

bityF

bityB

MSEF

MSEB

0 1 2 3

0

1,000

2,000

3,000

rýchlosť učenia

epoc

hy

2 2.1 2.20

500

1,000

1,500

14 / 30



Zhrnutie a záver

BAL: riedke binárne vzory

motivácia pre typ dát: riedke (sparse) reprezentácie v mozgu100 párov náhodných vzorov, 144 bitov, k = 12 aktívnychbitov

0 500 1,000 1,500 2,000 2,500

0

0.5

1

epocha

úspe

šnos

ťsi

ete

vzoryF

vzoryB

bityF

bityB

MSEF

MSEB

15 / 30



Zhrnutie a záver

BAL: riedke binárne vzory

optimálne λ = 0.2 a nH = 120 (vplýva hlavne na dĺžku trénovania)

aktivácie na skrytej vrstve: blížia sa k sebe (hodnoty okolo 0.5)

0.1 0.2 0.3 0.4 0.5

0

0.5

1

rýchlosť učenia

úspeš

nosť

siet

e

bityF bityB

vzoryF vzoryB

0.3 0.32 0.34

0

0.5

1

80 100 120 140 160 1800.94

0.96

0.98

1

veľkosť skrytej vrstvy

úspeš

nosť

siet

e

bityF bityB

vzoryF vzoryB

100 150

1,000

2,000

3,000

epochy

16 / 30



Zhrnutie a záver

BAL: komplexné asociáciemotivácia pre typ dát: asociácia 4 perspektív na 1 pohyb16 párov vzorov, 16 bitov, k = 3 pozitívnychoptimálna λ = 1.0, optimálna nH = 14

0 0.5 1 1.2

0

0.5

1

rýchlosť učenia

úspeš

nosť

siet

e

bityF bityB

vzoryF vzoryB

10 15 20 25

0

0.5

1


úspeš

nosť

siet

e

vzoryF vzoryB

bityF bityB

17 / 30



Zhrnutie a záver

BAL: komplexné asociácie

značne menšia úspešnosť pre nejednoznačný smer B(bity ≈ 86%, vzory len ≈ 4%)splnené očakávanie: sieť nevie určiť, ktorý zo 4 asociovanýchvzorov vybrať

0 200 400 600 800 1,000

0

0.5

1

epocha

úspe

šnos

ťsi

ete

bityF

bityB

vzoryF

vzoryB

MSEF

MSEB

18 / 30



Zhrnutie a záver

Robotický MNS: asociačné oblasti

víťazné neuróny pri použití optimálnych parametrova rozmerov sietí

F5: víťazi podľa úchopu STSp: víťazi podľa úchopu STSp: víťazi podľa perspektívy

19 / 30



Zhrnutie a záver

Robotický MNS: optimálne parametre pre BAL

0 0.1 0.2 0.3

0

5 · 10−2

0.1

0.15

learning rate

mea

nsq

uare

der

ror

MSEF

MSEB

0 0.1 0.2 0.3

0

0.2

0.4

0.6

0.8

1

learning rate

úspe

šnos

ťsi

ete

vzoryF

vzoryB

0 0.1 0.2 0.3

0.85

0.9

0.95

1

learning rate

bit

succ

ess

bityF

bityB

0 0.1 0.2 0.3

1,200

1,400

1,600

1,800

2,000

learning rate

epoc

hs

epochs

150 200 250 300

0

1

2

·10−3


mea

nsq

uare

der

ror

MSEF

MSEB

150 200 250 300

900

1,000

1,100

1,200

1,300


epoc

hs

epochs

20 / 30



Zhrnutie a záver

Robotický MNS:obojsmerná asociácia STSp a PF

učiaci experiment: ako prvá vznikne asociácia medzi prvou(vlastnou) perspektívou a motorickou reprezentáciou, neskôr sapripoja ďalšie perspektívy

0 1,000 2,000 3,000 4,000 5,000

0

0.5

1

epocha

úspe

šnos

ťsi

ete

vzoryF

vzoryB

bityF

bityB

21 / 30



Zhrnutie a záver

Robotický MNS model: príklad reprodukcie vzorov

Reprodukcia vzorov: prvá perspektíva Reprodukcia vzorov: všetky perspektívy

a) želaná aktivácia; b) výstup siete; c) zhoda medzi a) a b)22 / 30



Zhrnutie a záver

Robotický MNS modelinvariantné reprezentácie v STSa

SOM s laterálnou excitáciou

predbežný výsledok: invariancia vzniká, no nie kompletná

STSa: víťazi podľa typu úchopu STSa: víťazi podľa perspektívy

23 / 30



Zhrnutie a záver

Výsledky a závery

očakávaná topografická separácia tried na výsledných mapách, noperpektíva pohľadu je dominantnejšia než typ úchopu

vzory na motorickej mape modelu možno úspešne zreprodukovaťpomocou vizuálnych dát - zrkadliaca aktivita

chyby na robotických dátach sa vyskyujú skôr v rámci kategórie, nežmedzi kategóriami

obojsmerné učenie vplýva na konvergenciu BAL

emergujúce reprezentácie na skrytej vrstve nemajú tendenciubinarizovať sa (nevznikajú interné reprezentácie)

motorická informácia z F5 prispieva k vzniku invariancie v STSa

24 / 30



Zhrnutie a záver

Ďalší postup pri skúmaní algoritmu BAL a modelovaní MNS

Algoritmus BALskúmať konvergenciu algoritmu, jeho citlivosť na rýchlosťučenia a charakter obojsmerého prepojeniaskúmať reprezentácie na skrytej vrstve a tiež možnosti akoovplyvniť vznik reprezentácií aj na tejto vrstve (v kontextesystému zrkadliacich neurónov)

Robotický model MNSzaviezť do modelu ďalšie perspektívyzískať a použiť "pestrejšie" dáta z exekutívneho CACLAmoduluskúmať a zdokonaliť mechanizmus pre vznik invariantnýchreprezentácií v STSaskúmať možnosť vzniku čiastočne variantných reprezentácií ajv F5

25 / 30



Zhrnutie a záver

Koniec

Ďakujem za pozornosť

Kristína Rebrová[email protected]

26 / 30



Zhrnutie a záver

Zoznam relevantných publikácií

K. Rebrová, M. Pecháč a I. Farkaš.Towards a robotic model of the mirror neuron system.V Proceedings of the 3rd joint IEEE International Conference on Development and Learning andon Epigenetic Robotics. Osaka, Japan, 2013. (in press).

I. Farkaš a K. Rebrová.Bidirectional activation-based neural network learning algorithm.V Proceedings of the International Conference on Artificial Neural Networks (ICANN), Sofia,Bulgaria. 2013. (in press).

K. Rebrová a I. Farkaš.Robotický model systému zrkadliacich neurónov: experimentálna analýza.V J. Kelemen, J. Rybár, I. Farkaš a M. Takáč, redaktori, Kognice a umělý život XIII , 223–230.Slezská univerzita, Opava, 2013.

I. Farkaš, T. Malík a K. Rebrová.Grounding the meanings in sensorimotor behavior using reinforcement learning.Frontiers in Neurorobotics, 6(1), 2012.Doi: 103389/fnbot201200001.

K. Rebrová.Stelesnené porozumenie a ideomotorická teória.V J. Rybár, redaktor, Kognitívne paradigmy , 127–150. Vydavateľstvo Európa, 2012.

27 / 30



Zhrnutie a záver

Zoznam relevantných publikácií

K. Rebrová a I. Farkaš.Robotický model systému zrkadliacich neurónov.V N. P. Kelemen J., redaktor, Kognice a umělý život XII , 231–238. Slezská univerzita, Opava,2012.

I. Farkaš, M. Malý a K. Rebrová.Mirror neurons – theoretical and computational issues.Výskumná správa, (TR-2011-28) Comenius University in Bratislava, 2011.

I. Farkaš, M. Malý a K. Rebrová.Porozumenie motorickým akciám – hypotéza kontinua.61–68. Slezská univerzita v Opavě, Opava, ČR, 2011.

Rebrová K. and Farkaš I.Neurálne modely v kognitívnej robotike: porozumenie a pomenovávanie akcií.V K. V. Kelemen J., redaktor, Kognice a umělý život XI , 231–238. Slezská univerzita, Opava,2011.

J. Šilar, M. Kokoška, K. Rebrová a I. Farkaš.Motor resonance based desynchronization of the EEG mu rhythm.Activitas Nervosa Superior Rediviva, 53, 2011.Abstract.

28 / 30



Zhrnutie a záver

Vplyv veľkosti skrytej vrstvy na konvergenciu BAL

0 100 200 300

0

1

2

3

4

5

·10−2


stre

dná

kvad

rati

cká

chyb

a

MSEF

MSEB

0 100 200 300

0

0.2

0.4

0.6

0.8

1


úspe

šnos

ťsi

ete

vzoryF

vzoryB

0 100 200 3000.92

0.94

0.96

0.98

1


úspe

šnos

ťsi

ete

bityF

bityB

0 100 200 300

1,000

1,200

1,400

1,600

1,800

2,000


trén

ovac

ieep

ochy

epochy

29 / 30



Zhrnutie a záver

Invariantné reprezentácie v STSa: predbežné výsledky

STSa: víťazi podľa typu úchopu STSa: víťazi podľa perspektívy

30 / 30

Obhajoba dizertačnej práce (slovensky)

Science

Transcript of Obhajoba dizertačnej práce (slovensky)