Jazykom riadená vizuálna pozornosť - konekcionistický...
Transcript of Jazykom riadená vizuálna pozornosť - konekcionistický...
![Page 1: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/1.jpg)
Jazykom riadená vizuálna pozornosť - konekcionistický model
Igor FarkašKatedra aplikovanej informatiky / Centrum pre kognitívnu vedu
Fakulta matematiky, fyziky a informatikyUniverzita Komenského v Bratislave
Seminár CNC, 9.11.2011
![Page 2: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/2.jpg)
Výskum jazyka a kognície
● Tradičný výskum jazyka ako separovanej kognitívnej schopnosti
● Syntaktické aspekty, sémantika – výpočtové modely
● Jazyk a ostatná kognícia sú však úzko prepojené (ukotvená kognícia)
● Paradigma vizuálneho sveta – využíva skutočnosť, že poslucháč má prirodzený sklon pozerať sa na relevantné elementy vizuálnej scény, ktoré sa v reči spomínajú alebo sa dajú očakávať (meranie pohybu očí – eye-tracking).
● Hovorený jazyk môže usmerňovať pozornosť v relevantnej vizuálnej scéne a informácia na scéne môže okamžite ovplyvniť proces porozumenia (Tanenhaus et al., 1995).
![Page 3: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/3.jpg)
Connectionist Model of Situated Language Comprehension
(Mayberry, Crocker, Knoeferle, 2009)
CIAnet
![Page 4: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/4.jpg)
Príklad vizuálneho stimulu a opisu udalosti
![Page 5: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/5.jpg)
Náš model – Prezentácia vizuálnej scény
“Boy chases dog.” “Girl looks-at boy.”
distraktory
Udalosť 1
Udalosť 2
Dve udalosti:(lingvistický opis)
● Každá scéna = niekoľko udalostí (môžu zdieľať konštituenta) + distraktory
● Každá udalosť = agent v činnosti resp. s objektom/paciensom v interakcii
![Page 6: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/6.jpg)
Porozumenie vetám vo vizuálnom kontexte
Predpoklady:
● SOM – lokalistické reprezentácie objektov
● EV – distribuované reprezentácie udalostí
● Pozornostný mechanizmus zhora-nadol = výsledok učenia
● 2-3 slovné vety typu SV(0)
Lingvistickývstup
(Švantner, Farkaš, Crocker, CogSci 2011)
![Page 7: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/7.jpg)
Vstupy modelu A-SRN
![Page 8: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/8.jpg)
Reprezentácia objektov (pomocou SOM)
![Page 9: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/9.jpg)
Reprezentácia akcií (pomocou autoasociátora)
anim cnct motn trns efrt tmp ego flow--------------------------------------------------Walk 1 0 1 0 0 0 0 0Run 1 0 1 0 1 0 0 0Sit 1 0 0 0 0 0 0 0Meditate 0 0 0 0 0 0 1 0Lift 1 1 1 1 1 1 0 0Push 1 1 1 1 1 0 0 0Pull 1 1 1 1 1 0 1 0Touch 1 1 0 1 0 1 0 0Hold 1 1 0 1 1 0 0 0Point-at 0 0 0 1 0 0 0 0Look-at 1 0 0 1 0 0 0 0Greet 0 0 0 1 0 1 0 0Hit 0 1 1 1 1 1 0 0Chase 1 0 1 1 1 0 0 0Eat 1 0 0 0 0 1 1 0Drink 1 0 0 0 0 1 1 1
Action features:
![Page 10: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/10.jpg)
Aktivácia a trénovanie
![Page 11: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/11.jpg)
Trénovacie dáta
● Objekty: životné, neživotné,... 24 ks.
● Akcie: pohyb, manipulácia, konzumácia, sociálne... 16 ks
● Lexikon = 40 slov, one-to-one mapping.
● Korpus: 10000 párov udalosť-veta, 7000 na trénovanie
● Príklady: Toddler looks-at crate, Woman walks,...
![Page 12: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/12.jpg)
A-SRN: s extra explicitnou spätnou väzbou
sigma-pi spojenie
![Page 13: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/13.jpg)
Výsledky (1) – presnosť na konci viet
γ=0.3
![Page 14: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/14.jpg)
Príklad aktivácií natrénovanej A-SRN
![Page 15: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/15.jpg)
Výsledky (2) – obmedzenie viz. vstupu
Motivácia: v snahe vylepšiť presnosť modelu, (a) nútiť model viac sa spoliehať na lingvistický vstup, (b) simulovať “len počúvanie.”
Pomohlo v prípade A-SRN, in 50% case
![Page 16: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/16.jpg)
Výsledky (3) – predikcia pred koncom vety
Testovali sme predikčnú schopnosť modelov (objekt=paciens) vzhľadom na:a) presnosť cieľa (požadovaného výstupu)b) to, či predikovaný objekt je konzistentný so svetomc) to, predikovaný objekt je na aktuálnej scéne.
Presnosť dekódovania v SOM (paciens) = asi 50%.
Všetky 3 modely boli zhruba rovnako presné z pohľadu EV.
![Page 17: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/17.jpg)
Správanie modelu A-SRN
● Úspešná generalizácia modelov
● 100% zameranie pozornosti na relevantné konštituenty na konci vety
● Istá miera anticipovania (pred koncom vety)
● Mechanistické porozumenie pozornosti – dôležité v KV
● 4 fundamentálne procesy pozornosti: working memory, top-down sensitivity control, competitive selection, and automatic bottom-up filtering for salient stimuli (Knudsen, 2007).
● A-SRN ~ “top-down sensitivity control that regulates the strength of different signals that compete to access to working memory.”
● Dôležité vylepšenie modelu: samostatné 'what' a 'where' vizuálne subsystémy.
![Page 18: Jazykom riadená vizuálna pozornosť - konekcionistický modeldai.fmph.uniba.sk/upload/d/d8/Farkas.cnc2011.pdfCIAnet Príklad vizuálneho stimulu a opisu udalosti Náš model –](https://reader036.fdocuments.net/reader036/viewer/2022071409/6103200dc595b90a135856ec/html5/thumbnails/18.jpg)
Fundamental components of
attention
(Knudsen, 2007)