Beszéd és érzelem
description
Transcript of Beszéd és érzelem
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Beszéd és érzelem
Beszédfelismerés és szintézis7. előadás 2014. március 13.
Bárdi Tamás előadása nyomán
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Czap László beszélőfej modelljeöröm szomorúság
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Czap László beszélőfej modelljemeglepetés harag
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Kommunikáció általában
Kommunikáció: üzenetváltások közös kód alapjánkódolás és dekódolás is történik
Verbális kommunikáció:a kód előzetes megállapodással lett közössépl. nyelvek, siket jelnyelv, protokollok
Nem verbális kommunikáció:van közös kód, de nem megegyezés eredményeilyen az érzelmi kommunikáció nagyobb részta közös alap általában biológialag örökölt
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
A kommunikáció csatornái
Közvetlen emberi kommunikáció elmélete (Buda Béla):- Verbális csatornák:
beszélt nyelv, egyezményes jelek- Nem verbális csatornák:
vokális expresszió, tekintet, mimika, gesztusok, távolság, emblémák
A hangzó beszéd egyaránt verbális és nem verbális A beszéd nem verbális tartalma nagyrészt a
prozódiában jelenik meg
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Kódosztás a csatornák között
Brunswick lencséje:Az érzelem felismerése lassabb és bizonytalanabb hacsökkentjük az elérhető nem-verbális csatornák számát
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Metakommunikáció
Kommunikáció a kommunikációról Az emberi közlésfolyamat mindig kétszintű:
egy akaratlagos és egy spontán, amely „minősíti” a direkt tartalmat, érzelmi viszonyulást fejez ki
Nem tudunk „nem kommunikálni” Az indirekt – akarattól független – kommunikáció mindig
őszinte Analóg – digitális párhuzam
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Antonio Damasio elmélete különbségtételt tesz érzelmek (angolul emotion) és
érzések (angolul feeling) között Az érzés e változások észlelése Az érzés lényege: "folytonos monitorozási folyamat", Damasio szerint az érzelmek fontos szerepet játszanak az
emberi szervezet biológiai szabályozó működéseinek rendszerében, a homeosztázisban.
az érzelem és érzés a biológiai szabályozás központi mozzanatai, ezek hidat alkotnak a racionális és nem-racionális folyamatok között, a kérgi és kéregalatti struktúrák között
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Emóciók
Homeosztázis: a biológiai szervezeteknek van egy egyensúlyi állapota, ha megbomlik igyekeznek helyreállítani
Az emóciók az egyensúlyi célállapotot változtatják meg, hogy a szervezetet a túlélés szempontjából „optimális” állapotba kerüljön
Az emócióknak erős hatása van a vegetatív idegrendszer működésére, ezen keresztül számos betegséget okozhat a nem megfelelő érzelmi élet
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Szomatikus markerek Az érzelmi állapotokhoz jellemző testi mintázatok tartoznak. Az elsődleges érzelmek a "korai életben átélt érzelmek„,
ezeknek alapja a személyes élettörténet perspektívája. A másodlagos érzelmek pedig a "felnőtt" érzelmek, amelyek a
tárgyak és helyzetek osztályainak, valamint az elsődleges érzelmek összekapcsolásán alapulnak.
Elsődleges érzelmek: kialakításukban döntően kéreg alatti területek vesznek részt, bizonyos szenzoros input mintázatok esetén automatikusan váltódnak ki.
Másodlagos érzelmek: kialakításukban a prefrontális kéreg is részt vesz, kiváltódásuk mentális képek közbeiktatásával történik
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Féltekei asszimetriák A beszédképzés és megértés nagyrészt bal féltekés A beszéddallam feldolgozása inkább jobb féltekés Pell: jobb és bal féltekés sérült betegeket vizsgált.
Eredményei alapján az érzelmi prozódia inkább jobb féltekés, a grammatikai inkább balféltekés
Damasio: a jobb féltekei prefrontális kéreg döntő a másodlagos érzelmek kialakításában.
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Emotional expressions Darwin (1872): az emlős állatok az emberhez
hasonlóan fejezik ki érzelmeiket (közös származás) Emóciók szerepe: belső biológiai szabályozás, és a
külső megfigyelő befolyásolása (kommunikatív) Ohala: leakage theory: Often, communication is
ambivalent: people communicate one thing verbally and the opposite non-verbally. Leakage refers to communicative incidents in which nonverbal signals betray the true content of contradictory verbal messages.
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Alapérzelmek
Diszkrét emóció elméletek (Ekman és mások):
Abból indul ki, hogy van néhány alapérzelem, amit jól felismernek az emberek és ezeket kéne gépileg is felismerni. Ezt a modellt az arckifejezések kutatóitól importálták a beszédkutatók.
Nincs teljes egyetértés az alapérzelmek listájában, de az alábbiakat mindenki felsorolja: meglepetés, félelem, harag, öröm, szomorúság, undor
Visszatérő kérdés: univerzálisak vagy kultúrális eredetűek?“A display rule specifies who can show what emotion to whom, when.” - Ekman
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Alapérzelmek az arcon Vannak akaratlagosan nem mozgatható arcizmok
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Folytonos érzelmi dimenziók Activation, Valence, Power, Intensity Feeltrace: „cimkéző” eszköz
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Neutral (declarative)
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Excitement
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Disappointment
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Hot anger
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Cold anger
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Sarcastic
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Afraid
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Impatient
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Sad
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Lifeless
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: real emotions Gyerekekről – felnőtteknek (Kossuth Rádió):
- öröm: anyuka anyuka
- szomorúság: nővérke
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: real emotions
angry
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: real emotions
sad
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: real emotions
joy
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Érzelmes Beszéd Adatforrások
Érzelem „portré” (acted emotion):színészek felmondják a kért szöveget a kért
érzelmi tartalommalelőny: előírható a szöveg
„Valódi” érzelmek (real emotion):önkénteseket beszéltetnek, közben igyekeznek hangulatilag befolyásolni
előny: hitelesebb, a beszélő átéli az érzelmeit így a megfelelő fiziológiás folyamatok lejátszódnak
Szintetizált beszéd:az elméletek igazolásához használják
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnologyAlapérzelmek
megkülönböztetése
Analysis of Variables (ANOVA):
Petri Laukka, PhD Thesis, 2004
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Akusztikai jellemzők
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Akusztikai jellemzők
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Categorical Perception
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Emofilt system
anger
fear
joy
sad
neutral
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Voice Conversion
USC SAIL:A prozódia mellett a spektrális jellemzőket is változtatták (LPC)
neutral angry happy sad
Cabral:Voice quality transformation
original angry happy sad fear
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Szabály alapú rendszerek
Loquendo:szótagok akusztikai jellemzőit veszi figyelembe
neutral angry happy sad
Kobayashi:Sentence HMM + speaking style
reading joy rough sad
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Alkalmazási lehetőségek Érzelmes beszéd szintézise és gépi felismerése ma
még gyerekcipőben A szórakoztató iparban lenne rá igény: játék szoftverek,
animációs filmek Oktató szoftverekben is, elsősorban gyerekeknek Ami már működik: annoyance detection – az automata
call center kapcsolja a kezelőt ha már kellően ideges az ügyfél
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Irodalom a beszéd és érzelem témához
Buda Béla: A közvetlen emberi kommunikáció szabályszerűségei
Buda Béla: Empátia Hámori József: Az agyféltekék asszimetriái Antonio Damasio: Descartaes tévedése Geoffry Miller: A párválasztó agy PhD értekezések (angolul): Marc Schröder, Petri
Laukka, Raul Fernandez, Sylvie Mozziconacci
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Köszönöm a figyelmet