1 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Biosignale und Benutzerschnittstellen
Einführung / Überblick
Taxonomie / The Big Picture
Vorstellung des Cognitive Systems Lab
Prof. Dr. Tanja Schultz
Dipl.-Math. Michael Wand
Vorlesung WS 2012/2013
2 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Überblick
• Allgemeine Informationen
• Vorstellung der Vorlesung und des Lehrstuhls
• Angebote
• Einführung Biosignale
• Definition, grundlegende Eigenschaften
• Taxonomie der Biosignale
• Angebote für Studenten
3 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Informationen zur Vorlesung
Weiterführende Vorlesung im Hauptdiplom
• Spezielle Vorkenntnisse sind nicht erforderlich
• Prüfung möglich in Kognitive Systeme und Anthropomatik
Vorlesung im Bachelor-/Master-Studiengang
• Teil verschiedener Module, passende Praktika/Seminare werden angeboten
• Bitte konsultieren Sie das Modulhandbuch oder fragen Sie uns
Turnus:
• Jährlich im WS, 4+0 oder 6 ECTS-Punkte
• Prüfungen ganzjährig während des Semesters
Termine:
• Wöchentlich Di und Do, 14:00 – 15:30
• Infobau 50.34: Dienstags Raum -102, Donnerstags Raum -101
DozentInnen:
• Prof. Dr. Tanja Schultz
• Dipl.-Math. Michael Wand
4 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Informationen zur Vorlesung
• Alle Vorlesungsunterlagen befinden sich unter
http://csl.anthropomatik.kit.edu
• Alle Folien als pdf
• Aktuelle Änderungen, Ankündigungen, Syllabus
• Gegebenenfalls zusätzliches Material (Papers)
• Grundlagen für Prüfungen:
• Vorlesungsinhalt, Folien + zusätzliches Material
• Fragen, Probleme und Kommentare sind jederzeit während der Vorlesung willkommen, oder im persönlichen Gespräch:
• Tanja Schultz ([email protected])
• Michael Wand ([email protected])
• Sprechstunden Tanja Schultz nach Vereinbarung
5 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Allgemeine Informationen: CSL
• Lehrstuhl für Kognitive Systeme seit 1. Juni 2007
• Karlsruher Institut für Technologie, Fakultät für Informatik
• Institut für Anthropomatik
• Neugründung des Cognitive Systems Laboratory (CSL)
• Homepage: http://csl.anthropomatik.kit.edu
• Laborgebäude Informatik 50.21, 1.OG (neben der alten Kinderklinik)
• Kontakt:
• Prof. Dr.-Ing. Tanja Schultz
+49 721 608 46300
• Frau Helga Scherer (für Prüfungstermine, Rückfragen etc.)
+49 721 608 46312
• Michael Wand (einfach vorbeikommen oder Termin vereinbaren)
+49 721 608 44043
6 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Technologien und Methoden:
Erkennen, Verstehen, Identifizieren
Statistische Modellierung, Klassifikation, ...
Anw
endungsf
eld M
ensc
h-M
asch
ine
Inte
rakti
on
Her
asusf
ore
rder
ungen
und A
ufg
agen
:
Pro
dukti
vit
ät u
nd U
sabil
ity
Kommunikation des Menschen mit seiner Umwelt
im weitesten Sinn:
Sprache, Bewegung, Biosignale A
nw
endungsfeld
Men
sch-M
ensch
Kom
munik
ation
Herau
sford
erung u
nd A
ufg
aben
:
Sprach
envielfalt, k
ultu
relle Barrieren
Aufw
and u
nd K
osten
Forschung: Human-Centered Technologies
7 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Lehre am CSL
Vorlesungen im Wintersemester
Alle Informationen im Web: http://csl.anthropomatik.kit.edu > Lehre
• Biosignale und Benutzerschnittstellen
• 4+0 oder 6 ECTS-Punkte, prüfbar in Kognitive Systeme und Anthropomatik
• Einführung in Erfassung und Interpretation von Biosignalen, Anwendungsbeispiele
• Design und Evaluation innovativer Benutzerschnittstellen
• 2+0 oder 3 ECTS-Punkte
• Freitags 11.30 Uhr
• Designbetrachtungen zu Benutzerschnittstellen
8 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Lehre am CSL
Vorlesungen im Wintersemester
Alle Informationen im Web: http://csl.anthropomatik.kit.edu > Lehre
Seminare und Praktika
• Multilingual Speech Processing
• Entwicklung eines Spracherkennungssystems auf Basis des RLAT-Web-Toolkits
• Fragen an [email protected]
• Praktikum Biosignale 2: Emotion und Kognition
• Erkennung von Benutzerzuständen / Emotionen
• Praktischer Systembau einschl. Experimentdesign
• Melden bei [email protected]
9 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Lehre am CSL
Regelmäßige Veranstaltungen im Sommersemester
• Vorlesung Multilinguale Mensch-Maschine Kommunikation
• 4+0, prüfbar in Kognitive Systeme und Anthropomatik
• Einführung in die automatische Spracherkennung und -verarbeitung
• Signalverarbeitung, statistische Modellierung, praktische Ansätze und Methoden, Multilingualität
• Praktikum: Biosignale
• Praktische Entwicklung eines autom. Bewegungserkennungssystems
• Eigenes Experimentdesign
• Verschiedene Biosensoren (Beschleunigungssensoren, EMG)
• Spannend und praxisorientiert
Angaben ohne Gewähr
10 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Lehre am CSL
Regelmäßige Veranstaltungen im Sommersemester
• Vorlesung Methoden der Biosignalverarbeitung
• 2+0, prüfbar in Kognitive Systeme und Anthropomatik
• Vertiefende Betrachtung von Algorithmen, Schwerpunkt moderne Vielkanalsignale (Quellenseparation/Beamforming/Filterung)
• Trainingsmethoden, Daten- und Entscheidungsfusion
• Vorlesung Kognitive Modellierung
• Modellierung menschlicher Kognition und menschlichen Affekts im Kontext der Mensch-Maschine-Interaktion
Weitere Veranstaltungen im Wechsel
Angaben ohne Gewähr
11 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Allgemeine Information: Ziel der Veranstaltung
Ziele der Vorlesung Biosignale • Überblick über die Biosignale des Menschen
• Physiologische Grundlagen, Entstehung von Biosignalen
• Fokus auf elektrische, mechanische, akustische Biosignale
• Weniger: Thermische und chemische Biosignale
• Überblick über die Biosignalverarbeitung
• Messtechnik, Biosensoren, Versuchsanordnung
• Signalverarbeitung
• Klassifikations- und Erkennungsmethoden
• Algorithmen, Methoden, Modelle
• Darstellung der Mensch-Maschine Interaktion
• Welche Biosignale könnte man für Benutzerschnittstellen einsetzen
• Wie wird ein solches System gestaltet, wie verwendet & evaluiert?
• Anwendungsbeispiele aus der Forschung
12 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Vorlesungen zu verwandten Themen
• Mensch-Maschine-Wechselwirkungen in der Anthropomatik (Beyerer)
• Schwerpunkt: Ergonomische Mensch-Maschine Schnittstellen
• Mensch-Roboter-Kooperation (Burghart)
• Schwerpunkt: Herausforderung Humanoide Roboter
• Visuelle Perzeption für Mensch-Maschine-Schnittstellen (Stiefelhagen)
• Schwerpunkt: Bewegung, Gestik und Mimik
• Gesten- und Gesichtserkennung, Lokalisation von Personen
• Multilinguale Mensch-Maschine-Kommunikation (Schultz)
• Schwerpunkt: Biosignal Sprache
• Spracherkennung, -synthese, und -übersetzung
• E&I-Technik – Institut für Biomedizinische Technik (Dössel/Bolz)
• Bildgebende Verfahren / Messtechnik
13 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Überblick
• Allgemeine Informationen
• Vorstellung der Vorlesung und des Lehrstuhls
• Angebote
• Einführung Biosignale
• Definition, grundlegende Eigenschaften
• Taxonomie der Biosignale
• Angebote für Studenten
14 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Einführung Biosignale
• Der menschliche Körper besteht aus ca. 75·1012 Zellen, davon etwa 25·109 Nervenzellen (Neuronen)
• Die Funktionsfähigkeit des menschlichen Organismus wird von lebenden Zellen und Zellverbänden gewährleistet
• Deren Aktivitäten lassen sich als physikalische Größen messen
• Diese Größen bezeichnet man als Biosignale
• Chemische und elektrische Biosignale bewerkstelligen die
• Steuerung
• Regelung
• und Informationsübertragung
• ... im menschlichen Organismus Regelkreis
Biosignale ermöglichen das geordnete Zusammenspiel im Gesamtsystem Mensch
15 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Definition Biosignale
Definition Biosignal Biosignale sind autonome, vom lebenden Organismus erzeugte energetisch-stofflich messbare physikalische Größen
Definition Biosignal (DIN 44300) Nachrichten, die von physikalischen (ggf. chemischen) Aktionen des menschlichen Körpers ausgehen
16 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignale des Menschen
Mensch i
i
x
bix
Elektrische Größe (Potential, Strom, Widerstand) Mechanische Größe (Kraft, Druck, Bewegung) Akustische Größe Thermische Größe (Temperatur, Wärmemenge) Chemische Größe (Konzentration, pH, olfaktorisch)
Energie E, Stoff m, Zeit t
bix = f(i,x,t,E,m)
Beispiele für physikalisch messbare Biosignale bix des Menschen i an Ort x
17 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Taxonomie Biosignale
Biosignale
Mechanische Biosignale
Elektrische Biosignale
Akustische Biosignale
Chemische Biosignale
Sprache
Nichtsprachl. Artikulation
Hirn EEG
Augen EOG
Muskeln EMG
Herz EKG Bewegung
Mimik
Wärme MEG/PET
fMRI Körper-
geräusche
Thermische Biosignale
Gestik
18 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignale: Zusammenspiel im Organismus
Das Zusammenspiel des menschlichen Organismus erstreckt sich von der einfachsten Bewegungen der Muskeln bis zu den kognitiven Leistungen des Gehirns.
Chemische Biosignale
• Z.B. Hormone: dienen der Informationsübertragung bei der Regelung von Organfunktionen und Stoffwechselvorgängen
• Chemische Biosignale werden in dieser Vorlesung nicht behandelt
Elektrische Biosignale (auch als Bioelektrische Signale bezeichnet) lassen einfache Rückschlüsse auf die Vitalität zu
• Elektrokardiogramm (EKG) – zeigt die Aktivität des Herzen an
• Elektroenzephalogramm (EEG) – zeigt die Aktivität des Gehirns
• Elektrookulogramm (EOG) – Aktivität der Augen
• Elektromyogramm (EMG) – Aktivität der Muskeln
19 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Benutzerschnittstelle
Für die folgenden Begriffe gibt es mehrere gültige Definitionen in Abhängigkeit von Zielsetzung und Voraussetzungen
• Bezugswelt: wer nimmt am Prozess teil
• Menschen >> Tiere >> technische Geräte
• Voraussetzung: wird Intention einbezogen
• Verhalten (Beschreibung rein äußerlich beobachtbarer körperlicher Bewegungen und deren Produkte)
• Handeln (Bewusstseinsprozesse im weitesten Sinn: Vorstellungen, Gedanken, Folgerungen, Planung)
Soziologie, Psychologie, Pädagogik
• Bezugswelt Mensch, Wechselseitigkeit von Handlung
In der Informatik – Informationstheorie
• Erweiterung Bezugswelt Mensch auf Computer, System
• Wechselseitigkeit zwischen Maschinen und Komponenten
20 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Kommunikation, Interaktion, Kooperation
Aus Soziologie, Psychologie, Pädagogik verwenden wir folgende Begriffe:
• Kommunikation:
• Wechselseitiges Übermitteln von Signalen, die für die Beteiligten eine Bedeutung haben
• Interaktion:
• Aufeinander bezogenes Handeln zweier oder mehrerer Personen
• Kooperation:
• Zusammenwirken von Handlungen zweier oder mehrerer Lebewesen, meist (aber nicht immer) zum gegenseitigen Nutzen
• Ist zur Kooperation Anstrengung vonnöten, spricht man auch von Kollaboration
21 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Kommunikation, Interaktion, Kooperation
In der Informatik/Informationstheorie definiert man entsprechend
Definition Kommunikation:
• Übertragung oder Austausch von Information (Sender-Empfänger)
Definition Interaktion:
• Wechselseitiges aufeinander Einwirken von Akteuren oder Systemen
Definition Kooperation:
• Zusammenarbeit insbesondere zum gegenseitigen Nutzen
• Kooperation Mensch/Maschine: Natürlich sollte hier der Mensch den größten Nutzen haben
Im Zusammenhang mit der Beziehung Mensch-Maschine
• Werden Interaktion und Kommunikation oft gleichgesetzt
• Mensch-Maschine Interaktion = Mensch-Maschine Kommunikation
22 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Aufnahme und Verarbeitung von Reizen
Um
wel
t
Um
wel
t
Aufnahme: 109 bit/s Abgabe: 107 bit/s
Bewusstsein 101 – 102 bit/s
(der Rest wird entweder unbewusst verarbeitet oder gar nicht verwendet)
Sehen Hören Tasten Riechen Schmecken
Sprechen Bewegen Schreiben
bit/s = Informationsfluss, zum Vergleich: Buchstabe 4bit, Buchseite ca.1000bit 1 Seite lesen in 20sec = 50bit/s, Fernsehbild 106 bit/s (Gay, 1978)
23 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignale und Benutzerschnittstellen
Biosignale Biosignale
Maschinensignale Maschinensignale
Biosignale
Mensch-Mensch-Kommunikation
Mensch-Maschine Interaktion
Mensch-Maschine Interaktion
Maschine / technisches
System
Maschinen-gestützte Mensch-Mensch-Kommunikation
24 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Repräsentation vs. Information
Biosignale sind unerlässlich für die Übertragung von Informationen und somit für die Kommunikation und Interaktion des Menschen mit seiner Umwelt
• Wichtig dabei ist die Bedeutung bzw. die Information der Biosignale, nicht die konkrete energetisch-stoffliche Repräsentation
• Welche Eigenschaften des Biosignals sind wichtig, um für den Transport von Information geeignet zu sein/ eingesetzt zu werden?
• Wie müssen Biosignale beschaffen sein, um den Informationstransport zu ermöglichen?
25 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Modell der Informationsübertragung
Sender Empfänger
Ges
end
ete
Info
rmat
ion
Emp
fangen
e Info
rmatio
n
Statistik
Syntax
Semantik
Pragmatik
Apobetik
übertragenes Signal empfangenes Signal
verwendeter Code verstandener Code
mitgeteilte Gedanken verstandene Bedeutung
erwartete Handlung ausgeführte Handlung
beabsichtigtes Ergebnis erreichtes Ziel
Shannon´s Informationsbegriff
Nach W. Gitt, 1998
27 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Bewusste vs. Unbewusste Biosignale
• Mensch-Maschine Interaktion nur auf reproduzierbaren und willentlich beeinflussbaren Biosignalen?
• Sicher richtig, wenn unter MMI die bewusste Steuerung einer Maschine durch den Menschen verstanden wird
• Man kann sich allerdings Anwendungen vorstellen, in dem die Maschine bewusste & unbewusste Biosignale des Menschen interpretiert und daraus eigenständig Handlungen ableitet
• Ein emphatischer Roboter spürt Angst und zieht sich zurück
• Das Telefon leitet auf voicemail wenn Benutzer beschäftigt
• Notwendige Voraussetzung ist ein reproduzierbares Biosignal
Willentlich NICHT beeinflussbare
Biosignale
Willentlich beeinflussbare
Biosignale
Biosignal
28 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Willentlich vs. Nicht Willentlich
Wie gut lassen sich Biosignale willentlich beeinflussen?
Biosignal Gut Mittel Schlecht Kommentar
EEG X Langsame Potentiale
EMG X X Stochastisches Signal
EKG X X Atmungsmodulation
EOG X Automatische Augenbewegungen
Sprache X X Emotion
Bewegung X X Reflexe, Körpersprache
29 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Menschliche Kommunikation
Akustische Biosignale
Sprache Lachen
Räuspern …
Tonfall Stimmlage
…
30 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Mechanische Biosignale
Bewegung Gestik Mimik
…
Menschliche Kommunikation
31 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Menschliche Kommunikation
Elektrische Biosignale
Muskelaktivität Hirnaktivität Herzaktivität Hautleitwert
….
32 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Menschliche Kommunikation
Thermische Biosignale
Körpertemperatur
33 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Fühlen
Aufnahme: 109 bit/s Abgabe: 107 bit/s
Bewusstsein 101 – 102 bit/s
bit/s = Informationsfluss, zum Vergleich: Buchstabe 4bit, Buchseite ca.1000bit 1 Seite lesen in 20sec = 50bit/s, Fernsehbild 106 bit/s (Gay, 1978)
Biosignale
Licht Schall Druck Vibration Kälte/Wärme
Duftmoleküle
Schmeckstoffe
Menschliche Wahrnehmung
34 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Thermische Biosignale
Elektrische Biosignale
Mechanische Biosignale
Akustische Biosignale
Kommunikation mit Menschen ist natürlich und angeboren • Vielzahl von Kommunikationsformen und –signale
• Interpretation der Signale wird implizit angenommen
• Robust (bei Störungen einzelner Kanäle wird kompensiert)
• Effizient, in Echtzeit und redundant (Widersprüche führen zu Irritationen)
• Adaptiv (lernfähig bei Akzenten, Sprachfehlern, …)
Menschliche Kommunikation
35 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Mensch-Maschine Interaktion
Akustische B
Elektrische B
Thermische B
Mechanische B
Kommunikation/Interaktion mit Maschinen ist NICHT natürlich • Bis dato auf wenige Kanäle und Signalformen beschränkt
• Sind diese Kanäle gestört, bricht Interaktion zusammen
• Interpretation der Signale auf Maschinenseite ist sehr begrenzt
36 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Maschinen-gestützte Kommunikation
Mensch-Mensch-Kommunikation
Mensch-Maschine Interaktion
Mensch-Maschine Interaktion
Maschine
Maschinen-gestützte Mensch-Mensch-Kommunikation
Biosignale
37 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Forschungsziele Biosignale
Mensch-Maschine Schnittstellen nutzen bislang wenige Biosignale
• Effektivität von elektronischen Helfern oft kleiner als erwartet
• Menschliche Bedürfnisse und Situationen weitestgehend ignoriert
ZIEL: Interaktionen bereichern durch weitere Biosignale
• Ganzheitliche Betrachtung des Menschen
• Elektrische Biosignale erlauben den Blick „ins Innere“
• Interpretation von Vorgängen, die der äußeren Betrachtung nicht zugänglich sind: kognitive Beanspruchung, Tätigkeit, Emotionen
• Ergänzt durch Außensicht: Multimodal, robust, redundant
• Mensch-zentrierte Systeme
• Implizite Schnittstellen anstatt explizite Anweisungen
• Maschine versetzt sich in den Menschen, nicht umgekehrt!
• Minimale Beeinträchtigung des Menschen
• Möglichst nicht-invasive Erfassung der Biosignale
• Kooperative Nutzer
38 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Benutzerschnittstellen: Usability
• Usability = Gebrauchstauglichkeit
• Effektivität oder der Wirkungsgrad beschreibt alle funktionalen und nichtfunktionalen Aspekte des Produktes, wie seine Verlässlichkeit und Erhaltbarkeit
• Effizienz beschreibt die Anstrengung des Nutzers, sein Ziel zu erreichen im Verhältnis zu den dazu benötigten Arbeitsschritten.
• Zufriedenheit ist die subjektive Bewertung der Effektivität durch den Nutzer und beschreibt keine technischen Attribute
39 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Vor- und Nachteile Biosignale
• Zufriedenheit – Willentlich vs. Nicht willentlich
• Willentlich: direkte Steuerung möglich
• Unwillentlich: direkte Steuerung eingeschränkt
• Zufriedenheit – Privatsphäre
• Störung der Umgebung (lautes Sprechen in Bibliothek, Meeting)
• Privatsphäre (Mithören vertraulicher Gespräche)
• Zufriedenheit – Tragekomfort, Bequemlichkeit
• Berührungslose Sensoren, keine Kabel
• Keine Schmerzen, keinen Schweiß, keine Beeinträchtigung
• Effizienz – Bandbreite
• Größere kognitive Bandbreite durch Nutzen unbewusster Signale
• Signale mit geringen Bandbreiten (EMG besser als Sprache)
• Effizienz - Mobilität
• Baugröße der Sensoren, Decoder, Verkabelung
• Hände und Augen frei verfügbar (Sprache besser als Text)
40 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Vor- und Nachteile Biosignale
• Effizienz – Throughput
• Handschrift, Tippen, Sprache
• Bewegung, Gestik, Mimik
• Effektivität – Robustheit (Decoder)
• Umwelteinflüsse wie Hintergrundgeräusche
• Temperatur, Feuchtigkeit
• Wasser – Tauchen, Dunkelheit – Labor, Spezialfälle
• Effektivität – Störanfälligkeit
41 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Überblick - Anwendungsgebiete
Anwendungsgebiete Anwendungsgebiete
Mensch-Maschine-Kommunikation
Mensch-Maschine-Kommunikation
Maschinengestützte zwischenmenschliche
Kommunikation
Maschinengestützte zwischenmenschliche
Kommunikation
Barriere Sprache, Raum, Zeit, Behinderung (sehen, hören, locked-in), ... Barriere Sprache, Raum, Zeit, Behinderung (sehen, hören, locked-in), ...
Sprachübersetzung Räumlich-zeitliche entfernte Kommunikation Eyes/hands-free, mobil Effizienz, Bequemlichkeit, Robustheit, Usability
Sprachübersetzung Räumlich-zeitliche entfernte Kommunikation Eyes/hands-free, mobil Effizienz, Bequemlichkeit, Robustheit, Usability
Nicht- verbal Nicht- verbal
Sprache / Artikulation Sprache / Artikulation
Pantomime Zeichensprache Küssen Körpersprache ...
Pantomime Zeichensprache Küssen Körpersprache ...
Sprach -erkennung -synthese ID Sprecher, Emotion, Topic ...
Sprach -erkennung -synthese ID Sprecher, Emotion, Topic ...
42 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Überblick
• Allgemeine Informationen
• Vorstellung der Vorlesung und des Lehrstuhls
• Angebote
• Einführung Biosignale
• Definition, grundlegende Eigenschaften
• Taxonomie der Biosignale
• Angebote für Studenten
43 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Taxonomie Biosignale – Sprache
Biosignale
Mechanische Biosignale
Elektrische Biosignale
Akustische Biosignale
Chemische Biosignale
Sprache
Nichtsprachl. Artikulation
Hirn EEG
Augen EOG
Muskeln EMG
Herz EKG
Bewegung
Mimik
Wärme MEG/PET
fMRI
Körper- geräusche
Thermische Biosignale
Gestik
44 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Sprache
• Spracherkennung: Von Spracheingabesignal nach Text
• Sprachsynthese: Von Text nach Sprachausgabesignal
• Sprachübersetzung (über Sprachengrenzen): Von Sprachsignal in Sprache L1 zu Sprachsignal in L2 = Spracherkennung + MT + Sprachsynthese
• Sprachverstehen, Zusammenfassen = Von Spracheingabesignal nach Bedeutung
• Sprachaktivität ist aber nicht nur das Was wird gesprochen Wer spricht? → SprecherIDentifizierung Welche Sprache wird gesprochen? → LanguageID Über was wird gesprochen? → TopicID Wie wird gesprochen? → EmotionID Zu wem wird gesprochen? → Focus of Attention
• Übersetzung (über Speziesgrenzen) Beispiel Delphine
45 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Sprache
• Spracherkennung: Von Spracheingabesignal nach Text
• Sprachsynthese: Von Text nach Sprachausgabesignal
• Sprachübersetzung (über Sprachengrenzen): Von Sprachsignal in Sprache L1 zu Sprachsignal in L2 = Spracherkennung + MT + Sprachsynthese
• Sprachverstehen, Zusammenfassen = Von Spracheingabesignal nach Bedeutung
• Sprachaktivität ist aber nicht nur das, was gesprochen wird
• Wer spricht? → SprecherIDentifizierung
• Welche Sprache wird gesprochen? → LanguageID
• Über was wird gesprochen? → TopicID
• Wie wird gesprochen? → EmotionID
• Zu wem wird gesprochen? → Focus of Attention
• Übersetzung (über Speziesgrenzen): Beispiel Delphine
46 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g GALE
• Global Autonomous Language Exploitation:
• Process huge volumes of speech and text data in multiple languages (Arabic, Chinese, English)
Broadcast News, Talk Shows, Telephone Conversations
• Apply automatic technology to spoken and written language:
Absorb, Analyze, and Interpret
• Deliver pertinent information in easy-to-understand forms to monolingual analysts
• Three engines: Transcription, Translation and Distillation
47 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Demonstration GALE – Chinese TV
Mandarin Broadcast News CCTV recorded in the US over satellite
Transforming the Mandarin speech Into Chinese text using Automatic Speech Recognition ASR
Translating from Chinese text into English text using Statistical Machine Translation
SMT
48 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g PDA Speech Translation in Mobile Scenarios
• Tourism
• Needs in Foreign Country
• International Events Conferences
Business
Olympics
• Humanitarian Needs
• Humanitarian, Government
• Emergency line 911
• USA, multicultural population
• Army, peace corps
49 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g RLAT: Rapid Language Adaptation Toolkit
• Major Problem: Tremendous costs and time for development
• Very few languages ( 50 out of 6900) with many resources
• Lack of conventions (e.g. Languages without writing system)
• Gap between technology and language expertise
RLAT: Intelligent system that learns language from user
Develop web-based toolkits for Speech Processing: ASR, MT, TTS
• http://csl.ira.uka.de/spice
• Interactive efficient learning
Interactive learning:
• Solicite knowledge from user in the loop
• Rapid adaptation of language independent models
Efficiency:
• Reduce time and costs by a factor of 10
50 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Sprache
• Spracherkennung: Von Spracheingabesignal nach Text
• Sprachsynthese: Von Text nach Sprachausgabesignal
• Sprachübersetzung (über Sprachengrenzen): Von Sprachsignal in Sprache L1 zu Sprachsignal in L2 = Spracherkennung + MT + Sprachsynthese
• Sprachverstehen, Zusammenfassen = Von Spracheingabesignal nach Bedeutung
• Sprachaktivität ist aber nicht nur das, was gesprochen wird
• Wer spricht? → SprecherIDentifizierung
• Welche Sprache wird gesprochen? → LanguageID
• Über was wird gesprochen? → TopicID
• Wie wird gesprochen? → EmotionID
• Zu wem wird gesprochen? → Focus of Attention
• Übersetzung (über Speziesgrenzen): Beispiel Delphine
51 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Taxonomie Biosignale – Artikulation
Biosignale
Mechanische Biosignale
Elektrische Biosignale
Akustische Biosignale
Chemische Biosignale
Sprache
Nichtsprachl. Artikulation
Hirn EEG
Augen EOG
Muskeln EMG
Herz EKG
Bewegung
Mimik
Wärme MEG/PET
fMRI
Körper- geräusche
Thermische Biosignale
Gestik
52 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Information in Sprache
Speech Speech Recognition
Language Language Recognition
Speaker Speaker Recognition
Accent Recognition Accent Recognition
Words Onune baksana be adam!
Language Name TurkishTurkish
Speaker Name UmutUmut
Accent IstanbulIstanbul
: :
: :
Emotion Emotion Recognition
Emotion AngryAngry
Topic ID: Chemicals Entity Tracking: Istanbul Acoustic Scene: Bus Station Discourse Analysis: Negotiation
53 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Speaker Recognition
?
?
?
Identification
? ?
Verification/Detection
Segmentation and Clustering
Whose voice is it?
Is it Sally’s voice?
Tim
Will
Where are the speaker changes?
Which segments are from the same speaker?
54 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Japanese
Language Identification
• Auswahl Erkenner (bei multilingualer Spracherkennung)
• Anrufweiterleitung (z.B. 911 emergency line)
• Datenanalyse, Auswahl
• Spezialfall: Akzenterkennung
• Optimierung aller Systemparameter auf Sprecherakzent
• E-Language Learning
55 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Identifikation durch Lautsequenzen
• Lautsequenzen als Merkmale
• Simuliert menschliche Vorgehensweise
• Aussprache als grundlegendes Merkmal
• Multilinguale Lautsequenzen
• Effizient: schneller als Spracherkennung
• Robust: Ergebnis > Summe der Teile
• Portabel: Unabhängig von der Sprache
PR L1
PR LN
Lautkette x/C 0.02
a/C 0.62
h/D 0.56
a/D 0.03
id =
argmin
ΣLi PPLi,j
.
.
.
h/D a/D l/D o/D d/D
x/C a/C r/C o/C b/C x/C 0.50
a/C 0.07
PLM 1, L1
PLM k, L1
h/D 0.35
a/D 0.46
PLM k, LN
PLM 1, LN
C
D Lautkette
Merkmal ID-Rate
Sprache 99.9%
Akzent 97.7%
Sprecher 96.7%
Emotion 75%
Fokus
(+ Video)
60%
(92%)
Jin & Schultz, 2002
56 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g FarSID: Far-Field Speaker Recognition
• Originalsignal
• Effekt Echo (mittelgroßer Raum, 1-m Distanz zum Micro):
0.5 sec 1 sec 2 sec
• Effekt Distanz (mittelgroßer Raum, .5-sec Echo):
1 m 2 m 4 m
• Effekt Raumgröße (1-m Distanz, .5-sec Echo)
Klein Mittelgroß Groß
57 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Sprache
• Spracherkennung: Von Spracheingabesignal nach Text
• Sprachsynthese: Von Text nach Sprachausgabesignal
• Sprachübersetzung (über Sprachengrenzen): Von Sprachsignal in Sprache L1 zu Sprachsignal in L2 = Spracherkennung + MT + Sprachsynthese
• Sprachverstehen, Zusammenfassen = Von Spracheingabesignal nach Bedeutung
• Sprachaktivität ist aber nicht nur das, was gesprochen wird
• Wer spricht? → SprecherIDentifizierung
• Welche Sprache wird gesprochen? → LanguageID
• Über was wird gesprochen? → TopicID
• Wie wird gesprochen? → EmotionID
• Zu wem wird gesprochen? → Focus of Attention
• Übersetzung (über Speziesgrenzen): Beispiel Delphine
58 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
• Kommunikation über Sprachgrenzen über Speziesgrenzen
• Zusammenarbeit mit Wild Dolphins Project
• freilebende Atlantis Spotted Dolphins
• Bestimmung, Verhalten, Kommunikation
• Kommunikation mit Delphinen
• Delphine versuchen Kontakt aufzunehmen
• Information 20Mio Jahre alte Spezies
• “Dolphone” und “Delphinisch”
• Lautproduktion, Perzeption, Frequenz, Medium
• Mustererkennung, Extraktion, Clustering,
Statistische Modellierung
• Audio- und Video indexing, archiving, retrieval
• Audioaufnahme, -analyse, -synthese, -übersetzung
http://wilddolphinproject.com
Biosignal Delphinisch
59 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Bis hier: Biosignal Sprache
• Spracherkennung
• Sprachsynthese
• Sprachübersetzung
• Sprachverstehen, Zusammenfassen
• Identifizierung von Sprechern, Sprachen, Themen, Emotionen/Buntzerzustand, etc.
All das (und noch viel mehr) kann man auch mit anderen als Signalen als mit der Schalldruckwelle durchführen!
60 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Taxonomie Biosignale – Vibration + Sprache
Biosignale
Mechanische Biosignale
Elektrische Biosignale
Akustische Biosignale
Chemische Biosignale
Sprache
Nichtsprachl. Artikulation
Hirn EEG
Augen EOG
Muskeln EMG
Herz EKG
Bewegung
Mimik
Wärme MEG/PET
fMRI
Körper- geräusche
Thermische Biosignale
Gestik
61 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Robuste und vertrauliche Spracheingabe
• Probleme mobiler Spracherkennung
• Geräuschbehaftete Umgebungen (z.B. Umweltgeräusche, Auto, Cockpit, Parties, ...)
• Privatsphäre (z.B. Telefonieren in Bus/Bahn, in Meetings)
• Spezialfälle: Sprachbehinderungen, Taucher…
• Lösungen:
• Bezüglich Robustheit:
• Skin/bone statt air conducting Microphones
• Kombination beider Mikrophone
• Bezüglich Vertraulichkeit/Privatheit:
• Geflüsterte Sprache
• Lautlose Sprache
62 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Körpervibration
• Wenn wir sprechen fungiert unser Körper als Resonanzkörper
• Dadurch vibriert Haut und Knochenstruktur
• Spezielle Mikrophone können diese Vibration messen
• Spracherkennung auch in widrigen Umgebungen (Restaurant, Zug, …)
Nextlink, Ohr-Mic Masur, Zahn-Mic
Nakajima, Stethoskop
Jawbone, headset
Intecs, LUCY Hals-Mic Jou et al., 2004
63 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Taxonomie Biosignale – Muskelaktivität
Biosignale
Mechanische Biosignale
Elektrische Biosignale
Akustische Biosignale
Chemische Biosignale
Sprache
Nichtsprachl. Artikulation
Hirn EEG
Augen EOG
Muskeln EMG
Herz EKG
Bewegung
Mimik
Wärme MEG/PET
fMRI
Körper- geräusche
Thermische Biosignale
Gestik
64 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Muskelaktivität
• Sprache wird durch Bewegung der Artikulatoren erzeugt
• Kontraktion der Artikulationsmuskeln direkt erfassen
• Elektrische Aktionspotentiale der Muskelzellen
• Reizleitung immer in eine Richtung
• Elektroden messen Potentialdifferenzen
Elektromyographie (EMG) » Sehr beliebt in der Medizin: Nadelelektroden
(fanden unsere Versuchspersonen nicht so gut)
» Oberflächenelektroden
s1
s2
+
_ EMG-signal: s1 - s2
„four four"
„zero zero“
65 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Vorteile der Spracherkennung mit EMG
• EMG erfasst Potentialdifferenzen nicht akustische Signale
• Lautloses Bewegen der Artikulatoren ist ausreichend!
Erkennung lautloser Sprache!
• Robuste Erkennung in widrigen Umgebungen
• Sprachsignal nicht durch Umgebungsgeräusche überlagert
Robuste Erkennung in Restaurant, Flughafen, Bahnhof
• Privatsphäre des Sprechers
• Lautlose Sprache
Vertrauliche Gespräche in der Öffentlichkeit
• Rücksichtnahme auf Umstehende/Umgebung
• Lautlose Sprache
Telefonieren stört die Umstehenden nicht (Bibliothek, Bus)
• Sprachbehinderungen
• Hilfe für Personen mit Stimmbandproblemen
66 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
I /i/ you /j/ /u/ we /v/ /e/
I am you are we are
)(
)|()(maxarg)|(maxarg
XP
WXpWPXWP
WW
Hello
Signalerfassung
Vorverarbeitung
Spracherkennung Ausgabe
EMG-basierte Spracherkennung
Audio Reference Label
• Artifact reduction • Feature extraction (typically
special EMG features) • Context features • Compression
67 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Platzieren der Elektroden
• Erfassen der relevanten Muskeln
• Sechs wichtige Artikulationsmuskeln
• Mund-Ringmuskel
• Oberlippenheber
• Mundwinkelheber, -senker
• (Hals-)Hautmuskel
• Mundbodenmuskel
• Minimale Beeinträchtigung der SprecherIn
• Repositionierung
0
10
20
30
40
50
60
70
80
90
100
Wo
rd A
cc
ura
cy
EM
G1
EM
G2
EM
G3
EM
G4
EM
G5
EM
G6
EM
G7
Bes
t-1
Bes
t-4
Bes
t-6
All-
7
Spk1 Spk2 Spk3
Maier-Hein et al., 2005
68 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Platzieren der Elektroden
• Erster Versuch: Spektrale Merkmale
(akustische Spracherkennung)
• Verbesserung 1: Kombination
mit Zeitmerkmalen
• Verbesserung 2: Kombination
mit Wavelets
• Verbesserung 3: Artikulatorische
Merkmale
Jou et al., 2005
69 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Anwendungen
• Anwendung 1: Erkennung lautloser Sprache
• Erkennung einer unhörbar gesprochene Äußerung (Sprache nach Text)
• Ausgabe in textueller Form ODER
• Sprachsynthese = Umsetzung in hörbare Sprache (Text nach Sprache)
• Anwendung 2: Übersetzung lautloser Sprache
• Erkennung einer unhörbar gesprochenen Äußerung (Sprache nach Text)
• Textübersetzung von einer zur anderen Sprache
• Ausgabe der Übersetzung in hörbare Sprache (Text nach Sprache)
• Stellt sich dar wie “Sprechen in einer fremden Sprache” (in Zusammenarbeit mit Prof. Waibel)
70 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
71 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
• Modellierung:
• Geeignete Lauteinheiten, große Vokabulare
• Kontinuierliche Sprache, Koartikulation
• Robustheit: • “Nebengeräusche” durch Kauen, Mimik, Emotion
• Umgebungsvariablen (Haut, Schweiss, Feuchtigkeit, Behaarung)
• Sprecherabhängigkeiten Adaptation
• Nützlichkeit / Anwendbarkeit:
• Erkennung von hörbarer und unhörbarer Sprache
• Elektroden und Signalübertragung
Position,
Größe, Anzahl
Drahtlose Übertragung
• Implantate?
Herausforderungen und Offene Fragen
72 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Taxonomie Biosignale – Elektroenzephalographie
Biosignale
Mechanische Biosignale
Elektrische Biosignale
Akustische Biosignale
Chemische Biosignale
Sprache
Nichtsprachl. Artikulation
Hirn EEG
Augen EOG
Muskeln EMG
Herz EKG
Bewegung
Mimik
Wärme MEG/PET
fMRI
Körper- geräusche
Thermische Biosignale
Gestik
73 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Noch einen Schritt weiter …
Anstatt die Muskelkontraktion zu erfassen: Könnte man die Ansteuerung der Muskeln im Gehirn direkt erfassen?
Erfassung der Hirnaktivität
Elektroenzephalogramm (EEG):
• Erfasst elektrische Potentialschwankung in der Großhirnrinde = Aktionspotentiale der Neuronen, sowie synaptische und postsynaptische Potentiale
• Fokus auf Motorischen Kortex (Homunculus) PLUS
• Broca-Region: Artikulation
• Wernicke-Region: Semantik
Lautloses Sprechen → Denken!
homunculus
74 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
ElectroCap
Verstärker/Rekorder
Elektroenzephalogram (EEG)
Vorverarbeitung - Tiefpass - Segmente
Merkmalsextraktion - Pro Elektrode - STFT (54ms) Δ, Δ Δ
Training 5-state HMM 4 iter EM-Training 5-60 Beispiele
“One”
Evaluation - Viterbi für jedes Wort - Wähle Wort Mit max score - cross-validation: “leave-one-out”
75 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Artefakte?
Genauigkeit auf 10 Wörtern
C3 Cz
F7
T3
T5
C4 T4
A1 A2
GND
46.50 %
H+B+W
Fp1
F3
P3
Fz
Pz
Fp2
F4
P4 T6
A1 A2
GND
32.06 %
¬H,¬B,¬W
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
sequentiell Blöcke randomisiert kurze Blöcke
Erk
en
nu
ng
sra
te
Wortreihenfolge
Variation der Wortreihenfolge (gesamt)
Wester & Schultz, 2005
Porbadnigk, 2008
76 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Aufnahmegeräte:
ElectroCap
16 Kanal Verstärker
Laptop oder Portabler Recorder
Aufmerksamkeitskontrolle, Planung, Arbeitsgedächtnis
Sprache Sehen
Bewegungskontrolle
Lesen, Verstehen von Symbolen
Extrem vereinfacht!
Benutzerzustand ist durch Aktivitätsmuster auf dem Kortex charakterisiert
Biosignal EEG
• Intelligente Systeme sollen sich auf die Benutzerbedürfnisse einstellen
• Perzeption der momentaner Beschäftigung (liest, spricht, ruht),
• oder Auslastung des Nutzers (workload hoch, …, niedrig)
77 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Aufmerksamkeitskontrolle, Planung, Arbeitsgedächtnis
Sprache Sehen
Bewegungskontrolle
Lesen, Verstehen von Symbolen
Extrem vereinfacht!
Benutzerzustand ist durch Aktivitätsmuster auf dem Kortex charakterisiert
Elektroencephalogram EEG Entspanntes Gehirn: a-Rhythmus (8-13Hz); Mentale Aktivität: Aktivitätsmuster
Zuhören Ruhen Lesen
Benutzerzustand und Beanspruchung sind durch Aktivitätsmuster charakterisiert
Aktivitätsmuster im Kortex
78 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Taxonomie Biosignale – Muskelaktivität
Biosignale
Mechanische Biosignale
Elektrische Biosignale
Akustische Biosignale
Chemische Biosignale
Sprache
Nichtsprachl. Artikulation
Hirn EEG
Augen EOG
Muskeln EMG
Herz EKG
Bewegung
Mimik
Wärme MEG/PET
fMRI
Körper- geräusche
Thermische Biosignale
Gestik
79 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Bewegung
• Am CSL besonders vertreten durch SFB 588 „Humanoide Roboter“ • Entwicklung eines humanoiden Roboters (ARMAR)
• 13 Karlsruher Institute von Universität, Forschungszentrum Informatik, Forschungszentrum und Fraunhofergesellschaft
• ARMAR soll den Menschen in dessen Alltagsumgebung unterstützen und mit ihm interagieren
• Fähigkeiten von ARMAR
• Erkennung von Handlungen und Intentionen eines Menschen z.B. anhand von Bewegungen
• Menschenähnliches Verhalten z.B. menschenähnliche Bewegungen
80 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Bewegung
Datenerfassung
Bewegungs-erkennung
Bewegungs- generierung
Datenverarbeitung / Bildverarbeitung
Analyse und Segmentierung der
Daten
Statistische Modellierung
Visualisierung
Übertragung
Simulation
Biomechanische Modellierung
Prozess der Bewegungsanalyse
Anforderungs-analyse
81 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Systemarchitektur
Welche Bestandteile benötigen wir, um ein System zur Erkennung/Verarbeitung von Biosignalen zu bauen?
• Wissen über die Entstehung/Eigenschaften des betrachteten Signals!
• Signalerfassung (A/D-Wandlung, Sampling, evtl. Artefaktreduktion)
• Vorverarbeitung (Artefaktreduktion, Featureextraktion)
• Klassifikator
• Training des Klassifikators
• Test des Klassifikators
Signalerfassung und Vorverarbeitung sind besonders abhängig vom zu erkennenden Signal, aber auch die anderen Bestandteile müssen vernünftig gewählt und optimiert werden
Einen Überblick zeigt die folgende Folie.
82 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Systemarchitektur
- Entstehung - Ausbreitung - Ableitung
Signalverarbeitung
- Abtasten, Quantisieren, A/D - Artefactbereinigung, Normalisierung - Extraktion relevanter Merkmale
Decoder - Erkennung - Identifizierung - Verifizierung
Biosignal
Modelle
Wissen
Adaptation - Robustheit - Portierbarkeit - Effizienz
Applikationen
Signalabhängig Applikationsabhängig
83 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Überblick
• Allgemeine Informationen
• Vorstellung der Vorlesung und des Lehrstuhls
• Angebote
• Einführung Biosignale
• Definition, grundlegende Eigenschaften
• Taxonomie der Biosignale
• Angebote für Studenten
84 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Vorlesungsankündigung
Design und Evaluation innovativer Benutzerschnittstellen
Vorlesung im Hauptdiplom oder Bachelor/Master (2SWS / 3LP)
Termin: Freitags, 11.30 – 13.00 Uhr
Ort: Gebäude 50.34, UG, Raum -102
Design Evaluation
- How do we combine different modalities (speech, gesture, …)?
- How can we use context to build implicit interfaces?
- How can computers react to users‘ emotions?
- How to make a system survive reality?
-How do humans interact with computers?
- Which modalities do humans use?
- What is a good user interface?
- How can we measure it?
More information on CSL website!!
85 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Elektromyographie – lautlose Sprache
Ziel: Spracherkennung durch (Oberflächen-)Elektromyographie
• Wir messen die elektrischen Aktivierungs- potentiale der Gesichtsmuskeln
• Da wir nur die Bewegung aufnehmen, nicht das akustische Signal, ist lautloses Bewegen der Lippen ausreichend
Motivation: Erkennung lautloser Sprache
• Keine Interferenz lautloses Sprechen stört keine anderen Personen (z.B. in Bibliothek, auf Meetings)
• Robustheit das Signal wird nicht durch laute Umgebung gestört
• Privatsphäre/Vertraulichkeit die Information kann nicht von jemand anderem mitgehört werden
• Sprechen in einer fremden Sprache
• Kombination von lautloser Spracherkennung, Übersetzung und Resynthese
• Medizinische Anwendung kann gewissen sprachbehinderten Personen helfen
86 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Studien/Diplom/Bachelor/Masterarbeiten
Aktuelle Themen in der EMG-basierten Sprachverarbeitung:
• Weitere Untersuchungen zu hörbarer und lautloser Sprache
• Untersuchungen mit Elektrodenarrays
• Neuer Korpus in Entwicklung, viele praktische Experimente möglich
• Algorithmik (Quellenseparation/Beamforming etc.), Systembau (Erkennung/Synthese), Untersuchungen an der Sprache (Intonationsgenerierung)
• Bitte melden bei: [email protected]
87 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
interACT – eine wachsende Kooperation zwischen Carnegie Mellon University
University of Southern California Karlsruher Institut für Technologie
Fondazione Istituto Italiano di Tecnologia National Institute of Information and Communications Technology
Waseda University Hong Kong University of Science and Technology
Nara Institute of Science and Technology
InterACT
88 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g InterACT
• interACT:
• Seit 2004 gemeinsames Forschungszentrum von Carnegie Mellon University (CMU) und Universität Karlsruhe (TH)
• Februar 2007: Erweiterung um Hong Kong University of Science and Technology (HKUST)
• September 2008: Erweiterung um Waseda Universität, Japan
• seitdem schnell gewachsen
• Gemeinsame Forschungsprojekte zwischen den Partnern - Gastvorlesungen, Workshops, Sommerakademien, Studien- und Forschungsaufenthalte
• Begrenzte Zahl von Stipendien für herausragende Studierende, die ihre Studien der Informatik mit einem Forschungsaufenthalt im Ausland verbinden wollen!
UKA-Rektor H. Hippler mit CMU-
Präsident J.L. Cohon während seines
Besuchs an UKA, Sept. 2005
Prof. Tom Mitchell,
Vorlesung an UKA
89 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
interACT Studenten-Austausch 2004 - 2008
•65 Austausche bislang:
• 1 Post Doc
• 5 PhD
• 34 Diplomarbeiten
• 25 Studienarbeiten
CMU-Präsident J.L. Cohon mit interACT-Studenten
an Universität Karlsruhe, Juni 2006
90 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g interACT Stipendien
• Wer wird gefördert?
Studierende der Informatik und Informationswirtschaft der Universität Karlsruhe (TH), der Carnegie Mellon University, der HKUST und der Waseda University
• Was wird gefördert?
Studien- & Bachelorarbeiten, bis zu 3 Monaten
Diplom- & Masterarbeiten, bis zu 8 Monaten
Doktorarbeiten, bis zu 12 Monaten
• Bewerbungsvoraussetzungen
Mindestens abgeschlossenes Vordiplom
Gute Englisch-Kenntnisse
Betreuender Professor an UKA und der Gastuniversität
interACT Studenten D. Bertram & K.
Steinbach in Prof. Kuffner‘s lab, CMU Bewerbungsfristen und Information: Frau Rödder, [email protected]
91 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Plan der nächsten Vorlesungen
• In den nächsten Vorlesungen werden wir auf die Bestandteile eines Erkennungssystems einzeln eingehen.
Zunächst gibt es allgemeine Grundlagen:
1. Genereller Überblick über den Informationsfluss im menschlichen Körper
2. Signalvorverarbeitung
3. Klassifikatoren
Danach: Einzelne Biosignale, tiefergehende Betrachtungen, Vorstellung aktueller Forschungsarbeiten
Top Related