Grundlagen der Visualisierung von Geräuschen und Musik · metrische Skalen sone-Skala,...

Dr. Michael Haverkamp

Ford Werke GmbHKöln

[email protected]

Grundlagen der Visualisierung vonGeräuschen und Musik

Dr. Michael Haverkamp FORD Werke GmbH Köln 2 2.11.2006

1. Einleitung

2. Verknüpfung auditiver und visueller Wahrnehmung

3. Qualia

4. Inter-modale Analogie

5. Assoziative und symbolische Elemente

6. Das "Farbe-Ton-Problem"

7. Schlußfolgerung - Ausblick


1. Einleitung


3. Qualia






Visuelle Muster beim Hören von Geräuschen

nach Berichten Erblindeter, Wilhelm Voss, 1929

Glockentöne Tierlaute


genuine Synästhesie

intermodale Analogie

Assoziationikonische Verknüpfung

Metapher/Symbolik

bewusste Analogiebildungmathem./physikalisch

spontan,unwillkürlich,

"zwangsmäßig"

spontan,vom Kontext

beeinflusst

bewusste Zuordnung

auditiverReiz

visuelleWahrnehmung

Vorstellung

Schema inter-modaler Verknüpfungen


1. Einleitung


3. Qualia






Qualiasubjektiver Erlebnisgehalt mentaler Zustände

qualitative Aspekte des Bewußtseins"wie es ist (sich anfühlt), Rot zu sehen"

physikalischer Reiz Reaktion, Verhalten

beschreibbarmessbar

beschreibbarmessbar

physiologischeReizverarbeitung

messbar

neuronaleAktivität

messbar

Wahrnehmungssystem

Qualiasubjektiv, nicht messbar

nur äußerst grob beschreibbar(Beschreibbarkeit verlangt Konsensbildung)


LMS

400 500 600 700

1

0,1

0,01

Wellenlänge / nm

rela

tive

Em

pfin

dlic

hkei

t

Sinneswahrnehmung : das SehenFarbrezeptoren


Farbkonstanz

Tageslicht

Trotz unterschiedlicher Färbung derBeleuchtung bleibt das Fahrzeug weiss

Glühlampe

Tageslicht gefiltert durch gelben Vorhang


Beispiel: Tonhöhensynästhesie

E F Fis G As A B H C Cis D Es Enach: Paul Dörken, 1927

Genuine Synästhesie : Farbenhören

Alexander Laszlo :Die Farblichtmusik, 1925

Fis-dur

Cis-dur

As-dur

Es-dur

B-dur

F-dur

Beispiel: Farbwahrnehmung bei Tonarten und Klängen


Visuelle Muster beim Hören von Geräuschen

nach Bildern von H. Hein, 1927

„Motorgeräuscheines Fischkutters“„leises Auto“

„Dampfertuten(3 Signale)“ „Weckerrasseln“

„Glockenton“„Glockenton

einer Wanduhr“„Glockenton einer

Kirchturmuhr“„Geräusch einer

Kaffeemühle


Klang einer Klangschale


1. Einleitung


3. Qualia






Zuordnungsversuch


Der Begriff „Inter-modale Analogie“ bezieht sich auf die Fähigkeitdes Wahrnehmungssystems, über die Sinnesgrenzen hinweg

Korrelationen zu erkennen und zur Identifizierung vonObjekten und Atmosphären auszuwerten.

Olivier Messiaen : Oiseaux exotiques

„Analogie“ in der auditiven Wahrnehmung:

Definitionen

Der Begriff „Analogie“ bezieht sich auf die Fähigkeitdes Wahrnehmungssystems,

Korrelationen zu erkennen und zur Identifizierung vonObjekten und Atmosphären auszuwerten.


Überblick

räumliche Analogie -> landscape – soundscape

Bewegungsanalogie

Emotionale Analogie

zeitliche Analogie -> Synchronie / „Prinzip des gemeinsamen Schicksals“

Coltrane : SpiralVivaldi : Wind

inter-sensorielle Eigenschaften⇒ Intensität, Volumen, Helligkeit, Dichte, Rauigkeit

- Cross-modality matching- Analogie zur musikalischen Notation / Musikalische Graphik


“Fliederduft”Richard Wagner:Die Meistersinger von Nürnberg3. Aufzug

Analogie von Tonhöhe und Klangfarbe (Helligkeit) zum Visuellen

“Nacht-Motiv”

“Gralsmotiv”

Richard Wagner:LohengrinVorspiel

“Tag-Motiv”

Richard Wagner:Tristan und Isolde2. Aufzug

Anfangsakkord


Farbskalen zur Visualisierung von SchallphänomenenMotoren-Hochlauf – Anwendung verschiedener Farbskalen im Campbell-Diagramm


Skalentheorie

Nominalskala: Elemente benennenBremsgeräusche: Quietschen, Knarzen, Heulen

Ordinalskala: + Elemente ordnenBremsgeräusche: Quietschen bei 1,5 kHz, 4 kHz, 6 kHzlQualitätsbeurteilung: Produktionsverwerfung, Grenzfall,

ausreichend, gut, sehr gut, ausgezeichnetNotenskala: 1, 2, 3, 4, 5, 6

Intervallskala: + gleiche Abstände (Additivität)Temperaturskala in C°

Ratioskala: + Nullpunktsone-Skala, Temperaturskala in Km

etris

che

Skal

en


Subjektive Farbreihen

Typische subjektive Farbreihe nach Untersuchungen von Anschütz 1927 :häufig angewandt auf Tonhöhe, Vokale, Tageszeiten,

Entfernungsstufen, Tage der Woche, Zahlen

Farbreihe aus dem 17. Jahrhundert nach Francois d‘Aguilon, 1613 :


Verwendung von Farbskalen bei der Visualisierung vonSchallphänomenen - Beispiele

Skale zunehmender Helligkeit

Plus-Minus Skala mit Farbsymbolik

Isophonen-Skala (bei Holographie-Anwendern beliebt,die Darstellungen von fringes gewohnt sind)


Analogie zur musikalischen Notation / Bewegung

Alexander Truslit: Gestaltung undBewegung in der Musik. 1938


Analogie zwischen musikalischen Parametern und Bewegung(Eitan & Granot, 2004)

descendingmoving to the leftsupporting forcelower energyfalling or sliding

descent

ascendingmoving awayspeedingsupporting forcehigher energyrunning, walking

ascentPitch Direction

moving awaydescendinglower energyfalling or sliding

Diminuendo

approachingspeedinghigher energyrunning

CrescendoDynamics

Related Motion FeaturesMusical FeatureMusical Parameter

symmetry

asymmetry


1. Einleitung


3. Qualia






Abgrenzung : Analogie - konkrete Assoziation

Analogie: "wulstige Formen"

a)

Beispiele aus: Hans Richter:Filmgegner von heute - Filmfreunde von morgen. 1929a) Quelle nicht genanntb) Dziga Vertov (Werthoff), "Der Mann mit der Kamera"

Assoziation: "Arbeit"

b)


1. Verknüpfung durch Identifikation multi-sensorieller Wahrnehmungsobjekte

Landschaften, Räume...

Visuelle Attribute der Schallquelle, z.B. von Musikinstrumenten

Laut- und Klangmalerei

=> im assoziatives Gedächtnis gespeichert

Konkrete Assoziation - ikonische Verknüpfung

Ikonische Repräsentation : "Was ist es ?"

Semantische Repräsentation : "Was bedeutet es ?"

2. Verknüpfung durch Identifikation des Umfeldes (Atmosphären)


Gelb: Sonne, Energie, Kraft, Wärme; "Strom ist Gelb", Ampel, Warnblinkleuchte: Achtung(früher: Zorn, Eifersucht, Neid)

Rot: "Stop", Verboten, Gefahr, negativ: Bremsleuchten, "rote Zahlen","roter Bereich" (traditionell: Liebe, aber auch: Blut, Opfer)

Grün: "Go", Erlaubt, Natur, Gesundheit, positiv: "grüner Bereich"(traditionell: Neid; christliche Kirchen: Hoffnung)

Blau: Kälte, Ruhe, Melancholie: "the blues"

Violett: (traditionell, christliche Kirchen: Buße, Passion)

Schwarz: Tod, Hoffnungslosigkeit, Nacht, Unglück; aber auch: Gewissheit:"schwarze Zahlen", "schwarz auf weiß"

Weiß: Unschuld, Klarheit: "weiße Weste"

Farbsymbolik : Beispiele


Darstellung ähnlich Phosphenen

Helligkeit -> Lautheit, Frequenz -> Höhe,Drehzahl -> wie Zeit

Hitze, Feuer -> Energie

Kraft, Leistung, Gefahr ...

genuine Synästhesie

Intermodale Analogie

konkrete Assoziation

Symbol / Metapher

Mathematisch / physikalischeZuordnung

Farbsymbolik bei der Visualisierung von Geräuschen


Farbsymbolik

Wahl der Komplementärfarbe als Kontrast zum Firmenlogo:FORD Focus ST


Stroop-Test:

ROT

GRÜN

GELB

BLAU

WEISS

SCHWARZ

WahrnehmungskonfliktGegensatz ikonische Ebene (Assoziation) �� Symbol-Ebene

Farbmarkierung:

ROT

GRÜN

GELB

BLAU

WEISS

SCHWARZ

Nutzung von Wahrnehmungs-konflikten zur Erhöhung der Auf-

merksamkeit in der Werbung:


1. Einleitung


3. Qualia






Farben : Olivier Messiaen

Farben eines Kirchenfensters aus „Un Vitrail et des Oiseaux “


Alexander Skrjabin : Promethée – Le Poème du Feu

AFis

Anfangssequenz : Farbakkord der Luce-Stimme


Kombination von Tönen undFarben; Beispiel

Anpassung der Farbskala an dengesamten Tonumfang

chromatische Skala (C=rot)

A.W. Rimington. Colour music (1911)

Terz

Quarte

Quinte

Kombination von Farben bezogen auf dasmusikalische Intervall; abgeleitet vom Farbenkreis

nach Ostwald

A. László: Farblichtmusik (1925)

Farbskalen in der Musik


Bildliche Darstellung musikalischer FormenExakte Transformation der Struktur

Luigi Veronesi: Chromatische Visualisierung:J.S.Bach Kontrapunkt No. 2 aus der Kunst der Fuge, 1971


Einzelton, Rauschen:

Sinuston

Rauschen terzgefiltert

Rauschen oktavgefiltert

weißes Rauschen

Impuls:

Tonhöhe hoch

Tonhöhe mittel

Tonhöhe gering

ungefiltert

harmon. Spektrum:

wenig geräuschhaft

mehr geräuschhaft

Zeichensystem (Auszug) von Rainer Wehiger für die Hörpartitur zuGyörgy Ligeti (*1923): Artikulation, elektronische Komposition, 1958

Visualisierung einer Geräuschkomposition: Ligeti - Artikulation

Die Farben wurden zunächst assoziativ gewählt, dann systematisiert:- schwarz/braune Farben bezeichnen geräuschhafte Signale- reine Farben symbolisieren Sinustöne- die Formen bilden Analogien zur Zeitstruktur


Richtung

Zeit / sec.

Frequenz

Visualisierung einer Geräuschkomposition: Ligeti - Artikulation


Krzysztof Penderecki (* 1933) : 1. Sinfonie : Glissandi

Transformation der physikalischen Klangeigenschaften


Arnold Schoenberg : "musikalischer Pointilismus"5 Orchester- Stücke op.16, Nr. 3 : "(Akkord-)Farben"

relativer Schalldruck

Frequenz / Hz

Zeit


1. Einleitung


3. Qualia






- Parameter wählen, die gleich skaliert werden können (Skalentheorie)

- Zeitrichtung entspricht Schreibrichtung

- Analogien, Assoziation und Symbolik können parallel eingesetzt werden

- Analogien sind nicht eindeutig, unterliegen jedoch Präferenzen

- Zuordnungen sind nicht reziprok -> sondern "Einbahnstraßen"

- Asymmetrien sind möglich

Visualisierung von Geräuschen und Musik


fehlt etwas ?


Was fehlt ?

R. Wagner: Götterdämmerung, 3. Aufzug, „Brünnhildes Erwachen“

Harfen

Harfen

Violinen

Holz-/Blechbläser

V. Triller

Klangfarbe

Grundton

HarfenHarfen

ViolinenHolz-/Blechbläser V. Triller

Berücksichtigung der Gruppierung im Frequenzbereich (simultan)


Georg Philipp Telemann, 7. Fantasie für Querflöte ohne Bass, D-dur, Allegro

Objektbildung erfordert Zusammenfassung und Trennung von Elementen

Was fehlt ?

Berücksichtigung der Gruppierung im Zeitbereich (sequentiell)


Georg Philipp Telemann, 7. Fantasie für Querflöte ohne Bass, D-dur, Allegro

Was fehlt ?

Berücksichtigung der Gruppierung im Zeitbereich (sequentiell)


[email protected]

www.michaelhaverkamp.mynetcologne.de

Vielen Dank für Ihre Aufmerksamkeit !


Seminar:

Synästhetisches Design - Theorie und Praxisder multi-sensuellen Optimierung

Haus der Technik - Essen

14. 6. 200722.11. 2007

www.michaelhaverkamp.mynetcologne.de

Grundlagen der Visualisierung von Geräuschen und Musik · metrische Skalen sone-Skala,...

Documents

Transcript of Grundlagen der Visualisierung von Geräuschen und Musik · metrische Skalen sone-Skala,...