what the face - nadinevogt.de · Dokumentation pay attention what the face marlitt messmann aren...

Dokumentation

pay attentionwhat the face

marlitt messmann

aren danielian

cathrin weihermann

nadine vogt

franziska kästle

johanna krünes

philippe steinmayr

evelin kremer

prof. robert roseprof. dr. michael kipp

what the facepay attention

aren danielianfranziska kästle

evelin kremernadine vogt

johanna krünesmarlitt messmann

philippe steinmayrcathrin weihermann

prof. robert roseprof. dr. michael kipp Dokumentation

fragebogen | wtf.1/2

Alter _________ Studiengang/Beruf ___________________________ Geschlecht (m/w) _____

Wie wirkt die Installation jetzt auf dich, hat sich dein erster Eindruck verändert? Wenn ja, inwiefern?

____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Was könnte der tiefere Sinn bzw. die Absicht dieser Installation sein?

_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Wie hat es für dich gewirkt, als die Gesichter...

a) ...geschlafen haben?

b) ...langsam erwacht sind?

c) ...du gemerkt hast, dass die Gesichtermit dir interagieren und auf dich reagieren?

d) ...positiv reagiert haben?

e) ...dich ausgelacht / ausgebuht haben?

□ □ □ □

überraschend ungewöhnlich vorhersehbar langweilig

□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □

Dokumentation | Inhalt 2

Inhalt

1. Konzeptentwicklung 3 1.1 Themafindung 3 1.2 IDEE 1: Die Black Box 5 1.3 IDEE 2: WTF- Attention Whore 6

2. what the face - Das finale Konzept 9 2.1 Der Hintergrund 9 2.2 Grundsätzlicher Ablauf 9 2.3 Ablaufplan 10 2.4 Technik & Aufbau 10 2.5 Die Köpfe 11 2.6 Der Code 12

3. Coorporate Design 14 3.1 Name und Designkonzept 14 3.2 Logo-Entwicklung 14 3.3 Das Exposé 15 3.4 Flyer, Poster & Visitenkarten 16 3.5 Merchandise und wtf in der Öffentlichkeit 16

4. Konzeptionelle und technische Herausforderungen 18 4.1 Eine anonyme Masse verkörpern 18 4.2 Echtzeit-Animation 18 4.3 Abstrahierung des Sounds 18 4.4 Der Trackingbereich 18

5. Kritik und Einschätzung des Prototyps 19 5.1 Konstruktion 19 5.2 Modelling & Reaktionen 19 5.3 Sounds & Mimik 19 5.4 Wirkungsweise & Fazit 19

6. Projektorganisation und Rollenverteilung 20 6.1 Projektschritte 20 6.2 Rollenverteilung 21 7. Danksagungen 22

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □

Dokumentation | 1.Konzeptentwicklung 3

1. Konzeptentwicklung

1.1 Themafindung

Die Grundidee eines Teammitgliedes, ein 3D-Gesicht aus Blender oder Maya auf eine dreidimensionale Gesichtsform zu projizieren, fand bei allen Beteiligten des Projekts sofort große Begeisterung. Zu Beginn, war allerdings nur die Rede von einem Gesicht, welches in ir-gendeiner Form mit einer Person interagieren sollte. Doch was genau sollte das 3D-Gesicht machen? Welchen Sinn sollte die Installation haben? Wir kamen von einem Infostand für Stadtgeschichte bis hin zu einem Spiel, welches man mit dem Gesicht hätte machen können. Doch so richtig zufriedenstellend waren unsere Ergebnisse nicht. Da kamen wir auf die Idee mehrere Gesichter zusammen wirken zu las-sen und somit eine ganze Gesichterwand zu haben. Die Wand sollte verschiedene Aufgaben an den Nutzer stellen, welcher herausfinden sollte, auf welche Bewegungen von ihm, die Wand in welcher Art reagierte. Mit einer XBOX Kinect sollten dabei die Bewegungen des Nutzers erkannt werden und je nachdem die Gesichter-Wand unter-schiedlich reagieren. Allerdings war auch hier wieder die Frage nach dem tieferen Sinn der Installation. Um dem auf die Spur zu kommen, starteten wir eine große Rechereche nach Installationen, Monumen-ten, spirituellen Wesen und Ähnlichem, welche etwas mit vielen Köpfen oder einzelnen Gesichtern gemein hatten. Es tauchten einige vielköpfige göttliche und mystische Wesen, wie z. B. das Ungeheur Typhon oder die Hydra auf, doch am meisten fesselte uns eine Figur aus dem Buddhismus: der elfköpfige Avalokiteshvara. Dieser verweilte im Zwischenzustand (Bardo) zwischen Leben und Tod und hatte es sich laut Legende zur Aufbgabe gemacht, alle Be-reiche des lebenden Seins zu durchstreifen und Götter, Menschen, Tiere oder Dämonen zu unterstützen sich vom Leiden zu befreien. Als er an der Erfüllung seines Gelübdes zweifelte, zersprang er in tausend Teile. Mit seinen übernatürlichen Fähigkeiten setzte Bud-dha Amitabha, der Buddha der unterscheidenden Weisheit, Avaloki-teshvara wieder zusammen. Dieses Mal jedoch gab er ihm tausend Arme, in den Handinnenflächen mit jeweils einem Auge versehen, und elf Köpfe. Damit wollte er gewährleisten, dass Avalokiteshvara den Wesen noch effektiver dienen konnte.So kamen wir zu unserem übergeordneten Thema, der Aufmerk-samkeit, welche mit der Vielköpfigkeit einhergeht. Um dieses The-ma jedoch noch zu spezialisieren, trafen wir uns zu einem großen Brainstorming.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


Folgende Ideen wurden zu dem Thema Aufmerksamkeit ausgearbeitet:Individuum vs. Masse Als Grundidee liegt unserem Projekt die Thematik Individuum VS Masse zugrunde. Der Betrachter wird unmittel-bar mit einer anonymen, nicht zu unterscheidenden Masse gegenüber, die mit ihm interagiert, ohne aber dass er eine unmittelbare „Bezugsperson“ aus dieser Masse heraus hat, mit der er auch interagieren kann. Diese einseitige Interaktion wirkt bedrängend und beunruhigend, da ein Bezug bzw. eine Verknüpfung zwischen Masse und Indivi-duum da ist, nicht aber umgekehrt - zwischen Individuum und Masse.Soziale Verknüpfungen Diese vermeintlich (soziale?) Verknüpfungen spiegeln sich in einigen Situationen in unserem heutigen Alltag wie-der. Gerade die Versinnbildlichung dieser anonymen Verknüpfungen kann man so beispielsweise in den heutigen, sozialen Netzwerken wiederfinden. Dort hat der User leicht 100 Freunde – doch wie viele dieser Kontakte sind wirklich seine Freunde und wie viele kennt er wirklich persönlich? So entsteht eine anonyme Masse, die durch das Individuum (User) verbunden ist, welcher wiederum mit einer weiteren anonymen Masse verknüpft ist usw.Aufmerksamkeit – und das im 21. Jahrhundert? Im heutigen Zeitalter – voller Stress und medialer Reizüberflutung – sind wir es auch gar nicht mehr gewohnt, die alleinige Aufmerksamkeit zu erhalten. Im Internet sind es die Werbebanner, im TV die sekündlich wechselnden Werbungen, auf der Straße die Banner, die um unsere Aufmerksamkeit buhlen. Doch wie viel Aufmerksamkeit schenken wir solchen Dingen überhaupt noch? Die Antwort ist klar: Wir sind mit solchen Sachen so oft und so viel Dauerkonfrontiert, dass wir viele Dinge einfach übersehen oder schon gar nicht mehr wahrnehmen (können). Umso schwieriger wird es für uns, wenn uns plötzlich die alleinige Aufmerksamkeit gilt. Niemand buhlt um unsere Aufmerksamkeit – wir bekommen sie einfach! Uneingeschränkt und dauerhaft! Dieses Gefühl ist ungewohnt, wenn nicht gar unbehaglich. Man fühlt sich im Mittelpunkt; beobachtet. Mit dieser Installation möchten wir den Betrach-ter in genau diese Situation versetzen, indem wir die vielen Augen der anonymen Masse auf genau einer Person ruhen und diese ihm folgen lassen. Aufmerksamkeit 2.0 und das im 21. Jahrhundert sozusagen.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


1.2 IDEE 1: Die Black BoxZu Beginn galt es die Frage zu klären, ob wir unsere Installation öffentlich zugänglich machen oder in einem ge-schlossenen Raum, unserer sogenannten Black Box stattfinden lassen.

Die Black Box sollte ein dunkler, länglicher Raum sein, aufgebaut aus Alustangen und schwarzen Vorhängen, ca. 4 m lang, 2,5 m breit und 3 m hoch. An der hinteren Wand des Raumes hängt eine rechteckige Gesichterwand mit 40 Köpfen (4 Reihen à 10 Köpfen). Die Köpfe sind grundsätzlich unfarbig gehalten um den Grad der Abstraktion zu erhöhen. Farbige Akzente können als hervorheben-der Kontrast für bestimmte Aktion-Reaktion Sequenzen eingesetzt werden.Aus der Black Box sollten unheimliche Stimmen ertönen. Sobald der Besucher die Box betritt verstummen die Gesichter und richten ihren Blick auf ihn (Schockmoment). Langsam beginnen die Gesich-ter untereinander zu tuscheln, wobei sie ihren Blick immer wieder auf den Besucher richten.

Von einem im Front Bereich der Box positionierten Kinect Sensor werden ab jetzt die Bewegungen des Akteurs gescannt und im Computer weiter verarbeitet. Die registrierten Gesten des Besu-chers werden umgewandelt und als audiovisuelle Reaktionen in der Gesichterwand dargestellt. Die Reaktionen können beispielsweise zustimmend, ablehnend, nachahmend sein. Sie können einmal der „normalen“ Erwartung eines Aktion-Reaktion Paares entsprechen oder dieser komplett entgegengesetzt sein. Mit der Zeit wird der Akteur, der eine vorhersehbare Reaktion der Gesichter erwartet und meint diese steuern zu können immer mehr verunsichert. Dabei wird es für ihn mit der Zeit zusätzlich immer schwerer die Aufmerk-samkeit der Gesichter auf sich zu lenken – er muss sich somit immer mehr anstrengen um zu verhindern, das die Gesichter das Interesse an ihm verlieren.Am Höhepunkt der Interaktion werden durch unbewusste Bewe-gung des Akteurs nacheinander die Gesichter „ausgeschaltet“ bis nur noch eines übrig bleibt. Bevor der Besucher lange nachdenken kann, was hier überhaupt geschieht, wird sein eigenes Gesicht auf das letzte noch übrigen Gesicht proijeziert und somit somit dasIndi-viduum zum Teil der Masse.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


1.3 IDEE 2: WTF - Attention Whore

Im Gegensatz zur Black Box, sollte die Installation bei diesem Modell öffentlich zugänglich sein. Wir wollten uns hier am Thema Attention whore orientieren. Unter einer Attention whore verstehen wir eine Person, die nach über-triebener Aufmerksamkeit giert und alles tun würde, um diese zu bekommen – egal ob die Aufmerksamkeit positiv oder negativ ist. Genau auf diese Art und Weise sollten unsere Gesichter agieren. Dadurch sollte beim Nutzer ein Information Overload stattfinden: Die durch moderne Technologien erzeugte Informationsflut droht deren Ad-ressaten in Passivität versinken zu lassen. Dies sollte zum einen durch eine audiovisuelle Reizüberflutung, mit der man tagtäglich zu tun hat erreicht werden und zum anderen durch die Projektion anonymer Gesichter, die dem Besucher mit ihren Augen folgen. Des weiteren sollten spezielle Schlagwörter, Werbeslogans, Blog-, Twitter- und Social Network-Einträge auf die Gesichter projiziert werden.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


Attention Whore 1: Mehrere Personen

Für die Installation wären wieder eine Kinect für Windows sowie Laptop und Beamer benötigt worden. Die Reakti-on der Gesichter sollte sich an der Anzahl der Personen im Trackingbereichs orientieren:

• Trackingbereich leer = intensiver audiovisueller Output• Trackingbereich füllt sich = Reaktion der Gesichterwand reduziert sich• Trackingbereich gefüllt = Ziel erreicht; Output minimal, Gesichter entspannt

Gesichterwand

Von Kinect erfassbarer Bereich

Gesichter sind ruhig und lächeln Gesichter schreien nach Aufmerksamkeit

Gesichterwand


alle Gesichter sind ruhig und gelassen und lächeln dabei

alle Gesichter schreien wild durcheinander und buhlen um Aufmerksamkeit

Gesichterwand


what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


Attention Whore 2: Eine Person

Eine zweiter Konzeptanlauf sollte sich statt auf mehrere, nur auf eine Person beziehen. Durch ein anteigendes Soundkonzept, sollte die Person langsam an den Punkt der Reizüberflutung geführt werden, dem „Ohrgasmus“..

Der Ablaufplan, wie das Soundkonzept hierfür ausgesehen hätte zeigt die folgende Grafik.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □

Dokumentation | 2.Das finale Konzept: what the face 9

2. Das finale Konzept: what the face

2.1 Hintergrund

Unser Endkonzept what the face bedient sich etwas aus beiden vorherigen Konzeptideen. Das Thema Aufmerk-samkeit wurde wieder aufgegriffen, doch diesmal in einem anderen Kontext. Aufmerksamkeit - Individuum vs. Mas-se, lautet hier der Überbegriff. Als Hintergrund dient die aktuelle Problematik um den Umgang mit digitalen Medien und die für jeden wichtige Frage, wie man mit seiner zur Verfügung stehenden Aufmerksamkeit haushaltet. Die Macher diegitaler Medien, die für uns meißt nur als anonyme Masse auftreten, wollen so viel Aufmerksamkeit wie möglich von jedem Einzelnen in Beschlag nehmen. Vor allem im Internet und Fernsehen steigt der Profit mit der Menge an Aufmerksamkeit, die die Zuschauer oder Besucher ihren Programmen oder Seiten schenken. Auf-merksamkeit wird in der digitalen Welt so zu einer Art immateriellen Währung, in der es immer schwieriger für jeden wird zu entscheiden, wie und wofür er seine Zeit und Aufmerksamkeit ausgibt. Diese Thematik soll what the face auf noch nicht dargewesene Art und Weise darstellen und die Problematik dahin-ter für den Besucher erlebbar machen.

2.2 Grundsätzlicher Ablauf

Die anonyme Masse der medialen Macher verkörpern in die-ser Installation die 40 Köpfe, die mit extremen emotionalen Reaktionen auf den Besucher einwirken. Dabei tragen sie ih-ren emotionalen Zustand durch Mimik und abstrakte Sounds bzw. Geräusche nach außen. Ihr Ziel ist es, den Besucher in ihrem Bann zu halten und seine volle Aufmerksamkeit so lange wie möglich an sich zu binden. Um die Wirkung voll auszuschöpfen wurde das Konzept hier nur für eine Person entwickelt. Die Installation soll allerdings in einem offenen Raum stattfinden, in dem ein Bewegungs-bereich für den Besucher abgesteckt wird. An dessen Vor-derseite befindet sich die Gesichterwand. Auf dem Tracking-feld kann sich der Besucher frei bewegen, während andere Personen in der Lage sind von außen die Vorgänge beob-achten. Das Trackingfeld ist, für den Besucher nicht sichtbar, in 4 Zonen aufgeteilt. In jeder dieser Zonen wechselt die Gesamtstimmung der Gesichter. Je näher sich der Besucher im Zentrum des Feldes befindet, im Zentrum der Aufmerksamkeit, desto glücklicher sind die Gesichter. Bewegt er sich nach außen werden die Gesichter immer un-gehaltener, bis sie ihn am Ende in Zone 4 wütend anbrüllen.

Was hier ausgenutzt werden soll, ist die Tatsache, dass Menschen grundsätzlich auf die Stimmung ihrer Außenwelt reagieren und dazu neigen negative Reaktionen zu vermeiden und sich demnach eher in einem Umfeld mit posi-tiver Reaktion aufhalten wollen. Sie stellen das Individuum dar, das der anonymen Masse ausgesetzt ist und sich in ihrem emotionalen Spielfeld bewegt. Die mit der Wand interagierenden Personen sollen intuitiv die Zonen austes-ten und ihre individuelle Interpretation zum Reaktionsschema der ihr entgegenwirkenden Wand entwickeln.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


2.3 Ablaufplan

Befindet sich keine Person im Trackingbereich schlafen alle Gesichter solange, bis zum ersten mal Zone 1 betreten wird. Die Gesichter wachen daraufhin auf, äußern ihre Überraschung und verfolgen den Besucher ab hier per-manent mit ihren Augen. Ab sofort wechsel die Reaktion der Gesichter mit Betreten der verschiedenen Zonen. In Zone 1 sind die Gesichter glücklich, lachen und glucksen. In Zone 2 sind sie recht leise, wirken verstört, flüstern. In Zone 3 äußern sie deutlich ihren Unmut, beginnen zu jammern und zu meckern. In Zone 4 erreicht ihre negative Stimmung den Höhepunkt, sie brüllen und schreien und auch ihre Lautstärke ist hier am höchsten.

2.4 Technik & Aufbau

Das TrackingfeldDie Abgrenzung des Trackingfeldes passiert innerhalb des Codes. Hier wird das Bild, das eine an der Decke hän-gende Weitwinkel-Webcam aufnimmt in Zonen aufgeteilt. Durch Berechnung von Farb- und Helligkeitsunterschie-den zum Boden wird die Position der Person auf dem Feld getrackt und in dementsprechende Reaktionen der Gesichterwand übersetzt. Nähere Erklärungen zu der genauen Funktionsweise finden sich im Code-Teil der Doku-mentation.

Die HolzwandMit Hilfe des Beamers wurden die 3D-Gesichter auf vorgeformte Gipsmasken an einer Wand projiziert. Die Wand sollte schlicht, stabil und gut transportierbar sein. Aus leichten Holzstreben wurden zwei gleichgroße Wandteile mit jeweils abnehmbaren Füßen gefertigt, die am Installationsort zusammengebaut werden. Über die Wand und für Fußbereiche ist schwarzer, strapazierfähiger Stoff gespannt, durch den die Halterung der Masken gesteckt wer-den. Die folgenden zwei Bilder zeigen die Konstruktionsskizze mit Maßen und die fertig auggebaute Wand.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □

Dokumentation | 2.Das fi nale Konzept: what the face 11

2.5 Die Köpfe

Die GipsköpfeDie Köpfe mussten auf Grund ihrer Anzahl und Anbringung ebenfalls sehr leicht, stabil sein und vor allem einfach reproduzierbar sein. Auf ein forgeformtes Tongesicht wurden hierfür Gipsbinden aufgelegt und jede Maske per Hand gefertigt. Auf Grund der langen Trocknungszeit dauerte die Produktion der 40 Köpfen einen Monat. Um jeden Kopf im richtigen Winkel an der Wand befestigen zu können wurden Halterungen aus Gewindestangen angebracht und mit Beilagscheiben und Muttern an der Rückseite der Wand befestigt. Da die Masken durch die manuelle Herstellung nicht ganz gleichförmig waren wurden die Stangen mit Hilfe einer Schablone passgenau und im richtigen Winkel angebracht und mit Heißkleber und einer zusätzlichen Gipsschicht fi xiert. Das Enprodukt ist sehr stabil und kann auch mehrere Transporte unbeschadet überstehen. Die folgenden Bilder zeigen eine Grafi k zur Kopfhalterung und ein Produktionsbild.

Der 3D-KopfFür die Form des Gipsgesichtes wurden Nase und Mund stark abgefl acht, um eine Kopfdrehung des projizierten Gesichts möglich zu machen.Ein fertiges 3D Model in Form eines weiblichen Kopfes wurde von Turbosquid heruntergeladen und so nachbearbeitet, dass keine femininen Züge mehr vorhanden waren. Hals und Ohren wurden entfernt, um den Kopf zu abstra-hieren. Um den Kopf auf die Gipsmaske anzupassen, wurde direkt aus dem 3D-Programm Maya der Kopf mittels Beamer auf die Maske projiziert und die einzelnen Vertices an die richtige Position geschoben.Um den Kopf für die spätere Animation zu präparieren, wurde das Facial Animation Toolset von der Filmakademie Baden-Württemberg verwendet. Das Prinzip: Man lädt seinen eigenen modellierten Kopf in Maya und überträgt die einzelnen FeaturePoints /Joints von einem Referenzkopf auf sein eigenes Objekt. Danach muss für jeden einzelnen Joint die Gewichtung gemalt und dann an den Animationsreglern getestet werden. Also ob die Mimik wie z. B. Lachen korrekt ausgeführt wird, ohne das Meshfehler entstehen. Diese Arbeit war schwerer als erwartet und sehr langwierig, bis alles einigermaßen gepasst hat. Danach wurde jede einzelne Mimik als OBJ-Datei heraus gespeichert. Mit diesen Dateien wurde dann der Kopf über die Programmierung animiert.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


2.6 Der Code

TechnikFür die Entwicklung wurde Processing als Werkzeug gewählt. Durch viele vorgefertigte Klassen kann sich die Ent-wicklung auf die eigentliche Problemlösung konzentrieren. Als zusätzliche Bibliotheken wurden Minim Audio für die Wiedergabe von Audiodateien, sowie der OBJ Loader von Saito für das Einlesen von OBJ Dateien (3D Modelle) verwendet.

ModuleDer Code wurde in mehrere Module unterteilt, damit zum Einen die Aufgabe auf einzelne Teilaufgaben vereinfacht werden konnte, und die Implementierung ebenfalls schrittweise erfolgte.Das Controller-Modul beinhaltet die eigentliche Klasse der Ablaufsteuerung (indaface.pde), sowie die Logik (Klasse Logic.pde), also welche Aktion bzw Zustände beim erreichen jeder Zone eintreten sollen.

GraphicsDas Laden und Anzeigen der Modelle (Model.pde), sowie die Verwaltung der einzelnen Animationsschritte und ei-gentliche Animationsberechnung auf Basis des aktuellen Zustandes (ModelHandler.pde), definiert durch die Logik. Die Anzeige mehrerer Köpfe sowie der Augen- und Kopfverfolgung wurde in der Klasse WTFrenderer.pde realisiert.

AudioDie Audioausgabe einzelner Sounddateien wird in der Klasse SoundEvent.pde gekapselt. Die Vielzahl von Sounds, die Auswahl der jeweiligen Sounds zum jeweiligen Zustand und das korrekte Mischen sowie ausfaden nicht mehr benötigter Sounds wurde in SoundHandler.pde realisiert. InputDie Erkennung der Personen erfolgt über ein eigenes Trackingsystem, das mit Hilfe einer Webcam funktioniert. Implementiert wurde diese Steuerung in Tracker.pde

FunktionsweiseFür den Input wird lediglich die Kamera verwendet, die an der Decke montiert ist. Diese Kamera nimmt zum Start ein Bild auf, und vergleicht folgende Bilder mit diesem Bild. Die Unterschiede in Helligkeit und Farbe auf Basis eines Schwellenwertes werden verwendet, um aus dem Mittelpunkt dieser unterschiedlichen Pixelpositionen die Position der Person zu bestimmen.

Betritt die Position nun eine Zone, oder ist außerhalb dieser, wird ein entsprechender Zustand gemäß des Zu-standsübergangdiagramms bestimmt. Dieser Zustand wird an den SoundHandler weitergeleitet, der die momen-tanen Töne langsam leiser macht, und gleichzeitig neue Töne für den aktuellen Zustand spielt. Ist ein Ton fertig gespielt, wird ein neuer gestartet. Welcher Ton öfters oder weniger oft gespielt werden soll, kann durch eine Gewichtungstabelle gesteuert werden.

Die Animation der Köpfe (Emotionen) wird ebenfalls auf Basis des aktuellen Zustandes und der Gewichtung (Analog zum Ablauf für Audio) gewählt. Die Animationsberechnung erfolgt mittels einer einfachen smoothstep-Interpolation aller Vertexkoordinaten und -Normalen der Köpfe. Zur Performanceoptimierung wird nur ein Kopf interpoliert und als Displayliste abgespeichert, so dass im weiteren Verlauf für alle anderen Köpfe nur diese Liste angezeigt werden muss. Dies spart einiges an Zeit, insbesondere da wir erkannt haben, dass Processing nicht gera-de schnell ist.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


Die Verfolgung der Person mit Augen und Kopfdrehung erfolgt über die Bestimmung des Winkels zwischen der aktuellen Blickrichtung des Kopfes und dem Vektor von der Position des Kopfes zum Betrachter. Damit die Koordi-natensysteme zueinander passen (Vgl.: Kamera nimmt Person auf, Köpfe werden gerendert und wieder per Bea-mer projiziert) wird ein allgemeines Koordinatensystem definiert, und Umrechnungsfaktoren definiert. Auf Basis des errechneten Winkels wird der Kopf etwas, und die Augen separat im vollen Winkel gedreht, so dass dadurch ein natürliches Blickverhalten entsteht.Damit die 3D-Köpfe aus dem generierten Bild genau auf die Gipsköpfe an der Wand passen, haben wir eine Konfigurationsdatei erstellt, die per Tastendruck automatisch zur Laufzeit neu geladen werden kann. In ihr kann man die Skalierung der Köpfe, proportional und für jede Achse separat, einstellen. Zudem kann die Position jedes Kopfes auf den Pixel genau eingestellt werden. So war es in kürzester Zeit möglich, die generierten Bilddaten auf die Projektionsfläche (Köpfe) zu anzupassen.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □

Dokumentation | 3.Coorporate Design 14

3. Coorporate Design

3.1 Name und Designkonzept

Der Name what the face oder auch wtf greift die thematischen Zusammenhänge der Installation mit der Welt der digitalen Medien auf. In der Welt des Internets ist es üblich viele Abkürzugnen zu verwenden und vor allem Aus-drücke wie „What the fu**“ werden gerne von den digital geprägten jüngeren Generationen verwendet um ihre Überraschung oder Schockiertheit über etwas auszudrücken.Da die Reaktion auf unsere Gesichterwand im ersten Moment und auch während der Interaktion eher Überra-schung und Verwirrtheit über deren Sinn aufkommen lässt, verwenden wir dieses Wortspiel als Inbegriff der Wir-kung der Wand auf den Besucher.Der Untertitel pay attention soll zusätzlich die Absicht der Wand bzw. das Ziel der Gesichter gegenüber dem Be-sucher unterstreichen. Zusammen mit pay = zahlen greifen wir hier den Sinn hinter dem Projekt auf: Jeder der in Interaktion mit den Wand tritt wird dazu gefordert seine Aufmerksamkeit zu investieren, die Gesichter verlangen nach permanenter Aufmerksamkeit durch den Besucher.

Das Design-Gesamtkonzept sollte vor allem einen Wiedererkennungswert haben, sowie ein cleanes Design und eine schlichte Optik, auch in Anlehnung an den Logo-Kopf. Nach dem „Weniger-ist-Mehr“-Prinzip entstand so das Grunddesign, das auf alles angwendet wurde. Als Schrift im gesamten Corporate Design wurde Myriad Pro verwendet, da sie clean, gut lesbar ist und viele Schnitte zur Verfügung hat.

3.2 Logo-Entwicklung

Das Logo stellt ein symbolisches, anonymisiertes Gesicht dar. Die leeren Augen und die androgynen Gesichtszüge unterstreichen somit die Funktion der Wand, die eine einheitliche anonyme Masse darstellen soll.

Die Entstehung des Logos beruht eher auf einem Zufall. Da wir für die ersten Tests mit einer Wand aus Papiergesichtern die Wir-kung von Kopfgrößen testen wollten, muss-te schnell ein androgyner Kopf entwickelt werden. Da die Technik versagte, musste der Kopf mit Hilfe von Edding, Tippex und eines Kopierers hergestellt werden. Das Ergebnis hat der Gruppe so gut gefallen, dass wir es als festes Gruppenlogo eingeführt haben und auch unsere Teambilder damit gestalte-ten.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


3.3 Das Exposé

Die Entwicklung des Exposés nahm einige Zeit in Anspruch, da mit ihm das gesamte Corporate Design einherging. Es wurde verschiedene Ansätze verfolgt, wie man an den oben gezeigten Entwürfen erkennen kann. Das Layout und Design des Exposés wurde parallel wäh-rend der Entstehung der eigenentlichen Installation entwickelt, was das Exposé von Layout, Design und Konzept sehr projektnah erscheinen lässt.

Erste Versuche mit Verwendung eines 3D-Kopfes wurden verworfen und das eigentlich als Testobjekt gedachte stilistische Gesicht wurde in das Design von Exposé und Flyer fest integriert. Auch erste Ideen mit Einbindung von Farbe wurden wieder verworfen und alles auf rein schwarz/weißes Design beschränkt um eine reine Wirkung durch Gesicht und Schrift zu erzie-len. Das fi nale Expose ist auf der rechten Seite zu sehen.

interaktive installation | echtzeitanimation.what the face.

marlitt messmann

aren danielian

cathrin weihermannnadine vogt

franziska kästle

johanna krünes

philippe steinmayr

exposEé

hochschule augsburg

evelin kremer

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


3.4 Flyer, Poster und Visitenkarten

Die Flyer sollten extrem schlicht sein und nur durch ihre Optik wirken. Es gibt zwei unterschiedliche Flyer, je einmal mit der rechten und einmal mit der linken Gesichtshälfte. Das Gesicht wurde genau in der Hälfte angeschnitten, so dass zwei Karten ein ganzes Gesicht ergeben. Diese Spielerei dient als Eye-Catcher.Die Poster lehnten sich vom Design her stark an dem des Flyer an und wurden links und rechts des Eingangs un-serer Installation platziert. Zum eventuellen Einreichen bei Wettbewerben oder zur weiteren Publikation wurden ebenfalls Visitenkarten entworfen.

3.5 Merchandise und wtf in der Öff entlichkeit

Shirts & TaschenT-Shirts schienen uns die stylischste Möglichkeit, unseren Gruppenzusammenhalt und die Identifi zierung mit un-serem Projekt nach außen zu tragen.Kleine Geschenke, die bei der Präsentation verteilt werden, kommen immer gut an. Bestückt mit unserem Logo fanden die Taschen regen Anklang und auch dies ist eine Möglichkeit den Wirkungs- und Bekanntheitskreises unseres Projekts zu erweitern.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □


Homepage: www.whattheface.deDie Homepage gilt immer als digitales Aushängeschild und sollte What The Face in angemessener Weise repräsen-tieren. Gerade weil wir uns mit den Neuen Medien und der digitalen Welt auseinandersetzen.

FacebookUnabhängig davon, wie man es sehen will, ist es heutzutage wichtig, auch in Sozialen Netzwerken präsent zu sein. Insofern stand es für uns außer Frage, eine Facebook-Fansite einzurichten, um den Leuten Informationen rund um unser Projekt noch schneller und bequemer zugänglich zu ma-chen oder diese kurzfristig mit News zu updaten. Facebook steigerte den Bekanntheitsgrad unseres Projekts ungemein.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □

Dokumentation | 4.Konzeptionelle und technische Herausforderungen 18

4. Konzeptionelle und technische Herausforderungen

4.1 Eine anonyme Masser verkörpern

Nachdem wir uns einstimmig dafür entschieden hatten, dass unsere Gesichterwand eine anonyme Masse ver-körpern soll, stellte sich die Frage, wie wir dies realisieren sollten. Es entstand eine Wand aus 40 gleichförmigen Gesichtern mit einer Mischung aus abstrakter Ästhetik und realistischer Darstellung. Die abstrakte Ästhetik wur-de durch eine androgyne Gesichtsform und Farblosigkeit der Gesichter umgesetzt, eine realistische Darstellung erhielten wir, indem wir durch eine Projektion auf Gipsmasken Tiefe und Struktur erzeugten.

4.2 Echtzeit-Animation

Einen Punkt, welchen wir zu Beginn unterschätzt hatten, war der Rechenaufwand für die Echtzeit-Animation unse-rer 40 Gesichter. Dieser war immens und die Leistung des Obj-Loaders von Processing dabei nicht gerade hilfreich. Hier mussten wir zum einen die Funktionalität des Obj-Loaders von Processing optimieren und zum anderen einen Kompromiss bei unserem 3D-Modell eingehen: es sollte gerade noch genug Details, aber möglichst wenig Polygo-ne haben, um die Rechenleistung so weit wie möglich reduzieren zu können.

4.3 Abstrahierung des Sounds

Auch die Frage nach dem Abstraktionsgrad des Sounds musste geklärt werden. Wollten wir deutliche Sprache oder lieber unkenntliche Laute? Wir entschieden uns für Laute, da wir Emotionen als abstraktes Konzept wollten und der Besucher der Installation nicht sprachlich, sondern auf emotionaler Ebene gesteuert werden sollte. Zudem sind Lautäußerungen ein universell verständliches Mittel um Gefühle und Informationen mitzuteilen, was die Ins-tallation international verwendbar macht.

4.4 Der Trackingbereich

Die Errichtung eines ausreichend großen Trackingbereichs bereitete uns einige Probleme. Der Besucher wird von oben von einer Webcam, auf einem Feld auf dem er sich frei bewegen kann, getrackt. Das Trackingfeld, welches durch das Sichtfeld der Webcam an der Decke beeinflusst wird, muss dabei groß genug sein, um dem Besucher ausreichend Bewegungsspielraum zuzugestehen. Normale Kameras konnten allerdings erst ab einer Höhe von mindestens sieben Metern einen ausreichen großen Bereich am Boden tracken. Einen Raum zu bekommen, wel-cher diese Deckenhöhe erreichte, war allerdings unmöglich. Daher musste eine Webcam mit einem Weitwinkel-objektiv her. Zunächst versuchten wir es nur mit einem Weitwinkelobjektiv, welches wir auf die Webcam auf-schraubten, doch als auch das noch nicht genügte, kauften wir eine richtige Weitwinkel-Webcam. Allerdings ist selbst bei dieser noch eine Mindestdeckenhöhe von drei Metern nötig.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □

Dokumentation | 5. Kritik und Einschätzung des Prototyps 19

5. Kritik und Einschätzung des Prototyps

5.1 Konstruktion

Im Bereich der Transportfähigkeit und Stabilität ist der Prototyp weitgehend gelungen. Da die Wand sehr weit in die Höhe ragt und ohne zusätzliche Beschwerung nicht komplett sicher steht, sind hier durchaus Verbesserungen denkbar, z.B. durch Konstruktion aus einem schwereren Material oder mit stabileren, dickeren Holzstreben.Positiv an der aktuellen Konstruktion ist allerdings die einfache Möglichkeit zum Transport; daher bietet sich ein stabileres Material eher bei einer längeren Ausstellung an.

5.2 Modelling & Reaktionen

Verbesserungen sind ebenfalls im Bereich Modelling denkbar. Da aufgrund der unterschätzten Rechenleistung starke Kompromisse beim 3D Modell eingegangen werden mussten, ist hier ein detailreicheres High-Poly Modell wünschenswert. Allerdings ist die dafür benötigte Rechenleistung extrem hoch bzw. das Programm müsste in einer anderen Umgebung implementiert werden, da Processing hier nur begrenzte Möglichkeiten bietet. Vor al-lem die Echtzeit Interpolation der Mimken bzw. Objs benötigt einen extrem hohen Rechenaufwand um fließende Übergänge zu gewährleisten.

5.3 Sounds & Mimik

Die Variabilität der Sounds wie auch die Anzal der mimischen Ausdrücke ist bei ausreichender Rechenleistung nach oben hin offen. Ebenso Erweiterbar wäre hier die Mimik im Bezug auf die Kopfanzahl. So könnten statt aller Gesichter auch zwischendurch einzelne Gesichter eine andere Mimik zeigen oder Laute von sich geben um variab-lere Abläufe zu ermöglichen. Die könnte ebenso durch eine feinere Zonenaufteilung erreicht werden.

5.4 Wirkungsweise & Fazit

Die Interpreation der Gesichterwand durch die Besucher ist wie erwartet sehr individuell. Manche Personen in-terpretieren rein technisch, andere versuchen einen tieferen Sinn hinter der Reaktion der Gesichter zu erkennen. Manche erkennen sofort die Funktionsweise bzw. die Aufteilung der Zonen, andere merken nicht, von was die Reaktionen abhängig sind und schreiben den Gesichtern eine komplizierteres Reaktionsweise zu, als sie in Wirk-lichkeit der Fall ist. Vor allem bei der Ausstellung war eine sehr stark variierende Verweildauer sichtbar, die von unter einer, bis mehrere Minuten schwankte. Deutlich war auch dass die beabsichtige Reaktionswirkung durchaus funktioniert. Mehrere Personen äußerten während der Interaktion, dass sie eine positive Reaktion der Gesichter wünschen und versuchten diese hervorzurufen.

Als Fazit kann man somit sagen, dass what the face zwar technisch durchaus noch Potential zur Erweiterung hat, die gewünschte Wirkung auf die Menschen aber auch mit der bereits bestehenden Technik auf jeden Fall erreicht wird und der funktionsfähige Prototyp den in ihn gesetzten Erwartungen gerecht geworden ist.

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □

Dokumentation | 6.Projektorganisation und Rollenverteilung 20

6. Projektorganisation und Rollenverteilung

6.1 Projektschritte

Folgende Listung zeigt den Vorgang bei der Erstellung des Projekts. Dabei wurden Arbeitsschritte teilweise parallel ausgeführt. Aufgelistet sind jeweils die Haupt-verantwortlichen/ -tätigen für den jeweiligen Step.

1. Ideenfindung Team

2. Konzeptentwicklung Team

3. Programmierung Hauptverantwortlich: Messmann Zweiter Programmierer: Vogt Zuarbeiten: Kremer

4. Kopfkonstruktion und Produktion Kästle

5. Sound Aufnahmen: Team Schnitt und Bearbeitung: Steinmayr

6. 3D Modelling Weihermann

7. Wandkonstruktion Gerüst: Steinmayr, Kremer, Danielian Bespannung und Kopfanbringung: Steinmayr, Danielian, Kästle

8. Expose und Flyer Entwürfe Flyer: Krünes, Messmann, Danielian Entwürfe Exposé: Kästle, Krünes Ausarbeitungen: Krünes

7. Homepage Design und Layout: Messmann Inhalte: Krünes, Messmann Technik und Verwaltung: Kremer

8. Öffentlichkeitsarbeit Krünes

9. Testaufbau Team

10. Ausstellung Aufbau: Team Präsentation und Imagefilm: Kremer Technik und Material: Kremer, Messmann Begrüßung und Einlassorganisation: Kästle Videodokumentation: Steinmayr

11. Organisation H2: Vogt

12. Dokumentation Kremer, Krünes, Vogt

Usability• Präsentationen: Kremer• Vorträge: Kremer, Vogt• 3D-Köpfe Usability: Kästle• Testdurchvorbereitung und Durchführung: Team• Auswertung: Vogt, Kästle

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □

Dokumentation | 6.Projektorganisation und Rollenverteilung 21

6.2 Rollenverteilung

Grundsätzlich folgte die Teamstruktur einer Stabs-Projektorganisation. Entscheidungen wurden grundsätzlich gemeinsam getroffen und verteilt.

Evelin KremerLeitung: Koordination, Organisation, Beschaffung

Nadine VogtOrganisation H2

Marlitt MessmannTechnische Leitung: Programmierung

Franziska KästleTechnische Leitung: Wandkonstruktion

Philippe SteinmayrTechnische Leitun Sound und Videodokumentation

Johanna KrünesArtdirektion 2D

Cathrin WeihermannArtdirektion 3D

Aren DanilelianUnterstützung bei allen Belangen

Das what the face TeamMarlittMessmann,Matrikelnr.920061•EvelinKremer,Matrikelnr.920093•FranziskaKästle,Matrikelnr.920086•JohannaKrünes,Matrikelnr.920096•CatrinWeihermann,Matrikelnr.920069•PhilippeSteinmayr,Matrikelnr.920088•ArenDanielian,Matrikelnr.920051•NadineVogt,Matrikelnr.920043

what the face




____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________







□ □ □ □


□ □ □ □

□ □ □ □

□ □ □ □

□ □ □ □

Dokumentation | 7. Danksagungen 22

7. Danksagungen

Ein Projekt im Rahmen der Hochschule AugsburgInteraktive Medien Sommersemester 2012

Vielen Dank für die Unterstützung:Prof. Robert RoseProf. Dr. Michael Kipp

Danke:Prof. KP Ludwig JohnMatthias ZeugStefan LehmeierChristian Bachl Dieter PlailChristian BahrVladimirka Veličković -KantarKarin KieferVolker Helzle & Simon SpielmannR&D Animationsinstitut, Filmakademie Baden-WürttembergChristoph SteegerAlex JungeStefan FüßingerDodoAlfons KästleWerkstatt der Hochschule AugsburgFreunde und Bekannte

what the face

what the face - nadinevogt.de · Dokumentation pay attention what the face marlitt messmann aren...

Documents

Transcript of what the face - nadinevogt.de · Dokumentation pay attention what the face marlitt messmann aren...