Gruppe 101 Informationsvisualisierung Gruppe 10 Abschlusspräsentation.
Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der...
Transcript of Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der...
![Page 1: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/1.jpg)
Evaluation von Informationsvisualisierungim industriellen Umfeld.
Abschlussvortrag DiplomarbeitMartin Knobel.
Betreuer:Dipl. Medieninf. Michael Sedlmair
Verantwortlicher Hochschullehrer:Prof. Dr.-Ing. Andreas Butz
![Page 2: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/2.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 2
Evaluation von Informationsvisualisierung imindustriellen Umfeld.Gliederung.
– Motivation
– Anforderung
– Methodik
– Praktische Umsetzung
– Fazit
![Page 3: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/3.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 3
Evaluation von Informationsvisualisierung.Herausforderungen.
Komplexität:– Verkettung von Anforderungen (einzeln schwer analysierbar)– Task-Komplexität (auf mehreren Ebenen)
Messbarkeit:– Zeitmessung (oft kein Bezug zu inneren Tasks)– Statistik– Messstandards und Kontrollmechanismen (nicht immer
standardisiert)
Diversität:– Daten– Tasks– Benutzer
“The purpose of visualisations is insights, not pictures [CS99].“
Unterteilung in Anlehnung an [GE06]
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
![Page 4: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/4.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 4
Evaluation im industriellen Umfeld.Herausforderungen.
– Zeitdruck (Produktionsstart, Produktlebenszeit)– Unternehmensrichtlinien (Codex, Leitbild, qualitative
Standards)– Testpersonen (Kosten, Stress, Diversität, Zuständigkeit)– Reproduzierbarkeit– Adaptierbarkeit an bestehende Systeme– Vergleichbarkeit– Akzeptanz von qualitativer Forschung
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
![Page 5: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/5.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 5
Evaluation im industriellen Umfeld.Herausforderungen.
– Zeitdruck (Produktionsstart, Produktlebenszeit)– Unternehmensrichtlinien (Codex, Leitbild, qualitative
Standards)– Testpersonen (Kosten, Stress, Diversität, Zuständigkeit)– Reproduzierbarkeit– Adaptierbarkeit an bestehende Systeme– Vergleichbarkeit– Akzeptanz von qualitativer Forschung
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
Probleme mit gängigen Evaluationsmethoden fürInformationsvisualisierung:
– MILCs (Long Term)– Video-Observierung– ...
![Page 6: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/6.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 6
Evaluation von InfoVis im industriellen Umfeld.Anforderungen.
– Evaluation über den gesamten Entstehungsprozess hinweg
– Aufstellen einer generellen Methode
– Leichte Wiederverwendung der Methode
– Ermittlung des Nutzens eines InfoVis-Tools
– Generieren einer Vergleichbarkeit zwischen InfoVis-Tools
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
![Page 7: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/7.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 7
Das Meta-Modell.Kombination von Modellen.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
Unterteilung (explorativ, formativ, summativ) nach [And08]
![Page 8: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/8.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 8
Das Meta-Modell.D �ie explorative Phase.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
Nach der Grounded Theory von Strauss & Glaser [SG67].
![Page 9: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/9.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 9
Das Meta-Modell.D �ie formative Phase.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
![Page 10: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/10.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 10
Das Meta-Modell.D �ie summative Phase.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
![Page 11: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/11.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 11
Umsetzung der explorativen Phase.Die Trace-Analyse.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
Analyse der Fahrzeugelektronik
– zum Suchen von Fehlern– erfordert Expertenwissen, da spezialisierte Tätigkeit
Informationsvisualisierung für:
– die Bündelung von Informationen– die Optimierung der Insight-Generierung (Overview, Zoom
& Filter, Details on demand)
![Page 12: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/12.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 12
Umsetzung der explorativen Phase.Der Untersuchungsbereich Trace-Analyse.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
![Page 13: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/13.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 13
Umsetzung der explorative Evaluation.Praktische Umsetzung am Bsp. Task-Analyse.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
![Page 14: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/14.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 14
Umsetzung der explorative Evaluation.Die Theorie der praktischen Umsetzung.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
Mehrwert:- Fehler sind mit möglichst wenigen Iterationsschritten erreichbar...
Funktionalität:- Verbessert die Kommunikation bei der Fehlerübergabe...
Integration:- Verwendung ohne andere Tools möglich...
Benutzbarkeit der Informationsvisualisierung:- InfoVis unterstützt das Arbeiten mit Expertenwissen...
Generelle Benutzbarkeit (Usability), Simplicity, Likeability:- Einfache Bedienung...
![Page 15: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/15.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 15
Umsetzung der summativen Evaluation.Die Prototypen.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
![Page 16: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/16.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 16
Umsetzung der summative Evaluation.Die Integrationsebenen.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
1. Integrationsebene:Der Prototyp arbeitet ausschließlich mit fiktiven Daten.
2. Integrationsebene:Der Prototyp arbeitet mit realen Daten, welche durch den Tool-Entwickler oder einen Experten für das Tool konvertiert werden.
3. Integrationsebene:Der Prototyp arbeitet mit realen Daten, welche vorab durch denBenutzer umgewandelt werden müssen.
4. Integrationsebene:Der Prototyp arbeitet integriert in den täglichen Arbeitsprozess.
![Page 17: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/17.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 17
Umsetzung der summativen Phase.Optimierte Evaluationsmethoden.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
![Page 18: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/18.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 18
Umsetzung der summativen Evaluation.Optimierte Evaluationsmethoden.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
![Page 19: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/19.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 19
Lessons Learnt.Gezogene Lehren aus den Erfahrungen.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
In der Umsetzung der explorativen Phase des Meta-Modells:– Observierung– Menschlicher Faktor– Task-Analyse– ...
Bei der Umsetzung der summativen Phase des Meta-Modells:– Industrielle Umfeld– Arbeiten mit Nicht-Experten– Arbeiten mit den optimierten Evaluationsmethoden– Standardisierter Fragebogen – ...
![Page 20: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/20.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 20
Umsetzung des Meta-Modells.Fazit.
Motiv ation
Anf orderung
Methodologie
PraktischeUmsetzung
Fazit
GrenzenPotenzial
Kombination von qualitativenund quantitativen Methoden
Durchführung auch für Nicht-Experten möglich
Optimierung derEvaluationsmethoden
Beendung derTheorieentwicklung nur durchpartizipativen Abgleich
Optimierung über den gesamtenEntstehungsprozess
Neigung zur Bildung einer zugenerellen Theorie
Sensibilisierung für das spätereUmfeld der Prototypen
Mangel an Vergleichbarkeit beiverschiedenenIntegrationsebenen
Ermitteln neuer Erkenntnisseüber die Prototypen
![Page 21: Evaluation von Informationsvisualisierung im industriellen ... · Evaluation von InfoVis in der Industrie M. Knobel 11.05.2010 Page 2 Evaluation von Informationsvisualisierung im](https://reader031.fdocuments.net/reader031/viewer/2022041314/5e15bf8fe202b259cc46b14d/html5/thumbnails/21.jpg)
Ev aluation v onInf oVis in derIndustrieM. Knobel11.05.2010Page 21
Danke für Ihre Aufmerksamkeit.Literaturverzeichnis.
[And08] Andrewes, Keith:Evaluation Comes in Many Guises.Beliv´08, 2008
[SG67] Barney Glaser, Ansalem Strauss:The Discovery of Grounded Theorie.Adine, Chicargo, 1967.
[BS06] Ben Shneiderman, Catherine Plaisant:Strategies for Evaluating Information Visualization Tools:Multi-dimensional In-depth Long-term Case Studies.BELIV´06, 2006.
[CS99] Card S.K., Mackinlay J.D., Shneiderman B.:Readings in Information Visualization:Using Vision to Think.Morgan Kaufmann, San Diego, USA, San Diego, USA, 1999.
[GE06] Geoffrey Ellis, Alan Dix:An Explorative Analysis of User Evaluation Studies in Information Visualisation.BELIV´06, 2006.
[PS05] Purvi Saraiya, Chris North, Karen Duca:An Insight-Based Methodology for Evaluating Bioinformatics Visualizations. IEEE, 2005