2008 by //SEIBERT/MEDIA Warum Usability-Maßzahlen wichtig sind, welche Maßzahlen es gibt und wie...

2008 by //SEIBERT/MEDIA

Warum Usability-Maßzahlen wichtig sind, welche Maßzahlen es gibt und wie diese erhoben werden.

Usability-Maßzahlen


/ Warum wir Usability-Maßzahlen brauchen / Die wichtigsten Usability-Maßzahlen: // Effektivität // Effizienz // Zufriedenheit

/ Zusammenfassung

Inhalt


Warum wir Usability-Maßzahlen brauchen

Zustand: Die meisten User (und auch Kunden) können intuitiv beurteilen, ob eine Website eine hohe Usability hat oder nicht.

Problem: Intuition und Gefühle sind subjektiv und lassen sich nicht objektiv belegen. Sie können von Kritikern leicht zurückgewiesen werden.

Lösung: Es werden objektive Kriterien eingeführt, mit denen die Usability von Anwendungen ermittelt werden kann. > Experten-Analysen, User-Tests.

Situation früher:



Zustand: In Experten-Analysen und User-Tests werden Usability-Probleme ermittelt, Verbesserungsvorschläge gemacht und evtl. direkt umgesetzt.

Problem: Die Maßnahmen sind in erster Linie qualitativ und lassen sich

nicht in Zahlen ausdrücken.

Es ist nicht dokumentiert, dass und wie sehr die usability-optimierte Nachher-V ersion besser funktioniert als die Vorher-Version.

Der betriebswirtschaftliche Nutzen von Usability wird nicht deutlich.

Lösung: Es werden Usability-Maßzahlen eingeführt, die als objektives Qualitätskriterium fungieren können und einen Leistungsnachweis darstellen.

Situation heute:



Wenn man objektive Usability-Maßzahlen erhebt, hat das folgende Vorteile:

a) Es wird der Nachweis erbracht, dass die Leistung sinnvoll war. Das ist sowohl für //S als Dienstleister wichtig als auch für den verantwortlichen Manager beim Kunden.

b) Der betriebswirtschaftliche Nutzen der Leistung wird dokumentiert. Es wird deutlich wieviel durch die Leistung gewonnen wurde, wie wertvoll unsere Leistung ist.

c) Es werden Verkaufsargumente für den Vertrieb gesammelt. Die quantitativen Daten können als Argumente in Verkaufsgesprächen verwendet werden.

d) Der Status Quo im Vergleich zu den wichtigsten Mitbewerbern kann dargestellt werden.

Vorteile von Usability-Maßzahlen:



/ Zusammenfassung

Inhalt


Die wichtigsten Usability-Maßzahlen

Usability-Maßzahlen belegen die Wirkung von Usability-Maßnahmen. Sie müssen sich deshalb auf die Definition von Usability beziehen:

Effektivität (Der User erreicht sein Ziel)

Effizienz (Der User erreicht sein Ziel ohne Aufwand)

Zufriedenheit (Dem User macht die Nutzung Spaß)

Fragen: Was für Maßzahlen gibt es, um die Effektivität, Effizienz und

Zufriedenheit der User im Umgang mit einer Anwendung zu bestimmen?

Wie werden diese Zahlen erhoben?

Wie aussagekräftig und sinnvoll sind diese Zahlen?

Ansatz:



Was ist das? Die beiden Begriffe bezeichnen hier das gleiche: Wieviele

Personen, die mit einem bestimmten Prozess anfangen, führen diesen auch zu Ende?

Wie wird das gemessen? Wird am besten im Live-Betrieb ermittelt, um echte Zahlen zu

haben und keine künstlichen Werte („im User-Test haben 25% der User abgebrochen“).

Kann alternativ auch im User-Test ermittelt werden, allerdings sinkt die Aussagekraft dadurch stark.

Wird mithilfe spezieller Tracking-Software ermittelt, z.B. mit Google Analytics.

Effektivität: Abbrecherquote / Konversionsrate



Wie sinnvoll ist das? Ist ein sehr überzeugendes Argument, weil es sich direkt auf die

wirtschaftlichen Ergebnisse bezieht (größere Anzahl gewünschter Aktionen).

Lässt sich häufig direkt auf Usability-Maßnahmen zurückführen und ist deshalb ein valider Leistungsnachweis. (Im Gegensatz z.B. zur absoluten Zahl der Abschlüsse, die auch durch höheren Traffic oder eine prominentere Platzierung eines Features induziert sein kann).

Effektivität: Abbrecherquote / Konversionsrate



Was ist das? Absolute Zahl, wie häufig ein bestimmtes Feature genutzt wird,

also die absolute Anzahl an bestimmten Aktionen.

In der Regel sollten Features definiert werden, die nur aus einem Schritt bestehen (PLZ-Suche, Suche Shoutbox, etc.).

Es können aber auch Features definiert werden, die aus mehreren Schritten bestehen. Das ist besonders dann sinnvoll, wenn die Anzahl der Nutzer konstant bleibt (Anzahl der Metikon-Einträge im Intranet, etc.)

Wie wird das gemessen? Wird ebenfalls mithilfe spezieller Tracking-Software ermittelt, z.B.

mit der Ziel-Funktion von Google Analytics.

Kann nicht in User-Tests ermittelt werden, weil dort ja eine explizite Aufgabe gestellt wird. Hier kann aber ermittelt werden, ob die Funktion überhaupt gefunden wird.

Effektivität: „Desired Feature Use“ (Häufigkeit der Nutzung einer Funktion)



Wie sinnvoll ist das? Hat ebenfalls einen unmittelbaren wirtschaftlichen Nutzen, der

ermittelt werden kann. (Jede Anfrage ist 25 EUR wert, jede PLZ-Suche 3,50 EUR, etc.).

Problem: Kann nicht ausschließlich auf Usability-Maßnahmen zurückgeführt werden, weil häufig auch andere Faktoren eine Rolle spielen (Traffic, Werbung, Wegfall von Alternativen, etc.)

Effektivität: „Desired Feature Use“ (Häufigkeit der Nutzung einer Funktion)



Anzahl der E-Mails an Support

Anzahl der Anrufe bei der Info-Hotline

Anzahl der Klicks auf Hilfe-Felder

Qualität des Outputs

Weitere Maßzahlen für die Effektivität:



Was ist das? Die Zeit (time), die ein User für die Erledigung einer bestimmten

Aufgabe (task) benötigt.

Wie wird das gemessen? Kann nur im User-Test ermittelt werden, weil die Ermittlung über

eine Tracking-Software sehr aufwändig ist und nicht richtig funktioniert.

Im User-Test sind die Zahlen durch die Methode lauten Denkens jedoch häufig verzerrt (wenn auch konstant verzerrt).

Im User-Test wird die Zeit automatisch gemessen und ausgewertet, die Ermittlung ist also sehr einfach.

Effizienz: „Time on Task“



Wie sinnvoll ist das? Hat je nach Aufgabenstellung und Medium einen großen

wirtschaftlichen Nutzen. In einem Intranet steigt z.B. die Produktivität der Mitarbeiter, wenn sie 30 statt 60 Minuten pro Tag brauchen, um ihre Arbeitszeiten einzubuchen.

Das wären pro Mitarbeiter 2,5 h pro Woche, 10 h pro Monat und bei einem internen Stundenwert von 25 EUR damit 250 EUR pro Mitarbeiter und Monat. Bei 60 Mitarbeitern sind das 15.000 EUR.

Problem: In einigen Fällen ist die Time on Task nicht entscheidend, sondern nur die Abbrecherquote. Eine geringe Time on Task kann darauf hindeuten, dass die User die Anwendung nicht verstehen oder nicht richtig nutzen.

Schneller ist nicht unbedingt gleich besser!

Die Time on Task ist sehr hilfreich bei Vergleichen mit den Mitbewerbern!

Effizienz: Time on Task



Was ist das? Die Zahl (number) der Fehler (errors), die ein User während einer

bestimmten Aufgabe macht.

Wie wird das gemessen? Kann nur im User-Test ermittelt werden, weil dort spezifische

Fehler aufgedeckt werden. Bei der Analyse von User-Tests werden spezifische Marker (Verwirrung, Veränderung, Fehlklick) gesetzt, die später gezählt werden können.

Wie sinnvoll ist das? Die Anzahl der Fehler lässt Rückschlüsse darauf zu, wie einfach

der Prozess ist, wie hoch die Abbrecherquote ist und wie die Nutzerzufriedenheit.

Fehler lassen sich nicht direkt in Geld umrechnen, sind aber ein überzeugendes Argument. Kein Anbieter will, dass die User bei der Nutzung seiner Anwendung Fehler machen.

Effizienz: „Number of Errors“



Um an Aussagekraft zu gewinnen ist entweder ein Vergleich der Vorher- und der Nachher-Version notwendig. Das wird jedoch nur in den wenigsten Fällen beauftragt.

Oder ein Vergleich mit den Mitbewerbern. Diese Daten liegen in der Regel vor.

Expertenanalyse: Die Anzahl an Fehlern kann auch in einer Experten-Analyse ermittelt werden. Gegen wieviele Richtlinien verstößt die Anwendung?

Effizienz: „Number of Errors“


Die wichtigsten Usability-Maßzahlen Verwirrung on Task

0

1

2

3

4

5

6

7

8

9

10

Aufrufen Suchen Auswählen



Anzahl der Mausklicks

Anzahl der Mausbewegungen

Time on Error

Time on Help

Weitere Maßzahlen für die Effizienz:



Was ist das? Standardisierter Fragebogen, der Probanden nach der Nutzung

einer Anwendung vorgelegt wird.

Wie wird das gemessen? Der User beantwortet 10 Fragen auf einer Skala von 1 bis 5

(stimme voll und ganz zu, stimme gar nicht zu).

Das Ergebnis ist ein Usability-Wert zwischen 0 und 100, der verglichen werden kann.

Wie sinnvoll ist das? Der Kunde erhält eine objektive Aussage darüber, wie die

Usability seiner Anwendung ist.

Die Daten müssen verglichen werden (Vorher-Nachher oder Mitbewerber).

Der Fragebogen selbst hat eine sehr hohe Validität.

Zufriedenheit: System Usability Scale



Was ist das? Direkte Fragen zur Nutzerzufriedenheit, die einzeln interpretiert

werden können.

Wie wird das gemessen? Fragebogen in einer Nachbefragung.

Wie sinnvoll ist das? Auch einzelne Fragen können eine hohe Signifikanz haben, je

nachdem, wie stark sie ausschlagen und wie sehr sich die Antworten von denen der Mitbewerber unterscheiden.

Sie liefern Anhaltspunkte für Optimierungspotenzial.

Zufriedenheit: Einzelfragen zur Nutzerzufriedenheit



/ Zusammenfassung

Inhalt


Zusammenfassung

Für die Effektivität: Konversionsrate / Abbrecherquote, „Desired Feature Use“

Auch: Anzahl der E-Mails an Support, Anzahl der Anrufe bei der Info-Hotline, Anzahl der Klicks auf Hilfe-Felder, Qualität des Outputs

Für die Effizienz: „Time on Task“, „Number of Errors“

Auch: Anzahl der Mausklicks, Anzahl der Mausbewegungen, Time on Error, Time on Help

Für die Zufriedenheit: System Usability Scale, Einzelne Fragen zur Nutzerzufriedenheit

Welche Maßzahlen gibt es?


Zusammenfassung

Live-Betrieb der Anwendung (Anzahl der Abschlüsse, Konversionsrate)

User-Tests (Time on Task, Anzahl der Fehler)

User-Befragungen (System Usability Scale, Nutzerzufriedenheit)

Wie werden diese Daten gemessen?


Zusammenfassung

Wir sollten von ALLEN bestehenden Kunden die wichtigsten Maßzahlen erheben.

Wir sollten von ALLEN Neukunden Kunden die wichtigsten Maßzahlen anfordern.

Falls es keine aktuellen Zahlen gibt, sollten wir versuchen, diese in Zukunft zu erheben.

Wir sollten KONTINUIERLICH an der Verbesserung der Maßzahlen arbeiten.

Wir sollten veränderte Maßzahlen aktiv für den VERKAUF unserer Leistungen nutzen.

Worauf sollten wir hinarbeiten?


Vielen Dank für Ihre Aufmerksamkeit.

SEBASTIAN PREUSS / M.A. //SEIBERT/MEDIA/CONSULTING

//SEIBERT/MEDIA GMBH RHEINGAUPALAIS / SOEHNLEINSTR. 8 / D-65201 WIESBADEN T.+49-611-20570-48 / F.+49-611-20570-70

[email protected] USABILITY..SEIBERT-MEDIA.NET

2008 by //SEIBERT/MEDIA Warum Usability-Maßzahlen wichtig sind, welche Maßzahlen es gibt und wie...

Documents

Transcript of 2008 by //SEIBERT/MEDIA Warum Usability-Maßzahlen wichtig sind, welche Maßzahlen es gibt und wie...