Utvärderingsmetoder:”Teoretiska metoder”

IT-universitetet 2004-02-24

Utgångspunkt - användbarhet

Användarvänlighet (enl. Allwood 1998)

Hjälpresurser IndividualiseringFörenligt medmänniskans mentalafunktionssätt

Åtkomlighet

Användarvänlighet

Usability enl. Löwgren (1993)

”Usability is a result of Relevance, Efficiency, Attitudeand Learnability (REAL).

– Relevance is how well the system serves the users’needs

– Efficiency states how efficient the user can carry outtheir tasks

– Attitude is the users’ subjective feelings towards thesystem

– Learnability is how easy it is to learn for initial use andhow well the users remember the skills over time.”

Usability is .....”... the extent to which a product can be used witheffectiveness, efficiency and satisfaction by specific usersto achieve specific goals in a specific environment” (ISODIS 9241-11)

• effectiveness = ändamålsenlighet, dvs. i vilken utsträckningmål/uppgifter kan uppnås, noggrannhet och fullständighet ...

• efficiency=effektivitet, dvs. den ansträngning som krävs för attuppnå ett mål, resursåtgång i förhållande till noggrannhet ochfullständighet ....

• satisfaction=tillfredsställelse som användarna upplever vidanvändning, hur acceptabel produkten är ur användarnassynvinkel, frånvaron av obehag

• .... för att uppnå specifika mål med ändamålsenlighet ....

– noggrannhet och fullständighet, kunna lösa uppgiften

• .... effektivitet .....

– resursåtgång/ansträngning i förhållande tillnoggrannhet och fullständighet

• ..... tillfredsställelse .....

– frånvaro av obehag

Usability .....

• är en interaktiv egenskap

• är en kvalitet som skapas i enanvändningssituation

• bestäms av egenskaperna hos– användarna,

– användningssituationen,

– uppgiften och

– produkten

• enkelt att lära

• effektivt att använda

• lätt att komma ihåg

• användning skall resultera i få fel

• användning skall ge en känsla av tillfredsställelse

Usability enl. J. Nielsen

Analys -> Syntes

• Utvärderingen kan ha olika syften

• Syftet kan vara– diagnostiserande - vilka är problemen?

– formativt - vilken lösning fungerar bäst? hurgå vidare? vad förbättra?

– summativt - har vi uppnått uppställda mål?

’Utvärderingsstegen’

• Nivå 1: Informell utvärdering

• Nivå 2: Teoretiskutvärdering/Expertvärdering– Cognitive Walkthrough - inspektionsmetod

– Heuristisk utvärdering

– GOMS

• Nivå 3: Empirisk utvärdering– Användartester (usability tests) i lab

– Användartester i fält (alfa, beta tester)

Heuristisk värdering

En liten grupp utvärderare värderar ett(produkt)gränssnitt utifrån ett antal uppställdadesignkriterier eller guidelines.

Exempel på ’guidelines’• Använd enkel och naturlig dialog

• ’Tala’ användarens språk

• Minimera användarens minnesbelastning

• Var konsekvent

• Ge feedback

• Erbjud genvägar

• Erbjud utvägar

• Formulera tydliga felmeddelanden

• Förhindra felhandlingar

Teman

• Visual clarity– Information on the screen should be clear, well organized,

unambiguous, and easy to read

• Consistency– The way the system looks and works should be consistent at all

times

• Compatability– The way the system looks and works should be compatible with

user conventions and expectations.

• Informative feedback– Users should be given clear, informative feedback on where they

are in the system, what actions they have taken, whether theseactions have been successful and what actions should be takennext.

• Explicitness– The way the system works and is structured should be clear to the

user.

• Appropriate functionality– The systen should meet the needs and requirements of the users

when carrying out tasks

• Flexibility and control

• Error prevention and correction

• User guidance and support

• Is each screen clearlyidentified with aninformative title ordescription?

• Is important informationhighlighted on the screen?

• Where colour is used, willall aspects of the displaybe easy to see if used on amonochrome or lowresolution screen, or if theuser is colour-blind?

• always, most of the time,some of the time, never

• always, most of the time,some of the time, never

• always, most of the time,some of the time, never

Cognitive ’walkthrough’

• Expertutvärdering (peer review)

• Ett antal bedömare bedömer: ”The ease by which a typicaluser can perform a task using an interface design with littleor no formal instruction or informal coaching.”

• Fokus: ’ease of learning’

• Nödvändig information = En beskrivning avanvändargränssnittet, ett uppgiftsscenario, en procedur, endetaljerad beskrivning av användarna, samt en beskrivningav användningsmiljön

• Utgångspunkt - ”utforskandet”

• Relaterar till teoretiska modeller för lärande

• Norman’s theory of action (goal -> plan ->execution of action -> evaluation of feedback ->revision of goals -> )

• Mål <-> Handling– Användarens uppgift (task)

– Målet (= den övergripande uppgiften) bryts ner idelmål och delmålen i handlingar

– Användarens mål <-> representationen avhandlingen för att nå målet

– Handlingen - trycka på knappen - väljs pga attknappen har en kodbeteckning vilken stämmeröverens med användarens mål

• Steg 1 - Förberedelse– Definiera uppgifter (tasks)

• Uppgiften skall beskrivas utifrån en helt novis användaresperspektiv (1:a gångs användare)

• Realistiska uppgifter

– Beskriv den ’bästa’, korrekta handlingssekvensen som krävsför att genomföra uppgiften, med vilken detaljeringsnivå kandiskuteras (jfr hierarkisk uppgiftsanalys)

– Beskriv systemets utgångsläge och statuslägen

– Definiera användargruppens förutsättningar, förkunskaper,etc.

– Beskriv vilket mål användaren har initialt

• Steg 2 - Utvärdering– Analyser genomförs för vart och ett av de handlingssteg

som beskrivits i steg 1.

– Analys 1 - jämförelse mellan användarens mål och demål som krävs för att interagera medanvändargränssnittet

• Har användaren ’rätt’ mål?

– Målrelaterade problem - användaren försöker göra ’fel’sak

• Ex. ”Tryck på 5” <-> ”Avsluta”

– Analys 2 - problem associerade med val av handling

– Handlingsrelaterade problem - användaren försökergöra ’rätt’ men kan inte förstå hur man ska göra

• Handlingen måste vara tillgänglig och användaren måste vetaatt det är en möjlig handling

• Ex. om ett möjligt alternativ inte finns listat i menyn, hur skallanvändaren då veta att alternativet är ett möjligt val ?

• Alternativet måste vara ’kodat’ så att handlingsalternativet kanassocieras med målet för handlingen

• Användaren måste ha tid att göra rätt val

• Handlingen måste vara enkel att utföra

– Analys 3 - ev. korrigering av målbild givet denfeedback som erhållits från systemet

• Användaren måste uppfatta att och vilka delmål som uppnåtts

• Användaren måste också uppfatta att och vilka delmål som inteuppfyllts

En ngt förenklad struktur

• För varje korrekt handling– Beskriv en korrekt handlingssekvens -

”a success story”

– Beskriv en inkorrekt handlingssekvens -”a failure story”

• Notera problem, orsaker

• Notera alternativa designlösningar

• Exempel: Jag vill ha hänvisning på alla mina samtal till772 1234

• Korrekt handlingssekvens

– Lyft luren

– Tryck ##7

– Lägg på luren

– Lyft luren

– Tryck **7

– Tryck 1 2 3 4

– Lägg på luren

• Exempel: Jag vill ha hänvisning på alla mina samtal till772 1234

• Korrekt handlingssekvens Mål

– Lyft luren Lyft luren

– Tryck ##7 0-ställ hänvisningsfunktion

– Lägg på luren

– Lyft luren Specificera ny hänvisning

– Tryck **7

– Tryck 1 2 3 4

– Lägg på luren

• Exempel: Jag vill ha hänvisning på alla mina samtal till772 1234

• Korrekt handlingssekvens

– Lyft luren Rätt mål?

– Tryck ##7 Uppenbart vilken handling?

– Lägg på luren Möjlig att utföra?

– Lyft luren Konkurrerande alternativ?

– Tryck **7 Feedback?

– Tryck 1 2 3 4

– Lägg på luren

Cognitive Jogthrough

• En förenklad cognitive walkthrough

• Görs ofta i grupp

CognitiveWalkthr.

Heuristiskutvärdering

GOMS User tests

Uppgiftsspecifik ja nej ja ja

Ger motiv för ev.felhandlingar

ja ev. nej (ja)

Analyserar användarens

mentala processerja nej ja ev.

Värderar inlärningstid ev. ev. ja ev.

Utvärderar prestation nej nej ja ja

Litteraturreferenser• Kirwan B. and Ainsworth L.K. A guide to task analysis. Taylor &

Francis, London, 1992.

• Lewis C. och Wharton C. Cognitive walkthrough. Kapitel 30 iHandbook of Human Computer Interaction. Helander M., LandauerT.K.och Prablu P. (eds). 1997. pp 717-732

• Polson P.G., Lewis C., Rieman J. och Wharton C. CognitiveWalkthrough: a method for theory-based evaluation of user interfaces.Int J Man-Machine Studies, 1992, 36, pp- 741-773

• Ravden S. and Johnson G. Evaluating usability of human-computerinterfaces - a practical method. Ellis Horwood Ltd., Chichester, 1989

• Wharton C., Rieman J., Lewis C. och Polson P. The CognitiveWalkthrough Method: A practitioner’s guide. Kapitel 5 i UsabilityInspection Methods. Nielsen J. och Mark R.L. (eds). N.Y. John Wileyet sons, 1994. pp. 105-140.