1

Utvärderingsmetoder inom MDIDH2408 (2D1408)

Introduktion

Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolanevalotta@csc.kth.se

Kursens mål

• Diskutera begreppet användbarhet i detalj

• Gå igenom metoder för användbarhetsutvärdering

• Diskutera vilka metoder som är lämpliga i olika sammanhang

• Att praktiskt planera och genomföra en användbarhetsutvärdering

• Att öva sig i att ge rekommendationer till en produktutvecklingsgrupp

2

Praktiska detaljer

Kurshemsida: http://www.csc.kth.se/utbildning/kth/kurser/DH2408/utvard08/

http://www.csc.kth.se/utbildning/kth/kurser/DH2408/utvard08/

Kurslitteratur: Handbook of Usability Testing, Jeffrey Rubin, Wiley, 1994.

litt Kursbunt finns på CSC-studentexpeditionen.

Projektuppgiftsbeskrivningen finns på kurshemsidan.Uppg Förslag

Fullgjord kurs kräver att följande moment är utförda och godkända:oblig schema

• seminarieuppgiften

• obligatoriska delmoment (fetstil i schemat)

• projektet med rapport

• kritiken av programdesign

• slutredovisningen

Projektuppgift

6 feb. Grupper bildade, val av system 1A4samt val av utvärderingsmetod och operationaliseringar.

12 feb. Full beskrivning av genomförande. 2A4Tidsplan klar inkl. bokningsönskemål gällande labbet och “fältvideokameror”.

20 feb. Progressrapport inlämnad 1A4

25 feb. Diskussionsseminarium om projekten

6 mar. Slutredovisning av projektet

14 mar. Inlämning av slutrapport 20A4

Under kursens gång ska ni planera och genomföra en användbarhetsutvärdering igrupper om två personer.

3

Projektuppgiftsförslag

Granska kritiskt möjligheten att på ett bra sätt utvärdera det gränssnitt ochden frågeställning som ni har valt innan ni sätter igång.

Vilka problem kan ni förutse?

Är det möjligt att utvärdera det delsystem/de funktioner som ni har valt attutvärdera med fokus på något av följande?

･ att jämföra olika versioner av samma delsystem/funktion･ att jämföra olika interaktionssätt i samma delsystem/funktion･ att jämföra olika presentationssätt i samma delsystem/funktion･ att jämföra olika målgrupper som använder samma delsystem/funktion･ att jämföra olika kontexter där samma delsystem/funktion används･ är systemet tillräckligt komplext för att utvärderas kvalitativ

Kritik av programdesign

Samarbete med kursen Programsystemkonstruktion med .NET Framework.

De studenterna utvecklar prototyper, ni gör heuristisk utvärdering påprototyperna i egenskap av användbarhetsexperter.

- Preece, J., Sharp, H. & Rogers. Y. (2002/2007). Interaction design - Beyond human- computer interaction. West Susses, England: Wiley & Sons, sidorna 686-702.

10 feb. Ni skickar in er “kritik” av prototypen 1 A4

13 feb. Seminarium där ni träffar er grupp i ett produktutvecklingsmöte

24 feb. Ni kontrollerar framstegen med prototyperna

27 feb. Seminarium om hur programmeringsgrupperna beaktat er kritik

4

Seminarieuppgift

Litteraturseminarium om användbarhetsmetoder under en del av lektionen.

Alla förväntas hitta intressanta/nya utvärderingsmetoder och delta aktivt idiskussioner i mindre grupper.

Alla skriver 1/2 A4 om en utvärderingsmetod, gärna någon som ej finns ikursboken. Motivera varför ni upplever att metoden är intressant.Tips: ACM digital library och länkarna på kurshemsidan.

Texten skickas till Ola via email senast den 27 jan. samt medtages tillseminariet den 28 jan. då metoden ska beskrivas för de andra.

Målet är att vi som grupp samlar en mängd exempel på utvärderingsmetoderpå kort tid som görs tillgängliga på kurshemsidan.

Användbarhetslabbet

Den 6 feb. demonstreras användbarhetslabbet.

Lindstedtsvägen 5, plan 6, östra delen d.v.s. D-huset.

Syftet är att ni ska förstå hur användbarhetslabbet kan användasav er i era utvärderingar.

Halva gruppen är i labbet och andra halvan gör en workshopsom handlar om planeringen av era utvärderingar.

5

Vad är användbarhet?

Det beror på…

Användbarhet är inget som kan bestämmas i sig. Den är alltidknuten till en kontext – vissa användare som ska lösa en vissuppgift i en viss miljö.

En produkts användbarhet kan minska (eller öka) om någon avdessa faktorer förändras.

I denna kurs ska vi studera hur man kan ta reda på om en produktär ändamålsenlig, effektiv och för användaren tillfredsställande.

Vad är användbarhet?

Definition

ISO 9241-11

Användbarhet: I hur hög grad en specifik användare i ett

givet sammanhang kan bruka en produkt för att uppnå

specifika mål på ett ändamålsenligt, effektivt och för

användaren tillfredsställande sätt.

6

Användarcentrerad design ISO 13407

1. Planering av användar- centrerad process

2. Specificering avanv. sammanhanget.Användaren: kunskaper,erfarenheter, vana, kultur.Miljön: platsen, befintligasystem & hjälpmedel.Arbetsuppgifter: hur oftaarbetsflöde, önskat resul-tat, befogenheter/ansvar,behov för att lösa uppg.

3. Specificering av 1)användar-nas & 2)organisationens krav.1.funktionalitet, interaktionssätt,struktur, terminologi, anv.stöd,2.verksamhetens syfte, kostnad,underhåll, arbetsflöde, identitet

4. Produktion av designlösningar

5. Användbarhetsutvärdering Uppfylla kravspecifikation

Möter kraven

Utvärderingstyper

– Explorativ, används tidigt i produktionscykel: ”Funkar den här idén el. den här?” Pappersmockup, workshop, fokusgrupp, ger kvalitativa resultat

– Bedömande, en bit in i implementationen: ”Hur bra är det här?” En riktig uppgift, mindre interaktion, mer kontroll, kvantitativa data samlas

– Validerande, mot (nästan) färdig produkt: ”Uppfyller det här kraven?” T.ex. “naiva” användare ska klara att utföra 75% av alla uppgifter vid första försöket.

– Jämförande, i godtyckligt stadium: ”Är A eller B bättre?” Experimentell studie som ger kvantitiv data eller jämförande test.

7

Vad påverkar och vad påverkas?

Faktorer i användnings- kontexten

Användaren

Uppgiften

Produkten

Miljön

Faktorer som kan specificeras

Användbarhetsmått

Ändamålsenlighet

Effektivitet

Tillfredsställelse

Faktorer som kan mätasISO 9241-11

Mjukvarukvalitet Användbarhet

ISO 9126

FunktionalitetPrestationPålitlighetAnvändbarhetRobusthetUnderhåll

ISO 9241-11

Ändamålsenlighetnå målenfri från felfullständighet

Effektivitet-produktivitethur mycket tid och andraresurser som krävs

Tillfredsställelsebekvämlighetacceptans

8

Hur mäter man användbarhet?

Användbarhetsmått

Ändamålsenlighet

Effektivitet

Tillfredsställelse

Faktorer som kan mätas

• Tid att utföra uppgifter

• Precision, felfrihet• Antal klarade uppgifter• Optimal väg

• Upplevd kontroll• Upplevd effektivitet• Lätt att förstå• Förutsägbart• Uppfyller syfte• Attraktiv, ”trevlig”

Fler användbarhetsdimensioner

Lättlärdhet Hur lätt är det att lära sig produkten och sedan komma ihåg vad man lärt sig.

Flexibilitet Hur lätt är det att anpassa produkten till nya förhållanden.

Förståelighet Hur lätt är det att förstå vad man gjort och vad mankan göra nu.

Genomströmning Hur mycket kan man få gjort.

Fler förslag… ex. underhållningsvärde?

Hur utvärderar man dessa faktorer kvantitativt &/el. kvalitativt?

9

Standarder arbetas fram av internationella standardiserings-organisationer som tex:

ISO International Organization for Standardization

ETSI European Telecommunications Standards Institute

BSI British Standards Institution

SIS Standardiseringen i Sverige

Standardiseringsorganisationer

List of technical committeesTC 159/SC 4Ergonomics of human-system interactionProjects

ISO/DIS 1503 Spatial orientation and direction of movement -- Ergonomic requirementsISO/DIS 9241-20 Ergonomics of human-system interaction -- Part 20: Accessibility guidelines

for information/communication technology (ICT) equipment and servicesISO/DIS 9241-151 Ergonomics of human-system interaction -- Part 151: Guidance on World

Wide Web user interfacesISO/DIS 9241-171 Ergonomics of human-system interaction -- Part 171: Guidance on software

accessibilityISO/DIS 9241-300 Ergonomics of human-system interaction -- Part 300: Introduction to

requirements and measurement techniques for electronic visual displaysISO/DIS 9241-302 Ergonomics of human-system interaction -- Part 302: Terminology for

electronic visual displaysISO/DIS 9241-303 Ergonomics of human-system interaction -- Part 303: Requirements for

electronic visual displaysISO 9241-400 Ergonomics of human--system interaction -- Part 400: Principles and

requirements for physical input devicesISO/DIS 9241-410 Ergonomics of human-system interaction -- Part 410: Design criteria for

physical input devicesISO/NP 9241-920 Ergonomics of human-system interaction -- Part 920: Guidance on haptic

and tactile interactions

Nya standarder utvecklas ständigt

10

Olika kategorier av utvärderingsmetoder

Modellbaserad utvärderingKvantitativa/kvalitativa uppskattningar av mänskligt beteende. Expertgranskning, expertkunskaper. Heuristisk utv. designprinciper.

Medverkande utvärderingRepresentativa användare (ca 5 för mättnad) utför realistiska uppgifter & validerar sedan resultatet med experten.

Subjektiva mätningarMed frågeformulär mäts användarens subjektiva uppfattning.

Små och storskaliga labbtesterKontrollerade tester där beteende loggas varvid effektivitet &ändamålsenlighet kan mätas samt även tillfredsställelse.

Subjektivt / objektivt

Det objektiva är det vi kan se som utomstående betraktare.

Det subjektiva är det försökspersonen rapporterar att denne upplever.

Det betyder inte att det subjektiva är vare sig godtyckligt eller försumbart.

Den uppfattning en person bildar om en produkts användbarhet under deförsta sekundrarna avgör i vissa fall om de kommer att använda den.

Upplevd förmåga att använda en produkt kan vara viktigare än den faktiskaprestationen.

Det är därför viktigt att mäta både den subjektiva upplevelsen och beteendet.

11

Kvantitativt och kvalitativt

Kvantitativt är när vi mäter kvantiteter av någonting.

Enkätsvar där skalor använts ger subjektiv kantitativ data.

Om vi mäter hur lång tid en uppgift tar får vi objektiv kvantitativ data.

Kvalitativt är när vi tolkar texter, verbal kommunikation eller beteenden.

Personers svar vid en intervju ger subjektiv kvalitativa data.

Videoinspelat beteende ger objektiv kvalitativ data….

…..om personen yttrar värderingar eller åsikter är detta subjektiv data…

….eller?

Varför testa?

Användbarhetsstudier kostar tid och pengar i allt kortare produktions-cykler, räcker det inte med användarcentrerad utveckling och att manföljer guidelines?

Användbarhet uppstår i kombinationen av faktorerna användargrupp,miljö och uppgift.

Oväntade effekter uppstår i princip alltid. Vi behöver fånga upp dessa såtidigt som möjligt.

12

Varför testa?

Det viktigaste användbarhetskravet är att produkten ska låta användarenlösa sin uppgift.

Användarcentrerad utveckling ökar chansen att utvecklarna förståttuppgiften, men att användbarhetsmålen uppnåtts måste kontrolleras.

Varför testa?

Många produkter används i situationer där de påverkar liv, hälsa ochekonomi.

Det får inte vara ens produkts fel om någon kommer till skada.

Den ”mänskliga faktorn” uppstår i kombination med den maskinellafaktorn.

13

Varför testa?

Ökad användbarhet sparar tid och pengar för användaren/kunden ochockså för utvecklaren i och med mindre supportbehov.

Användbarhet är en konkurrensfördel.

Över flera generationer av mjukvara bör användbarheten helst öka,absolut inte minska.

Utvärdering löser inte alla problem

Det är i praktiken omöjligt att testa alla delar av en någorlundakomplex produkt.

Det är också omöjligt att testa alla potentiella användare.

Vi har alltid ofullständig (men förhoppningsvis inte falsk) information.

Vår frågeställning är en överenskommelse mellan testare och beställare.

– bägge har ofullständig kunskap om motpartens motiv och önskemål.

14

Utvärdering löser inte alla problem

Att man identifierat ett problem betyder inte att man automatiskt harlösningen på det.

Ofta skapar den lösning man trodde var bättre nya problem, testa igen.

Olika krav strider många gånger mot varandra.

Konsten är att kunna gå från testresultat till en lyckad kompromissdesign.

Man kan inte utvärdera sig själv

Utvärderingar ska inte utföras av utvecklarna själva.

Inte heller bör de ingå som försökspersoner, ens om de skulletillhöra målgruppen.

15

Utvärdering är ej ostrukturerad observation

Man kan naturligtvis bara sitta och vänta på att användaren ska fåproblem, men det är varken målet för utvärdering eller särskilt effektivt.

Istället koncentrerar man sig på de moment som man misstänker kan geproblem eller där man är osäker på bästa lösningen.

När det blåser motvind

Produktansvariga är ofta ovilliga att göra förändringar.

Chockbehandling kan vara enda sättet att påverka.

Effektivt är en videofilm som visar hur svårt användare har att hanteraprodukten.

Effektivt är också siffror på hur dålig den egna produkten är jämförtmed konkurrentens produkt eller förutbestämda kriterier.

Det är alltid bättre att testa lite än att inte testa alls.

16

Vad ska man testa?

Om en funktion används mycket ofta är det förmodligen viktigt attden kan utföras snabbt.

Om en funktion används sällan är det förmodligen viktigare att det ärlätt att förstå/komma ihåg hur den ska utföras.

Observera ”förmodligen” – kontexten bestämmer, det kan finnassäkerhetskrav, det kan vara så att sällsynta operationer måste kunnautföras blixtsnabbt, osv.

Vad ska man testa?

Produkten bör helst testas i en realistisk kontext – om vi t ex producerardokumentation, måste denna testas ihop med resten av produkten.

Det kan dock vara svårt att få tillräcklig kontroll när jämförande el. validerandestudier görs i verklig arbetsmiljö.

I förlängningen är hela arbetssituationen föremål för bedömning, men det ärsällan vi som testare kan påverka den.

17

Eva-Lotta Sallnäs Ph.D. Kursassistent: Ola Knutssonevalotta@csc.kth.se knutsson@csc.kth.se

1. Alla skriver 1/2 A4 om en utvärderingsmetod som ni presenterar på seminariet den 28 jan.

Texten skickas den 27 feb. till knutsson@csc.kth.se.Tips: ACM digital library i datasalarna & länkarna på kurssidan

2. 6 feb. ska grupper vara bildade, val av artefakt samt val av utvärderingsmetod och operationaliseringar ska vara gjorda. 1A4 skickastill knutsson@csc.kth.se.

Delta aktivt på föreläsningarna och läs kurslitteraturen innan!

Viktiga datum