Usability testingField studies

CHAT-opsamlingOpgaveskrivning

ITU: Usability med projekt i brugercentreret design, forår

2008v/ Egil Boisen, 9/4

Dagens program

• 9 – 10: Usability: evalueringstilgange– Fra eksperimenter til participatory designing– gruppediskussion ud fra MEDLINE PLUS-eksempel

(PRS, 2007, kap.14)

• 10 – 11: CHAT-opsamling– CHAT som tilgang til analyse af data fra field studies

• 11 – 12: Opgaveskrivning– Blooms taxonomi for læringstrin; gruppediskussion ud

fra DSB-opgaven

Usability: evaluerings-tilgange

• Fra kontrol/ kvantitativ til eksplorativ/ kvalitativ tilgang– Kontrollerede eksperimenter– Reviews – QUIS– Usability testing– Interviews– Field studies– Participatory design

Usability: evaluerings-tilgange

• Fra kontrol/ kvantitativ til eksplorativ/ kvalitativ tilgang– Kontrollerede eksperimenter

• Eks.: Fitts Law=> Design guidelines (user interface design)

– Reviews – QUIS– Usability testing– Interviews– Field studies– Participatory design

Usability: evaluerings-tilgange

• Fra kontrol/ kvantitativ til eksplorativ/ kvalitativ tilgang– Kontrollerede eksperimenter

• Eks.: Fitts Law=> Design guidelines (user interface design)

– Reviews – QUIS– Usability testing– Interviews– Field studies– Participatory design

Usability: evaluerings-tilgange

• Fra kontrol/ kvantitativ til eksplorativ/ kvalitativ tilgang– Kontrollerede eksperimenter– Reviews (‘statiske metoder’)

• Heuristisk evaluering: af produktetets fremtrædelse, struktur og udarbejdelse/ baggrundsmateriale

• Cognitive walkthroughs

– QUIS– Usability testing– Interviews– Field studies– Participatory design

Usability: evaluerings-tilgange

• Fra kontrol/ kvantitativ til eksplorativ/ kvalitativ tilgang– Kontrollerede eksperimenter– Reviews – QUIS

• Post-test standard-spørgeskema om user satisfaction – med efterfølgende interview

– Usability testing– Interviews– Field studies– Participatory design

Usability: evaluerings-tilgange

• Fra kontrol/ kvantitativ til eksplorativ/ kvalitativ tilgang– Kontrollerede eksperimenter– Reviews – QUIS– Usability testing

• Fra laboratorietests til arbejde i felten– Observationer, Tænke-højt-tests

• Remote testing

– Interviews– Field studies– Participatory design

Laboratorie set up

Fordele:

Kontrol

Ulemper:

Dyrt

Langt fra praksis

Vanskeligt ved mobile tekn.

Fokus på ‘tasks’ og ikke brugskontekst/ sammenhænge

Usability: evaluerings-tilgange

• Fra kontrol/ kvantitativ til eksplorativ/ kvalitativ tilgang– Kontrollerede eksperimenter– Reviews – QUIS– Usability testing– Interviews

• Individuelle (dybde-) interviews• Fokusgrupper

– Klassiske (direkte og indirekte)– Virtuelle– ‘Friction groups’– Nominale grupper

– Field studies– Participatory design

Usability: evaluerings-tilgange

• Fra kontrol/ kvantitativ til eksplorativ/ kvalitativ tilgang– Kontrollerede eksperimenter– Reviews – QUIS– Usability testing– Interviews– Field studies

• Observationer i felten– Før implementering => on-going relationship– Nu&her => logitudinale undersøgelser

– Participatory design

Field studies (1)

• Fokus på praksis– Uden for laboratoriet overlapper ‘tasks’/ redskabsbrug

hinanden i meningsfulde helheder, der konstant obstrueres

– Kontekst (forskellige dimensioner)• Fra få minutter til en længere årrække

– Case studier• Metoder

– Observed behavior (field notes, video)– Interviews– Diaries – ESM

Field studies (2)

• Findings (mere-end usability)– Brugskontekst nu&her

• Breakdowns i sammenhænge (ikke kun tasks)

– ‘Appropriation’ (tilegnelse) over tid• Læring, motivation, hooked-ness

• Reports– Vignetter, mønstre, narrativer – modeller (i stil med Engeströms trekant)

• Hvor meget skal indsamles?– Videnskab: looking for ‘black swans’– Cost benefit: guerilla-metoden

Usability: evaluerings-tilgange

• Fra kontrol/ kvantitativ til eksplorativ/ kvalitativ tilgang– Kontrollerede eksperimenter– Reviews – QUIS– Usability testing– Interviews– Field studies– Participatory design

Participatory design

• Skandinavien, 1980’erne• Demokratisk tilgang til design

– Brugeren designer sit eget værktøj

• Metametode: iterativt design– Opgør med vandfalsmodellen

• Metoder:– Fokusgrupper– Workshops

• Interessenter mødes ‘fladt’ til etablering af dokument om ‘needs’ og ‘visions’

CHAT-opsamling

CHAT

• Cultural Historical Activity Theory (CHAT)• Principper

– En praksis-orienteret psykologi (post-kognitivisme)1. Object transformation

• ‘Virksomheder’ er bestemt ved deres genstand/ objekt (Leontjev; materialistisk psykologi)

2. Virksomhedens tre aspekter: • Motive – goals – conditions

3. Development• Kigge på breakdown-situationer (conditions/ goals)• Zonen for nærmeste udvikling

4. Mediering5. Kulturhistorisk transformation

CHAT: aspects of activity

activity ~ motive

↓ ↓

action ~ goal

↓ ↓

operation ~ condition

Three aspects of activity (as illustrated by Kuutti, 1996)

CHAT

• Cultural Historical Activity Theory (CHAT)• Principper

– En praksis-orienteret psykologi (post-kognitivisme)1. Object transformation

• ‘Virksomheder’ er bestemt ved deres genstand/ objekt (Leontjev; materialistisk psykologi)

2. Virksomhedens tre aspekter: • Motive – goals – conditions

3. Development• Kigge på breakdown-situationer (conditions/ goals)• Zonen for nærmeste udvikling

4. Mediering5. Kulturhistorisk transformation

CHAT: mediation (1)

A model of the principle of mediation, adapted from Vygotsky 1978, p.41.

x

s o

Tool

Symbol

CHAT: mediation (2)artefact

division of labor

communityrules

subject object

Engeström’s expanded model of the structure of human activity systems for analysing contradiction, which are seen as chances of focused development of the system: ‘expansive learning’ (Engeström 1987, p.78).

What, how, why, where-to

CHAT

• Cultural Historical Activity Theory (CHAT)• Principper

– En praksis-orienteret psykologi (post-kognitivisme)1. Object transformation

• ‘Virksomheder’ er bestemt ved deres genstand/ objekt (Leontjev; materialistisk psykologi)

2. Virksomhedens tre aspekter: • Motive – goals – conditions

3. Development• Kigge på breakdown-situationer (conditions/ goals)• Zonen for nærmeste udvikling

4. Mediering5. Kulturhistorisk transformation

Kulturhistorisk transformation

• Præmis:– Mediering: object transformation er betinget af

redskaber

• I anden potens– En kulturel mediering kan have sig selv som

objekt (object transformation)

Engeström-eksempletMediated object transformation

Material Object formation

Mediating artefact

1.trin ‘raw material’ - sansninger

First impressions Initial data

Rules

Expectations

2.trin First impressions Meaningful pattern Records (what)

History taking (how)

Expl. Models (why)

3.trin Meaningful pattern Diagnosis + treatment plan

Examinations/ test results (what)

Procedures (how)

Hypotheses (why)

4.trin Diagnosis + treatment plan

Altered state of health Medication/ prescriptions (what)

Instructions (how)

Meaningful pattern (why)

‘health’ (where-to) [eb]

Engeström-diskussion

• Hvad er læringsudfordringen for patienten?• Forskellen på læring 1 og læring 2

– At få balance i klodser (eksempel)• At finde en måde at stille dem på så de balancerer

– Læring 1

• At lære deres tyngdepunkt at kende, eksperiementere, også at ville få dem til at falde

– Læring 2

– Rottens ‘trial and error’• ikke en betinget respons der kan blive aflært, men en

medfødt læring 2-måde

Blooms taxonomiKilde: http://www.vufintern.dk/bln05/Studiemappe/STUDIEKOMPETENCER/blooms-taxonomi.htm

Blooms taxonomi (2)Trin Træk (eb)

Viden At gengive, reproducere

Forståelse At gengive med egne ord

Anvendelse Uddrage stof til eget brug; frembringe; anvende redskaber til løsning af simple nye problemstillinger; begrunde

Analyse Sammenligne/ skelne; begrebser; opdage; komplekse problemstillinger; ‘out of the box’ (?)

Syntese Kombinere redskaber ift. komplekse problemstillinger; integrerende helhedsperspektiv.

Vurdering Interne og eksterne kriterier; refleksion

Blooms taxonomi og problemorienteret projektarbejde (1)

Trin Overordnet opgavestrukur

Viden Problemfeltet: at gengive materiale om problemets umiddelbare forekomst

Forståelse Problemformulering: Med egne ord beskrive sin vinkel/ forståelse af problemet

Anvendelse Teori/ metode: Uddrage og anvende redskaber stof fra til belysning af problemformulering; begrunde

Analyse Sammenligne/ skelne; begrebsanalyse; komplekse nye problemstillinger; opdage; ‘out of the box’ (eb)

Syntese Kombinere redskaber ift. komplekse problemstillinger; integrerende helhedsperspektiv.

Vurdering Interne (ift. opgaven) og eksterne (fagfeltet/ problemfeltet) kriterier; refleksion og perspektivering

Blooms taxonomi og problemorienteret projektarbejde (2)

• Ovenfor er Blooms taxonomi forsøgt appliceret på en opgaves typiske, overordnede struktur (eb).

• Blot for at illustrere idéen at et projekt indbefatter alle trin; listen af opgave-elementer bør ikke tages for alvorligt.

• De enkelte trin kan også ses som indfoldet i hvert enkelt trin

• eksempelvis kan problemformuleringen være teoretisk vinklet, hvilket igen kan være resultat af en analyse af forskellige teorier.