CHI 2009-2010 1/18 Gebruikersinterfaces: eindverslag · De grootste uitdaging voor ons bestond erin...

CHI 2009-2010 1/18

Gebruikersinterfaces: eindverslag Groep 6: Tai CHI

Blog http://tsji.wordpress.com/

Erik De Weerdt, 1e Ma Ir. Computerwetenschappen

Peter Mylemans, 1e Ma Ir. Computerwetenschappen

Joris Nijs, 1e Ma Ir. Computerwetenschappen

Abstract—Dit is het derde en laatste verslag van groep 6 voor gebruikersinterfaces. Dit document bespreekt de laatste iteratie in ons ontwerp, een applicatie waarbij notities aan papers kunnen worden toegevoegd. In deze iteratie ligt de nadruk vooral op het verder testen van het ontwerp en niet zozeer op het uitbreiden ervan. Duidelijke fouten en problemen uit de vorige versie zijn echter wel opgelost. Verder wordt ook teruggeblikt op het hele project en de evolutie die het heeft meegemaakt doorheen de iteraties. Er wordt aandacht besteed aan de resultaten van de vele gebruikerstests en hoe die ons geholpen hebben om een goed resultaat af te leveren. De grootste uitdaging voor ons bestond erin om compromissen te zoeken tussen de uiteenlopende meningen en suggesties die de verschillende testpersonen ons aanreikten.

Ingediend op: 31 mei 2010

—————————— ——————————

1 INHOUDSTAFEL 1 Inhoudstafel .................................................................................................................................................................................. 1

2 Probleem ....................................................................................................................................................................................... 2

3 Belangrijkste lessen uit de eerste iteratie ..................................................................................................................................... 2

4 Tweede iteratie ............................................................................................................................................................................. 2

4.1 Aanpak .................................................................................................................................................................................. 2

4.2 Implementatie ...................................................................................................................................................................... 3

4.3 Evaluatie: aanpak en doel ..................................................................................................................................................... 3

4.4 Evaluatie: verloop ................................................................................................................................................................. 4

4.5 Evaluatie: resultaten ............................................................................................................................................................. 4

4.6 Evaluatie: belangrijkste lessen .............................................................................................................................................. 5

5 Derde iteratie ................................................................................................................................................................................ 5

5.1 Aanpak .................................................................................................................................................................................. 5

5.2 Implementatie ...................................................................................................................................................................... 5

5.3 Evaluatie: aanpak en doel ..................................................................................................................................................... 6

5.4 Evaluatie: verloop ................................................................................................................................................................. 7

5.5 Evaluatie: resultaten ............................................................................................................................................................. 8

5.6 Evaluatie: belangrijkste lessen .............................................................................................................................................. 9

6 Evaluatie van bestaande tools ....................................................................................................................................................... 9

6.1 Microsoft Word 2007 ......................................................................................................................................................... 10

6.2 Apple Pages ‘09 .................................................................................................................................................................. 11

6.3 Sun OpenOffice Writer 3 .................................................................................................................................................... 12

6.4 Adobe Acrobat 9 ................................................................................................................................................................. 14

6.5 Belangrijkste lessen ............................................................................................................................................................ 15

7 Besluit .......................................................................................................................................................................................... 16

8 Referenties .................................................................................................................................................................................. 16

CHI 2009-2010 2/18

9 Appendix A: Tijdsbesteding ........................................................................................................................................................ 17

10 Appendix B: Tabellen .................................................................................................................................................................. 18

10.1 Meetresultaten evaluatie iteratie 2 ................................................................................................................................... 18

10.2 Meetresultaten evaluatie iteratie 3 ................................................................................................................................... 18

2 PROBLEEM Onderzoekers die aan een paper werken of deze reeds gepubliceerd hebben krijgen graag feedback zodat ze hun werk kunnen verbeteren. Ze willen de opmerkingen die anderen op hun werk geven overzichtelijk gepresenteerd krijgen. Collega's geven deze opmerkingen vaak in een vorm van notities.

Courante tekstverwerkers en documentviewers zoals Word, Pages en Acrobat geven hiervoor eenvoudige ondersteuning. Er be-staat daarentegen geen goede ondersteuning om de notities van verschillende mensen samen te voegen. Alhoewel het mogelijk is om de notities van verschillende personen in één document te verzamelen, kan dit enkel op een vrij omslachtige manier. Omdat het samenvoegen van notities van verschillende personen niet ondersteund wordt vanuit de software, is de enige manier om dit te realiseren het document door middel van een beurtrol door te geven. Elke medewerker levert zijn bijdrage en stuurt het docu-ment door naar de volgende persoon. Het uiteindelijke resultaat kan dan wel op een publieke plaats worden opgeslagen, echt interactief gedrag is dit niet.

Het lijkt dus interessant een applicatie te hebben waarin dit laatste wel mogelijk is. In dit project wilden we onderzoeken hoe een gebruikersinterface voor een dergelijke applicatie gebouwd moet worden. Meer specifiek hoe de notities moeten worden voorge-steld zodat het voor de gebruiker, de onderzoeker en zijn collega's, duidelijk blijft waarop de opmerkingen duiden, wie ze gemaakt heeft en wat de onderlinge samenhang is. In het vervolg van dit document zal duidelijk worden in hoeverre we geslaagd zijn in dit ontwerp.

In eerste instantie hebben we ook gepoogd de volledige interface te ontwerpen, van login over zoekfunctionaliteit tot document-viewer met de eigenlijke notities. Maar nogal snel is de scope van dit project vernauwd tot het goed voorstellen van de notities bij een document.

3 BELANGRIJKSTE LESSEN UIT DE EERSTE ITERATIE Het uizicht van onze applicatie is, onder invloed van een aantal problemen, sterk veranderd sinds de eerste iteratie. Tests met een aantal proefpersonen brachten een drietal belangrijke pijnpunten aan het licht [1].

Vooreerst was er het onduidelijk gedrag van de 'Save'-knop. Alle gebruikers gingen namelijk uit van een autosave-gedrag, waar-door ze de functionaliteit van de knop interpreteerden als het opslaan van tags. Om zulke misverstanden in de toekomst te ver-mijden, is de save-knop dan ook niet meer aanwezig.

Een ander probleem was dat de testpersonen, in tegenstelling tot onze verwachtingen, eerst tekst selecteerden en daarna pas op 'Add Note' klikten. Teneinde zo goed mogelijk in te spelen op een breed spectrum van gebruikers, werd er besloten om het gedrag van de 'Add Note'-knop onafhankelijk te maken van het feit of er al dan niet tekst geselecteerd is. Het gedrag van de knop zal wor-den aangepast naargelang de situatie.

Het laatste probleem bleek dat gebruikers niet goed wisten hoe ze een algemene notitie bij heel de paper konden toevoegen. Aan het eind van de iteratie was er nog geen consensus over hoe we dit zouden oplossen. Het toevoegen van globale notities werd dan ook een belangrijk onderzoekstopic in de tweede iteratie.

4 TWEEDE ITERATIE

4.1 AANPAK

Het tweede verslag [2, p. 2-3] legt uit dat in de tweede iteratie de scope beperkt is tot het toevoegen en visualiseren van notities bij een bestaande tekst.

De drie problemen die geïdentificeerd zijn in de eerste iteratie (sectie 2) worden als volgt opgelost:

1. Door de beperking van de scope, is het automatisch opslaan van nieuwe papers niet meer relevant. 2. In de tweede iteratie selecteert de gebruiker eerst een stuk tekst en klikt dan op “Add Note” om een notitie toe te voe-

gen. Dit stemt overeen met het gedrag van de meerderheid van de gebruikers in de testen van de eerste iteratie [1, p. 6]. Bovendien werken bestaande tools ook op deze manier (zie ook sectie 6). De oorspronkelijke denkpiste, die het gedrag van de knop liet afhangen van het feit of er al dan niet tekst geselecteerd is, werd omwille van deze reden dan ook verla-ten.

3. Algemene notities kunnen toegevoegd worden door ze aan de titel vast te hangen.

Vervolgens werden er twee alternatieven bedacht om de notities te visualiseren: een stapel van notities en een alternatief met

CHI 2009-2010 3/18

pijltjesnavigatie [2, p. 3]. Uiteindelijk hebben we niet gekozen voor het tweede alternatief omwille van drie redenen:

1. Het is niet meer mogelijk om twee notities tegelijk te bekijken. 2. Het overzicht is verloren, want het is bv. niet meer mogelijk om snel alle auteurs te bekijken van de notities bij een ali-

nea. 3. Andere programma’s (Word, Pages, Writer…) gebruiken een voorstelling die dichter ligt bij de stapelvoorstelling. Meer

uitleg hierover in sectie 6.

4.2 IMPLEMENTATIE

Zoals ook in het tweede verslag [2, p. 3] staat, is het prototype geïmplementeerd in een combinatie van HTML4, Javascript en CSS.

4.3 EVALUATIE: AANPAK EN DOEL

4.3.1 80% van de gebruikers slaagt erin om zonder hulp een notitie bij de tekst toe te voegen.

Waarom?

De grote meerderheid van de gebruikers zou in staat moeten zijn om een notitie toe te voegen. Dit is immers de basisfunctionali-teit van de applicatie. Maximaal 20% van de gebruikers zou dus moeten terugvallen op een vorm van hulp of documentatie.

Hoe wordt dit getest?

Als de gebruikers hulp vragen aan de testmoderator, wordt deze test als gefaald beschouwd.

Opdracht van de testgebruikers?

De testgebruiker krijgt een paper zonder reeds bestaande notities te zien. De gebruiker moet vervolgens zonder verdere hulp een notitie toevoegen aan een zelfgekozen stuk tekst.

4.3.2 Binnen de minuut (exclusief het typen van de notitie) kan de gebruiker een notitie toevoegen met een maximum van 5 muiskliks.

Waarom?

De drempel om een notitie toe te voegen moet laag liggen: daarom mag het dus niet al te veel tijd kosten. Als basislijn is de ge-middelde tijd genomen die een niet-ervaren gebruiker nodig heeft om een notitie in Word 2007 toe te voegen. Er is gekozen voor Word en niet Pages of andere alternatieven, omdat dit het meest gebruikte kantoorpakket is. Volgens Forrest Research gebruikt 81% van de bedrijven Office 2007. [3]

Bovendien zal de gebruiker, als hij de juiste knop niet vindt, typisch wat proberen en zal het aantal muiskliks snel toenemen. Het ideale pad in de applicatie bedraagt 3 muiskliks: er is voor deze iteratie dus een zekere marge toegelaten.


Tijdens de test heeft één observator als taak deze tijd met een chronometer te meten. De chronometer wordt gestart zodra de gebruiker een zelfgekozen stuk tekst geselecteerd heeft en gestopt als hij de opdracht voltooid heeft. Tijdens het eigenlijke typen van de notitie wordt de chronometer uiteraard ook tijdelijk gestopt.

Een andere observator heeft als taak het aantal muiskliks te tellen.


De testgebruiker krijgt een paper zonder reeds bestaande notities te zien. De gebruiker moet vervolgens zonder verdere hulp een notitie toevoegen aan een zelfgekozen stuk tekst.

4.3.3 Een groep van 5 thesisstudenten/onderzoekers die geen computerwetenschapper zijn slaagt voor de vorige testen.

Waarom?

De testpersonen die door prof. Duval voorzien worden, komen uit zijn onderzoeksgroep. Deze mensen hebben veel ervaring met web 2.0 applicaties. De applicatie moet ook bruikbaar zijn voor onderzoekers, die minder ervaring hebben met dergelijke applica-ties. Omdat het niet altijd evident is om dergelijke onderzoekers te vinden, kan er ook gewerkt worden met thesisstudenten. Zij moeten immers typisch ook heel wat papers lezen en evalueren.


Zie vorige testen.


Zie vorige testen.

CHI 2009-2010 4/18

4.4 EVALUATIE: VERLOOP

4.4.1 Voorbereiding

Voor het uitvoeren van de testen, werden eerst de drie rollen verdeeld over het team:

1. een testmoderator die de test leidt door de testgebruiker opdrachten te geven, vragen te beantwoorden… 2. een observator die de tijd meet voor de doelstelling 4.3.2 en 4.3.3 3. een observator die het aantal muiskliks meet voor de doelstelling 4.3.2 en 4.3.3.

4.4.2 Belangrijkste eigenschappen van de testpersonen

De eerste twee testpersonen waren onderzoekers van de onderzoeksgroep van professor Erik Duval. Zij zijn vertrouwd met ICT en web 2.0-applicaties. De verwachting is dat zij daarom snel met de applicatie kunnen werken. Bovendien zijn zij als onderzoeker het doelpubliek van de applicatie.

De volgende vier testpersonen zijn thesisstudenten die niet verbonden zijn met het departement computerwetenschappen. Zij zijn vanuit hun vakgebied minder vertrouwd met web 2.0-applicaties. Toch behoren zij als thesisstudenten tot het doelpubliek van de applicatie en zouden zij vlot met de applicatie moeten kunnen werken.

4.4.3 Verloop van de test

In het begin krijgt elke testpersoon een korte uitleg over wat de applicatie doet.

Vervolgens wordt er overgaan tot het uitvoeren van het belangrijkste testscenario. De testgebruiker krijgt een paper zonder reeds bestaande notities te zien. De gebruiker moet zonder verdere hulp een notitie toevoegen aan een zelfgekozen stuk tekst.

Na deze test, wordt er een think-aloud sessie gehouden waar de testgebruikers wat kunnen spelen met de applicatie. Op deze manier hopen we suggesties voor verbeteringen aan de applicatie te verzamelen.

4.5 EVALUATIE: RESULTATEN

4.5.1 Metingen

80% van de gebruikers slaagt erin om zonder hulp een notitie bij de tekst toe te voegen.

Alle gebruikers zijn er in geslaagd om zonder hulp een notitie toe te voegen. De eerste doelstelling is dus gehaald.

Binnen de minuut (exclusief het typen van de notitie) kan de gebruiker een notitie toevoegen met een maximum van 5 muis-kliks.

Grafiek 1: Opgemeten data van het toevoegen van een notitie.

Bovenstaande grafieken (Grafiek 1) toont het aantal seconden en het aantal muiskliks dat elke testgebruiker er over deed om een notitie toe te voegen. De bovengrenzen van respectievelijk 1 minuut en 5 muiskliks is aangegeven met een rode horizontale lijn.

Alle testgebruikers scoorden zeer goed op deze test. Qua tijdsgebruik is er zelfs nog een marge van ongeveer 30 seconden. Bo-vendien hebben 4 van de 6 testgebruikers het kortste pad gevolgd in aantal muiskliks. De 2de thesisstudent (T2 op de rechtse grafiek) deed dit echter niet, maar bleef met 4 muiskliks toch onder de bovengrens. Ook de laatste thesisstudent (T4) bleef met 3 muiskliks onder de bovengrens.

Een groep van 5 thesisstudenten/onderzoekers die geen computerwetenschapper zijn slaagt voor de vorige testen.

In eerste instantie zijn er maar 4 thesisstudenten gevonden. Maar zoals hierboven aangegeven is, was er al een zeer duidelijke trend waarneembaar: zij slaagden allen voor de test. Daarom is er niet meer actief gezocht naar een vijfde thesisstudent.

4.5.2 Observaties

Alle testgebruikers duidden eerst een stuk tekst aan en klikten vervolgens pas op “Add Note”. De keuze om voor deze iteratie enkel deze werkwijze te ondersteunen, bleek dus goed te zijn.

15 1813 16 20 16

0

20

40

60

O1 O2 T1 T2 T3 T4

Aan

tal s

eco

nd

en

Onderzoeker (O#) of thesisstudent (T#)

2 2 2

4

23

0123456

O1 O2 T1 T2 T3 T4

Aan

tal m

uis

klik

s

Onderzoeker (O#) of thesisstudent (T#)

CHI 2009-2010 5/18

Tijdens de think-aloud sessie kwamen ook enkele interessante ideeën naar boven:

1. Het zou handig zijn om een datum bij de notitie te tonen, want recentere notities zijn interessanter. 2. Eigen notities en die van andere personen worden in een andere kleur getoond. Op die manier zijn ze makkelijk te on-

derscheiden. 3. Als de notitie ingeklapt is, is enkel de auteur zichtbaar. Eventueel kunnen hier ook de eerste woorden van de eerste zin

aan toegevoegd worden. 4. Notities moeten bewerkt of verwijderd kunnen worden.

De ordening van de lijst van notities bleek ook niet zo duidelijk. Drie gebruikers (50% van onze testgroep) stelden aan ons expliciet de vraag welke ordening we gebruikten. Ons idee was dat recente items bovenaan de stapel liggen, maar dit moet duidelijker gevisualiseerd worden. Mogelijke oplossingen zijn het toevoegen van een datum of het expliciet markeren van nieuwe berichten.

4.6 EVALUATIE: BELANGRIJKSTE LESSEN

Uit de vorige paragraaf blijkt dat het toevoegen van notities geen problemen meer oplevert. De gemeten resultaten vallen ruim binnen de doelstellingen. Er kan dus in een volgende iteratie overgegaan worden naar het toevoegen van extra functionaliteit.

De think-aloud sessie leverde heel wat bruikbare input op voor de volgende iteratie. Deze manier van testen moet dus zeker be-houden worden bij volgende testen.

Uit deze input lijkt de mogelijkheid tot het bewerken en verwijderen van notities de belangrijkste. Dit zal zeker moeten geïmple-menteerd worden. Andere zaken, zoals bijvoorbeeld het toevoegen van een datum lijken op dit moment dan weer minder priori-tair.

5 DERDE ITERATIE

5.1 AANPAK

De derde iteratie focust vooral op een meer diepgaande evaluatie van het voorgaande werk, maar tegelijkertijd worden ook enke-le plooien gladgestreken die tijdens eerdere tests aan het licht kwamen. De applicatie wordt meerbepaald als volgt aangepast:

1. Notities kunnen naast toegevoegd nu ook bewerkt en verwijderd worden; 2. Eigen notities worden door middel van een andere kleur van de rest onderscheiden; 3. Nieuwe notities krijgen een 'new'-aanduiding, zodat deze beter opvallen.

De mogelijkheid om notities te bewerken en te verwijderen is een logische uitbreiding op de eerdere applicatie. De huidige toe-passing laat gebruikers toe om hun eigen notities aan te passen of te verwijderen, nadat ze erop dubbelklikken. Uit de testen blijkt dat niet noodzakelijk de beste aanpak is, zoals in het onderdeel 'Evaluatie' verder belicht wordt.

Bij de vorige iteraties kwam aan het licht dat gebruikers moeite hebben om eigen notities te onderscheiden van de rest. De meest evidente manier om eigen notities meer te laten opvallen is ze een andere kleur te geven, wat we in deze iteratie dan ook gedaan hebben.

Omdat gebruikers graag snel een overzicht willen hebben van de meest recente notities, is er nood aan een manier om dergelijke notities snel te kunnen vinden. De gestapelde structuur geeft wel al een beeld van welke notities meer recent zijn, maar het blijkt voor veel gebruikers niet duidelijk wat nu de precieze hiërarchie van de stapel is. Initieel werd geopperd om de hoofding van een notitie uit te breiden met de datum van de laatste wijziging, maar een opvallende 'new'-aanduiding leek ons duidelijker. De ge-dachte hierachter is dat een gebruiker volgens ons vooral wil zien welke notities nieuw zijn, niet hoe nieuw ze zijn. Een bijkomend effect is dat de hiërarchie van de stapel duidelijker naar voren komt als een aantal notities als nieuw zijn aangeduid.

5.2 IMPLEMENTATIE

De implementatie blijft grotendeels ongewijzigd tegenover de vorige iteratie. Er wordt nog steeds gebruik gemaakt van een stati-sche HTML-pagina, uitgebreid met CSS en JavaScript [2, p. 3]. De in de vorige paragraaf beschreven wijzigingen konden vlot geïn-tegreerd worden met de bestaande code.

Figuur 1 illustreert het gebruik van de 'new'-aanduiding, dewelke aangeeft dat een notitie nieuw is sinds het laatste bezoek van de gebruiker.

Figuur 2 toont het toevoegen van een eigen notitie. Nadat de gebruiker op het vinkje heeft geklikt, wordt de bewerkmodus afge-sloten en wordt een volwaardige notitie gecreëerd. Klikken op het kruisje annuleert de actie en herstelt alles naar de situatie in Figuur 1.

CHI 2009-2010 6/18

Figuur 1: New-aanduiding bij nieuwe notities.

Figuur 2: Een nieuwe notitie toevoegen.

Wanneer de gebruiker een notitie wil bewerken of verwijderen, kan hij dit door te dubbelklikken op de tekst. De bewerkmodus wordt terug actief met een extra knop in de vorm van een vuilbakje, die de notitie verwijdert. Figuur 3 geeft dit aangepaste be-werkvenster weer.

Figuur 3: Een notitie bewerken.

5.3 EVALUATIE: AANPAK EN DOEL

5.3.1 80% van de testgebruikers moet binnen de 30 seconden en met een maximum van 3 muiskliks een eigen notitie kunnen herkennen en lezen.

Waarom?

Eigen gemaakte notities moeten in het oog springen. Als je achteraf opnieuw notities wilt toevoegen bij een document en er zijn reeds vele notities van andere personen toegevoegd is het nuttig om je eigen vorige notities snel te kunnen herkennen. Tegelijk wordt er gekeken of de gebruiker zijn weg vind in het systeem van het openklappen en samenvouwen van notities. Dit laatste door het aantal muiskliks te tellen. In het ideale geval is hier slechts één klik voor nodig.


Tijdens de test heeft één observator als taak deze tijd met een chronometer te meten. De chronometer wordt gestart tegelijk met het laten zien van de testpagina aan de gebruiker en gestopt als hij de opdracht voltooid heeft. Een andere observator telt het aantal muiskliks.

Opdracht van de testgebruiker?

Vooraf is een document voorzien van enkele notities waaronder ook één die gemarkeerd is alsof de notitie van de gebruiker zelf zou zijn. De notitie is dichtgeklapt. De testgebruiker moet de volledige tekst van zijn ‘eigen’ notitie laten zien.

CHI 2009-2010 7/18

5.3.2 80% van de testgebruikers moet in staat zijn een notitie bij een stuk tekst toe te voegen binnen de 45 se-conden en met een maximum van 3 muiskliks.

Waarom?

Na het succes van vorige iteratie op dit punt wilden we nagaan of nieuwe gebruikers het ook binnen een kleinere marge konden laten doen.


Zie paragraaf 4.3.2.


Zie paragraaf 4.3.2.

5.3.3 80% van de testgebruikers moet een notitie kunnen wijzigen binnen de minuut en met een maximum van 5 muiskliks.

Waarom?

Uit de opmerkingen die gebruikers hadden bij de testen van vorige iteratie bleek dat er nood was aan een edit-mogelijkheid. Dit moet natuurlijk op een eenvoudige en snelle manier kunnen. De maatstaven zijn daarom dezelfde gekozen als deze om een notitie toe te voegen van iteratie 2.


Tijdens de test heeft één observator als taak deze tijd met een chronometer te meten. De chronometer wordt gestart als de ge-bruiker begint met zoeken naar een mogelijkheid om zijn notitie te bewerken en gestopt als hij de opdracht voltooid heeft. Een andere observator telt het aantal muiskliks.


De testgebruiker moet de notitie die hij/zij in vorige test heeft aangemaakt bewerken. De bedoeling is dit te kunnen zonder hulp.

5.3.4 80% van de testgebruikers moet een notitie kunnen verwijderen binnen de minuut en met een maximum van 5 muiskliks.

Waarom?

Dit hangt samen met vorige test. Daarom zijn ook weer dezelfde maatstaven gekozen.


Tijdens de test heeft één observator als taak deze tijd met een chronometer te meten. De chronometer wordt gestart als de ge-bruiker begint met zoeken naar een mogelijkheid om zijn notitie te verwijderen en gestopt als hij de opdracht voltooid heeft. Tege-lijk telt de observator het aantal muiskliks.


De gebruiker moet de notitie die hij/zij in vorige test bewerkt heeft nu definitief verwijderen.

5.4 EVALUATIE: VERLOOP

5.4.1 Voorbereiding

De voorbereiding verliep volledig analoog aan die van de vorige iteratie.

5.4.2 Belangrijkste eigenschappen van de testpersonen

Deze testen zijn uitgevoerd met 5 testpersonen. De personen waren allemaal onderzoekers van de onderzoeksgroep van professor Erik Duval. Zij zijn vertrouwd met ICT en web 2.0-applicaties. De verwachting is dat zij daarom snel met de applicatie kunnen wer-ken. Bovendien zijn zij als onderzoeker het doelpubliek van de applicatie.

5.4.3 Verloop van de test

In het begin krijgt elke testpersoon een korte uitleg over wat de applicatie doet.

Daarna moet de testgebruiker een eigen notitie herkennen zoals beschreven in sectie 5.3.1. De gebruiker heeft voordat hij dit moet doen de applicatie nog niet gezien zodat hij niet kan valsspelen door op voorhand de interface te bestuderen. Vervolgens moet de testpersoon een notitie toevoegen, deze aanpassen en ze tenslotte weer verwijderen.

Na deze test, wordt er net zoals in de tweede iteratie overgaan tot een think-aloud sessie waar de testgebruikers wat kunnen spe-len met de applicatie. Op deze manier hopen we suggesties voor verbeteringen aan de applicatie te verzamelen.

CHI 2009-2010 8/18

5.5 EVALUATIE: RESULTATEN


Grafiek 2: Resultaten herkennen van een eigen notitie.

Bijna alle gebruikers haalden de doelstelling vlot. Personen 1, 3 en 5 zagen de ‘eigen’ notitie quasi onmiddellijk en hadden ook slechts het minimum van één muisklik nodig. De uitzonderlijke slechte resultaten van de 4

de persoon zijn te verklaren doordat deze

testpersoon de opdracht niet begrepen had. Omdat de test enkel zin heeft als de persoon in kwestie de applicatie nog niet gezien heeft, hebben we deze helaas niet kunnen herhalen.


Grafiek 3: Resultaten toevoegen van een notitie.

Deze test is een succes te noemen. Dit was dan ook te verwachten aangezien we de test al eens hadden uitgevoerd in een vorige iteratie.


Grafiek 4: Resultaten bewerken van een notitie.

De tijdsdoelstelling is wel gehaald maar het aantal muiskliks werd bijna steeds ruimschoots overschreden. Enkel persoon 5 vond quasi onmiddellijk wat er moest gebeuren. Persoon 4 had ook geen hulp nodig.

Personen 1 en 2 vonden niet dat er moest dubbelgeklikt worden om de notitie om deze te bewerken. Nadat hen verteld was hoe het werkte, voltooiden ze hun taak wel vlot: persoon 1 in 3 seconden met 2 muiskliks en persoon 2 in 4 seconden met 3 muiskliks. Persoon 2 vond het dubbelklikken wel een goed idee.

3

23

5 3

0

10

20

30

40

O1 O2 O3 O4 O5

Aan

tal s

eco

nd

en

Onderzoekers

1 1 1 1

0

1

2

3

4

O1 O2 O3 O4 O5

Aan

tal k

liks

Onderzoekers

11

31

1521

15

0

10

20

30

40

50

O1 O2 O3 O4 O5

Aan

tal s

eco

nd

en

Onderzoekers

2 2

5

23

0123456

O1 O2 O3 O4 O5

Aan

tal k

liks

Onderzoekers

45

16

54

143

0

20

40

60

80

O1 O2 O3 O4 O5

Aan

tal s

eco

nd

en

Onderzoekers

6

2

0

2

4

6

8

10

O1 O2 O3 O4 O5

Aan

tal k

liks

Onderzoekers

CHI 2009-2010 9/18

Persoon 3 had eveneens het concept van dubbelklikken niet door. Hij klikte, nadat hem verteld was dat hij moest dubbelklikken, voortdurend op de auteursnaam van de notitie in plaats van op de tekst. Hij had na geïnformeerd te zijn nog 17 seconden en 10 muiskliks nodig.


Grafiek 5: Resultaten verwijderen van een notitie.

Personen 2 en 3 behaalden een optimaal resultaat. Zij hadden de verwijderfunctionaliteit reeds ontdekt in de vorige test.

Personen 1, 4 en 5 probeerden steeds de notitie te verwijderen met behulp van de annuleerknop in plaats van de delete knop.

5.6 EVALUATIE: BELANGRIJKSTE LESSEN

5.6.1 Een eigen notitie herkennen

Dit verliep vlekkeloos. We kunnen dus besluiten dat het wel werkt om de eigen notitie een aparte kleur te geven.

5.6.2 Een notitie toevoegen

Dit gaf eveneens geen problemen meer. Nu de manier van werken analoog is aan die van de meeste bestaande tools, hadden geen testgebruikers nog problemen met het toevoegen van een notitie.

5.6.3 Een notitie wijzigen

Uit te testen blijkt dat het bewerken van een notitie door er op te dubbelklikken zeker niet evident is voor de gebruiker. Ten eerste moet de dubbelklikzone worden uitgebreid naar de gehele notitie in plaats van enkel de tekst. Daarnaast moet zeker een extra bewerkknop of iets dergelijks voorzien worden die duidelijk is voor de gebruiker.

5.6.4 Een notitie verwijderen

Er zijn verschillende dingen mis met de verwijderknop:

1. De knop is enkel zichtbaar wanneer je een notitie opnieuw bewerkt. De testpersonen vonden dat deze knop ten alle tij-den zichtbaar moest zijn of toch op zijn minst los gekoppeld van de bewerkmodus.

2. Als een notitie aangemaakt wordt, bevat de notitie een rood kruis als knop die dient om het creëren van een notitie on-gedaan te maken, terug te verwijderen dus. In de bewerkmodus is die knop er ook en dient die ook om de bewerking on-gedaan te maken. Maar ongedaan maken hier wil zeggen de tekst terugzetten zoals voor de bewerking en niet verwijde-ren. Dit zorgt voor enige verwarring bij de testgebruikers. Een rood kruis wordt vaak geassocieerd met het verwijderen van iets.

3. De verwijder knop heeft een uiterlijk van een vuilbakje. De knop contrasteerde blijkbaar te weinig met de achtergrond en springt bijgevolg niet goed genoeg in het oog.

De verwijder functionaliteit moet volledig anders aangepakt worden. Een knop met het woord ‘delete’ die altijd zichtbaar kan een mogelijke oplossing zijn. Nieuwe gebruikerstesten moeten hierover uitsluitsel geven.

6 EVALUATIE VAN BESTAANDE TOOLS In de derde iteratie bleek duidelijk dat onze aanpak van de bewerkmodus en het verwijderen van notities niet goed werkt. Om goede alternatieven te zoeken, wordt er daarom een analyse gemaakt van de reeds bestaande software met vergelijkbare functi-onaliteit.

De vier softwarepakketten die geëvalueerd worden, zijn diegene die we zelf hebben en gebruiken: Microsoft Word 2007, Apple Pages ‘09, Sun OpenOffice Writer 3 en Adobe Acrobat 9. Voor elk pakket worden de vragen belicht die voor onze applicatie be-langrijk zijn:

1. Hoe werkt het toevoegen van een notitie?

23

1 1

39

15

0

20

40

60

80

O1 O2 O3 O4 O5

Aan

tal s

eco

nd

en

Onderzoekers

2 2

65

0

2

4

6

8

10

O1 O2 O3 O4 O5

Aan

tal k

liks

Onderzoekers

CHI 2009-2010 10/18

2. Hoe wijzigt de gebruiker zijn/haar notitie? 3. Hoe verwijdert de gebruiker zijn/haar notitie? 4. Wat gebeurt er als notities lang worden? 5. Wat gebeurt er als de gebruiker veel notities op eenzelfde pagina toevoegt? 6. Wat zijn de extra mogelijkheden die opvallen?

In 6.5 worden tenslotte de belangrijkste lessen op een rijtje gezet en hun mogelijke toepassingen voor onze applicatie toegelicht.

6.1 MICROSOFT WORD 2007

6.1.1 Toevoegen van een notitie

De ribbon interface maakt het vrij gemakkelijk om notities toe te voegen in Word. Eerst klik je op het tabblad Controleren waar alle tools met betrekking tot nalezen van een tekst zijn gegroepeerd zoals weergegeven in Figuur 4. Je selecteert met de cursor een stuk tekst en klikt dan op Nieuwe opmerking. Er verschijnt een ballonnetje naast de tekst en de tekst wordt tevens gemarkeerd. Je kan dan beginnen typen in het ballonnetje. De notitie blijft ook staan als er geen tekst getypt wordt.

Positief: Eenvoudig toevoegen van de notitie zonder te moeten bevestigen. Je moet echter wel weten dat de knop in het controle-ren tabblad staat.

Positief: Tekst wordt gemarkeerd bij het aanmaken van een notitie. Zo is onmiddellijk duidelijk waar de notitie betrekking op heeft.

Negatief: Er is nergens een aanduiding van datum of tijd. Je kan dus niet zien welke notities nieuw zijn.

Figuur 4: Een notitie toevoegen in Word 2007.

6.1.2 Wijzigen van een notitie

De gebruiker wijzigt de notitie door ze eerst aan te klikken en vervolgens de tekst te wijzigen. Er is dus geen speciale bewerkmo-dus aanwezig.

Positief: Deze operatie is zeer eenvoudig en snel uit te voeren.

6.1.3 Verwijderen van een notitie

De gebruiker verwijdert de notitie door ze eerst aan te klikken en vervolgens op de knop Verwijderen te klikken in het hierboven vernoemde tabblad Controleren.


6.1.4 Lange notities

Bij lange notities rekt het ballonnetje mee met de tekst. Indien de pagina volstaat, verschijnt er aanduiding dat de notitie niet volledig weergeven wordt. Indien je dan op de notitie klikt verschijnt er links van de pagina een extra kolom met de volledig notitie (zie Figuur 5).

Positief: De extra kolom zorgt ervoor dat er toch een plaats is waar langere notities duidelijk onder elkaar weergeven worden.

Negatief: Een nadeel is dan weer dat de kolom links staat, waardoor alle informatie verspreid over het scherm staat.

CHI 2009-2010 11/18

6.1.5 Veel notities

Als er zeer veel notities worden toegevoegd, verdwijnen ze gewoon uit het scherm in de rechter kolom. In de linker kolom zijn ze nog wel terug te vinden.

Negatief: Het is totaal niet duidelijk welke notities er nog zijn. Je kan je natuurlijk afvragen of dit geval ooit gaat voorkomen, want het gaat wel over erg veel notities.

Figuur 5: Een lange notitie toevoegen (links) en overloop van een grote hoeveelheid notities (rechts).

6.1.6 Extra's

Elke notitie begint met het woord Opmerking. Dit lijkt verloren ruimte als de notities in zeer compacte ruimte worden weergeven.

6.2 APPLE PAGES ‘09


Een notitie voeg je in Pages toe door een stuk tekst te selecteren en op de knop “Opmerking” te klikken. Er verschijnt dan een notitie in een kolom links. Vervolgens kan je onmiddellijk beginnen typen. Er is geen bevestiging nodig.

Als je op een woord klikt zonder het te selecteren en op de knop “Opmerking” klikt, wordt er een notitie voor dat woord inge-voegd.

Positief: Het is heel eenvoudig om een opmerking toe te voegen zonder te moeten bevestigen.

Negatief: Er wordt geen informatie over de datum en auteur van de notitie getoond. Het is ook niet mogelijk om deze op te vra-gen.

Figuur 6: Een notitie toevoegen in Pages ‘09.


Dit gebeurt op dezelfde eenvoudige manier als in Word 2007.

CHI 2009-2010 12/18


Het volstaat om op het kruisje van de notitie te klikken om ze te verwijderen.

Positief: Deze methode is veruit de eenvoudigste manier om notities te verwijderen in de hier geëvalueerde software.


Lange notities worden hetzelfde behandeld als korte notities. Zij nemen dus gewoon meer plaats in op het scherm. Het is niet mogelijk om deze notities te verbergen.

Negatief: Iemand die een lange notitie schrijft kan veel ruimte op het scherm opeisen. Hierdoor komen kleinere, maar misschien belangrijkere notities, veel lager te staan en is hun verbinding met de tekst minder duidelijk.

6.2.5 Veel notities

Als je veel notities toevoegt, worden zij onder elkaar weergegeven. Indien ze niet meer op één pagina passen, verschijnt er een scrollbalk onderaan. Deze kan onafhankelijk van de tekst scrollen: enkel de notities schuiven op.

Figuur 7: Overloop van een grote hoeveelheid notities in Pages ‘09.

6.2.6 Extra's

Er is niet echt een extra feature ten opzichte van de andere tools die opvalt.

6.3 SUN OPENOFFICE WRITER 3


Een notitie kan je toevoegen door je cursor te plaatsen op de plaats waar je de notitie wilt toevoegen of je selecteert het stuk tekst. Vervolgens kan je de notitie toevoegen via het menu Insert en dan op Note te klikken (of met behulp van een toetsencombi-natie: Ctrl-Alt-N). Er verschijnt dan een notitie in een kolom rechts van de tekst met pijl naar het bijhorende tekstdeel. Figuur 8 illustreert dit proces. Je kan vervolgens onmiddellijk beginnen typen, bevestigen hoeft niet.

Positief: Het niet moeten bevestigen van het aanmaken van een notitie nadat er tekst is ingevoerd, voelt zeer vlot aan en bespaart het grijpen naar muis of touchpad.

Negatief: Het invoegen van een notitie zit verborgen in een menu en is niet dadelijk zichtbaar. Een toetsencombinatie verzacht dit probleem enigszins.


De gebruiker wijzigt de notitie door ze eerst aan te klikken en vervolgens de tekst te wijzigen. Er is dus geen speciale bewerkmo-dus aanwezig, net als in alle vorige tools.



De gebruiker verwijdert de notitie door op de pijl in de rechterbenedenhoek van de notitie te klikken en vervolgens Delete Note aan te duiden.

Negatief: Deze functie van de pijl in de notitie is niet meteen duidelijk.

CHI 2009-2010 13/18

Figuur 8: Een notitie toevoegen in Writer 3.


Het toevoegen van lange notities zorgt er gewoon voor dat de notities uitgerokken worden. Indien de pagina vol staat met noti-ties, worden ze terug kleiner en krijgen ze een scrollbalk.

Positief: Doordat de notities uitrekken blijven ze volledig leesbaar.

Negatief: Het uitrekken zorgt er echter ook voor dat volgende notities nogal ver naar onder schuiven waardoor het vergelijken van tekst en bijhorende notities niet makkelijker wordt.

6.3.5 Veel notities

Figuur 9: Een lange notitie toevoegen (links) en overloop van een grote hoeveelheid notities (rechts).

Vele notities op een pagina zorgen ervoor dat ze steeds kleiner worden. Als de tekst er niet meer inpast, verschijnt er een scroll-balk in de notitie. Als een bepaald minimale hoogte bereikt wordt, verschijnen er bij het opnieuw toevoegen van een nieuwe notities extra knoppen bovenaan de notitie kolom op door de notities de bladeren.

Positief: De minimale hoogte van een notitie zorgt ervoor dat een minimum aan informatie altijd zichtbaar blijft: een deel tekst, de auteur en datum.

Negatief: Door het werken met de knoppen bovenaan schuiven de notities steeds op waardoor het overzicht soms verloren gaat.

CHI 2009-2010 14/18

6.3.6 Extra's

Aan elke notitie is een pijltje voorzien waarbij wanneer er op geklikt wordt een menu verschijnt met de opties:

Delete note

Delete all notes by author

Delete all notes

De auteur en datum van een notitie staan onderaan een notitie.

Negatief: Het is onduidelijk waarvoor het pijltje dient tot je het uitprobeert. Het uitproberen resulteert dan weer wel in de ont-dekking van de delete feature.

Negatief: De plaatsing van auteur onderaan zorgt ervoor dat niet meteen duidelijk is welke notitie van wie is. In een omgeving waar vooral de notities van verschillende gebruikers van belang zijn, zoals in onze applicatie is dit misschien niet zo handig. Onder-zoekers zijn namelijk misschien op een bepaalde moment enkel geïnteresseerd in de notities van hun supervisor. In OpenOffice Writer lijkt dit minder een probleem en is de keuze meer te verdedigen.

6.4 ADOBE ACROBAT 9


Een gebruiker kan eenvoudig een notitie toevoegen door op de Comment knop te klikken en Add sticky note te kiezen. Er ver-schijnt dan een klein tekstballonnetje in het midden van het scherm. Dit ballonnetje kan vervolgens versleept worden naar de juiste positie. In de rechterkolom is ondertussen een nieuwe rechthoek met de notitie verschenen. Bijzonder aan Adobe Acrobat is dat je deze notitie ook kan verslepen naar de linkerkolom of over een andere notitie. Figuur 10 illustreert dit met een pagina waar een aantal notities op gemaakt zijn.

Positief: Er is zeer veel vrijheid. Je hebt als gebruiker de volledige controle over de positie van de notitie.

Negatief: De tekstballonnen verbergen het deel van de tekst waar ze op geplaatst worden.

Negatief: Het is niet in één oogopslag duidelijk, welke notitie bij welk stuk tekst hoort. Je moet met je cursor op een tekstballon of een notitierechthoek staan om de verbinding tussen de twee zichtbaar te maken.

Figuur 10: Een document in Acrobat met een aantal notities.


De gebruiker wijzigt de notitie door ze eerst aan te klikken en vervolgens de tekst te wijzigen. Er is dus geen speciale bewerkmo-dus aanwezig.



De gebruiker verwijdert de notitie door op Options in de notitie te klikken en vervolgens Delete te kiezen. Deze werkwijze stemt overeen met die van het hierboven besproken OpenOffice Writer 3.

Negatief: Net als bij Writer is de verwijderknop dus niet meteen zichtbaar.


De rechthoeken waarin de tekst van de notitie staat, kunnen groter of kleiner gemaakt worden. Als de tekst niet meer binnen het kader past, wordt er een scrollbalk getoond. Er is dus geen speciale functionaliteit aanwezig om om te gaan met lange notities.

6.4.5 Veel notities

De positie van notities is volledig vrij. Als een gebruiker veel notities toevoegt, zullen ze na een tijd beginnen te overlappen bij gebrek aan schermruimte. Het resultaat wordt getoond in Figuur 11. Er is dus geen aparte scrollbalk zoals bijvoorbeeld in Open Office Writer of Pages.

CHI 2009-2010 15/18

Figuur 11: Een document in Acrobat met overlappende notities.

6.4.6 Extra's

Het is mogelijk om notities te verbergen door in de rechterbovenhoek op de min-knop te klikken. De tekstballon blijft wel in de tekst aanwezig en kan gebruikt worden om de notitie opnieuw te tonen door erop te klikken.

Op bestaande notities kan ook geantwoord worden. Het antwoord verschijnt dan binnen dezelfde notitie. De notitie in de linkerko-lom in Figuur 10 illustreert dit principe. Dit lijkt een nuttige feature te kunnen zijn voor een volgende iteratie.

6.5 BELANGRIJKSTE LESSEN


De methode die in onze applicatie gebruikt wordt, strookt al met die van de bestaande tools (op Acrobat) na. Bovendien hebben testen al uitgewezen, dat deze werkt bij de doelgroep. Hier moet dan ook niets aan gewijzigd worden.

Een kleine verbetering die kan aangebracht worden, is het automatisch opslaan van de notitie. De bevestigknop zou dan overbo-dig worden.


Hierover bestaat in de bestaande tools bijzonder veel conformiteit. De gebruiker kan gewoon op de notitie klikken en zijn tekst beginnen te wijzigen.

In de context van onze webapplicatie kan dit op verschillende manieren geïmplementeerd. In HTML5 is het mogelijk om delen van de pagina bewerkbaar te maken, zodat de manier van werken volledig overeenkomt met de bestaande tools. Net als bij het toe-voegen van een notitie wordt de notitie dan ook automatisch opgeslagen. Een alternatief met de technologie die we nu gebruiken (HTML4) is om na het klikken op een notitie onmiddellijk over te gaan naar de bewerkmodus.


In de meeste tools ging dit via een soort van menu. Enkel Pages ’09 van Apple verraste in positieve zin: met één klik kan je de noti-tie verwijderen. Het is niet nodig om in een menu te zoeken.

Dit kan op een zeer gelijkaardige manier geïntegreerd worden in de bestaande applicatie. De knop zou ook in de rechterboven-hoek geplaatst worden, om zo de verwarring met de annuleerknop (onderaan in de bewerkmodus) ineens ook op te lossen.


Op dit punt variëren de tools iets meer: al dan niet een scrollbar, een extra kolom… Bovendien was dit ook één van de meest pro-blematische punten. Een echt goede en eenvoudige manier is er niet gevonden.

Het systeem dat nu gebruikt wordt in de applicatie laat drie stadia van uitklapbaarheid toe:

1. Enkel de auteur van de notitie. 2. De auteur en de eerste zinnen van de tekst van de notitie. 3. De auteur en de volledige tekst van de notitie.

Dit lijkt ons beter dan wat de bestaande tools aanbieden. In een volgende iteratie zou dit getest kunnen worden door de verschil-lende methodes in onze applicatie te simuleren en de satisfactie van de gebruiker te meten door bijvoorbeeld een top 5 te laten maken.

6.5.5 Veel notities

Vooral Open Office Writer en Pages scoorden goed op deze test. Zij boden een scrollbalk aan om door de notities van een bepaal-de pagina te scrollen. Dit kon onafhankelijk van de positie van de pagina zelf op het scherm.

In de applicatie wordt de tekst als op één (zeer lange) pagina beschouwd, zodat notities per pagina niet echt mogelijk zijn. Het kan wel om de notities onafhankelijk te laten scrollen van de tekst. Deze gulden middenweg zou voor een volgende iteratie zijn.

CHI 2009-2010 16/18

7 BESLUIT Na drie iteraties tot een goed einde te hebben gebracht, kunnen we tevreden terugblikken op de evolutie van de applicatie. We hebben gedurende dit project veel kunnen bijleren over het ontwerp van gebruikersinterfaces. In het begin verliep alles wat min-der vlot, maar uiteindelijk viel alles wel in de plooi.

Een van de belangrijkste lessen die we hebben geleerd is klein te beginnen. Grootse plannen zijn mooi, maar het is beter om met een klein en degelijk concept te beginnen. Het is veel makkelijker om een mooi ontwerp uit te breiden dan om een uitgebreid concept om te zetten in een mooi ontwerp. Het is ook veel moeilijker om gebruikers dergelijke interfaces te laten testen: er is te veel om op te letten en het centrale idee wordt veel moeilijker om te evalueren. De beslissing om ons tot de kern te beperken was dan ook een logische conclusie.

Nog een les die we uit de opdracht en dus ook dit vak getrokken hebben is dat gebruikerstesten een vitaal onderdeel van het ontwerpproces vormen. Een keuze die voor een ontwerper logisch lijkt, is dat misschien helemaal niet voor een eindgebruiker. Zelfs zeer eenvoudige tests, met een papieren prototype bijvoorbeeld, leveren een schat aan informatie. Gebruikerstesten leren ons ook dat elke persoon anders omgaat met interfaces, wat het vinden van compromissen erg uitdagend maakt.

Bovendien is gebleken dat uit een diepgaande analyse en vergelijking van de bestaande tools, veel goede ideeën gehaald kunnen worden. We hebben geleerd dat we dit in het vervolg veel vroeger in het project zouden moeten doen.

Op het einde van de rit kunnen we tevreden zijn over het resultaat. Hoewel er nog een aantal kleine onvolkomenheden aanwezig zijn, hebben we toch een functionele applicatie kunnen bouwen.

8 REFERENTIES [1] De Weerdt, E., Mylemans, P., Nijs, J. (2010). Gebruikersinterfaces: verslag 1.

[2] De Weerdt, E., Mylemans, P., Nijs, J. (2010). Gebruikersinterfaces: verslag 2.

[3] Foley, M. J. (2010). Forrester: Google still a distant Office competitor. Geraadpleegd op 27 mei, 2010, van http://www.zdnet.com/blog/microsoft/forrester-google-still-a-distant-office-competitor/6168

CHI 2009-2010 17/18

9 APPENDIX A: TIJDSBESTEDING Erik De Weerdt Peter Mylemans Joris Nijs Totaal

Iteratie 1 (overgenomen uit verslag 1) 32 34 32 98

Iteratie 2 (overgenomen uit verslag 2) 30 30 30 90

Iteratie 2: Evaluatie: verloop 5 5 5 15

Iteratie 2: Evaluatie: analyse resultaten 1 1 1 3

Iteratie 3: Bespreking aanpak 2 2 2 6

Iteratie 3: Implementatie 5 5 5 15

Iteratie 3: Evaluatie: verloop 5 5 5 15

Iteratie 3: Evaluatie: analyse resultaten 2 2 2 6

Extra lessen (geschiedenis, demo’s ,…) 11 11 11 33

Analyse bestaande tools 2 5 5 12

Schrijven eindverslag 15 15 15 45

Totaal 110 115 113 338

CHI 2009-2010 18/18

10 APPENDIX B: TABELLEN

10.1 MEETRESULTATEN EVALUATIE ITERATIE 2

10.1.1 80% van de gebruikers slaagt erin om zonder hulp een notitie bij de tekst toe te voegen.

Onderzoeker 1 Onderzoeker 2 Thesisstudent 1 Thesisstudent 2 Thesisstudent 3 Thesisstudent 4

Ja/Neen Ja Ja Ja Ja Ja Ja

10.1.2 Binnen de minuut (exclusief het typen van de notitie) kan de gebruiker een notitie toevoegen met een maximum van 5 muiskliks.

Onderzoeker 1 Onderzoeker 2 Thesisstudent 1 Thesisstudent 2 Thesisstudent 3 Thesisstudent 4

Tijd (sec) 15 18 13 16 20 16

# muiskliks 2 2 2 4 2 3

10.2 MEETRESULTATEN EVALUATIE ITERATIE 3


Persoon 1 Persoon 2 Persoon 3 Persoon 4 Persoon 5

Tijd (sec) 3 23 5 85 3

# muiskliks 1 1 1 veel 1



Tijd (sec) 11 31 15 21 15

# muiskliks 2 2 5 2 3



Tijd (sec) 45 19 54 14 3

# muiskliks veel veel veel 6 2



Tijd (sec) 23 1 1 39 15

# muiskliks 13 2 2 6 5

CHI 2009-2010 1/18 Gebruikersinterfaces: eindverslag · De grootste uitdaging voor ons bestond erin...

Documents

Transcript of CHI 2009-2010 1/18 Gebruikersinterfaces: eindverslag · De grootste uitdaging voor ons bestond erin...