Handleiding peer assessment tool in Minerva, versie …...Handleiding Peer Assessment-tool in...

Handleiding Peer Assessment-tool in Minerva, versie docent – Afdeling Onderwijskwaliteitszorg - UGent -1-

Handleiding peer assessment-tool in Minerva, versie docent

Volg onderstaande stappen om een peer assessment succesvol in Minerva te organiseren

1. Activeer de peer assessment-tool WebPA in je Minerva-cursus

2. Stel groepen samen in Minerva

3. Breng de groepen over van Minerva naar WebPA

4. Maak een peer assessment in WebPA

4.1 Creëer een scoreformulier (my forms)

4.2 Creëer de peer assessment (my assessments)

5. Volg de peer assessment op nadat deze gelanceerd is

6. Bepaal de scoreberekening en consulteer de rapporten

6.1 Geef de groepsscore in

6.2 Laat de berekening van de individuele eindcijfers lopen

6.3 Bekijk en download de resultaatsrapporten

Al deze stappen worden hieronder kort uitgelegd.

Stap 1: Activeer de peer assessment-tool WebPA in je Minerva-cursus

1. Contacteer de helpdesk van Minerva via mail naar [email protected] of per telefoon naar

09/2648570 en vraag daar om de WebPA module te activeren in de cursus op Minerva

waarbinnen u de peer assessment-tool WebPA wilt activeren.

2. Na activering is het WebPA-icoontje te zien op de startpagina van je cursus:

mailto:[email protected]


Stap 2: Stel groepen samen in Minerva

In Minerva wordt met categorieën van groepen gewerkt.

Een categorie = een collectie van groepen en bevat dus 1 of meerdere groepen van studenten die

elkaar moeten beoordelen.

Bijvoorbeeld: een docent wil een groepswerk met peer assessment organiseren bij zijn 60 studenten.

Hij verdeelt deze in 10 groepen in van telkens 6 studenten. Die 10 groepjes samen met telkens 6

studenten vormen dus de categorie.

Onderneem volgende stappen om een categorie aan te maken en daarbinnen de groepjes samen te

stellen:

1. Een categorie aanmaken.

De categorie wordt gebruikt als de verzameling van groepen die per groep dezelfde peer

assessment moeten invullen. In dit voorbeeld is de categorie Peer Assessment – 24 oktober 2013

aangemaakt.

2. Groepen aanmaken binnen de categorie.

Een groep is de groep van studenten die een groepswerk hebben gemaakt of een andere

activiteit hebben uitgevoerd waarvoor je de peer assessment wilt organiseren. In onderstaand

voorbeeld zijn er 3 groepen binnen de categorie Peer Assessment – 24 oktober 2013.

3. Studenten toekennen aan de groepen.

Je kan de studenten zelf toekennen aan een groep, of je kan de studenten zichzelf ook laten

inschrijven in de juiste groep. In onderstaand voorbeeld zijn er 2 groepen van 6 studenten en 1

groep van 5 studenten.

Hoe je categorieën en groepen aanmaakt, en hoe je studenten – al dan niet automatisch – toewijst

aan groepen staat helder beschreven op http://icto.ugent.be/nl/handleiding/lesgevers/groepen.

Let op!

- Een categorie noemt een “collection” in WebPA. Dus categorie in Minerva is hetzelfde als

collection in WebPA.

http://icto.ugent.be/nl/handleiding/lesgevers/groepen


- Binnen dezelfde categorie mag de student maar tot 1 groep behoren. Anders zullen de categorie

en de corresponderende groepen niet goed worden overgezet naar WebPA.

- Wens je meerdere assessments te organiseren waarbij de groepjes anders samengesteld worden,

maak dan voor elke assessment een aparte categorie aan met een duidelijke naam en vorm de

nieuwe groepen binnen deze categorie.

Stap 3: Breng de groepen over van Minerva naar WebPA

Klik in de startpagina van je cursus op het WebPA-icoon. Je komt op volgende pagina terecht:

1. Als je cursus nog niet is overgebracht naar WebPA, dan dien je de tweede optie aan te klikken:

‘Breng deze cursus en gebruikers over naar de WebPA-applicatie’. Op dat moment wordt WebPA

voor deze cursus geactiveerd en worden de gebruikers over gezet. Je komt via een nieuw venster

in de WebPA-omgeving terecht. Lees en verifieer de informatie.

2. Sluit het venster en keer terug naar je Minerva-cursus. Klik nu een tweede maal op het WebPA-

icoon.


3. Naast je cursus en gebruikers, moet je ook nog de groepscategorieën overzetten. Klik op de

derde optie. Per categorie die je wil overzetten, klik je op de link ‘Breng volgende

groepscategorie over:… ‘.

Indien je nog aanpassingen aanbrengt in de groepscategorieën, zal bij de derde optie de link

‘Werk de volgende categorie bij: …’ verschijnen. Zolang je in WebPA nog geen assessment hebt

gekoppeld aan een categorie of collection, kunt u groepscategorieën bijwerken. Bij een lopende

assessment raden we af om de groepscategorieën nog aan te passen.

Er zal een nieuwe bevestigingsboodschap verschijnen. Sluit het venster en keer terug naar je

Minerva-cursus

4. Nu alle gegevens (inclusief de groepssamenstellingen) overgezet zijn naar WebPA, klik op de

eerste optie ‘Ga naar WebPA’ om verder te werken in WebPA.

Je komt dan in de WebPA-module van je cursus:

Vanaf dat moment is de peer assessment-tool voor de cursus aangemaakt en is deze bereikbaar voor

de studenten. Aangemaakte assessments kunnen door de studenten via het WebPA-icoon ingevuld

worden.

Opmerking: na het gebruik van de WebPA-tool (voor het aanmaken van assessments of het invullen

van assessments) kunnen zowel docent als student daar afmelden door in het linkermenu te klikken

op logout.


Stap 4: Maak de peer assessment beschikbaar in WebPA Wanneer de link tussen Minerva en WebPA is geactiveerd (zie vorige stap), kan elke cursusbeheerder

van je Minervacursus een peer assessment aanmaken. Dit gebeurt in de WebPA-omgeving die dus

enkel bereikbaar is via de aangemaakte link in Minerva. In WebPA, ziet de cursusbeheerder in het

linkermenu 3 belangrijke onderdelen bij het onderdeel Tutors:

1. My forms: dit is de verzamelplaats van scoreformulieren met criteria waarop de studenten

zichzelf en elkaar kunnen beoordelen;

2. My groups: hier worden de aangemaakte groepen uit Minerva overgebracht;

3. My assessments: hier worden de peer assessments aangemaakt door een scoreformulier te

verbinden met de juiste groep, ...


Stap 4.1: Creëer een scoreformulier (my forms)

1. Creëer onder Tutors > My forms een scoreformulier met de criteria waarop de studenten zichzelf

en elkaar kunnen beoordelen.

2. Klik op ‘create a new form’

3. Geef het scoringsformulier een naam, in dit geval ‘Self en Peer Assessment casusbespreking’.

Opmerking: je kan meerdere scoringsformulieren maken.

4. Maak een keuze tussen het gebruik van een Likert-schaal (typisch een score tussen 1 en 5, of 1

en 10) of de Split 100 (studenten moeten honderd punten verdelen onder elkaar). Klik

vervolgens op finish. Deze keuze bepaalt hoe de studenten de verschillende criteria zullen scoren.

Wij geven de voorkeur aan het gebruik van de Likert-schaal.

Opmerking: het is steeds mogelijk om een scoringsformulier achteraf aan te passen zoals de

naam van het formulier, de criteria, het gekozen scoringstype. Dit kan door te klikken op het

potlood naast het formulier, de criteria, … Het is eveneens mogelijk om een scoringsformulier,

een specifiek criteria, … te verwijderen.


5. Zodra een scoringsformulier is aangemaakt, kan je er de criteria aan toevoegen. Klik hiervoor op

‘add a new criterion’.

6. Geef het criterium een naam en eventueel een beschrijving.

7. Pas desgewenst de schaal aan waarop de studenten dit criterium moeten scoren: bijvoorbeeld 0-

5 of 1-5. Bij een oneven schaal kunnen de studenten gaan voor een meer neutrale keuze en

hoeven ze zich niet echt uit te spreken.

8. WebPA laat je toe om aan elke score van de schaal een woordelijke betekenis te hangen. Druk op

volgende om een betekenis aan een score te geven.


9. Klik op finish om de wijzigingen in het criterium op te slaan.

10. Herhaal bovenstaande stappen voor elk toe te voegen criterium.

Opmerking: het is ook mogelijk om per criterium een aparte scoring te nemen.

Stap 4.2 Creëer een peer assessment (my assessments)

In deze laatste stap maak je een eigenlijke assessment aan. Daarbij link je een scoreformulier aan een

groep, bepaal je wanneer die assessment start en eindigt, wanneer die zichtbaar wordt voor de

studenten enz.

1. Ga naar Tutors > My assessments

2. Hier krijg je een overzicht van alle aangemaakte (‘pending’), lopende (‘open’), afgesloten (‘closed’)

en uitgerekende (‘marked’) assessments. (zie verder voor meer informatie over dit overzicht)

Klik op ‘create a new assessment‘ om een nieuwe assessment aan te maken.


3. In de eerste stap van de wizard kan je de assessment een naam geven, bepalen wanneer de peer

assessment start en eindigt en kan je optioneel een introductietekst voor de studenten

toevoegen.

Via ‘Advanced options’ (onderaan rechts) kan je aangeven of WebPA een mail moet sturen naar

alle studenten die in de groepen voor deze assessment zitten dat de assessment is aangemaakt.

Klaar? Klik op ‘Next’.

4. In een volgende stap kies je het scoreformulier dat je aan deze nieuwe assessment wil koppelen.

Je krijgt hier de keuze uit alle scoreformulieren uit alle cursussen waarvan je titularis of

medelesgever bent. Via ‘preview’ kan je de scoreformulieren uit de lijst bekijken.


Via ‘Advanced options’ maak je 2 keuzes m.b.t. feedback:

Krijgen studenten de feedback bij deze assessment te zien?

Eens de assessment is afgelopen, kunnen studenten inloggen en feedback zien m.b.t. hun

prestaties in hun groep. De feedback geeft voor elk criterium aan of ze lager, gemiddeld

of hoger scoren dan de rest van de groep voor deze assessment.

Moeten studenten extra tekstuele feedback of een motivering kunnen toevoegen aan de

scores die ze de andere groepsleden gegeven hebben?

Beslist? Klik op ‘Next’.

5. Vervolgens bepaal je welke groepscategorieën (of “groepscollecties” in WebPA) aan deze

assessment deelnemen.

Je krijgt een overzicht van alle collecties van groepen uit alle cursussen waarvan je titularis of

medelesgever bent.

Gekozen? Klik op ‘Next’.

6. Op een volgend scherm kies je tussen ‘Self and peer assessment’ of ‘Peer assessment only’. Dit

laatste (peer assessment alleen) kan je selecteren via ‘Advanced Options’.

Vink je ‘Self and peer assessment’ aan, dan zullen de studenten elkaar en ook zichzelf scoren.

Vink je ‘Peer assessment only’ valt de zelfevaluatie weg en scoren de studenten enkel elkaar.

Gekozen? Klik op ‘Next’.


7. Nu krijg je een overzicht van de assessment die je aangemaakt hebt. Indien je tevreden bent over

de gemaakte keuzes, klik ‘Finish’. De assessment zal op het ingestelde tijdstip opengesteld

worden en indien je daarvoor gekozen hebt, worden de uitnodigingsmails naar de geselecteerde

studenten verstuurd.

8. Tenslotte krijg je een bevestiging dat de assessment aangemaakt is: ‘Your new assessment has

been created.’

Stap 5: Volg de assessment op nadat deze gelanceerd is.

Ga in het hoofdscherm naar ‘My assessments’. Op het volgend scherm krijg je een overzicht van alle

aangemaakte (‘Pending’), lopende (‘Open’), afgesloten (‘Closed’) en uitgerekende (‘Marked’)

assessments.

Op het tabblad ‘Pending’ zie je alle assessments te zien die zijn aangemaakt, maar die nog niet zijn

opengesteld. Studenten krijgen die dus nog niet te zien.

Op het tabblad ‘Open’ krijg je alle assessments te zien waarvan de einddatum nog niet verstreken is.

Alle assessments die afgesloten zijn en waarvan de scores nog niet berekend zijn, zijn terug te vinden

op het tabblad ‘Closed’. Alle assessments tenslotte die afgesloten zijn en waarvan de scores werden

berekend, zijn te zien onder ‘Marked’.

Onderstaand voorbeeld is een screenshot van het tabblad ‘Open’. De assessment ‘Uittesten Peer

Assessment’ is nog open, maar ‘completed’. Dit wil zeggen dat alle studenten die de assessment

moesten invullen, dit ook gedaan hebben. De docent heeft de berekening van de scores nog niet

laten lopen (in dat geval zou die assessment onder het tabblad ‘Marked’ verschijnen). In de

assessment ‘Test handleiding’ heeft slechts 1 student van de 4 de assessment gedaan.


Via de icoontjes rechts van de assessments, kan je de assessment aanpassen, mails naar studenten

sturen, opvragen wie de assessment reeds deed, het groepspunt bepalen (zie verder) of individuele

scores deleten.

Let op!

Je kan aanpassingen doen aan de groepen, scoreformulieren en assessments, zolang de assessment zelf nog niet loopt. Is een assessment lopende, dan kan je geen aanpassingen meer doen. Verandert er iets aan de groepen tijdens een lopende assessment (er komt bijvoorbeeld een nieuwe student bij), dan zal je de groep moeten aanpassen, een nieuwe assessment moeten aanmaken en de oude assessment op closed zetten.


Stap 6: Bepaal de scoreberekening en consulteer de rapporten

Stap 6.1: Geef de groepsscore in

1. Ga in het hoofdscherm naar ‘My assessments’ en selecteer op één van de tabbladen die

assessment waarbij je de groepsscores wil gaan ingeven en klik op het ‘Set group marks’ icoontje

2. Geef voor elke groep de groepsscore in.

Groepsscores kunnen op elk moment ingegeven worden, onafhankelijk van de status van de

assessment (pending, open, closed).

Let wel, WebPA werkt op basis van percentages en dus niet met cijfers op 20!

De groepsscores die je als docent geeft, zullen samen met de peer assessmentscores als basis

gebruikt worden voor het berekenen van de individuele eindcijfers van de studenten.

Als bijlage 1 vind je een gedetailleerde beschrijving van het scoringsalgoritme dat WebPA gebruikt

voor de scoreberekening steekt en een uitgewerkt voorbeeld van de berekeningswijze.


Stap 6.2: Laat de berekening van de individuele eindcijfers lopen

De berekening gebeurt op basis van het groepscijfer dat je als docent hebt toegekend en op basis van

de peer assessment scores die studenten elkaar gegeven hebben. Deze berekening kan enkel

gebeuren nadat de assessment is afgesloten (closed).

1. Ga in het hoofdscherm naar ‘My assessments’, tabblad ‘Closed’ en klik op het ‘New mark sheet’

icoontje van de assessment waarvan je de individuele scores wil laten berekenen.

2. Op het volgende scherm kan je aangeven welk percentage van het groepscijfer gedifferentieerd

moet worden met de peer assessment scores en kan je eventueel een ‘penalty for non-

completion’ opleggen aan die studenten die de peer assessment niet invulden. Bij zo’n ‘penalty’

wordt nogmaals een percentage van het eindcijfer of een aantal punten van die student

afgetrokken.

Via ‘Advanced options’ bepaal je of die penalty in percentages of in absolute cijfers wordt bepaald.

Bovendien kan je kiezen hoe de resultaten aan de studenten worden weergegeven: als percentages

of als letters (A-F).

Klaar? Klik op ‘create mark sheet’.


Stap 6.3: Bekijk en download de resultaatsrapporten

Ga in het hoofdscherm naar ‘My assessments’, tabblad ‘Marked’ en klik op ‘View Reports’.

Op het volgende scherm krijg je een 7-tal rapporten die te bekijken en te downloaden zijn in Excel-

en/of Word-formaat:

Indien je dat wil, kan je de parameters die je bij de vorige stap ingaf wijzigen en de berekening

opnieuw laten lopen. Ga hiervoor opnieuw naar ‘My assessments’, tabblad ‘Marked’ en klik op het

‘New mark sheet’ icoontje. De nieuwe berekening verschijnt bij ‘My assessments’, tabblad ‘Marked’.

Klik op ‘View Reports’ om ook deze berekening te bekijken.


Tot slot…

Meer weten over de mogelijkheden en het gebruik van WebPA?

Deze handleiding heeft zo beknopt mogelijk de basisfunctionaliteiten van WebPA weer. In WebPA zelf, onder het

onderdeeltje ‘Support’, kan je via ‘Help’ meer uitgebreide handleidingen en extra uitleg vinden. Via ‘Contact’ (of

via contact us in het roze vierkantje onderaan) kan je de betrokken medewerkers van de Afdeling

onderwijskwaliteitszorg een mail sturen om bugs te melden of om technische/didactische vragen te stellen.


Bijlage 1: A Worked Example of the Scoring Algorithm

Authors: Steve Loddington Paul Newman Nicola Wilkinson

Introduction

This document demonstrates a worked example how the WebPA scoring algorithm is used to obtain marks for a student assessment. This is a very simple example assessment, focussing on a single group, marking each group member against a single question. For readability, most of the numbers used later, in this example, are rounded to 2 decimal places. The actual WebPA algorithm is more precise and provides a greater accuracy.

A Worked Example

Alice Bob Claire David Elaine Total awarded

Alice 4 4 3 2 1 14

Bob 3 5 3 2 0 13

Claire 4 4 4 4 4 20

David 3 5 4 3 1 16

Elaine - - - - - 0

Total Received 14 18 14 11 6

Figure 1 - Example of a peer marked criterion

The rows across are the marks awarded by each student, whereas the columns down shows the marks each student received. The marks received are totalled at the bottom. A quick review of the scores shows that Bob performed the best, while Elaine has performed the worst. Also, Elaine didn't submit any marks for the peer assessment at all, as denoted by the dashes in her row.

Normalise the Scores Awarded by each Student

All the marks each student awarded are added up (total up each row).

Alice awarded: 4 + 4 + 3 + 2 + 1 = 14 marks Bob awarded: 3 + 5 + 3 + 2 + 0 = 13 marks Claire awarded: 4 + 4 + 4 + 4 + 4 = 20 marks David awarded: 3 + 5 + 4 + 3 + 1 = 16 marks Elaine awarded: 0 + 0 + 0 + 0 + 0 = 0 marks Figure 2 – The marks awarded are added


Once it is known how many marks each student has awarded, the scores that they gave can be received and the fractional score for each student can be calculated. In other words, every student in the group has an identical 'cake', but they can give different sized slices to each other (and themselves!).

Alice awarded a total of 14 marks (so her cake was split into 14 slices).

Alice gave herself 4 marks = 4 / 14 = 0.29 Alice gave Bob 4 marks = 4 / 14 = 0.29 Alice gave Claire 3 marks = 3 / 14 = 0.21 Alice gave David 2 marks = 2 / 14 = 0.14 Alice gave Elaine 1 marks = 1 / 14 = 0.07 Figure 3 - How the fractional scores are calculated

These are the fractions awarded by Alice to each student. As a test, all the fractions can be added up and they should equal 1.

This process is repeated for every student for every question. In this example there is only one question so we only need to add up this one question.

Calculate the WebPA Score awarded to each Student

Before each students WebPA score is calculated, there's one more bit of information that is needed; how many students were in the group, and how many of them submitted marks.

In this case the group had 5 members, which means 5 cakes should be split between 5 members. Unfortunately, Elaine didn't submit any marks, so only 4 cakes are available! To compensate, WebPA calculates a multiplication factor to bring the total number of cakes back up to 5. This value is identified as the ‘fudge factor’.

5 (students in group) / 4 (students submitting) = 1.25 (our fudge factor) Figure 4 - Calculation of the multiplications factor

The WebPA scores can now be calculated. Taking Alice as an example, we add up all the fractional scores she received. We calculated Alice's own fractions above, but the other students' fractions were produced in exactly the same way.

Alice awarded herself 0.29 (as we saw above). Bob awarded Alice 0.23 (= 3 / 13). Claire awarded Alice 0.20 (= 4 / 20). David awarded Alice 0.19 (= 3 / 16). Elaine didn't submit, so she effectively awarded 0.00. Figure 5 - Fractional scores awarded to the members of the group If all the individual factors are added up, the WebPA score is calculated. For Alice: Alice's WebPA score = 0.29 + 0.23 + 0.20 + 0.19 + 0.00 = 0.91 Figure 6 - Alice's WebPA score calculation


If everyone had submitted the assessments, that would be fine, but remember we had one non-submission, so we have to bring in our fudge factor from earlier.

Alice's actual WebPA score = 0.91 x 1.25 (the fudge factor) = 1.14 Figure 7 - Alice's actual WebPA score

If the same calculations are done for each of the other students, we find:

Bob's actual WebPA score = 1.18 x 1.25 = 1.47 Claire's actual WebPA score = 0.89 x 1.25 = 1.11 David's actual WebPA score = 0.68 x 1.25 = 0.85 Elaine's actual WebPA score = 0.33 x 1.25 = 0.41 Figure 8 - Each of the groups WebPA score

As a quick check, adding up all the WebPA scores for every student, it should equal the number of students in the group. Adding up the scores gives 4.98, which allowing for rounding errors (we're using 2 decimal places in this example) is 5, the total number of students assigned to the group.

Calculate the Student's Final Grade

Now the WebPA score have been worked out, it is easily to calculate a student's final grade using the overall group mark.

Let's assume we've awarded this group's work 80%. Ordinarily, this may have given everyone in the group 80%, but now using the WebPA scores to give either proportionally higher or lower marks according to the students actual performance. This is one of the clear benefits of using WebPA.

Alice's Grade = 1.14 x 80 = 91.2% Bob's Grade = 1.47 x 80 = 117.6% = 100% (we don't give grades above 100%) Claire's Grade = 1.11 x 80 = 88.8% David's Grade = 0.85 x 80 = 68.8% Elaine's Grade = 0.41 x 80 = 32.8% Figure 9 - Calculating the students final grades

It is clear that three of the students did better than the group mark would have suggested, but two students were worse off. According to the peer assessment, that's a fair result.

PA Weighting

The first parameter that can be changed is the PA Weighting. This defines how much of the overall group-mark should be fixed (given to all the students automatically), and how much should be peer-assessed (calculated using the algorithm above).

If instead of peer-assessing the entire group mark it is possible to use 50% instead, then all 5 students would automatically receive the other 50% of the group mark. In this case, with an


overall group mark of 80%, that's an automatic 40% fixed, and the remaining 40% will be adjusted by the peer assessment. The students final grades would then become:

Alice's Grade = 40 + (1.14 x 40) = 85.6% Bob's Grade = 40 + (1.47 x 40) = 98.8% Claire's Grade = 40 + (1.11 x 40) = 84.4% David's Grade = 40 + (0.85 x 40) = 74% Elaine's Grade = 40 + (0.41 x 40) = 56.4% Figure 10 - WebPA weighted marks

The spread of grades has been reduced substantially in Figure 12. Bob's previous grade was 117.6% but this has been brought down to 98.8%. Similarly, Elaine's low score of 32.8% has been brought up to 56.8%.

Weightings and Penalties

There are other factors that can come into play which affect the overall scores received by each student. The calculation above assumes that the entire group mark should be adjusted using the peer assessment. This can lead to large spread of marks. Fortunately, WebPA allows the algorithm to be adjusted, using a couple of extra parameters, controlling the spread of marks.

Non-Completion Penalty

The second parameter is the non-completion penalty. For students who didn't take the peer assessment, a penalty of up 100% can be awarded to the final grade. As an example, awarding a non-completion penalty of -10%, Elaine, who failed to take the assessment, would receive this penalty:

Elaine's Grade = weighted WebPA mark – non-completion penalty therefore Elaine's Grade = 56.4 - 10% = 50.76% Figure 11 - Non-completion penalty calculation

(verkregen vanop de website van WebPA http://webpaproject.lboro.ac.uk/?q=book/export/html/125 op 21/08/2013)

http://webpaproject.lboro.ac.uk/?q=book/export/html/125

Handleiding peer assessment tool in Minerva, versie …...Handleiding Peer Assessment-tool in...

Documents

Transcript of Handleiding peer assessment tool in Minerva, versie …...Handleiding Peer Assessment-tool in...