Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt...
Transcript of Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt...
![Page 1: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/1.jpg)
RoskildeUniversity
Formativ evaluering med IT-systemet PeergradePotentialer og begrænsninger i universitetsundervisning
Bertel, Troels Fibæk; Bentzen, Tina Øllgaard
Published in:Læring og Medier (LOM)
DOI:10.7146/lom.v10i18.103307
Publication date:2018
Document VersionOgså kaldet Forlagets PDF
Citation for published version (APA):Bertel, T. F., & Bentzen, T. Ø. (2018). Formativ evaluering med IT-systemet Peergrade: Potentialer ogbegrænsninger i universitetsundervisning. Læring og Medier (LOM), 10(18), 1-22.https://doi.org/10.7146/lom.v10i18.103307
General rightsCopyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright ownersand it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights.
• Users may download and print one copy of any publication from the public portal for the purpose of private study or research. • You may not further distribute the material or use it for any profit-making activity or commercial gain. • You may freely distribute the URL identifying the publication in the public portal.
Take down policyIf you believe that this document breaches copyright please contact [email protected] providing details, and we will remove access to thework immediately and investigate your claim.
Download date: 12. Oct. 2020
![Page 2: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/2.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 1
Formativ evaluering med IT-systemet Peergrade – Potentialer og begrænsninger i universitetsundervisning
Troels Fibæk Bertel Adjunkt, Ph.d. Kommunikation, Institut for Kommunikation og Humanistisk Videnskab, Roskilde Universitet
Tina Øllgaard Bentzen Postdoc, Ph.d. Roskilde School of Governance, Institut for Samfund og Erhverv, Roskilde Universitet
![Page 3: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/3.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 2
Resumé/Abstract Dereridesenereårkommetetøgetfokuspåværdienafformativevalueringpåuniversiteterne,mendettetiltrodsevalueresdestuderendespræstationerfortsatovervejendesummativtgennemeksaminer.Nyeonlinelæringssystemer,sombl.a.slårsigoppåatkunnestyrkefeedbacktildestuderendeogspareressourcerforunderviseren,syneslovendeiforholdtilatunderstøtteformativevaluering.Denneartikelundersøgerpotentialerogbegrænsningervedatanvendeetsystemafdennetype,Peergrade,tilformativevalueringiuniversitetsundervisning.Metodiskerartikleninspireretafaktionsforskningogbaseretpåetkomparativtcasestudie,hvorPeergradeafprøvesogevaluerespåtohumanistiskeogsamfundsfagligeuniversitetskurser.Påbaggrundafafprøvningenkonkludererartiklen,atdereretpotentialeknyttettilbrugenafPeergrade,derdelskanafhjælpenogleafdelogistiskeudfordringer,derkanværeforbundetmedfeedbackprocesser,ogdelskanunderstøttelæringgennembrugenafformativevalueringunderanvendelseafpeer-feedbackogrubrics.Samtidigpegerstudietpå,atbrugenafsystemetkræverenstørreinvesteringafressourceriplanlægning,faciliteringogkoordineringfor,atdestuderendefårudbytteafforløbet.
Althoughformativeassessmentinuniversityteachinginrecentyearshasreceivedincreasingattention,studentperformanceispredominantlyevaluatedusingsummativeevaluation.Newonlinetechnologies,whichpromisetofacilitatepeer-feedbackprocessesinteachingandsaveteacherstimeandresourcesotherwisespentgivingfeedbacktostudents,seempromisingforsupportingformativeassessment.Thisarticleexaminesthepotentialsandlimitationsofusingonesuchsystem,Peergrade,forformativeassessmentinuniversityteaching.Inspiredbyactionresearch,thearticlepresentsacomparativecasestudy,whereformativeassessmentusingPeergradeisimplementedandevaluatedintwouniversitycoursesinthehumanitiesandsocialsciences.ThearticleconcludesthatPeergradehasapotentialforovercomingsomeofthelogisticalchallengesofhandlingpeer-feedbackprocessesandforimprovinglearningthroughtheuseofrubricsandpeer-feedback.Thestudyindicates,however,thatimplementingsuchprocesses,demandsanon-trivialinvestmentofresourcesintermsofplanning,facilitationandcoordinationifstudentsaretobenefit.
![Page 4: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/4.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 3
Indledning DereroverdesenereårudvikletenrækkeforskelligeonlineIT-systemertilunderstøttelseafpeer-feedback-processeriuniversitetsundervisning.EtrelativtnytskudpåstammeneridennesammenhængPeergrade(www.peergrade.io),somerudvikletpåDanmarksTekniskeUniversitet(DTU),ogsomnetopnugørsitindtogpålandetsuniversiteter.ViafprøveridenneartikelPeergradepåtohumanistiskeogsamfundsfagligekandidatkurserpåRoskildeUniversitet,hvorprogrammetforsøgesanvendttilunderstøttelseafformativevaluering(påengelsk”formativeassessment”)—dvs.tilenbedømmelse,derforetagesiløbetafundervisningen,oghvisresultaterbrugestilatjustereundervisnings-oglæringsaktiviteter,sålæringsmåleneopnåsbedstmuligt(Black&William,1998a,1998b;Heritage,2010;Heritage&Stigler,2010).Dettegørvi,fordidenfremherskendesummativeevalueringformiuniversitetsundervisningen(hvordestuderendespræstationprimærtevalueresvedafsluttendeeksaminer)kankritiseresforatføretiluhensigtsmæssigelæringspraksisserogresultater(Gibbs,1999;Gibbs,Simpson,Gravestock,&Hills,2004),mensformativevalueringfremhævessomenmetode,derbedreunderstøtterlæring,nårformativebedømmelserkombineresmedkonstruktiv(peer)feedback(Black&William,1998a,1998b;Gibbsetal.,2004).DaPeergradenetopfokusererpåatfaciliterepeer-feedback,synesanvendelsenafsystemetiforbindelsemedformativevalueringumiddelbartlovende;detteunderstøttesendvidereogsåaftidligereforskning,derviseratonlineværktøjerkanværefremmendeforlæring,nårdekombineresmedformativevaluering(Gikandi,Morrow,&Davis,2011).Vispørgerderforiartiklen:”MedhvilkepotentialerogbegrænsningerkanPeergradeanvendestilformativevalueringiuniversitetsundervisningen?”
Formativ evaluering AfprøvningenafPeergradevilidenneartikelindgåisammenhængmedformativevaluering,hvorforviherkortdefinererdennerammesætning.Black&William(1998b)definererformativevalueringpåfølgendemåde:
“Weusethegeneraltermassessmenttorefertoallthoseactivitiesundertakenbyteachers—andtheirstudentsinassessingthemselves—thatprovideinformationtobeusedasfeedbacktomodifyteachingandlearningactivities.Suchassessmentbecomesformativeassessmentwhentheevidenceisactuallyusedtoadapttheteachingtomeetstudentneeds”.
IfølgeGibbsm.fl.erdenudbredteanvendelseafsummativevalueringiuniversitetsundervisningproblematisk,idetdenrisikereratunderstøtteenlæringiselvedetatbeståeksamenersnarereendatmestreindholdetietgiventlæringsforløb(Gibbs,1999,p.42),ligesomdenkanmedføreen
![Page 5: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/5.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 4
instrumentel”dullandlifelesslearningthathasshortlastingoutcomes”(Gibbsetal.,2004,p.3).Formativevalueringfremhævesikontrasthertilsomenmetode,derbedreunderstøtterlæring,når1)underviserentilpasserundervisningenpåbaggrundafinformationtilvejebragtgennemevaluering;2)destuderendemodtagerhandlingsrettetfeedback,derfortællerdem,hvordandekanforbedredereslæring;3)destuderendeerinvolveretievalueringsprocessengennemselv-ogpeer-evaluering(Black&William,1998b;Gibbsetal.,2004;Heritage&Stigler,2010,p.7).DerfindesifølgeHeritageikkenogenfastopskriftpå,hvorledesformativevalueringbøreksekveresidenenkelteundervisningssituation(2010,p.5);dogbørlæringsaktiviteterneafstemmesmedlæringsmåleneforlæringsforløbet(Rienecker,Jørgensen,Dolin,&Ingerslev,2015).
Peergrade Peergrade(www.peergrade.io)eretonlinenetværksbaseretværktøj,somerdesignettilatunderstøttepeerfeedbackiuniversitetsundervisning.Igrovetrækfungererprogrammetpåfølgendemåde:Underviserenformulererenskriftligopgave,somgørestilgængeligfordestuderendegennemsystemetsammenmedendeadlineforaflevering.Herefterbesvarerdestuderendeopgavenindividueltellerigrupperoguploaderdenisystemet,somfordelerdeindkomnebesvarelsermellemdem.Destuderendegiverherefterfeedbacktilhinandensopgaverunderanvendelseafskemaermedfastebedømmelseskriterierogspørgsmål,såkaldte”rubrics”(senedenfor),somunderviserenharforberedtpåforhånd.Hvisenstuderendeellergruppeoplever,atfeedbacken,dermodtages,erurimelig,hardemulighedforatmarkeredette,ihvilketfaldundervisereninddragesogskaltagestillingtilsituationen.Destuderendeforventesogsåatgivefeedbackpådenfeedback,demodtager,hvilketbådetjenersomentilbagemeldingtilfeedbackgiveren,ogsominputtildealgoritmer,dermatcherfeedbackgiverog-modtager.Feedback-giverog-modtagerkanisystemetgøresanonymeoverforhinanden,hvilkettidligereforskningharindikeretkangøredestuderendemeretilbøjeligetilatafgivekritiskfeedbackogføretilforøgetlæring(Lu&Bol,2007).Underviserenkanfølgeforløbetafafleveringenogfeedbackgivningenisystemetogfårafslutningsvisforskelligemetrikkerogetsamletresultatforhverstuderendesperformance(dettegælderogså,hvisdestuderendeafleverersomgruppe).Peergradeerifølgeproduktetshjemmesideudvikletmedafsætipædagogiskforskningogsystemethævdesatkunnebidragemedenbedrelæringsoplevelsefordestuderendesamtenmereeffektivprocesforunderviseren.IintroduktionsvideoentilPeergradeerdentidsbesparelse,derhævdesatkunneopnåsvedatoverladefeedbackafgivelsetildestuderende,endvidereetcentraltargumentforatbrugesystemet(Peergrade.io,n.d.-b).
EtvigtigtelementafPeergradeerbrugenafsåkaldte”rubrics”.Enrubrickandefineressom”adocumentthatarticulatestheexpectationsforanassignment
![Page 6: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/6.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 5
bylistingthecriteriaorwhatcounts,anddescribinglevelsofqualityfromexcellenttopoor”(Reddy&Andrade,2010,p.435).Ienkvalitativanalyseaf21studier,hvorrubricsharværetanvendttilformativevaluering,identificererPanadero&Jonsson(2013)enrækkemåder,hvorpårubricskanmedvirketilatunderstøttelæringidennesammenhæng.Førstogfremmestøgerbrugenafrubricsgennemsigtighedenafbedømmelsesprocessenog-kriterierne,hvilketkanmedvirketilatberoligedestuderendeoggøreprocessenmerehåndterbar.Herudoverkanrubricsgørefeedback-processernemmere,forøgedestudendestropåegenformåenogselvhjulpenhed(”self-efficacy”)samtunderstøttederesstyringafegenlæring,bl.a.gennemenforøgetindsigtiegenvidenogfærdigheder,mulighedforattilrettelæggeegenarbejdsindsatsogfortløbendebedømmeegetarbejde(”self-regulation”).Dissepositiveeffektermodereresafdestuderendeskøn(hvorkvinderinoglesammenhængeharhaftbedreeffektafrubricsendmænd),hvorvidtrubricskombineresmedmeta-kognitiveaktivitetersåsompeer-feedbackellerej(succesfuldeinterventionerkombinereroftedeto)oglængdenafinterventionen(hvorlængereinterventionerofteharenstørrepositiveffekt,specieltforyngrestuderende/skoleelever).
Peergradeanbefaler,atrubrics,deranvendestilfeedbackisystemet,udformessomkonkretespørgsmåltilopgaven,derbedømmes(Peergrade.io,n.d.-a),ogviharfulgtdisseanbefalingerinærværendeafprøvning.Systemetgivermulighedfor,atspørgsmålenebådekanudformessomlukkedekvantitativespørgsmål,derisinesvarmulighedereksplicitererkvalitetskriterierneforbedømmelsen,ellersomåbnekvalitativespørgsmål.Spørgsmålstypernekanogsåkombineresved,atdestuderendebedesuddybederessvarpådelukkedespørgsmålmedenkommentar.Jf.definitionenovenfor,erdetetikkeettypisktrækvedrubrics,atdeudformessomspørgsmålogsvarpådennemåde.Detspecifikkeformat,deranvendes,erdogifølgePanadero&Jonssonnæppeafgørende,sålængeengivenrubricbidragertilenøgetgennemskuelighedibedømmelseskriterierne(2013,p.141).
Somdetfremgårafdetovenstående,giverPeergradesomsystemaltsåunderviserenenrækkeværktøjer,derfacilitererdenlogistiskehåndteringaffeedbackprocesser,samtidigmedatdetimplementererenbestemtpædagogiskpraksis—afgivelseaffeedbackunderanvendelseafrubrics.Afdenneårsagvildissetodimensionerafsystemetværenærtforbundneidetnedenstående.Viprøverdogatanskueliggøreforskellenemellemdetodimensioner,hvordetforekommersærligtrelevant.
![Page 7: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/7.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 6
Valg af cases AfprøvningenafPeergradeblevudførtiforbindelsemedtokurserpåRoskildeUniversitet,somdetoforfatterehverisærundervistepåiefteråret2017,hhv.”CrossMedia”og”Politikogadministrationidanskekommuner”.ValgkursetCrossMediablevafholdtpåInstitutforKommunikationogHumanistiskVidenskab(IKH)oglåtidsmæssigtførst.Undervisningenforegikpåengelskfordanskeoginternationalestuderende.Detvaretintensivtkursus,sombestodaf12undervisningsgangeàfiretimer.Kursetafvikledesoverfireugerogomhandledeteoriogpraksisirelationtildesign,medierogkommunikation.Underkursetarbejdede19kandidatstuderendeigrupper,hvordedesignedeogudvikledeenidétiletIT-produktelleren-tjeneste.Kursetblevevalueretsummativtefter7-trinsskalaenmeden10-sidersskriftligopgave,hvordestuderendeskullebeskrivedenidéellerdetprodukt,deharudviklet,samtbegrundeogreflektereteoretiskoverderesvalg.Tilstedeværelsepåkursusgangenevarikkeobligatorisk.Undervisningenblevvaretagetaftopersoner,hvorTroelsFibækBertelvarkursusansvarligogstodforotteaftilektioner.Peergradeharpåkursetværetanvendttiltoøvelsesopgaver.Denførsteopgaveblevudførtdesidstetotimerafenenkeltundervisningsgang,hvilketvistesigikkeatværehensigtsmæssigt,dadetkræverlængeretidfordestuderendeatlevereetskriftligtproduktafsådanenstandard,atanvendelsenafevalueringsspørgsmålenegivermening.Derforblevdennæsteopgaveudformetmedenlængeretidsfrist,hvordestuderendeiløbetafhalvandenugeskulleskriveoguploadeenopgaveiPeergrade.Opgavenvarendelanalyse,dersenere(iomarbejdetform)skulleindgåidenendeligeeksamensopgave.
KursetPolitikogadministrationidanskekommunerblevafholdtpåInstitutforSamfundogErhverv(ISE)over12kursusgangeàhalvandentimepr.uge.Samletsetløbkursetoverknap3måneder.De35studerendevarpåkandidatniveau,ogundervisningenforegikpådansk.Undervisningengennemførtesafetlærerteampåfirepersoner,hvorafTinaØllgaardBentzenstodforfemafgangenesamthavdedetoverordnedekursusansvar.Encentralambitionikursetharværetatskabebådeteoretiskogpraktiskbaseretlæring,ogderforerderetableretettætsamarbejdemedenkommune,sombidragermedoplægsamtinvitererpåen”rundrejse”isinearbejdsgange.Kursetblevevalueretsummativtgennemtoopgaver:Deneneopgaveblevudleveretogigangsatibegyndelsenafkursettilafleveringindenkursetsafslutning.Denandenopgavevaren48timersopgave,somgennemførtesumiddelbartefterkursetsafslutning.Detoopgavervægterhver50%ivurderingenafdensamledekarakter,somgivesefter7-trinsskalaen.AfprøvningenafPeergradeblevudførtiforbindelsemeddenførsteopgave,somblevudarbejdetundervejsikursusforløbet.Opgavenblevudformetifire
![Page 8: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/8.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 7
forskelligevariantermedforskelligespørgsmålogblevtildeltdestuderendeefterettilfældighedsprincip.
Kursus “CrossMedia” “PolitikogAdministrationIdanskekommuner”
Niveau Kandidat KandidatOmråde Kommunikation
(humanistisk/samfundsfaglig)
Forvaltning(samfundsfaglig)
Antalundervisningsgange
12 12
Antalstuderende 19 35Undervisningsgangenslængde
4timer 1,5timer
Kursetstidsramme Afviklesover4uger Afviklesover12ugerAntallærere 2 4Eksaminationsform Skriftlig14-dageseksamen
(10 sider) ved kursetsafslutning. Bedømmesefter7-trinsskalaen.
En skriftlig opgave underkurset (5 sider) samt enskriftlig 48-timers-opgave(5sider).Bedømmes samlet efter 7-trinsskalaen.
Sprog Engelsk DanskBrugafPeergrade Gruppebaseret – hver
studerende giverindividuelt feedbackpåenopgave udformet af engruppe.
Individuel – hverstuderendegiverindividueltfeedbackpåenopgavefratoindividuellestuderende.
OpgaveriPeergrade
To opgaver: Én opgavegivet som en del af enundervisningsgang. Énopgaveløstmedenfristpåenuge.
En opgave: De studerendehar ca. midtvejs ikursusforløbet uploadetudkast til den opgave, somdeobligatoriskskalafleverevedkursetsafslutning.
Detokurserdelerenrækkeligheder,menerogsåforskelligepåflereområder.Somvistitabel1erderibeggekurserstilfældetaleomuniversitetskurserpåkandidatniveau,hvorderanvendesskriftligeksamensomgrundlagforsummativbedømmelse.Dererdogogsåenrækkeforskelle:CrossMediaeretintensivtkursuspå48timer,derafviklesoverenperiodepåfireugerogharrelativtfåstuderende,mensPolitikogadministrationidanskekommunereretkursuspå18timer,somafviklesover12ugermedenstørregruppeafstuderende.Enandenforskeler,atCrossMediaividudstrækningerbaseretpågruppearbejde,mensarbejdsformenpåkursetPolitikogadministrationidanskekommunerprimærterindividuel.
Tabel1:Oversigtoverdetokurser
![Page 9: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/9.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 8
ForskellenemellemkursernegørdetmuligtforosatudforskepotentialerogbegrænsningerianvendelsenafPeergradetilformativevalueringgennempeer-feedbackiforskelligartedekontekster,derdogerfagligtbeslægtede.MedafsætiFlyvbjergsterminologikanvalgetafdetocasesbetegnessomet”maksimalvariation”-udvalg,hvilketersærligtrelevant,nårmåletmedforskningeneratfåvidenomforskelligebetingelserforprocesellereffektiencase(Flyvbjerg,2006).
Metodologi og metode Metodiskbasererundersøgelsensigpåaktionsforskning,somerkarakteriseretvedenambitionomatskabevidengennemdeltagelseoginterventionietfelt.Aktionsforskningbyggerpåenhermeneutisktilgangogbrugenafinteraktiveprocesseriskabelsenafempiriskematerialersamtbrugenafeksperimentertilatudforskebetingelserogeffekteridetsocialeliv(Nielsen&Nielsen,2010).Denvidenskabeligeproceseriaktionsforskningsparadigmetforbundetmedåbneeksperimenterogbevidstplanlagteændringerietgiventfelt,somkræverdeltagelseoginvolveringafaktørerneifeltet.Encentralpointeerogså,atforskeren,derinvolverersigiaktionsforskning,måbetragtesigselvsomendelaffeltetfremforatværeenobjektivobservatørfrasidelinjen.Derforkræveraktionsforskninggrundigrefleksionoveregenrolleogbetydningforprocessen.Aktionsforskningafviserdetpositivistiskesynspunkt,atvidenomsocialerelationerkanobjektiviseresudenforståelseforkonteksten.Derforermåletidenneartikelikkeatproduceregeneralisérbareresultater,menatillustrerevariationerihvilkepotentialerogbegrænsningeranvendelseafPeergradekanhaveiforskelligekontekster.Viharvalgtaktionsforskningsomafsæt,idetvisomkursusansvarligeogundervisereudgørencentraldelafdetfelt,viundersøger.Detgiverosenværdifuldindsigtogensærligmulighedforatiscenesætteeksperimenteriundervisningen,mensamtidigerdenneindvævedepositionuforeneligmedetpositivistiskidealomobjektivitet.
ForbeggekurserharafprøvningenafPeergradefulgtsammegrundskabelon:
• Introduktiontillæringsmål,rubricsogbrugenafPeergrade• Oprettelseafkursus,opgaveogstuderendeiPeergrade• Afleveringafopgaverogdistributionafopgavertilfeedback• Distributionaffeedbackblandtdestuderende• EvalueringafbrugenafPeergradegennemåbendialogforankreti
enanonymafstemningiprogrammetKahoot.CrossMediaerafvikletca.tomånederførkursetPolitikogadministrationidedanskekommuner,hvilketharbetydet,aterfaringernefradettekursusharbidragettilovervejelserogtilpasningeribrugenafPeergradepådetefterfølgendekursus.Enerfaringfraførstekursusharf.eks.vist,atdererbrug
![Page 10: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/10.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 9
foratafsættemeretidendoprindeligtforventettilatinstruereom,hvordanfeedbackenskalgives,hvilketharaffødtflereindsatserpådetnæstekursusift.atklædedestuderendebedrepåtildette.
Iforholdtiludarbejdelsenafbedømmelsesspørgsmålideanvendterubricsblevderidenaktuelleafprøvninganvendtrubricsbeståendeaftispørgsmål,ottelukkedeogtoåbne.Eteksempelpåetafdeottelukkedespørgsmål(derhvertfulgtesafetuddybendeobligatoriskåbentkommentarfelt)idenaktuelleafprøvning,er:”Hvorklarognematfølgeerargumentationeniopgaven?”,hvorsvarmulighedernevar1)”Argumentationeneruklarogsværatfølge”,2)”Argumentationenervissestederuklarogsværatfølge”og3)”Argumentationenerklarognematfølge”.Brugenafdennetypespørgsmålekspliciteredebedømmelseskriterierne,hvorveddeudoveratværenemmeatanvendefordestuderendeogsåsikrededensystematikoggennemskuelighedibedømmelsen,derercentralforeneffektivbrugafrubricsiformativevaluering.Eteksempelpåetåbentspørgsmåler”Hvadfungeredespecieltgodtiteksten?”.Dabedømmelsesspørgsmåleneerknyttettilkurserneslæringsmålsamtundervisningssprog,erdeikkeheltidentiske;doggårflerespørgsmålafmeregenerelkarakterigenpåbeggekurser.Bedømmelsesspørgsmåleneblevgjorttilgængeligefordestuderendeforudforbesvarelsenafderesopgaver,hvorveddekunnetagehøjdeforbedømmelseskriterierneideresarbejde.BrugenafrubricseriPeergradeautomatiskkoblettilenmeta-kognitivaktivitetiformafpeer-feedback,hvilketmenesatkunneøgedereslæringspotentiale,ogdamålgruppenerungevoksneuniversitetsstuderende,vurderesdenrelativtkorteinterventionslængdeikkeatværeproblematisk(jf.Panadero&Jonsson,2013).
AfprøvelsenafPeergradeharhaftetformativtsigte,hvorforviikkehargjortbrugafdeafsystemetsfunktionaliteter,dersigtermodunderstøttelseafsummativevalueringf.eks.iformafkaraktergivning.Endvidereharanvendelsenafsystemetprimærthaftfokuspåatunderstøttedestuderendeslæringsaktivitetergennempeerfeedbacktildenenkeltestuderendeellergruppe.Derharsåledesimerebegrænsetomfangværettaleom,atopgaverogfeedbackerblevetdiskuteretiplenumpåholdene—selvomdettenaturligviserforekommet,hvisdestuderendeharhaftspørgsmålellerkommentarer—ligesomderikkeerforetagetsystematiskeændringeraflæringsaktiviteterne.Ensådan”student-oriented”tilgangsynesatværepålinjemeddenfremherskendepraksispåområdet(Panadero&Jonsson,2013).
EvalueringenafafprøvningsforløbetmedPeergradeerforetagetetpardageefter,atdestuderendeharmodtagetfeedbackpåderes(sidste)opgaver,ogderharpåbeggekurserværetafsatca.enhalvtimetildette.Evalueringenertildelsgennemførtgennemottespørgsmåliquiz-ogafstemningsværktøjetKahoot(www.kahoot.com),sommuliggørenanonymogøjeblikkeligafstemning,hvordestuderendedeltagergennemderesmobiltelefonereller
![Page 11: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/11.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 10
tablets,oghvorresultaterneumiddelbarteftersvarafgivelsenkanvisespåprojektoriplenum.Påbeggekurserhardesammeottespørgsmålværetanvendt;herspørgesbl.a.tildestuderendesgenerelleoplevelseafPeergrade,værdienafatfåoggivefeedbacksamtderesegenarbejdsindsatsift.atskriveenopgaveoggivefeedbackpåandresopgaver.Resultatetafafstemningenfremgåraffigur1sidstidenneartikel.
BrugenafKahootkangiveetkvantitativtfingerpegomdestuderendesvurderingerafPeergradesomsystem.Kahootertilgengældikkesærligtanvendeligtift.kvalitativeevalueringer,ogderforharafstemningværetkombineretmedopfølgende,kvalitativedialogeriplenumefterpræsentationenafsvarfordelingenpåhvertafdeottespørgsmål.
EvalueringentagerihøjgradafsætidestuderendesoplevelseafPeergrade,hvilketnaturligvisharnoglemetodiskesvagheder—herunderatoplevelsenaflæringsmetodenikkebehøveratreflektere,omlæringfaktiskfindersted.Omvendtmåmansige,atdestuderendesoplevelseaflæringsaktiviteterne,ogderesderaffølgendeindstillingtildem,errelevante,daenpositivoplevelseafenlæringsmetodealtandetligemåfremmemotivationenforatgennemførelæringsaktiviteterne.Påsammemådeeridentifikationenafeventuelleoplevedebarriererforlæringenforudsætningforatfjernedissebarrierer.Derforervidenom,hvaddestuderendeopleversompotentialerogbegrænsningeriPeergradeinteressantift.atdesignelæringsforløb,somoplevesunderstøttende.Dethavdeværetinteressant,hvisbrugenafPeergradekunneholdesopimodregulæreindikatorerforlæringsomf.eks.enændringieksamenskarakterer,mendaundersøgelsenerudførtindenforetenkeltsemester,erdetteikkeenmulighed.Desudenvilledetværevanskelligtatmålesådanneeffekterselvoverfleregentagelserafsammekursus,dapersonsammensætning,pensumogkontekstforandresovertid.Ioverensstemmelsemedaktionsforskningsparadigmetinddragervidesudenvoreegneoplevelserogtolkningerogsammenholderdettemeddestuderendesoplevelseriensamletanalyse.
DekvalitativeplenumdiskussionerfraevalueringenblevoptagetsomlydfilogerefterindsamlingentransskriberetogkodetiNVivo.KodningenerforetagetmedudgangspunktiCharmaz’tilgangtilGroundedTheory-analyse(2006),hvorkodningenforetagesiterativtgennemindledende(”initial”)ogfokuseret(”focused”)kodning.Hervederførstdecentralekategorierogsenereenrækkeoverordnedetemaeridentificeret.Dissetemaerbrugesidetefterfølgendetilatstrukturereanalysen,såledesathverttemagivesenoverskrift,hvorundertemaetbehandles.
![Page 12: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/12.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 11
Analyse PeergradesomSystemBetragtetsomsystemharvihaftgodeerfaringermedPeergrade,somhjælpermedatfacilitereenfeedbackproces,derlogistiskvilleværesværathåndtereogoverskueudenensådanstøtte,ikkemindstpåstørreundervisningshold.Systemethåndterereffektivtbl.a.udsendelseafpåmindelseromafleveringsfristersamtfordelingenafopgaverogfeedbackmellemdestuderendeogmuliggørtilligeenanonymafgivelseaffeedback,hvilketdestuderendeivoresafprøvningoplevedevarpositivt,dadekunnegivemereærligfeedback,nårdeikkeskulletagehensyntilpersonligerelationer.Iforholdtilsystemetslæringskurveervoreserfaring,atdeterrelativtnemtatanvendeforbådeundervisereogstuderende.Etaspekt,derdogmedførtevisseudfordringer,varatfådestuderendetilatafgivefeedbackpådenfeedback,deselvhavdemodtaget,formentligfordiværdienafdettefordenenkelteikkeerumiddelbartindlysende.Afslutningsvisskaldetigenunderstreges,atviikkeharafprøvetfunktionalitetrettetmodsummativevaluering.
KvantitativeevalueringsresultaterSamletsettegnerdekvantitativeresultaterfraevalueringerneetsammensatbilledeafdestuderendesoplevelseafatbrugePeergradepådetokurser(sefigur1sidstidenneartikel):MensdestuderendepåCrossMediaopleverathaveydetenstørreindsatspåatgivefeedback,enddestuderendepåPolitikogadministrationidanskekommunertilkendegiverathavegjort,erbilledetomvendtift.deresoplevedeindsatsift.atskriveopgaven.Værdienafatgivefeedbackoganvendelighedenafdenfeedback,manharfået,evalueresgenereltlidthøjerepåCrossMedia,mensdestuderendepåPolitikogadministrationidanskekommunerihøjeregradoplever,atdeudarbejdederubricshjalpdemtilbedreatforståopgavensevalueringskrav.IforholdtildenoplevedenytteværdiafatbrugePeergradetilatøveopgaveskrivningpåkurseterdestuderendepåPolitikogadministrationidanskekommunerogsålidtmerepositive.
Denabsolutmestmarkanteforskelerdog,atdestuderendepåPolitikogadministrationidanskekommunerilangthøjeregradvurderer,atdetsamletseterengodidéatbrugePeergrade.Hele54%vurderer,atdetbestemterengodidé,mens43%synes,atdetinogengraderengodidé.Kun4%(svarendetilenenkeltstuderende)mener,atdeterendårligidé.DestuderendepåCrossMediaermereforbeholdne,idet62%mener,atdetinogengraderengodidéatbrugePeergrade,mens23%svarernejtilspørgsmålet.Blotca.15%(svarendetiltostuderende)menerbestemt,atdeterengodidé.SamletsetladeroplevelsenafatbrugePeergradealtsåtilatværemerepositivfordestuderendepåPolitikogadministrationidanskekommunerendfordestuderendepåCrossMedia.
![Page 13: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/13.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 12
Somtidligerebeskreveterderenrækkeforskellepådetokurser,herunderkursernesintensitet,anvendelseafindividueltarbejdekontragruppearbejdeogkoblingenmellemøvelsesopgaverneogeksamen.Disseforskellekanienvisudstrækningbidragetilatforklareforskellenidestuderendesbesvarelserpådetokurser.Derudoverharanvendelsenafaktionsforskningbetydet,aterfaringerfraCrossMedia,dertidsmæssigtlåførst,harkunnetbrugestilattilretteforløbetpåPolitikogadministrationidanskekommuner.Derkanaltsåværeflerefaktorer,sompotentieltkanforklare,hvorforbrugbarhedenafdetsammesystemoplevesforskelligtidetokontekster.Vivendertilbagetilenrækkeafdissefaktorernedenfor.
ForventningsafstemningEncentralerfaringpåCrossMedia-kursetvar,atfaciliteringafprocessenervigtigforatsikreforventningsafstemningogklarhedomkringforløbet,samtatdennefaciliteringkankræveenstørreinvesteringafressourcer,endmansomunderviserumiddelbartkunneværetilbøjeligtilatantage.Dettehandlerdelsom,atdestuderendeskalpræsenteresgrundigtogkonkretfordenforeståendeanvendelseafPeergrade,herunderkravtilopgavenogindføringibrugenafrubrics,menogsåatderafsættestidtildialogomkringforventningernetilomfangetogkvalitetenafdenfeedback,derskalgives.Hvornårerkritikf.eks.tilstrækkeligomfattendeogkonstruktiv,oghvordanskalmansommodtagerhåndteredenfeedback,manfår?Afklaringafsådannespørgsmålharbetydningfor,hvorafstemtegruppenafstuderendeeridenmåde,degiverogmodtagerfeedbackpå,ogunderstøtterdermedogsåetfællesniveauidet,deinvestererifeedbacken.PåPolitikogadministrationidanskekommunerblevderderforarbejdetmeddetteienmereudstraktgradendpåCrossMedia.Blandtandetblevderiløbetafundervisningenafsattidtilenkortdialogom,hvadkonstruktivfeedbacker,oghvilkeovervejelsermanbørgøresig,nårmangiverfeedback.Tiltrodsfordenneekstraindsatsvistedenkvalitativeevaluering,atdestuderendestadigefterspørgermeretidtilatgåidialogomsådannespørgsmål.F.eks.spørgerenstuderende,omdeteriorden,atvedkommendeikkerettersigefterdenfeedback,hanellerhunharmodtaget,hvishanellerhuneruenig.Hererderaltsåbrugforenafklaringaf,hvilkenstatusfeedbackenhar,oghvordanmansommodtagerkanvælgeatbrugeden.Étforslageratgøredialogenomfeedbackmerekonkretvedatgennemgåeksemplerpågodfeedback.Forbeggekursernegælderdetendvidere,atderogsåblevbrugtrelativtmangeressourcerpåatkommunikeremeddestuderendeudenforundervisningenom,hvordandeskullebrugePeergradesamtatmindeomfristerforafgivelseaffeedbackmv.Atdererrelativtmangespørgsmål,derskalafklares,ogmegenkommunikationpåkrævetiforbindelsemeddette,kantildelsskyldes,atbrugenafetsystemsomPeergradeogdenpraksis,detimplementerer,ernyeoginogenudstrækningukendtefænomenerfordestuderende.Derbetalesaltsået”startgebyr”iformafenstørreressourcemæssiginvesteringførste
![Page 14: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/14.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 13
gangsystemetanvendes,mendettesandsynligt,atdettevilmindskesinogengrad,hvisdestuderendevænnestilatbrugePeergradeovertid.
AtgivefeedbackEnudfordringpåbeggekurserer,atdestuderendeikkealtidfølersigkompetentetilatgivefeedbackpåhinandensbesvarelser.Destuderendeserikkesigselvsomeksperterideteorier,hvisanvendelsedeskalgivefeedbackpåogopleverathavebegrænsetindsigtideakademiskekriteriertilf.eks.atvurderekvalitetenafenanalyseellerendiskussion,hvorfortolkningsfrihedenianvendelsenafkursuslitteraturenkanværeganskestor.TostuderendefraCrossMediasigerf.eks.omdette:
Detvarvirkeligtsværtatværesuperkritisk,fordihvilkenpositionharjegtilatbedømme,omnogenharskrevetengodanalyseellerej?
Jegkangodtkommemedminegenmening,menjegerikkeekspertenpådether.
Iandretilfældeitalesættesdetforhold,atdestuderendeikkealtidharnåetatorienteresigidendelafpensum,deranvendesiopgaven/opgaverne,deskalgivefeedbackpå.PåPolitikogadministrationidanskekommunererderpåforhånddefineretfireforskelligeopgaver,somerfordelttilfældigtimellemdestuderende,hvornogleopgaverharkrævet,atdestuderendelæserforanipensumiforholdtilkursetsprogression,mensandreikkeharkrævetdette.PåCrossMediastillesøvelsesopgavernemedudgangspunktialleredegennemgåetteori,mentilgengældskrivergrupperneherommegetforskelligartedeemner.Såledeskommerfeedbackenpådetokursertilatforegåpåkrydsogtværsafforskelligedeleafkursuslitteraturenogemneområder,ogdetteudfordrerafsættetforatgivefeedback,dadestuderendeikkeblotkansammenligneandresanalysermedderesegen,menmåmestrepensummeregenerelt.EtkonkretforslagfradestuderendepåPolitikogadministrationidanskekommunererderforatbegrænseopgavernetildenlitteratur,derindtilvidereergennemgået,elleratvælgeénfællesopgave,somafgrænserdenlitteratur,manskalskabesigoverblikoverforbedreatkunnegivefeedback.Enandenmulighederenkvalitetssikringgennemenfællesopsamlingpåfeedbacken,somvivendertilbagetilnedenfor.
Trodsdisseudfordringeroplevermangestuderende,atdétatgivefeedbackpåandresarbejdebidragertilegenlæring—bl.a.pga.denkommunikation,derforegårgennemdeudarbejdederubrics.Påbeggekurseroplevernæstenallestuderendebestemt,ellerinogengrad,atdétatgivefeedbackhjælperdemtilbedreatforstådenstilledeopgavesevalueringskrav.EnstuderendefraPolitikogadministrationidanskekommunerudtalerf.eks.omdette:
![Page 15: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/15.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 14
Jegsynesfaktisk,detharværetenfinmåde.Mankommersådanindistoffetpåenandenmåde.Altsåendvedatbarelæsetilforelæsningen.Såjegermegetfanafdetpåetlæringsmæssigtplan.Ogjegsynesogså,detvarfedtatgivefeedback.Altsåjegtænkte–”duharfaktiskforståetnoget,somjegikkeharforstået.Deterfedt,dether.Detgiverfaktiskmeremeningformig.”Detlærermignogetatgiveandrefeedback.
Herharopgavenskvalitetdogogsåbetydning:Détatgivefeedbackpåethalvfærdigtudkastgiverikkedetsammeudbyttesomatgivefeedbackpåengennemarbejdetopgave,hvormanfårnyeperspektiverpåstoffet.EnstuderendefraCrossMediasigeromdette:
Jegtror,(udbyttet)afhængeraf,hvilkenopgavedufår,forhvisdufårenopgave,derermegetoverfladiskogudenreferencer,såkanduikkebrugedettilretmeget.
Mensprocessenmedatgivefeedbackladertilatkunnebidragetillæringen,erdetaltsåsomunderviservigtigtatværeopmærksompå,atufærdigeellermangelfuldeopgaveroplevessommindreudbytterigeatgivefeedbackpå.Derforkandetværeengodidéatladedestuderendebedømmeflereopgaver,såsandsynlighedenforatdekommerikontaktmedopgaver,deroplevessomudbytterigeatkommentere,øges.
AtmodtageogbrugefeedbackMensstørstedelenafdestuderendepåbeggekursermener,atdeharlagtenmiddelellerstorindsatsiatgiveandrefeedback,ogstørstedelenopleveratfeedbackenfraandreidetmindstevarnyttigienvisudstrækning,fortællerflerestuderendeveddenmundtligeevaluering,atdeikkeoplevede,atdenfeedback,defik,hjalpdeminævneværdiggrad.Specieltvardetetproblem,nårfeedbackenikkevarkonkretogkonstruktiviforholdtilf.eks.atforeslåløsningerellerforbedringeriforholdtileventuelleproblemer.Eteksempelpåafgivenfeedbacktildetåbnespørgsmål”Hvaderdeprimærekritikpunkteriforholdtilteksten?(venligstuddyb)”ienrubricfraCrossMedialyderisinhelhed:”Ikkenogetbestemt.Begreberogteorikunnehaveværetuddybetistørregrad”.Deterklart,atensådanfeedbackkunibegrænsetomfangkananvendesafmodtagerentilatforbedresinpræstation.EnstuderendefraCrossMediasigeridenneforbindelsefølgende:
Vihavdejoallerederubricen,davilavedevoresaflevering,ogdavisåfikfeedbacken,vardensletikkespecifik.Ogpådenmådehjalpdenossletikke;jegsynesikke,jegblevklogereefteratlæsefeedbacken(…)denburdehavehaftflereeksempleriforholdtil…dervaren,dersagde,atvibrugtefor
![Page 16: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/16.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 15
mangecitaterosv.DetvarOK,mensåsagdedenogså,atdervarformegettekstatlæseellersådannoget.Ogsågikdensletikkeindi,altså,”måskeskulleIskærenedpåtekstenomaffordancesogistedetbrugemerepladspådetellerdet”.
Detteproblemvilleformentligkunnebegrænsesmedenendnugrundigereintroduktiontil,hvordanmangivergodogeffektivfeedback,f.eks.medudgangspunktianvisningernehosHattie&Timperley,derpåpeger,atensådanfeedbackskalbesvaretrefundamentalespørgsmålift.læringsprocessen:”Whatismygoal?”,”HowamIgoing?”og”Wheretonext?”(2007).
Iafsnittetomudfordringervedatgivefeedbacknævntevi,atnoglestuderendeikkeansåsigselvsomværendekvalificeredetilatgivefeedbacktilandre,bl.a.pågrundafetbegrænsetkendskabtildetfagligestofområde,deførstervedattilegnesig.Irelationtilatmodtagefeedbacksesentilsvarendeopfattelseafandrestuderendeskompetencertilatgivefeedback.PåCrossMedianævnteflerestuderende,atdevarmereinteresseredei,hvadunderviserenmentevarengodbesvarelse,endhvadderesmedstuderendemåttemene—uagtetatdissehavdeudformetderesfeedbackpåbaggrundafenrubricproduceretafunderviseren.F.eks.fortalteenstuderende:
Påmindsttrekurserjeghartaget,hvorstuderendeharskulletevaluerehinanden,såhardeandrestuderendesagtnoget,somunderviserenharværetuenigi.Såjegtænkerogsåpå…hvisenandenstuderendegiverénfeedback,ogsåfølgermanrådetisitessay,mensåsigerdu”nej,deterheltgalt”(…)måskeskulleduevaluereos,istedetforatvievaluererhinanden.
Sådannesynspunkterogoplevelserkunneformentligimødegåsvedatforklare,atfeedbackikkenødvendigvisskaltagesforpålydendesomenrettelseafarbejdet,mensnarereskaltjenesometinputtilegenrefleksion,samtatpeer-feedbackiøvrigtbådekanværekvantitativtmereomfangsrigogbredspektretendekspert-feedback,pga.atflerepersonerkommentererarbejdet,ogkvalitativbedremåltpåfeedbackenseffekter(Cho&MacArthur,2010).Enandenmådeatimødekommedestuderendesbetænkelighederblevforeslåetafdestuderendeselv,dersavnedeenforankringaffeedbackenfraPeergradeiklasseundervisningen.Ideresøjnevilleensådanforankring(hvorderf.eks.blevsamletoppåfeedbackenafundervisereniplenum)kvalitetssikrefeedbackenoggøredenmereanvendeligsamtmotiveretiletstørreengagementiafgivningaffeedback,damanihøjeregradvillebliveholdtansvarligforatdeltageiprocessen.Enløsningkunnederforvære,atbrugenafPeergradeihøjeregradblevintegreretiundervisningenistedetforatkøreparalleltmeddenne.
![Page 17: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/17.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 16
PåPolitikogadministrationidanskekommunerdukkedeogsåenproblemstillingopiforholdtilmodtagelsenaffeedbacken.Herbeskrevenstuderende,atdenmodtagnefeedbackoplevedessommegetkontantoghård,fordiderikkevaretmennesketilstedetilatblødeleveringenop.Atfraværetafinterpersonellecueskanmedføreenutilsigtethårdleveringerenkendtrisikoimedieretkommunikation(jff.eks.Baym,2010),sommanbørværeopmærksompåogevt.forsøgeatforebyggevedenintroduktiontil,hvordangodfeedbackudformesunderhensyntagentilmediet,denskalleveresigennem.
Fordikvalitetenaffeedbackenvilvarieremellemstuderende,kandetværevigtigtatsikre,atettilstrækkeligtantalstuderendegiverfeedbackpådensammeopgave.Vedindividuellebesvarelserbetyderdetteipraksis,atenenkeltstuderendekommertilatgivefeedbacktilflerebesvarelser.Detskaberdenudfordring,atgennemlæsningogkommenteringafopgaverkanbliveenomfattendeopgavefordestuderende,afhængigtafopgaverneslængde.Derforkandetværeenovervejelse,omopgavernesomfangbørgøreslidtmindremodtilgengældatstillekravom,atdestuderendeskalgivefeedbacktilflere.Detteharyderligeredenpositivekonsekvens,atdefårindblikiflereopgavebesvarelser.Vedgruppebesvarelsermedindividuelfeedbackerproblemetmedenstorarbejdsbyrdeikkeisammeudstrækningtilstede,daflereindividerautomatiskgiverfeedbackpåfærregruppebesvarelser.
KoblingtilobligatoriskekravpåkurserneEnforskelpåbrugenafPeergradepådetokursererogsåopgavenskoblingtildeobligatoriskekravpåkurset.OpgavernepåCrossMediaharhaftkarakteraføvelsesopgaver,somikkeharværetknyttetdirektetileksamenpåkurset,mensopgavenpåPolitikogadministrationidanskekommunererenobligatoriskopgave,derskalafleveresiløbetafkursetsafvikling,foratmankanbeståkurset.ForbådedestuderendepåCrossMediaogPolitikogadministrationidanskekommunergælder,atdeparalleltmeddetpågældendekursusharandrekursus-og/ellerprojektforløb,hvilketbetyder,atdeofteopleveretkrydspresift.,hvordanarbejdsindsatsenskalprioriteres.Idettekrydspreskanopgaver,somikkeharnogendirektebetydningforeksamen,hurtigtblivenedprioriteret.DestuderendepåPolitikogadministrationidanskekommunerbetonerspecifikt,atkoblingentildeobligatoriskekravhargjortarbejdetmedPeergradeforpligtende.Dettegælderikkeblotift.tilderesindsatsmedatskrivederesegenopgave,menogsåift.atgivebrugbarfeedbacktilderesmedstuderende:
Detharenbetydningfordetansvar,manføler,nårmangiverfeedback.Altså,hvismanved,atdeterenopgave,manskalbrugetileksamen,følermansigmereforpligtettilatgøresigumage.Derliggeretansvariatgivekonstruktivfeedbackpånoget,derikkeersåfærdigt,hvismanved,atdeternoget
![Page 18: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/18.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 17
personenarbejdervideremed,ogsomtilsidstbliverendelafeksamen.
Koblingentildeformellekravharaltsåifølgedestuderendebetydningbådeift.,hvormangekræfter,derinvesteresiatudarbejdeopgaven,ogiatgiveandrefeedbackpåderesopgaver.DerforkanenovervejelseværeatgørearbejdetmedPeergradetilenobligatoriskdelafkursuskravetogatundersøge,hvilkeeksamensformersomunderstøtterdettesamspilbedst.
KursernesrammebetingelserSomtidligerenævnterderenrækkeforskellepådetokursersrammebetingelser,somogsåvisersigathavebetydningforbrugenafPeergrade.CrossMediakøreroverenkortereperiodeendPolitikogadministrationidanskekommuner,menmedfleretimer,hvilketgiveretmerekondenseretforløbmedbegrænsedemulighederforatbededestuderendelavestørreskriftligehjemmeopgaverparalleltmedkurset.PåPolitikogadministrationidanskekommunererdetsomtidligerenævntenudfordring,atopgavenpga.kursusplanlægningengivespåettidspunkt,hvorikkealkursuslitteraturergennemgået.Selvomopgavenførstskalafleverestotredjedeleindeikursusrækken,opleveskravetomatskullegivefeedbacktiltoopgaverpådettetidspunktsomenbelastningfornoglestuderende:
Jegværetretfrustreret,fordidetliggersåtidligtiforløbet.Jegkommertilnærmestatskrivetreeksamensopgaveridetherforløb.
Dettekandog,somtidligerenævnt,formentligafhjælpesvedatlaveopgaver,derfokusererpåafgrænsededeleafteorien.
Enandenforskelpådetokurserer,atopgavernepåCrossMediaerlavetigrupper,mensopgavernepåPolitikogadministrationidanskekommunererlavetindividuelt.Samletseterdetindtrykket,atdengruppebaseredebrugafPeergradepådenenesidegørdetmindresårbartatmodtage(fælles)feedback,menogsåkangøredetmindreforpligtendeatindgåiprocessen.DetteunderstregesaferfaringernefraPolitikogadministrationidanskekommuner,hvornoglestuderendeopleveratståtilbagemedenhårdkritik,somdeikkerigtigkandelemednogen.Tilgengældmotivererdeindividuelleopgavernoglestuderendetilatlæggeenstørreindsatsiarbejdet,dadenetopikkekan”gemmesig”igruppen.
![Page 19: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/19.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 18
DiskussionDenovenståendeanalysebidragertilenøgetforståelseaf,påhvilkenmådeogunderhvilkebetingelserPeergrademedfordelkananvendestilatstyrkeformativfeedbackpåuniversitetskurser.Pådenbaggrunderderenrækkeopmærksomhedspunkter,derbørreflekteresover,nårPeergradeinddragessometformativtelementpåsådannekurser.
MensmaniinformationsmaterialetforPeergradekankonstatere,atencentralmålsætningmedsystemeteratfrigiveundervisertid,vedatdestuderendeselvforestårfeedbackensideløbendemedundervisningen,viserresultaterneafdettestudieennogetandenvirkelighed.Vurderingeneroverordnetset,atbrugenafsystemetlogistiskharfaciliteretdenformativeevalueringsprocesogbidragettillæringpåkurserne.Brugtsomenekstralæringsaktivitetharsystemetdogikkekrævetmindre,menderimodmeretidafunderviseren.Detøgederessourceforbrugskyldesnaturligvistildels,atsystemet,ogdenpraksisdetimplementerer,ernytforbådeunderviserogstuderende,ogatderskerenekstrainvesteringafressourcerførstegangsystemetanvendes;detteressourceforbrugvilsandsynligvisinogenudstrækningkunnereduceres,nårdereretableretenstørreerfaringmedbrugafsystemet.Somunderviserskalmandogværeopmærksompå,atsystemetfortrinsvislevererentekniskløsningpådelogistiskeogpragmatiskeudfordringervedatfacilitereenfeedbackprocesistorskala.Udarbejdelsenafrubricsmedeksplicittebedømmelseskriterierioverensstemmelsemedkursetslæringsmålerenforudsætningforatbrugesystemetogkræverisigselvenheldelarbejdeogkvalitetssikring.Itillægtildettekommerkommunikationoghåndteringafprocessen;somunderviserkræverdetplanlægningatsikredenrettedialogmeddestuderendeombrugenafrubricsogrammerneforfeedback,ligesomdetkrævermegentidatsikredennødvendigeforventningsafstemning,faciliteringogkoordineringafforløbetforatunderstøttedensociale,læringsmæssigeproces.Detovenståendeeraltsammenaktiviteter,somskalbehandlessideløbendemeddentraditionelleundervisning.Dakravoglæringsmålendviderevilvarierefrakursustilkursus,måmanforvente,atbehovetforkommunikationogfaciliteringafprocesseninogengradvilbestå,selvomstuderendeogunderviserefårstørreerfaringmedsystemet.
Endelstuderendeytredeefterafprøvningenønskeom,atfeedbackenfraderesmedstuderendeefterfølgendeblevbehandletiplenumafunderviseren;deføltesigikkenødvendigvissomeksperterpådetstof,degavfeedbackpå,ogvurderedehellerikke,atderesmedstuderendevardet.Dettekunnemuligvisinogengradimødesesvedtydeligereatkommunikeretildestuderende,atekspert-feedbackhverkeniomfangellerkvalitetnødvendigviserbedreendpeer-feedback(Cho&MacArthur,2010).AlternativtburdePeer-feedbackenmåskesomforeslåetsessometsupplementtilunderviserfeedbacksnarereendsomenerstatningfor
![Page 20: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/20.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 19
den—ihvertfaldpåkurser,hvorindholdetlæggeroptilenhøjgradafselvstændigrefleksionogvariabilitetidemuligeanalyser.Enopfølgningiplenumvildesudenværeetudtrykfor,atfeedbackenbrugesformativtbådeafdestuderendeogunderviseren.EnøgetintegrationafPeergradeiundervisningenvilleherudoverbevirke,atderbedrekunnetageshåndomprocessenogallokeresressourcertildenne.
Dettestudiepegerendviderepåvigtighedenaf,atbrugenafPeergradetilpasseskursernesrammebetingelser.Påkorte,intensivekurserbøropgavernesomfangogtidsfristertilpasses,sådestuderendeharrealistiskmulighedforatlæggedennødvendigearbejdsindsats;eventueltkandetteforsøgessikretvedatgivemulighedfor,atopgavertildelsbesvaresiundervisningstiden,hvisdetteermuligt.Detgælderdogogsåpålængerekurser,hvoropgavernesudformningisærbørtagehøjdefor,hvilkenlitteratur,derergennemgået,nåropgavenskalafleveres.Tilsvarendekandetmåskeværenødvendigtattilpassekursernesrammertilbrugenafsystemet;destuderendevarmeremotiveredeforatlavedestilledeopgaveroggivefeedback,hvisdettevarobligatoriskpåkurset,ogdetkunnederforovervejesatindføredissepraksissersomobligatoriskeudtrykforaktivdeltagelse.ResultaterneåbnerogsåeninteressantdiskussionompotentialerogbegrænsningeriatbrugePeergradetilgruppeopgaverkontraindividueltudformedeopgaver.Studietpegerumiddelbartpå,atindividuelleopgaverkanværeforbundetmedstørreansvarlighediarbejdetmedatudformeopgaveroggivefeedback.Spørgsmåletom,hvordanPeerfeedbackbedstunderstøttesvedgruppeopgaverkontraindividuelleopgavervilværeetinteressantspørgsmåltilfremtidigforskning.
KonklusionIdenneartikelundersøgespotentialerogbegrænsningervedbrugenafsystemetPeergradetilformativevalueringgennempeer-feedbackiuniversitetsundervisning.SomsystemhjælperPeergrademedatfacilitereenfeedbackproces,derlogistiskvilleværesværathåndtereudenensådanstøtte,ikkemindstpåstørrehold.VioplevedeikkestørretekniskeellerforståelsesmæssigeudfordringerknyttettilPeergradebetragtetsomsystem—frasetatdestuderendehavdesværtvedatforståvigtighedenafatgivefeedbackpådenfeedback,deselvhavdemodtaget.Samletsetvisererfaringernefraafprøvningenpådetokurser,atdestuderendeopleverdetsomnyttigtatbrugePeergradeogdenpraksis,somsystemetimplementerer,iuniversitetsundervisningen.Destuderendeoplever,atdetforøgerdereslæringatmodtageogisærgivefeedbacktilandrestuderende,ligesomsystemetsbrugafrubricsformangehargivetanledningtilstørrerefleksionoverdekriterier,undervisernevurdererderesarbejdepå.SamletsetvurderesPeergradealtsåtilathavespændendepotentialerift.atunderstøtteformativevalueringogbidragetilatstyrkeundervisningenskvalitetpåuniversitetskurser.
![Page 21: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/21.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 20
BrugenafPeergradekræverdogenpædagogiskindsatsfraunderviserenift.atindtænkeogtilpassebrugenafsystemettilundervisningsforløbetogdeformellerammer,kurseterunderlagt.Bl.a.krævesderendelarbejdeafundervisereniforbindelsemedudarbejdelseafderubrics,dererenforudsætningforbrugenafsystemet,ligesomderkrævesenforventningsafstemningmellemunderviserogstuderendeift.opgavensformat,formogevalueringskriterierfor,atforløbetkanskabeværdi.Foratsikrekonstruktivogbrugbarfeedbackkræverdetogså,atunderviserenfacilitererendialogomdette,såderblandtdestuderendeopnåsenfællesforståelseaf,hvordanfeedbackgivesogmodtages.Derudoverkræversystemetogsålavpraktiskkoordineringogkommunikationfor,atalleharforståetoghusker,hvilkehandlingerderkrævesafdemoghvornår.Afprøvningenviserogså,atkursernesformellerammerkanhavebetydningforudbyttetafbrugenafsystemet;hvisfeedbackengivespåopgaver,dersidenbedømmessummativtmedkarakter,kandetteværemereforpligtendeogmotiverende,endhvisderanvendesreneøvelsesopgaver.Hvissådanneanvendes,kandetovervejesatgøredisseobligatoriske.
Referencer Baym,N.K.(2010).Personalconnectionsinthedigitalage.Cambridge,UK;Malden,MA:Polity.
Black,P.,&William,D.(1998a).AssessmentandClassroomLearning.AssessmentinEducation:Principles,Policy&Practice,5(1),7–74.
Black,P.,&William,D.(1998b).InsidetheBlackBox:RaisingStandardsthroughClassroomAssessment.PhiDeltaKappa,80(2),139–148.
Charmaz,K.(2006).Constructinggroundedtheory:apracticalguidethroughqualitativeanalysis.London:Sage.
Cho,K.,&MacArthur,C.(2010).Studentrevisionwithpeerandexpertreviewing.LearningandInstruction,20(4),328–338.
Flyvbjerg,B.(2006).FiveMisunderstandingsaboutCase-Studyresearch.QualitativeInquiry,12(2),219–245.
Gibbs,G.(1999).UsingAssessmentStrategicallytoChangetheWayStudentsLearn.InS.Brown&A.Glasner(Eds.),AssessmentMattersinHigherEducation(pp.41–52).London,UK:McGraw-HillHigherEducation.
Gibbs,G.,Simpson,C.,Gravestock,P.,&Hills,M.(2005).ConditionsUnderWhichAssessmentSupportsStudents’Learning.LearningandTeachinginHigherEducation,(1),3–31.
![Page 22: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/22.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 21
Gikandi,J.W.,Morrow,D.,&Davis,N.E.(2011).Onlineformativeassessmentinhighereducation:Areviewoftheliterature.ComputersandEducation,57(4),2333–2351.
Hattie,J.,&Timperley,H.(2007).ThePowerofFeedback.ReviewofEducationalResearch,77(1),81–112.
Heritage,M.(2010).AssessmentwithandforStudents.InM.Heritage&J.W.Stigler(Eds.),Formativeassessment:Makeithappenintheclassroom(pp.7–20).ThousandOaks,Ca.:Corwin.
Heritage,M.,&Stigler,J.W.(2010).Formativeassessment:Makeithappenintheclassroom.ThousandOaks,Ca.:Corwin.
Lu,R.,&Bol,L.(2007).AComparisonofAnonymousversusIdentifiablee-PeerReviewonCollegeStudentWritingPerformanceandtheExtentofCriticalFeedback.JournalofInteractiveOnlineLearning,6(2),100–115.
Nielsen,S.,&Nielsen,K.A.(2010).Aktionsforskning.InS.Brinkmann&L.Tanggaard(Eds.),Kvalitativemetoder-engrundbog.København:HansReitzelsForlag.
Panadero,E.,&Jonsson,A.(2013).Theuseofscoringrubricsforformativeassessmentpurposesrevisited:Areview.EducationalResearchReview,9,129–144.
Peergrade.io.(n.d.a).FeedbackRubrics-Aguidetocreatingeffectivefeedbackrubrics.RetrievedMay15,2018,fromhttps://www.peergrade.io/blog/create-effective-feedback-rubrics/
Peergrade.io.(n.d.-b).Peergrade-BetterFeedbackforYourStudents.RetrievedMay15,2018,fromhttps://youtu.be/US_raZCfJAM
Reddy,Y.M.,&Andrade,H.(2010).Areviewofrubricuseinhighereducation.Assessment&EvaluationinHigherEducation,35(4),435–448.
Rienecker,L.,Jørgensen,P.S.,Dolin,J.,&Ingerslev,G.H.(Eds.).(2015).UniversityTeachingandLearning.Frederiksberg,DK:Samfundslitteratur.
![Page 23: Troels Endelig 2018.06.17 Peergrade LOM FLAT TEMPLATED · læringsmålene opnås bedst muligt (Black & William, 1998a, 1998b; Heritage, 2010; Heritage & Stigler, 2010). Dette gør](https://reader034.fdocuments.net/reader034/viewer/2022050406/5f83a4be318a57433c35323e/html5/thumbnails/23.jpg)
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 22
Figur1:SvarfordelingafdenanonymeevalueringafbrugenafPeergradepådetokurser,”CrossMedia”og”Politikogadministrationidedanskekommuner”.Dervar13udafialt19studerendepåCrossMedia,somdeltogievalueringenogbesvarededekvantitativespørgsmålmedundtagelseafspørgsmål7,som12besvarede.ForPolitikogadministrationidanskekommunersvedkommendevarder28studerendeudaf40,derdeltogievalueringenogbesvaredespørgsmål1,2,5,og7,mens27studerendebesvaredespørgsmål3,4og6.
36%
8%
46%
31%
30%
54%
30%
31%
54%
15%
39%
31%
39%
67%
54%
92%
36%
62%
52%
46%
26%
46%
43%
62%
39%
38%
43%
33%
11%
0%
18%
8%
19%
0%
44%
23%
4%
23%
21%
31%
18%
0%
0% 10%20%30%40%50%60%70%80%90%100%
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Var d
etfo
r dig
brug
bart
at b
ruge
Peer
grad
etil
at ø
veop
gave
skr
ivni
ng p
åku
rset
?
Hjal
pfe
edba
cksp
ørgs
mål
ene
dig
tilbe
dre
atfo
rstå
opga
vens
eval
uerin
gsk
rav?
Var d
enfe
edba
ckdu
fik
fra
andr
est
uder
end
ebr
ugba
r?
Hjal
p dé
tat
giv
efe
edba
ckdi
g til
bedr
e at
fors
tåku
rset
sst
of?
Alt i
alt
erde
t så
engo
d id
e at
brug
ePe
ergr
ade
på e
tku
rsus
som
dett
e?
Hvor
stor
en in
dsat
sha
r du
lagt
i at
skriv
eop
gave
n?
Hvor
stor
en in
dsat
sha
r du
lagt
i at
give
feed
back
til a
ndre
?
Evaluering af Peergrade på de to kurser
Ja bestemt/Stor indsats Ja, i nogen grad/ Middel indsats Nej/ Lille indsats