Implementatieplan - rug.nl · – Implementatieplan 2.0 Concept Plan van aanpak verder uitgewerkt,...

X@m!

Implementatieproject digitale toetsing RUG

Implementatieplan Detailplanning

Uitvoerder:

Educational Support and Innovation

i.s.m. Faculteiten

25 januari 2013

Versiebeheer Datum Titel en documentnaam Status Opmerkingen

1-10-2012 X@m! – Implementatieplan

(bestand: X@m!– Implementatieplan – goedgekeurd ICT-Cie.docx)

Goedgekeurd door ICT Cie

en CvB

Inclusief begroting op

hoofdlijnen, taken nog

niet toegewezen aan

teams, detailplanning

ontbreekt.

8-1-2013 X@m! – Implementatieplan 2.0 Concept Plan van aanpak verder

uitgewerkt, taaktoedeling

uitgewerkt binnen

randvoorwaarden

toegewezen aanvraag.

Voorgelegd voor advies

aan projectteam.

25-1-2013 X@m! – Implementatieplan 2.0

(bestand X@m! – Implementatieplan 2.0.docx)

Definitief Aanpassingen

doorgevoerd in plan van

aanpak; overige

hoofdstukken herzien.

Inhoud:

Table of Contents

1 Samenvatting................................................................................................................................... 1

2 Algemene informatie ....................................................................................................................... 3

2.1 Projectopdracht ........................................................................................................................... 3

2.2 Stuurgroep ................................................................................................................................... 3

2.3 Projectteam en deelprojectteams ................................................................................................ 3

2.4 Projectadministratie .................................................................................................................... 4

2.5 Website en overige informatiekanalen ......................................................................................... 4

3 Plan van aanpak ............................................................................................................................... 5

3.1 Werkpakket 1: Planning en uitvoering tentamens ........................................................................ 5

3.1.1 Uitgangssituatie ....................................................................................................................... 5

3.1.2 Deelpakketten.......................................................................................................................... 5

3.1.3 Resultaten ................................................................................................................................ 6

3.1.4 Uitvoering in uren, kosten en periode ...................................................................................... 7

3.2 Werkpakket 2: Toetsontwikkeling Nestor ..................................................................................... 7

3.2.1 Uitgangssituatie: ...................................................................................................................... 7

3.2.2 Deelpakketten.......................................................................................................................... 8

3.2.3 Resultaten ................................................................................................................................ 9

3.2.4 Uitvoering in uren, kosten en periode .................................................................................... 10

3.3 Werkpakket 3: Toetsontwikkeling QMP ..................................................................................... 10

3.3.1 Uitgangssituatie: .................................................................................................................... 10

3.3.2 Deelpakketten........................................................................................................................ 10

3.3.3 Resultaten .............................................................................................................................. 13


3.4 Werkpakket 4: Toetsinfrastructuur ............................................................................................ 14

3.4.1 Uitgangssituatie: .................................................................................................................... 14

3.4.2 Deelpakketten........................................................................................................................ 15

3.4.3 Resultaten .............................................................................................................................. 16


3.5 Werkpakket 5: Management en communicatie .......................................................................... 18

3.5.1 Uitgangssituatie ..................................................................................................................... 18

3.5.2 Deelpakketten........................................................................................................................ 18

3.5.3 Resultaten .............................................................................................................................. 20


4 Risicoanalyse ................................................................................................................................. 21

5 Begroting ....................................................................................................................................... 23

5.1 Totaal in uren, kosten en periode............................................................................................... 23

5.2 Kostenverdeling (conform eerdere versie projectplan) ............................................................... 23

6 Standlijnenoverzicht ...................................................................................................................... 24

1

1 Samenvatting Digitaal toetsen wordt sinds september 2012 aangeboden als een standaardvoorziening binnen de RUG.

Er kan worden getoetst in zaal 3 van de Aletta Jacobshal (AJH) op basis van Nestor. Daarnaast zijn

voorbereidingen getroffen om, conform het advies van de projectgroep Idem Dito, Questionmark

Perception (QMP) als standaardvoorziening aan te bieden. Tenslotte is er een inventarisatie gestart van

specifieke wensen en overige vormen van toetsing die momenteel nog niet kunnen worden

ondersteund. Hiervoor moeten aanpassingen aan de computerinfrastructuur binnen de Aletta Jacobshal

en op andere lokaties binnen de RUG worden doorgevoerd.

Voor de overwegingen die hebben geleid tot de keuzes voor implementatie wordt verwezen naar het

Eindadvies Idem Dito (http://www.rug.nl/let/voorzieningen/ictol/projecten/IdemDitoEindadvies.pdf).

Het voorliggende plan betreft de nadere uitwerking van de hoofdlijnen van het implementatietraject,

zoals beschreven in dat advies (pp. 18-21).

De vraag naar digitale toetsing is substantieel. Voor het studiejaar 2012-13 waren in september 2012

124 digitale tentamens ingeroosterd in de AJH. Van 1 oktober 2012 tot 1 januari 2013 zijn 15 digitale

toetsen afgenomen. Dit aantal ligt lager dan gepland, maar het toetsproces is goed verlopen. Voor de

tentamenperiode vanaf januari 2013 zijn weer meer tentamens ingeroosterd en afgenomen. Bovendien

zijn er tussentijdse aanvragen binnengekomen voor nieuwe tentamens. De verwachting is dat het aantal

afnames over 2012-1013 ongeveer op het begrote aantal zal uitkomen. Voor het studiejaar 2013-14

wordt rekening gehouden met een minimale afname van 200 toetsen. Inmiddels zijn ook verschillende

facultaire innovatieplannen door het CvB gehonoreerd. Digitale toetsing speelt een rol in verschillende

hiervan. Dit zal leiden tot een verdere toename in de komende jaren.

De dienstverlening digitale toetsing is ondergebracht bij de afdeling ESI van het CIT. Het functioneel

beheer is belegd bij de medewerkers toetsondersteuning, het technisch beheer bij de medewerkers

onderwijsapplicaties. Om tegemoet te komen aan de vraag naar digitale toetsing vanuit de universiteit is

uitbreiding van het functioneel beheer noodzakelijk, verder zijn aanpassingen aan Nestor nodig en moet

de toetsinfrastructuur worden verbeterd en uitgebreid. Hiervoor is de formatie voor technisch beheer

uitgebreid. Ook zijn middelen vrijgemaakt voor coördinatie en communicatie. Het betreft tijdelijke

uitbreidingen van de formatie van ESI gedurende de projectperiode. Na afloop zal de dienstverlening,

zoals ook nu gebruikelijk is voor de ondersteuning van papieren tentamens, voor een belangrijk deel aan

de faculteiten kunnen worden doorberekend. Daarnaast is de financiering geregeld voor exploitatie en

de aanschaf van Questionmark Perception. Ook hiervoor zal na afloop van het project een definitief

kostenmodel moeten worden opgesteld.

In oktober 2012 heeft het CvB ingestemd met de eerste versie van het projectplan. Het

Managementberaad is in november 2012 akkoord gegaan met de voorstellen t.a.v. matching. De

financiering van het project is hiermee gedekt. In het voorliggende plan is het implementatietraject

afgestemd op de actuele situatie en verder uitgewerkt in een gedetailleerd plan van aanpak, met

bijbehorende uren- en kostenoverzichten.

http://www.rug.nl/let/voorzieningen/ictol/projecten/IdemDitoEindadvies.pdf

2

Voor de implementatie van digitale toetsing is door het CvB € 356.250 subsidie verleend. De faculteiten

en CIT (inclusief ESI) dragen samen € 341.136 bij.

ESI maakt ca. 1 fte per jaar vrij uit de formatie ten behoeve van de ondersteuning, en zet de aanvullende

middelen in voor functionele en technische ondersteuning. CIT bekostigt een deel van de personele

ondersteuning uit het lopende UWP 2.0 project. De faculteiten dragen bij aan de technische assistentie

tijdens de toetsafnames en de licentiekosten voor het gebruik van QMP (voorzover ze hier gebruik van

maken).

De kosten voor digitale toetstrainingen en toetsverwerking (toetsen itemanalyse) zullen op de

gebruikelijke wijze worden verrekend met de faculteiten en blijven buiten beschouwing in dit plan.

De grootste investering die faculteiten zullen moeten doen om digitale toetsing mogelijk te maken

betreft de kosten voor docentprofessionalisering, coördinatie en ondersteuning, en de ontwikkeling van

toetsen en itembanken. Hiervoor hebben verschillende faculteiten aanvullende financiering verworven.

Deze kosten blijven in dit implementatieplan eveneens buiten beschouwing.

3

2 Algemene informatie

2.1 Projectopdracht De implementatie wordt uitgevoerd in opdracht van prof. dr. C.G.M. Sterks, directeur CIT. De

projectopdracht kan als volgt worden samengevat:

Het project dient ervoor te zorgen dat:

digitale toetsing op korte termijn breed wordt ingevoerd binnen de RUG (zaal 3 van de AJH moet

optimaal worden benut);

een concreet aanbod aan toetsmogelijkheden wordt gecreëerd waarmee wordt ingespeeld op

de vraag vanuit de faculteiten en waarmee nieuwe vraag wordt gegenereerd;

de toetsing voldoet aan eisen van kwaliteit (inhoudelijk), betrouwbaarheid (bedrijfszekerheid)

en veiligheid (fraudebestendigheid).

2.2 Stuurgroep De voorlopige samenstelling van de Stuurgroep is:

Prof. Dr. Nico Bos, Geneeskunde

Drs. Rob Wagenaar, Letteren

Drs. Rob van Ouwerkerk, GMW

Drs. Louwarnoud van der Duim, ESI

Dr. Sake Jager, projectleider

Voor de andere faculteiten, waar de invoering van digitale toetsing kleinschaliger is of nog op gang moet

komen, wordt een gedeelde vertegenwoordiging in de Stuurgroep nagestreefd. Voorgesteld is om één

vertegenwoordiger aan te wijzen namens Rechten, Godgeleerdheid en Godsdienstwetenschappen en

Wijsbegeerte en één namens Economie en Bedrijfskunde, Ruimtelijke Wetenschappen en Wis- en

Natuurkunde.

2.3 Projectteam en deelprojectteams Het projectteam is samengesteld uit de teamleiders van de verschillende deelprojecten:

Planning en beheer: Drs. Rolf Klein Hegeman

Toetsen met Nestor: Dr. Lisette Bakalis

Toetsen met QMP: Ir. André Rosendaal

Toetsinfrastructuur: UWP 2.0 medewerker CIT

Management en communicatie: Dr. Sake Jager

In verband met advisering en terugkoppeling ten aanzien van toetstraining, -analyse en –evaluatie

neemt Dr. Yta Beetsma eveneens deel aan de bijeenkomsten van het projectteam.

4

De deelprojectteams hebben een wisselende samenstelling. Namens ESI zijn onderstaande

medewerkers reeds betrokken bij de uitvoering van verschillende projecttaken:

Drs. Engelien de Jong, functioneel beheer toetsen

Drs. Dineke van Es, functioneel beheer toetsen

Carlien Vermue, Msc, evaluatie toetsen

Dhr. Peter Fokkinga, applicatieontwikkeling

Dhr. Robert de Haan, communicatie

Mevr. Lisa Loeve, communicatie

Nestorsupport (verschillende student-assistenten)

De teamleiders bepalen de invulling van de overige functies (Nestor-ontwikkeling/-ondersteuning, QMP-

ontwikkeling/-ondersteuning, etc.).

Aan de uitvoering van werkzaamheden wordt ook deelgenomen door medewerkers van andere

afdelingen van het CIT (werkplek- en middleware services, applicatiebeheer) en door medewerkers van

de faculteiten. De namen van de betrokken medewerkers zijn nog niet allemaal bekend.

2.4 Projectadministratie Voor de leden van de stuurgroep, teamleden en uitvoerders binnen de faculteiten is een teamsite

(Edugroep) ingericht: https://www.edugroepen.nl/sites/xam/default.aspx met toegang op basis van de

gebruikersnaam en het wachtwoord aan de RUG. Alle projectdocumenten worden via deze site

ontsloten voor leden van de Stuurgroep, projectteam en deelprojectteams, en eventuele andere

gebruikers / toezichthouders binnen de RUG.

Iedere twee maanden worden uren- en kostenoverzichten opgesteld over de voorliggende periode. ESI

medewerkers administreren de uren in Korade (m.u.v. Nestorsupporters); de overige

projectmedewerkers houden de uren bij in een Excelformulier dat iedere twee maanden door de

projectleiding wordt opgevraagd.

2.5 Website en overige informatiekanalen Informatie over het project wordt vanuit het volgende adres ontsloten:

http://www.rug.nl/science-and-society/centre-for-information-technology/esi/innovation/digitaal-

toetsen/.

Nieuws en informatie zal via MyUniversity en de RUG website onder de aandacht van specifieke

doelgroepen worden gebracht. Ook zullen nieuwsbrieven worden verspreid en de sociale media

LinkedIn, SURFSpace en Yammer zullen worden ingezet om het project onder de aandacht van

specifieke groepen te brengen.

https://www.edugroepen.nl/sites/xam/default.aspx

http://www.rug.nl/science-and-society/centre-for-information-technology/esi/innovation/digitaal-toetsen/

http://www.rug.nl/science-and-society/centre-for-information-technology/esi/innovation/digitaal-toetsen/

5

3 Plan van aanpak Het PvA beslaat de periode vanaf september 2012 tot september 2014. Aan het eind van deze periode

moet een adequaat aanbod aan toetsmogelijkheden zijn gerealiseerd, betrouwbare toetsing binnen de

AJH en op specifiek aangewezen lokaties daarbuiten zijn geïmplementeerd, en een dienst voor digitale

toetsing zijn ingericht.

De werkzaamheden zijn verdeeld over vier werkpakketten, ingedeeld naar de voornaamste gebieden

waarop acties worden ondernomen. Ten opzichte van het eerder ingediende (en goedgekeurde)

projectplan is één wijziging doorgevoerd. Werkpakket 1 Planning en uitvoering tentamens is toegevoegd

om duidelijker onderscheid te maken tussen het proces van digitale toetsing (dienst in opbouw) en de

ontwikkelwerkzaamheden die nodig zijn om nieuwe functionaliteit te realiseren.

De beoogde resultaten zijn zo concreet mogelijk gespecificeerd op basis van de nu bekende informatie.

De binnen de werkpakketten opgenomen uren- en kostenoverzichten zijn gebaseerd op een globale

inschatting van uren per medewerker per taak. De teamleider bepaalt in overleg met de projectleider

hoe de beschikbare middelen per werkpakket worden ingezet.

In de periode sinds september 2012 zijn de werkzaamheden in hoofdlijnen volgens de hier

gespecificeerde planning opgestart.

3.1 Werkpakket 1: Planning en uitvoering tentamens Verantwoordelijke teamleider: Rolf Klein Hegeman

3.1.1 Uitgangssituatie:

De planning, ondersteuning en afname van de toetsen wordt via een vaste procedure geregeld. De

procedure zal in de loop van het project verder worden geoptimaliseerd. De huidige tijdsinvestering in

de ondersteuning van toetsen is relatief hoog (ca. 8 uur per toets), onder andere omdat extra personeel

wordt ingezet tijdens toetsafnames en omdat extra controles en aanpassingen nodig zijn van toetsen die

door docenten binnen de UWP zijn ontwikkeld (ondermeer vanwege de afwijkende configuratie in de

AJH). De bedoeling is dat het aantal uren aan het eind van het implementatietraject zal zijn

teruggelopen tot ca. 2 a 3 uur per toets. Uiteraard neemt de tijd voor assistentie (aanwezigheid) door

toetsassistenten tijdens de afnames niet af, maar in overleg met faculteiten kunnen de taken worden

uitgebreid met reguliere surveillancetaken.

3.1.2 Deelpakketten

3.1.2.1 Toetsondersteuning

De ondersteuning wordt door ESI uitgevoerd volgens een vastgestelde procedure, waarin o.a. de

volgende zaken zijn geregeld:

6

Er worden intakegesprekken gevoerd met docenten en facultaire coördinatoren; de intakegegevens worden op een standaardformulier vastgelegd. Op basis van de intakes wordt de definitieve planning en taakverdeling voor de toetsondersteuners vastgelegd.

Tijdens de voorbereiding wordt begeleiding geboden bij de ontwikkeling van de toets door de docent(en), docenten krijgen inhoudelijke adviezen ten aanzien van kwaliteits- en uitvoeringsaspecten van de toets, de toetsomgeving in Nestor wordt ingesteld, er wordt een functionele en technische check uitgevoerd na aanlevering van de toets, de instellingen van de toets worden afgestemd met de technisch beheerders, en de docenten krijgen een proefversie van de toets ter controle aangeboden.

Op het moment van afname wordt de toets opengezet voor studenten, tijdens de afname zijn naast de docent, één of twee (bij meer dan 100 studenten) Nestorsupporters aanwezig voor het oplossen van technische problemen; in de beginfase is ook een medewerker toetsondersteuning aanwezig bij het tentamen. Van het toetsverloop wordt door de student-assistent(en) standaard proces verbaal opgemaakt.

Na afloop worden de antwoorden van studenten eenvoudig toegankelijk gemaakt voor docenten. Bij open vragen gaan de docenten aan de slag met correctie van de antwoorden. Op verzoek wordt een analyse van de toetsresultaten uitgevoerd (nog niet beschikbaar voor alle vraagtypen). De docent krijgt assistentie bij het bepalen van de eindscore. De toets wordt gearchiveerd.

Van alle toetsafnames wordt een formatieve evaluatie uitgevoerd aan de hand van online enquêtes voor studenten en docenten, eventueel gevolgd door vervolggesprekken.

3.1.2.2 Verbetering procedures, protocollen en gebruikersdocumentatie

Het verbeteren van het toetsproces en de documentatie ervan is een doorlopende activiteit, waarvoor

structureel tijd is gereserveerd. De huidige toetsprocedure werkt in de praktijk redelijk goed en heeft

ertoe bijgedragen dat grote problemen tijdens de toetsafnames beperkt zijn gebleven. Maar de

procedure vergt relatief veel tijd. Ook de tooling kan verder worden verbeterd. Daarnaast zullen o.a. uit

de evaluaties onder studenten en docenten (3.1.2) verbeterpunten in het toetsproces naar voren komen

die vragen om bijstelling van procedures, protocollen en gebruikersdocumentatie. Ook uitbreiding van

digitale toetsing met nieuwe functionaliteit of nieuwe software maakt geregelde bijstelling

noodzakelijk.

3.1.2.3 Teamoverleg en rapportages

Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te

bespreken. Tijdens het teamoverleg worden de detailplanningen, procedures, gebruikersdocumentatie

en rapportages besproken en vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van

ieder overleg wordt een verslag gemaakt.

3.1.3 Resultaten

1 Uitvoering van ca. 120 toetsen in jaar 1 en ca. 200 toetsen in jaar 2

2 Adviezen aan docenten t.a.v. ontwerp en resultaten toets

3 Technische ondersteuning bij iedere toets

7

4 Evaluaties onder studenten en docenten na iedere toets

5 Verbeterde procedures en protocollen voor digitale toetsing

6 Adequate administratieve afhandeling van digitale toetsen

7 Gebruikershandleidingen en overig instructiemateriaal

8 Ontwerpen, rapporten en verslagen

3.1.4 Uitvoering in uren, kosten en periode

Planning en uitvoering

tentamens 5.374h € 223.700,00 Mon 3-9-12 Fri 29-8-14

Coördinatie 164h € 8.200,00 Mon 3-9-12 Fri 29-8-14

Toetsondersteuning 4.690h € 189.500,00 Mon 3-9-12 Fri 29-8-14

Intakes 144h € 7.200,00 Mon 3-9-12 Fri 30-5-14

Voorbereiding 1.600h € 72.000,00 Mon 17-9-12 Fri 15-8-14

Afnames 1.986h € 62.300,00 Mon 1-10-12 Fri 29-8-14

Nazorg 232h € 11.600,00 Mon 1-10-12 Fri 29-8-14

Evaluaties 728h € 36.400,00 Mon 5-11-12 Fri 29-8-14

Verbetering procedures, protocollen en

gebruikersdocumentatie 216h € 10.800,00 Sun 2-12-12 Fri 30-5-14

Teamoverleg en rapportages 304h € 15.200,00 Mon 3-9-12 Thu 28-8-14

3.2 Werkpakket 2: Toetsontwikkeling Nestor Verantwoordelijk teamleider: Lisette Bakalis

3.2.1 Uitgangssituatie:

Met ingang van september 2012 worden digitale tentamens afgenomen in de AJH op basis van Nestor.

Voor het toetsen in Nestor wordt gebruik gemaakt van de standaard Blackboard toetsmogelijkheden

aangevuld met een maatwerk buildingblock “Essayvragen”. Studenten komen na inloggen direct terecht

in de voor hen bestemde digitale toets binnen een van internet afgesloten omgeving. Aanvullende

UWP/SWP software (zoals Word, Excel, SPSS, etc) is nog niet beschikbaar. De toetspagina toont een foto

van de ingelogde student en zijn of haar gegevens. Er zijn nog enkele issues met het gebruik van deze

persoonlijke pagina in combinatie met het essay-building block. Item- en toetsanalyse kan op verzoek

door ESI worden verzorgd voor multiple choice items, matching met partiële puntentoekenning en open

8

vragen, op de manier die ook voor papieren toetsen gebruikelijk is. Voor de overige vraagtypen kan nog

geen standaardanalyse worden geboden.

De verdere ontwikkeling en verbetering van Blackboard als toetssysteem voor de RUG wordt langs vier

hoofdlijnen (deelpakketten) uitgevoerd. Teamoverleg en rapportages worden benoemd als afzonderlijk

deelpakket. De teamsamenstelling varieert naar gelang het onderdeel dat wordt ontwikkeld of

verbeterd.

De realisatie wordt uitgevoerd volgens een cyclisch implementatieproces. Een functioneel ontwerp op

basis van eisen en wensen door gebruikersgroepen maakt standaard deel uit van het ontwikkeltraject.

Nieuwe functionaliteit wordt uitvoerig getest alvorens in productie te worden genomen. Functionele

wijzigingen in de productieomgeving kunnen ongeveer vier keer per jaar worden doorgevoerd tijdens

tentamenvrije periodes.

3.2.2 Deelpakketten

3.2.2.1 Verbetering toegang studenten, afscherming en differentiatie

Doel van deze activiteit is om de toegang van studenten tot de toets in Nestor te verbeteren,

afscherming van of juist toegang tot bepaalde bronnen te kunnen regelen en toetsen met verschillende

instellingen en toegangsrestricties door en naast elkaar te kunnen aanbieden. De ontwikkeling van de

bedoelde functionaliteit wordt verricht in nauw overleg met de uitvoerders van WP4. Wijze van

toegang en de instellingen van restricties gelden bij voorkeur ook voor programma’s die vanuit Nestor

worden opgestart, waaronder QMP.

3.2.2.2 Implementatie score-, cijferbepaling en cijferadministratie

Doel van deze activiteit is om de koppeling van het toetsanalysesysteem Ttlyse met Nestor te

verbeteren, en de doorgifte van cijfers naar Progress te automatiseren. De toetsanalyse kan nu alleen

worden toegepast bij MC, matchingvragen en essayvragen, en het gebruik in combinatie met itempools

is lastig. Cijfers kunnen nu alleen na export naar Excel, op papier of via de mail, worden doorgegeven

aan de facultaire onderwijsbureaus voor verdere verwerking.

3.2.2.3 Verbetering en aanpassing vraagtypen

Doel van deze activiteit is om de bestaande vraagtypen te verbeteren en desgewenst nieuwe vraagtypen

te realiseren. Het eerder ontwikkelde building block voor essayvragen zal worden verbeterd. O.a. zijn

verbeteringen gewenst m.b.t. on-screen horizontaal en verticaal nakijken van essays, feedback geven op

gemaakt werk, al dan niet tonen van studentgegevens en vastlegging en optelling van deelresultaten in

het grade center. Bij eventuele aanpassing of uitbreiding van vraagtypen zal een nauwkeurige afweging

worden gemaakt in hoeverre de wijzigingen wenselijk zijn met het oog op de reeds beschikbare

functionaliteit van de 17 bestaande vraagtypen.

9

3.2.2.4 Realisatie beheeromgeving toetscursussen

Digitale toetsen worden standaard afgenomen via een hiertoe ingerichte toetscursus in Nestor. Dit geldt

zowel voor toetsen op basis van de toetsfunctie in Nestor als voor toetsen die worden afgenomen via

externe toetsprogramma’s. Ten behoeve van planning, overzicht en rapportages is het wenselijk om alle

toetsen via een specifieke portal (of beheeromgeving) in Nestor te ontsluiten voor toetsondersteuners,

docenten, coördinatoren, studenten en eventuele andere belanghebbenden. Rubricering van toetsen

(indeling naar faculteit en opleiding) en archivering worden via deze portal gefaciliteerd. Ook eventuele

import- en conversiemogelijkheden van verschillende bronbestanden kunnen via de portal worden

geregeld. De portal biedt verder toegang tot alle relevante informatie m.b.t. digitale toetsing voor

docenten en toetsondersteuners binnen de RUG (overzicht geplande toetsen, gebruikersdocumentatie,

etc.). Voor studenten wordt o.a. gedacht aan overzichten van, en indien gewenst door de opleidingen,

toegang tot eerder gemaakte toetsen. Het conceptueel en functioneel ontwerp en de realisatie van de

portal worden door deze projectactiviteit uitgevoerd.



bespreken. Tijdens het teamoverleg worden de functionele ontwerpen, detailplanningen en rapportages

vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een

verslag gemaakt.

3.2.3 Resultaten 1 Gepersonaliseerde, afgeschermde toegang voor studenten

2 Uitgebreide en verbeterde koppeling met Ttlyse

3 Koppeling / workflow cijferadministratie in Progress

4 Verbeterde/uitgebreide functionaliteit voor essayvragen, evt. realisatie aanvullende

vraagsoorten

5 Beheeromgeving/portal in Nestor

6 Ontwerpen, rapporten en verslagen

10


Toetsontwikkeling Nestor 2.364h € 118.200,00 Mon 3-9-12 Fri 29-8-14

Coördinatie 200h € 10.000,00 Mon 3-9-12 Fri 29-8-14

Toegang studenten, afscherming en

differentiatie

164h € 8.200,00 Mon 3-9-12 Fri 1-2-13

Score-, cijferbepaling en

administratie

576h € 28.800,00 Mon 4-2-13 Thu 29-8-13

Verbetering en aanpassing

vraagtypen

536h € 26.800,00 Wed 2-1-13 Fri 27-6-14

Beheer toetscursussen 608h € 30.400,00 Fri 30-8-13 Thu 28-8-14

Teamoverleg en rapportages 280h € 14.000,00 Mon 3-9-12 Fri 29-8-14

3.3 Werkpakket 3: Toetsontwikkeling QMP Verantwoordelijk teamleider: André Rosendaal

3.3.1 Uitgangssituatie

Vanuit Idem Dito is geadviseerd om Questionmark Perception (QMP) aan te schaffen en binnen de RUG

te implementeren als tweede pakket voor digitale toetsing. Belangrijke gebruikers van het pakket zijn

FMW en Letteren. FMW zal vrijwel uitsluitend gebruikmaken van QMP, terwijl Letteren het pakket naast

Nestor zal gebruiken. Bij GMW zal het gebruik worden ontwikkeld door het pakket in te zetten voor het

opbouwen van toetsdatabanken (Innovatieplan) en als repository voor vragen voor de afname van

papieren toetsen. Het gebruik bij de andere faculteiten moet nog op gang komen. Volgens plan wordt

QMP gekoppeld aan de hierboven genoemde Nestoromgeving (toegang en autorisatie, terugkoppeling

resultaten). Voor de betreffende faculteiten moet het gehele digitalisatietraject (aanleveren van vragen

door docenten, onderbrenging in database, aanbrengen topicstructuur/metadata, instellen toetsmatrijs,

uitlevering aan studenten op PC of papier) in samenwerking met toetsexperts van ESI worden

geïmplementeerd.

3.3.2 Deelpakketten

3.3.2.1 Voorbereiding

Deze activiteit is erop gericht om de benodigde software (QMP en benodigde componenten) aan te

schaffen en te implementeren voor gebruik. QMP 5.4 wordt aangeschaft. De hosting en technische

installatie van QMP wordt verzorgd door de leverancier. Aanvullende componenten (Blackboard

11

Building Block, Print-en-Scan module, Authoring Module) worden lokaal geïnstalleerd. Uitgangspunt

voor het contract is een licentie voor 5000 gebruikers over twee jaar. Er wordt gekozen voor een On

Premise contract (eigen licentie, hosting in een datacenter in Nederland), waarbij initieel wordt

uitgegaan van een piekbelasting voor maximaal 150 simultane logins. Bij toetsen met een groter aantal

studenten wordt het inlogmoment verdeeld over twee groepen. In het contract wordt een voorbehoud

gemaakt ten aanzien van het goed doorstaan van een stresstest.

Het Blackboard Building Block is bedoeld voor integratie met Nestor (authenticatie en koppeling van

resultaten aan grade center) en wordt door Nestorsupport geïnstalleerd. De Print-en-Scan module moet

worden aangesloten op de Teleform scanner en software. De authoring module wordt geïnstalleerd op

de lokale PC’s van de toetsmedewerkers met de rol van toetsexpert (beheerders van de topic tree in

QMP). De installatie van deze modules wordt verzorgd in overleg met de afdeling applicatiebeheer van

CIT.

In afwachting van definitieve ondertekening van het contract, richt de leverancier tijdelijk een testserver

in waarop de modules kunnen worden getest.

3.3.2.2 Inrichting functionele ondersteuning

Deze activiteit is bedoeld om de functionele ondersteuning van QMP op te zetten. Het gaat hierbij om

de functionele inrichting van het toetspakket, het vaststellen en inrichten van het ondersteuningsproces

en het opzetten en toerusten van de ondersteuningsorganisatie. Bij de implementatie wordt nauw

samengewerkt met de leverancier. Ook wordt informatie ingewonnen bij zusterinstellingen die ervaring

hebben met het inrichten van het QMP-systeem en de bijbehorende ondersteuning. In het contract met

de leverancier is ondersteuning bij de volgende onderdelen van het implementatieproces opgenomen:

Kick off met stakeholders Training auteurs

Inzet technische implementatie

Ondersteuning functioneel beheerders

Ondersteuning inrichting item-bank (topicstructuur)

Ontwikkeling en beschrijving klant specifieke procedures

Ontwikkeling templates

Stresstesten

Projectleiding & nazorg

Bij de implementatie van QMP in de organisatie wordt ervan uitgegaan dat naast ESI alle faculteiten die

gebruik willen maken van QMP een passende functionele organisatie inrichten. Dit betreft in ieder geval

de faculteiten FMW, Letteren en waarschijnlijk ook GMW. De inrichting van het functioneel beheer

wordt door ESI en de toetsexperts van de faculteiten samen verzorgd. ESI draagt zorg voor het centraal

beheer, de onderlinge afstemming en de overdracht van kennis en uitbreiding van het gebruik van QMP

naar de andere faculteiten. Aan de trainingen in het eerste jaar wordt deelgenomen door de

12

toetsondersteuners van ESI en de betreffende faculteiten. ESI ontwikkelt ook zelf trainingen en

gebruikersdocumentatie. In het eerste jaar werken uitsluitend FMW, Letteren, en GMW met QMP. In

het tweede jaar worden ook de andere faculteiten betrokken bij het gebruik.

3.3.2.3 Ondersteuning bij invoer en afname toetsen

Binnen het implementatieproces neemt de wijze van aanlevering van nieuw toetsmateriaal door

docenten en verwerking hiervan in de centrale database door de toetsexperts een belangrijke plaats in.

Bij het invoeren van toetsvragen in de itembanken wordt onderscheid gemaakt tussen de rechtstreekse

invoer door toetsexperts en assistenten en de indirecte invoer door docent-ontwikkelaars. In de eerste

fase worden bestaande vragensets ingevoerd door specifiek hiertoe opgeleide functionarissen (zie

boven) binnen de hiervoor opgezette topicstructuur. Kort daarna zal worden begonnen met het

inrichten van het proces voor aanleveren van nieuwe vragen door docenten. De docenten zullen

hiervoor o.a. een kort instructieprogramma volgen.

De opbouw van itembanken begint bij FMW met het Ma-onderwijs (M1 blokken bewegen, heelkunde,

geneeskunde, levenscyclus) waarbinnen de eerste pilot zal worden uitgevoerd en het Ba-onderwijs

(IBMG, en BA1, BA2, Ba3) waarvan alle herkansingen in juli 2013 via QMP zullen worden afgenomen. Bij

invoer van vragen bij Letteren wordt prioriteit gegeven aan het inrichten van ca. 30 toetsenbanken bij

de 5 grote propedeuseopleidingen (Notitie Prestatieafspraken/ Innovatiegelden Faculteit der Letteren)

en het verder ontwikkelen van bestaande itembanken (opleiding KCM). Bij GMW worden itembanken

opgebouwd in het kader van het door het CvB gehonoreerde onderwijsinnovatieproject. Dit betreft het

opzetten van toetsenbanken voor ca. 35 vakken in het 1e en 2e jaar van het Ba-programma Psychologie

en Pedagogische Wetenschappen. GMW overweegt ook het gebruik van QMP voor formatieve toetsing.

Bij Letteren en GMW is formatie begroot voor het opzetten van de databanken (resp. 2,5 fte en 1,75

fte). Bij FMW moet formatie worden vrijgemaakt voor het invoeren van de toetsen en de coördinatie.

Deze formatie maakt geen onderdeel uit van het X@m! project.

Het invoeren van toetsvragen bij de overige faculteiten is afhankelijk van de vraag en begint niet eerder

dan september 2013.

De afname van toetsen in QMP wordt stapsgewijs ingevoerd. De eerste pilot wordt uitgevoerd bij een

van de toetsen die iedere 6 weken binnen van het Masterprogramma FMW worden afgenomen. Deze

pilot en eventuele volgende toetsen binnen dit programma worden afgenomen in een computerzaal bij

UMCG. Als dit goed verloopt worden alle herkansingen van het Ba-programma in juli in de AJH

afgenomen. De eerste afnames bij Letteren en GMW volgen na de eerste pilot bij FMW. Deze vinden

eveneens plaats in de AJH. Het is (o.a. i.v.m. roostering) niet te verwachten dat alle te ontwikkelen

toetsen (zie 3.3.3) bij deze faculteiten vóór september 2013 zullen worden afgenomen.

Bij de afnames zal minimaal één papieren afname via print-en-scan module (3.3.1 hierboven) worden

uitgevoerd. Doel hiervan is om te onderzoeken of dit een optie is voor grote aantallen studenten en MC

13

tentamens (mogelijke voordelen: één vragendatabase en resultaten geconsolideerd in één systeem,

ongeacht de wijze van afname).

3.3.2.4 Teamoverleg en rapportages Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te

bespreken. Tijdens het teamoverleg worden de procedurevoorstellen, detailplanningen en rapportages

besproken en vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg

wordt een verslag gemaakt.

3.3.3 Resultaten

1 Invoering QMP

2 Inrichting ontwikkelen afnameomgeving QMP

3 Procedures voor aanleveren nieuw toetsmateriaal

4 Methoden voor metadatering en trekking toetsitems uit de database

5 Training en instructie toetsexperts en docenten in gebruik

6 Kennisontwikkeling en functionele ondersteuning QMP

7 Afnames van toetsen in QMP

8 Afnames van papieren toetsen vanuit de QMP databank

9 Rapporten en verslagen


Toetsontwikkeling QMP 2.376h € 197.840,00 Thu 1-11-12 Fri 29-8-14

Coördinatie 164h € 8.200,00 Thu 1-11-12 Thu 28-8-14

Voorbereiding 104h € 85.200,00 Thu 1-11-12 Fri 15-2-13

Aanschaf QMP 16h € 80.800,00 Thu 1-11-12 Tue 15-1-13

Inrichting SAAS-server 16h € 800,00 Tue 1-1-13 Fri 1-2-13

Installatie en test

windows-based authoring

tool

12h € 600,00 Wed 2-1-13 Sat 2-2-13

Installatie en test building

block Blackboard

24h € 1.200,00 Wed 2-1-13 Fri 15-2-13

Installatie en test print en

scan connector

36h € 1.800,00 Wed 2-1-13 Fri 15-2-13

Inrichten functionele ondersteuning 976h € 47.840,00 Wed 2-1-13 Fri 29-8-14

14

Training toetsteam 168h € 7.440,00 Wed 2-1-13 Fri 1-3-13

Opzetten mappen en

rechtenstructuur RUG

88h € 4.400,00 Sun 3-3-13 Fri 3-5-13

Metadatering en selecties 480h € 24.000,00 Sun 3-3-13 Fri 29-8-14

Training en begeleiding

toetsondersteuners

faculteiten

240h € 12.000,00 Mon 1-4-13 Fri 27-6-14

Ondersteuning bij invoer en afname

toetsen

916h € 45.800,00 Mon 18-2-13 Fri 29-8-14

Toetsing FMW, LET,

GMW

436h € 21.800,00 Mon 18-2-13 Fri 30-8-13

Toetsing alle faculteiten 480h € 24.000,00 Mon 26-8-13 Fri 29-8-14


3.4 Werkpakket 4: Toetsinfrastructuur Verantwoordelijk teamleider: CIT-medewerker UWP 2.0


De AJH is ingericht met 288 op maat gemaakte toetstafels met toetspc’s voorzien van een specifieke,

beveiligde Windows image en policies (op basis van Windows 7). Deze opzet maakt het mogelijk om

digitale toetsen af te nemen vanaf deze toets pc’s waarbij de student na inloggen in de beveiligde

toetsomgeving van Nestor terechtkomt. De toets pc’s met beveiligde omgeving worden op dit moment

alleen in de AJH ingezet en ondersteund. Het afnemen van toetsen met verschillende instellingen binnen

de AJ hal op hetzelfde moment, of een toets met dezelfde instellingen binnen de AJH en daarbuiten, is

met de huidige configuratie niet mogelijk. En de toegang tot, of het uitsluiten van, specifieke websites

kan niet eenvoudig worden geregeld. De image is niet ingericht op basis van UWP of SWP. Plug-ins voor

het lezen van PDF- of Word-bestanden en het afspelen van audio en video zijn nog niet beschikbaar.

Gebruik van standaard UWP/SWP applicaties is niet mogelijk. Ook is het niet mogelijk om onder Linux te

toetsen.

De werkzaamheden worden langs 4 hoofdlijnen uitgevoerd. Nauwe afstemming met de implementatie

van UWP 2.0 is hierbij vereist. In verband hiermee worden de werkzaamheden uitgevoerd onder

eindverantwoordelijkheid van een teamleider verbonden aan het UWP 2.0 project.

15

3.4.2 Deelpakketten

3.4.2.1 Generieke instellingen

Deze activiteit is bedoeld om ervoor te zorgen dat:

toetsen binnen een afgeschermde omgeving kunnen worden afgenomen, desgewenst met toegang tot per toets instelbare secundaire bronnen;

standaardapplicaties kunnen worden aangeboden als onderdeel van het toetsproces;

audio- en video vanaf het RUG videoplatform binnen de toetsomgeving worden geïntegreerd.

Het inrichten van een proxyserver in combinatie met het instellen van de gebruiker- en machinepolicies

dient als basis voor de afscherming. Ten behoeve van het functioneel beheer (door ESI) zal een

beheermodule worden ontwikkeld, waarmee de instellingen kunnen worden bepaald en gewijzigd. De

ontwikkeling van deze module zal in nauwe afstemming plaatsvinden met de ontwikkeling van de

toegang voor studenten binnen Nestor (3.3.1) omdat Nestor dient als main point of entry voor alle

toetsen binnen de AJH.

Applicaties, browser plug-ins, etc. zullen uitsluitend worden aangeboden op basis van UWP 2.0

technieken. Dit betekent dat applicaties gevirtualiseerd zullen worden aangeboden en via RES (Dynamic

Desktop Studio) i.c.m. Citrix en AD zullen worden aangeboden. De beschikbaarheid van applicaties volgt

de binnen het UWP 2.0 project overeengekomen planning en tijdpad. De functionele instellingen van de

applicaties en de wijze van integratie met de toetsapplicaties worden door de functioneel

toetsbeheerders in overleg met eindgebruikers en CIT MWS vastgesteld.

Audio- en videointegratie wordt ontwikkeld i.s.m. medewerkers betrokken bij de implementatie van de

videodiensten van de RUG.

Een evaluatie van elders ontwikkelde systemen / methodieken voor functioneel beheer vormt een

onderdeel van de projectactiviteiten. Dit betreft o.a. WUR: Secure Test Environment (toetsbeheer,

inclusief applicatietoetsen op basis van policies en AD) en TUD: applicatiemanagement (op basis van RES

en Citrix).

3.4.2.2 Specifieke toetsen

Deze activiteit is bedoeld om toetsen, anders dan toetsen in Nestor en QMP, af te kunnen nemen

binnen de beveiligde omgeving. Dit betreft o.a. toetsen onder Linux en elders ontwikkelde toetsen met

specifieke inhoud (taaltoetsen, etc.). Het betreft dus toetsen met een duidelijk andere opzet,

functionaliteit en/of inhoud dan de standaardtoetsen in Nestor en QMP. Uitgangspunt is dat het gaat

om web-gebaseerde toetsen die via een URL kunnen worden aangeroepen.

De toetsen onder Linux betreffen o.a. toetsen Imperatief Programmeren binnen een speciaal hiervoor

ontwikkeld toetssysteem bij de Faculteit Wis- en Natuurwetenschappen. Afgesproken is dat hiervoor

door FWN een virtuele server zal worden opgezet die vanuit de AJH zal worden ontsloten.

16

Andere toetsen zijn nog niet expliciet genoemd, maar gedacht wordt aan toetsen behorend bij bepaalde

onderwijsmethoden, (verplichte) reken en taaltoetsen (lerarenopleidingen) en andere commercieel of

vrij verkrijgbare toetsen.

3.4.2.3 Toetsen buiten AJH

Doel van deze activiteit is om toetsafnames mogelijk te maken:

op andere lokaties binnen de RUG;

met specifieke instellingen voor functiebeperkte studenten;

op eigen devices van de studenten (voor een beperkt repertoire toetsen, met aangepast afschermingsniveau).

Door te toetsen op andere lokaties binnen de RUG kan op termijn alle beschikbare computercapaciteit

optimaal worden benut. Uitgangspunt voor deze opschaling is dat alle PC’s moeten zijn voorzien van

UWP 2.0. Voorwaarde is dat ook op andere lokaties een adequaat afschermingsniveau kan worden

gegarandeerd.

Aanpassingen voor functiebeperkte studenten worden ontwikkeld in nauw overleg met de Faculteit

Rechten die momenteel een pilotproject aan het voorbereiden is op een decentrale lokatie

(Turftorenstraat 2), voorzien van PC’s die identiek zijn aan de in de AJH gebruikte machines. Ook worden

afdelingen met een specifieke taakstelling op dit gebied betrokken, zoals het Studenten Service

Centrum. De betreffende configuraties moeten decentraal kunnen worden aangeboden, maar eveneens

binnen de AJH indien de aard van de beperking (of de computerconfiguratie) dit toelaat.

Tenslotte zullen, in eerste instantie via een pilotproject, de mogelijkheden worden verkend om de

toetsomgeving aan te bieden op eigen devices van de studenten. Uitgangspunt hierbij zal zijn gebruik

van de niet-beheerde versie van de UWP 2.0 op door de studenten zelf meegebrachte laptops of tablets,

met toetsen die zich hiertoe lenen (open boek tentamens, bepaalde soorten essayopdrachten). Een

minimaal vereist afschermingsniveau zal hierbij worden gedefinieerd.



bespreken. Tijdens het teamoverleg worden de programmma’s van eisen, systeemontwerpen,

detailplanningen en rapportages vastgesteld. De data voor de overleggen worden vooraf vastgelegd en

van ieder overleg wordt een verslag gemaakt.

3.4.3 Resultaten 1 Afgeschermde toetsomgeving met toegang tot specifieke resources

2 Gebruik standaardapplicaties voor toetsing

3 Geïntegreerde audio en video

4 Toetsen binnen Linuxomgeving

17

5 Toetsen met elders ontwikkelde toetsen (commercieel, niet-commercieel)

6 Toetsen op iedere plek binnen de RUG

7 Toetsen voor studenten met een functiebeperking

8 Toetsen op eigen devices studenten

9 Ontwerpen, rapportages en verslagen


Ontwikkeling

toetsinfrastructuur

1.644h € 82.200,00 Mon 3-9-12 Fri 29-8-14

Coördinatie 108h € 5.400,00 Mon 3-9-12 Thu 28-8-14

Generieke instellingen 520h € 26.000,00 Mon 1-10-12 Thu 2-5-13

Toetsinstellingen,

afscherming en beheer

112h € 5.600,00 Mon 1-10-12 Sun 3-2-13

Toetsen icm UWP-

applicaties

248h € 12.400,00 Wed 2-1-13 Thu 2-5-13

Integratie audio- en

videoservices

160h € 8.000,00 Wed 2-1-13 Thu 28-3-13

Specifieke toetsen 176h € 8.800,00 Mon 3-6-13 Fri 27-6-14

Toetsen onder Linux 112h € 5.600,00 Mon 3-6-13 Fri 27-9-13

Gebruik elders ontwikkelde

toetsen

64h € 3.200,00 Mon 2-9-13 Fri 27-6-14

Toetsen buiten AJH 712h € 35.600,00 Mon 2-9-13 Fri 29-8-14

Toetsen op andere lokaties

RUG

304h € 15.200,00 Mon 2-9-13 Fri 29-8-14

Toetsen voor

functiebeperkte studenten

264h € 13.200,00 Mon 2-9-13 Fri 28-2-14

Toetsen op basis van

BYOD

144h € 7.200,00 Mon 3-3-14 Fri 29-8-14


18

3.5 Werkpakket 5: Management en communicatie Verantwoordelijke teamleider: Sake Jager, ESI


In mei 2012 is een tijdelijk project manager aangesteld. Deze rol wordt vervuld door S. Jager (ICT en

Onderwijs Letteren, voor het project gedetacheerd bij ESI). De project manager is gevraagd om de

bestaande initiatieven (inrichting toetshal, toetsen met Nestor, resultaten Idem Dito project) samen te

brengen om ervoor te zorgen dat vanaf september 2012 digitale toetsing op ruime schaal mogelijk

wordt. Het opstellen van het voorliggende projectplan maakt hier onderdeel van uit.

De project manager is verantwoordelijk voor de uitvoering en bewaking van het implementatietraject.

Naast aansturing van het projectteam, gaat het hierbij om overleg met de opdrachtgevers, het leggen en

onderhouden van contacten met de faculteiten (klanten), overleg met verschillende partijen die bij de

implementatie betrokken zijn (roosteraars, facilitair managers), het verzorgen van de interne en externe

communicatie en het uitvoeren van evaluaties en voortgangsrapportages. Het opzetten van een

passende organisatiestructuur maakt eveneens onderdeel uit van de taken.

De de huidige projectmanager draagt zijn werkzaamheden uiterlijk 1 juli 2013 over aan zijn opvolger.

De werkzaamheden binnen WP5 zijn verdeeld over de volgende activiteiten:

3.5.2 Deelpakketten

3.5.2.1 Interne communicatie en disseminatie

Overleg met stakeholders. Digitale toetsing is een nieuwe dienst in opbouw binnen de RUG. Overleg met

verschillende stakeholders is essentieel om aan te sluiten bij onderwijsbeleid en andere ontwikkelingen.

ESI voert daarom minimaal eenmaal per jaar gesprekken met (vertegenwoordigers van) de

faculteitsbesturen. Verder vindt geregeld overleg plaats met roosteraars, technisch ondersteuners (CIT),

facility managers en demand managers over verbetering van processen en voorzieningen.

Website en nieuwsbrieven. Er wordt een communicatiemedewerker aangesteld die verantwoordelijk is

voor de nieuwsgaring en informatieverspreiding met betrekking tot digitaal toetsen. De

belanghebbenden binnen de universiteit en belangstellenden daarbuiten worden via verschillende

kanalen op de hoogte worden gehouden van de mogelijkheden van digitale toetsing en de bereikte

resultaten (nieuwsbrieven, website, sociale media). In overleg met de webplatformredacteur van ESI

(Koos Winnips) en de portalbeheerder van CIT (Dick Prins) worden binnen het ESI-deel van de portal

informatieve webpagina’s opgezet ter ondersteuning van digitaal toetsen. Ook wordt vier keer per jaar

een digitale nieuwsbrief verstuurd naar belangstellenden binnen de RUG. Verder worden

geïnteresseerden via o.a. LinkedIn, SURFShare en Yammer op de hoogte gehouden van de nieuwste

ontwikkelingen.

19

Bijeenkomsten en presentaties. ESI verzorgt informatie- en kennismakingsbijeenkomsten digitaal

toetsen op lokatie bij faculteiten of centraal binnen de RUG. In juni 2013 en juni 2014 worden

universiteitsbrede voorlichtingsbijeenkomsten georganiseerd waarbij de resultaten door betrokken

docenten, studenten en ondersteuners worden gepresenteerd.

De werkzaamheden worden uitgevoerd volgens een nader uit te werken communicatieplan.

3.5.2.2 Externe communicatie en disseminatie

De leden van het projectteam leveren een actieve bijdrage aan nationale en –incidenteel-

internationale bijeenkomsten, conferenties en netwerken die relevant zijn voor de invoering van digitale

toetsing aan de RUG. Hiertoe behoren o.a. de bijeenkomsten in het kader van de SIG Digitaal Toetsen

van SURF. Doel van de deelname is tweeledig. Enerzijds gaat het om kennisvermeerdering en het leggen

van contacten met uitvoerders van digitale toetsing elders om te profiteren van elders opgebouwde

ervaringen en expertise. Anderzijds om de door de RUG behaalde resultaten te delen met

belangstellenden elders.

Een deel van de website (zie boven) wordt ingericht voor externe doelgroepen.

Teamleden verzorgen incidenteel publicaties in vakbladen en andere media gericht op digitale toetsing

(bijvoorbeeld in het tijdschrift Examens).

3.5.2.3 Organisatieopbouw

Het inrichten en optimaliseren van de werkprocedures is een onderdeel van de organisatieopbouw.

Hiertoe behoren ook het opzetten en het onderhoud van de administratie van digitale toetsing (van

aanmelding tot het archiveren van toetsen en toetsresultaten) volgens de hiervoor geldende richtlijnen

voor onderwijs en examens.

Verder bereidt de projectmanager, in overleg met het Louwarnoud van der Duim, de organisatievorm

en personele invulling voor van de eenheid die belast is met digitale toetsing.

Tenslotte zorgt de projectmanager voor een goede overdracht van taken en en eventueel het inwerken

zijn opvolger als leider van het project.


Het projectteam komt eenmaal per maand bijeen om de voortgang van de werkzaamheden te

bespreken. Tijdens het teamoverleg worden de programmma’s van eisen, systeemontwerpen,

detailplanningen en rapportages vastgesteld. De data voor de overleggen worden vooraf vastgelegd en

van ieder overleg wordt een verslag gemaakt.

De project manager rapporteert tweemaal per jaar over de voortgang van het project naar de

opdrachtgever, ICT Cie en CvB. Een afschrift hiervan gaat naar de faculteiten.

20

3.5.3 Resultaten

1 Teamsite

2 Projectwebsite

3 Publicaties via websites en andere kanalen

4 Twee RUG-brede voorlichtingsbijeenkomsten

5 Presentaties tijdens lokale, nationale, evt. Internationale bijeenkomsten

6 Vakpublicaties

7 Dienst(onderdeel) digitaal toetsen met dienstenportefeuille en personeelsplan

8 Rapportages en verslagen


Management en

communicatie

1.488h € 75.400,00 Mon 3-9-12 Fri 29-8-14

Projectleiding 780h € 39.000,00 Mon 3-9-12 Fri 29-8-14

Exploitatie € 5.000,00 Mon 3-9-12 Fri 29-8-14

Interne communicatie en disseminatie 412h € 16.600,00 Mon 3-9-12 Fri 29-8-14

Overleg stakeholders 60h € 3.000,00 Mon 3-9-12 Fri 30-5-14

Verzorgen bijeenkomsten

en presentaties

136h € 6.000,00 Wed 1-5-13 Mon 30-6-14

Website en nieuwsbrieven 216h € 7.600,00 Sun 13-1-13 Fri 29-8-14

Externe communicatie en

disseminatie

112h € 5.600,00 Sun 3-3-13 Fri 29-8-14

Deelname aan

conferenties, bijeenkomsten

en netwerken

112h € 5.600,00 Tue 10-6-14 Fri 27-6-14

Publicaties 0h € 0,00 Sun 3-3-13 Fri 29-8-14

Organisatieopbouw 40h € 2.000,00 Sun 3-2-13 Fri 28-6-13

Teamoverleg en rapportages 144h € 7.200,00 Mon 3-9-12 Fri 29-8-14

21

4 Risicoanalyse

Risicobeschrijving Kans Impact Acties om risico’s te beperken

Te weinig personeel

beschikbaar / vrijgemaakt

Middel Middel Risico is hoogst voor technische ondersteuners. Zal leiden

tot vertraging bij invoering nieuwe mogelijkheden. Impact

kan worden beperkt door vooral standaardmogelijkheden

toetsprogrammatuur te benutten. Functioneel beheer

(ondersteuning bij voorbereiding en afname toetsen) is

belegd bij meerdere medewerkers die elkaar kunnen

afwisselen. Capaciteit FB is op beoogd niveau gebracht.

Draagvlak / belangstelling

is gering

Laag Hoog Er is al flinke belangstelling. Commitment op opleidings-

/managementniveau creëren. Koppeling maken met

toetsbeleid. Individueel gebruik door docenten

stimuleren. Project in publiciteit brengen. Technisch

betrouwbare dienst leveren.

Kwaliteitsvoordelen

worden onvoldoende

benut

Middel Laag Aansluiting zoeken bij professionaliseringsbeleid (BKO) en

maatregelen in kader van nieuwe taakstelling

examencommissies (betere inzage). Kwaliteitskenmerken

toetsen na afloop terugkoppelen naar docenten,

specifieke meerwaarde digitaal toetsen benutten

(toetsmatrijs, gebruik multimedia).

Efficiencyvoordelen

worden onvoldoende

benut

Laag Hoog Gebruik gesloten toetsen bevorderen, hergebruik van

items mogelijk maken, efficiencyvoordelen

essaytentamens op de computer benutten en voor het

voetlicht brengen.

Roostering digitaal

toetsen is een probleem

Laag Hoog Vroegtijdige inroostering van digitale toetsen door

facultaire roostermakers; vast contactpersoon voor

naplaatsingen binnen roosterorganisatie RUG aan laten

wijzen; op termijn: spreiding digitale toetsing over

meerdere geschikte lokaties RUG en wellicht op eigen

devices studenten.

Er kan geen opvolger

worden gevonden voor de

tijdelijke projectleider

Middel Middel Delegeren van uitvoerende taken over meerdere

teamleiders. Aanstelling van nieuwe projectleider vóór

vertrek huidige. Overdracht van opgebouwde ervaringen,

kennis, documentatie en contacten.

ToetsPC’s werken niet

goed

Middel Hoog Harde afspraken met leveranciers over

servicevoorwaarden. Voorbereiding digitale toetsen

continueren bij (tijdelijke) problemen toets PC’s. .

Desnoods afname op andere lokaties of met vervangende

22

PC’s (eventuele kostenpost). Impact zeer hoog omdat

vertrouwen in digitale toetsen ernstige schade kan

oplopen.

Toetsprogrammatuur

werkt niet goed

Laag Middel Programma’s zijn binnen RUG en elders uitgebreid

beproefd. Risicospreiding door twee verschillende

toetsprogramma’s. Zwakke punten programma’s zijn

bekend. Nadruk leggen op organisatie ipv programmatuur.

Technische infrastructuur

is niet adequaat

Laag Middel De gekozen infrastructuur (RES, AD, beheer via policies) is

ook elders in gebruik. Waar mogelijk elders ontwikkelde

tools en technieken inzetten. De gekozen infrastructuur is

niet specifiek voor toetsing (aangepaste versie UWP 2.0).

Eventuele vertraging in oplevering betekent vertraging in

realisatie nieuwe functies, geen stopzetting van huidige

manier van toetsen.

23

5 Begroting

5.1 Totaal in uren, kosten en periode

Totaal 13.246h € 697.340,00 Mon 3-9-12 Fri 29-8-14

Planning en uitvoering tentamens 5.374h € 223.700,00 Mon 3-9-12 Fri 29-8-14

Toetsontwikkeling Nestor 2.364h € 118.200,00 Mon 3-9-12 Fri 29-8-14

Toetsontwikkeling QMP 2.376h € 197.840,00 Thu 1-11-12 Fri 29-8-14

Ontwikkeling toetsinfrastructuur 1.644h € 82.200,00 Mon 3-9-12 Fri 29-8-14

Management en communicatie 1.488h € 75.400,00 Mon 3-9-12 Fri 29-8-14

5.2 Kostenverdeling (conform eerdere versie projectplan) Onderstaande kostenverdeling is conform de verdeling waarmee CvB en MB akkoord zijn gegaan. Om

binnen het budget te blijven is het exploitatiebudget met € 5000,- verlaagd. De huidige herziene

begroting wijkt slechts gering af van de eerder ingediende (verschil van -€46). De overeengekomen

verdeling kan hiermee worden gehandhaafd, met dien verstande dat de kosten van QMP waarschijnlijk

iets lager zullen zijn dan hier begroot en dat de bijdrage in de kosten voor technische toetsassistenten

over de faculteiten pas achteraf kan worden vastgesteld.

Eenheid Bedrag Toelichting

CvB (ICT-fonds) € 356.250 Personeel, bijdrage QMP en exploitatie

CIT – ESI € 160.000 Toetsondersteuners

CIT – Infrastructuur (UWP

2.0)

€ 65.600 Technische ondersteuning inrichting infrastructuur

LET € 20.000 Bijdrage QMP, naar rato werkelijke kosten

FMW € 30.000 Bijdrage QMP, naar rato werkelijke kosten

GMW € 10.000 Bijdrage QMP, naar rato werkelijke kosten

Alle faculteiten € 55.536 Technische assistentie tijdens afname toets, naar rato gebruik, op basis van

prognose aantal toetsen, verrekening achteraf

Totaal € 697.386 € 46 hoger dan in voorliggende plan

24

6 Standlijnenoverzicht

Implementatieplan - rug.nl · – Implementatieplan 2.0 Concept Plan van aanpak verder uitgewerkt,...

Documents

Transcript of Implementatieplan - rug.nl · – Implementatieplan 2.0 Concept Plan van aanpak verder uitgewerkt,...