Visie en praktijk in KHLim - KHLeuven

Evalueren ondersteunen

Aanpak van kwaliteitsborging

Niveau

Bologna (1999)

EQF (2008)

Decreet op kwalificatiestruct

uur (2009)

Domeinspecifieke

leerresultatenkaders

Toetsing

NVAO visitatie- en accreditatie

Nieuw visitatie- en

accreditatiekader (2010)

Decretale context

Rol van toetsing:Toetsen is sturend voor zowel het leerproces en de ontwikkeling van studenten als voor de optimalisatie van de kwaliteit van het onderwijs. (Joosten – ten Brinke, 2011)

Onderwijskundige context

Als de student tevreden is, is de kwaliteit van de toetsing in orde.

Stelling 1

Wat is kwaliteit?

Toetssysteem

Toetssysteem

Toets

Toetsprogramma

Toetssysteem

Toets Modaliteiten kiezen

Ontwikkelen

Afnemen

Beoordelen

Terugkoppelen

Toetsprogramma

De verantwoordelijkheid van de kwaliteit van de toets ligt bij de lector/ docent.

Stelling 2

Validiteit Betrouwbaarheid

Transparantie …

Toetssysteem

Toets Modaliteiten kiezen

Ontwikkelen

Afnemen

Beoordelen

Terugkoppelen

Toetsprogramma

Toetssysteem: kwaliteitsbewaking

PDCA

PDCA

Validiteit Betrouwbaarheid Transparantie

Toetssysteem

Toets Modaliteiten kiezen

Ontwikkelen

Afnemen

Beoordelen Het resultaat van de beoordeling is onafhankelijk van de beoordelaar.

Terugkoppelen

Toetsprogramma

Toetssysteem - P

Validiteit Betrouwbaarheid Transparantie

Toetssysteem

Toets Modaliteiten kiezen

Ontwikkelen

Afnemen

Beoordelen Antwoordmodel – beoordelingscriteria – afspraken

Terugkoppelen

Toetsprogramma

Toetssysteem - D

Validiteit

Betrouwbaarheid Transparantie

Toetssysteem

Toets Modaliteiten kiezen

Ontwikkelen

Afnemen

Beoordelen Analyse resultaten, bevraging studenten, zelf- en peerscreening

Terugkoppelen

Toetsprogramma

Toetssysteem - C

Validiteit

Betrouwbaarheid Transparantie

Toetssysteem

Toets Modaliteiten kiezen

Ontwikkelen

Afnemen

Beoordelen Workshops afstemming scores, doorlichting scoreprocedure

Terugkoppelen

Toetsprogramma

Toetssysteem - A

Toetscommissies nemen de C uit de PDCA voor hun rekening.

Een kwaliteitsvolle toetspraktijk begint bij kwaliteitsvolle beoordelingsinstrumenten.

Stelling 3

Praktijk van kwaliteitsborging

Toetsplanontwikkeling – OOF Toetskoffer Coachingstraject – OOF Toetskoffer Beoordelingscriteria – OOF Bachelortoets

Praktijkvoorbeelden

Validiteit Betrouwbaarheid Transparantie

Toetssysteem

Toets Modaliteiten kiezen

Ontwikkelen

Afnemen

Beoordelen

Terugkoppelen

Toetsprogramma

Kader

Praktijk 1 toetsplanontwikkeling

Validiteit Betrouwbaarheid Transparantie

Toetssysteem

Toets Modaliteiten kiezen

Ontwikkelen

Afnemen

Beoordelen

Terugkoppelen

Toetsprogramma

Kader

Praktijk 2 coachingstraject

Validiteit Betrouwbaarheid Transparantie

Toetssysteem

Toets Modaliteiten kiezen

Ontwikkelen

Afnemen

Beoordelen

Terugkoppelen

Toetsprogramma

Kader

Praktijk 3 beoordelingscriteria

Praktijk 1 Toetsplanontwikkeling

OOF Toetskoffer

Oprichten van toetscommissies Voeren kwaliteitsbevordering- en

borging van toetsing uit met behulp van een toetskoffer met instrumenten en methodieken

Validiteit Betrouwbaarheid Transparantie

Toetssysteem

Toets Modaliteiten kiezen

Ontwikkelen

Afnemen

Beoordelen

Terugkoppelen

Toetsprogramma

Kader

Toetsplanontwikkeling

Van toetsmatrix naar toetsplan

Toetsmatrix Toetsplan

• Beschrijving huidige situatie inzake toetsing

• Opleidingsniveau• Inventarisatie van huidige

toetsvormen• Koppeling aan beoordelaars,

tijdstip van afname, doel, feedback, etc.

• Beschrijving van de gewenste situatie inzake toetsing

• Opleidingsniveau• Systematisch beschrijving

van alle toetsen• Koppeling aan de

competenties, beoordelaars, tijdstip van afname, doel, feedback, etc.

Ontwikkelen toetsplan in 4 stappen

1. Inventarisatie huidige toetsing bij docenten

2. Opstellen toetsmatrix 3. Onderwijskundige analyse 4. Komen tot een toetsplan

Van toetsmatrix naar toetsplan

• Via onderwijskundig debat= medium om afstemming te bekomen tussen de toetspraktijk binnen de opleiding enerzijds en het competentieprofiel en de opleidingsvisie

anderzijds

TOETSPLAN

Toetsplan◦ Heuristiek

Richtinggevende vragen per essentieel aspect Aspect van de organisatie Aspect van relatie tussen toetsen en te verwerven

competenties Aspect van toetsvormen kiezen, toekennen en spreiden Aspect van het doel van de evaluatie Aspect van de beoordeling

Ter ondersteuning van het onderwijskundig debat

Toetsplan-verhaal

Resultaat van onderwijskundig debat

Schriftelijke weergave van keuzeoverwegingen

Hulpinstrument bij uitschrijven ZER

Praktijk 2 Coachingstraject

Praktijk 2 Coachingstraject

Praktijk 3 Beoordelingscriteria

1

2

3

Tijd

Inh

oud,

niv

eau

, in

tegra

tie

Eindtoets Bachelor

Teams van studenten (Onderzoeks-)project Aangeleverd door externen uit het vakgebied Begeleid door docenten en externe

opdrachtgevers Rapporteren conclusies/ product

◦ Paper◦ Presentatie voor medestudenten, externen en docenten

Voorbeeld

1

2

3

Tijd

Inh

oud,

niv

eau

, in

tegra

tie

TOETSVORM ScriptieOveralltoetsProjectPortfolioStage(verslag)…

Eindtoets Bachelor

Teams van studenten teamgericht werken

(Onderzoeks-)projectprojectmatig werken, informatieverwerving en -verwerking

Aangeleverd door externen uit het vakgebiedoplossingsgericht werken

Begeleid door docenten en externe opdrachtgevers

kritisch reflecteren Rapporteren conclusies/ product

communiceren

Voorbeeld

Problem solving

communication

Critical reflectio

n

Literacy skills

Teamwork

Societal responsi

bility

Project manage

ment

Generieke competenties

Beroeps-specifieke competenties

Generieke

competenties

Eindtoetsing bachelor

◦ Gevalideerde associatiebreed inzetbaar

◦ Set evaluatiecriteria kwaliteit: betrouwbaarheid/ transparantie

Minimumcriteria concretisering van niveau 6 Uitbreidingscriteria differentiatie

◦ Sjabloon toetsinstrument

Instrument eindtoetsing

Flexibel gebruik • Selectie criteria• ‘Semi-’ generieke criteria• Bijkomende beroepsspecifieke criteria

Assessment designRating purpose(s)Rating form/ scaleProcedures

RaterExpertisePerformance theoryBeliefsMoodAffectGoals…

Organizational contextNorm, valuesAccountabilityFeedback cultureResources (time, training,…)…

Ratee performance

Rater Information Processing

Private judgement

Public decision making

ScoreFeedback

Model of performance assessment process (adapted by M. Govaerts, 2011 from DeNisi, 1996)

Criteria(experts

)

Literatuur

Toetspraktijken

Ontwikkeling generieke criteria

Problem solving

communication

Critical reflection

Literacy skills

Teamwork

Societal responsibilit

y

Project managemen

t

Evaluatiecriteria

Holistisch Analytisch

Intu

ïtiev

e

crite

ria

Globa

le

crite

riaBre

de cr

iteria

Spec

ifiek

e

crite

ria

Gedet

aille

erde

crite

ria

ZorgenVerschillende interpretatie Contextspecificiteit Globaal oordeel moet mogelijk blijven

Monitoring van het proces van probleemoplossen◦ Identificatie en analyse van het probleem◦ Ontwikkelen van de oplossing◦ Uitvoeren en evalueren van de oplossing

Zelfregulatie◦ Meta-begrip◦ Metacognitieve planning

Vb ‘oplossingsgericht werken’

Monitoring van het proces van probleemoplossen◦ Identificatie en analyse van het probleem◦ Ontwikkelen van de oplossing◦ Uitvoeren en evalueren van de oplossing

Zelfregulatie◦ Meta-begrip◦ Metacognitieve planning

Van criteria tot standaarden

Identificatie van het probleem Zoeken, selecteren en organiseren van

relevante informatie◦ Breedte van gebruikte informatie◦ Verantwoording◦ Detectie van betekenisvolle patronen

Bepalen van mogelijke problemen◦ Correct begrip van de inhoud/ correcte inschatting

van de situatie◦ Analyse van de situatie◦ Relevantie van de mogelijke problemen

…

Van criteria tot standaarden

Set criteria/ standaarden Van set tot instrument Test x 10 Implementatie x 19

Verloop

Vragen en discussie