Kwalitatieve methoden van pedagogisch onderzoek

Methoden van pedagogisch onderzoek.................................................................................................................6

Waarom methoden................................................................................................................................................6

Kwantitatieve methoden........................................................................................................................................6

Kwantitatief, kwalitatief en gemengd onderzoek...................................................................................................6

Kwantitatieve onderzoekscyclus........................................................................................................................7

De Groot: De empirische cyclus.........................................................................................................................7

Hypothetisch deductief model......................................................................................................................7

Het onderzoeksproces............................................................................................................................................8

Fases in het onderzoeksproces..........................................................................................................................8

Probleemstelling................................................................................................................................................8

Conceptueel model...........................................................................................................................................8

Theorie..........................................................................................................................................................8

Literatuurstudie............................................................................................................................................8

Theoretisch kader....................................................................................................................................9

Waarom...................................................................................................................................................9

Literatuurstudie als terugkerende fase....................................................................................................9

Waar zoeken........................................................................................................................................9

Zoekstrategieën...................................................................................................................................9

Verwerken: leesstrategie...................................................................................................................10

Als onderzoeksvorm...............................................................................................................................10

Systematische review.............................................................................................................................10

Meta analyse..........................................................................................................................................10

Onderzoekselementen................................................................................................................................10

Varriabelen (latent, theoretisch).................................................................................................................10

Afhankelijk en onafhankelijk..................................................................................................................10

Mediator: Interveniërende variabelen AV en OV..............................................................................10

Moderator-variabele: OV.......................................................................................................................11

Storende variabelen: controle variabelen en testvariabelen.................................................................11

Onderzoeksvraag........................................................................................................................................11

Hypothese..............................................................................................................................................11

Concretiseren van het conceptueel model.................................................................................................11

Onderzoeksontwerp........................................................................................................................................12

Steekproeftrekking.....................................................................................................................................12

Onderzoekselementen...........................................................................................................................12

Populatie................................................................................................................................................12

Steekproef..............................................................................................................................................12

Steekproeftechnieken............................................................................................................................13

Aselecte trekking...............................................................................................................................13

Systematische steekproef.............................................................................................................13

Gestratificeerde steekproef..........................................................................................................13

Clustersteekproef.........................................................................................................................13

1

Kwalitatieve methoden van pedagogisch onderzoek

Twee of meetrapssteekproef........................................................................................................13

Niet aselecte steekproeven...............................................................................................................14

Gemakssteekproef........................................................................................................................14

Sneeuwbal steekproef..................................................................................................................14

Quata steekproef..........................................................................................................................14

Vervolgonderzoek.........................................................................................................................14

N=1 steekproef..................................................................................................................................14

Single subject research.................................................................................................................14

Case studie....................................................................................................................................14

Kwaliteit van steekproeven....................................................................................................................14

Onderzoeksdesign.......................................................................................................................................14

Experimenteel onderzoek......................................................................................................................15

Basiskenmerken................................................................................................................................15

Manipulatie..................................................................................................................................15

Randomisatie................................................................................................................................15

Matching.......................................................................................................................................15

Standaardisatie.............................................................................................................................15

storende factoren.........................................................................................................................15

Buitenexperimentele factoren:................................................................................................15

Rijping......................................................................................................................................15

Testing.....................................................................................................................................15

History......................................................................................................................................15

Regressie..................................................................................................................................15

Selectie.....................................................................................................................................15

Instrumentatie.........................................................................................................................15

Uitval........................................................................................................................................15

Interactie..................................................................................................................................15

Pre-experimentele designs................................................................................................................16

One shot case study......................................................................................................................16

One group pretest posttest design...............................................................................................16

Statistische groepsvergelijking......................................................................................................16

Interne valide designs........................................................................................................................16

Posttest only control group design...............................................................................................16

Pre-test-posttest control group design.........................................................................................16

Wel of geen voormeting?.........................................................................................................16

Solomon four group design..........................................................................................................16

Complexere designs..........................................................................................................................17

Meerdere niveaus OV...................................................................................................................17

Meerdere AV’s..............................................................................................................................17

Factoriele mixed designs...............................................................................................................17

Mixed designs...............................................................................................................................17

2

Kwalitatieve methoden van pedagogisch onderzoek

Designs met herhaalde meting.....................................................................................................17

Single subject research......................................................................................................................17

Reversal design (ABAB).................................................................................................................17

Multiple baseline design...............................................................................................................17

Tijdserie design.............................................................................................................................18

Quasi experimentele designs.............................................................................................................18

Niet equivalente controlegroep....................................................................................................18

Corelationeel onderzoek........................................................................................................................18

Analyse van 1 variabelen...................................................................................................................18

Frequentieverdeling......................................................................................................................18

Maten van centrale tendentie......................................................................................................18

Causaliteit in corelationeel onderzoek..............................................................................................18

Samenhang in corelationeel onderzoek............................................................................................19

Tabellenanalyse............................................................................................................................19

Associatiematen...........................................................................................................................19

Centrale tendtie............................................................................................................................19

Cross-sectioneel onderzoek...............................................................................................................19

Probleem van de derde variabele.................................................................................................19

Statistische controle.................................................................................................................19

Causale interpretaties...................................................................................................................19

Longitudinaal onderzoek...................................................................................................................19

(Cross-lagged) panel onderzoek........................................................................................................19

Data verzameling.............................................................................................................................................20

Meten van variabelen.................................................................................................................................20

Meten met behulp van test en schalen.......................................................................................................20

Test en schalen.......................................................................................................................................20

Meten door middel van vragen..................................................................................................................21

Afnemen van vragenlijst.........................................................................................................................21

Constructie van vragenlijst.....................................................................................................................22

Formulering van vragen.........................................................................................................................22

Begrijpelijk....................................................................................................................................22

Acceptabel....................................................................................................................................22

Neutraal........................................................................................................................................22

Ondubbelzinnig.............................................................................................................................22

Eendimensionaal..........................................................................................................................22

Vollegorde van vragen...........................................................................................................................22

Vraagvormen..........................................................................................................................................23

Gesloten vragen................................................................................................................................23

Dichotoom....................................................................................................................................23

Meerkeuze....................................................................................................................................23

Rating schalen...............................................................................................................................23

3

Kwalitatieve methoden van pedagogisch onderzoek

Rangschik vragen..........................................................................................................................23

Waarden.......................................................................................................................................23

Open vragen......................................................................................................................................23

Selectie van vragen................................................................................................................................24

Meten door middel van observatie.............................................................................................................24

Observatie vs vragenlijst........................................................................................................................24

Soorten observatie.................................................................................................................................24

Gestructureerd..................................................................................................................................24

Ongestructureerd..............................................................................................................................24

Participeren.......................................................................................................................................24

Niet participerend.............................................................................................................................24

Overt.................................................................................................................................................24

Covert................................................................................................................................................24

Kunstmatige setting...........................................................................................................................24

Natuurlijke setting.............................................................................................................................24

Systematische observatie.......................................................................................................................25

Tekensysteem....................................................................................................................................25

Time sampeling (intervalsysteem).....................................................................................................25

Event sampeling (frequentiesysteem)...............................................................................................25

Combinatie event en time sampeling................................................................................................25

Beoordelingsschalen..........................................................................................................................25

Waar/ wanneer observeren...................................................................................................................25

Wat observeren.....................................................................................................................................25

hoe registreren.......................................................................................................................................26

meten met behulp van bestaande gegevens..............................................................................................26

Soorten..................................................................................................................................................26

Inhoudsanalyse......................................................................................................................................26

Validiteit en betrouwbaarheid van de meting............................................................................................26

Validiteit.................................................................................................................................................26

Gezichtsvaliditeit...............................................................................................................................27

Inhoudsvaliditeit (content)................................................................................................................27

Criterium validiteit.............................................................................................................................27

Concurrente..................................................................................................................................27

Predicatieve..................................................................................................................................27

Congruente...................................................................................................................................27

Begripsvaliditeit (construct)..............................................................................................................27

Convergente.................................................................................................................................27

Discriminerende...........................................................................................................................27

A priori contrasten........................................................................................................................27

Betrouwbaarheid...................................................................................................................................27

Test-hertest betrouwbaarheid..........................................................................................................27

4

Kwalitatieve methoden van pedagogisch onderzoek

Parallel betrouwbaarheid..................................................................................................................27

Interne consistentie...........................................................................................................................27

Split-half.......................................................................................................................................27

Even en oneven............................................................................................................................27

Cronbach alpha.............................................................................................................................27

Interbeoordelaars..............................................................................................................................27

Intrabeoordelaars..............................................................................................................................27

Data analyse....................................................................................................................................................28

Experimenteel onderzoek...........................................................................................................................28

Externe validiteit....................................................................................................................................28

Statistische toetsing...............................................................................................................................28

Hoofd en interactie effect......................................................................................................................28

Corelationeel onderzoek.............................................................................................................................29

Analyse...................................................................................................................................................29

Interpretatie....................................................................................................................................................29

rapportage.......................................................................................................................................................29

het onderzoeksrapport...............................................................................................................................29

Belang van adequate bronvermelding........................................................................................................29

Rapportage criteria:....................................................................................................................................29

Kritische beoordeling van kwalitatief empirisch wetenschappelijk onderzoek....................................................30

Algemene kwaliteitscriteria.............................................................................................................................30

Peer reviewd....................................................................................................................................................30

Beoordelingscriteria........................................................................................................................................30

Conceptueel model.....................................................................................................................................30

Onderzoeksontwerp...................................................................................................................................30

Methoden van pedagogisch onderzoek Waarom methoden Doel: zoeken naar en creëren van antwoorden op problemen hoe is men tot resultaten gekomen? Weg van probleemstelling naar tot antwoorden

5

Kwalitatieve methoden van pedagogisch onderzoek

Evidence based handelen = wetenschappelijk

Kwantitatieve methoden Kwantitatief, kwalitatief en gemengd onderzoek

3 wetenschapsfilosofische uitgangspunten Eigen methoden van onderzoek

Kwantitatieve onderzoekscyclus Wetenschappelijk onderzoek: keuzes maken deze kunnen verantwoorden ! generalisatie

6

werkelijkheid = objectief algemeen geldende wetten doel wetenschap: wetten afleiden en bepalen wetenschappelijke kennis= het geheel van wetten over een fenomeen werkelijkheid verklaren en toetsen --> via algemene wettenhypotheses weerleggen of bevestigen testen gestructureerd en gecontroleerd onderzoek objectief data verzamelen storende factoren uitschakelen

positivisme = kwantitatief (natuurwetenschappen en exacte wetenschappen)

werkelijkheid = door uniek individu geconsrueerd mens als uniek wezen dat betekenis geeft aan zijn wereld geconstroleerde subjectiviteit uniciteit begrijpen open methoden van onderzoek --> subjectiviteit tot zijn recht laten komenonderzoek: subjectief en specifiek

interpretatievisme/ constructivisme = kwalitatief

maatschappij in vraag stellen verandering door elementen beïvloeden

kritisch emancipatorisch= gemengd

Kwalitatieve methoden van pedagogisch onderzoek

De Groot: De empirische cyclus

Hypothetisch deductief model Gebruikt in methodologie en diagnostiek Positivisme: afleiden en toetsen van hypotheses Verondersteld duidelijke theorie

Inductief model (exploratief onderozek) Vertrekken van werkelijkheid Nog geen theorie gegevens verzamelen

Theorie verfijnen gegevens samen voegen tot theorie

Het onderzoeksproces

7

observatie

bepaald concreet probleem

inductie

kaderen in theorie

deductie

hypothese afleiden en omzetten in toetsbare voorspelling (=operationaliseren)

toetsing

gegens verzamelen hypothese bevestigen of weerleggen

evaluatie

klopt de hypothese?

Kwalitatieve methoden van pedagogisch onderzoek

Doel= met behulp van empirische gegevens inzicht krijgen in een probleem dat zich stelt vanuit een waarden patroon en observatie

Fases in het onderzoeksproces Probleemstelling Observatie Theoretisch kader Inductie Onderzoeksvragen en hypotheses Deductie Onderzoeksontwerp Toetsing Gegevensverameling Gegevens analyse Interpretatie Evaluatie Rapportering

Probleemstelling Vertrekpunt vanuit interesse of observatie Doel: inzicht krijgen in het probleem Uit onderzoeksbevindingen conclusies trekken over hoe we een probleem verminderen of elimineren Welk probleem waardenoriëntatie en toevallige omstandigheden Het onderwerp/ probleem ! Uitvoerbaar en onderzoekbaar ethische commissie

Praktisch: onderzoek naar praktische implicaties vanuit de praktijk Fundamenteel: verschillende gaten in theorieën oplossen vanuit de theorie

Doelstelling Relevantie

Praktische/ maatschappelijke relevantie toekomstig beleid Theoretische relevantie theoretische interesse

Vraagstelling bepaald onderzoeksdesign Beschrijvend: beschrijven hoe een fenomeen zich in de werkelijkheid voordoetRelationeel: samenhang tussen fenomenen verband (corelationeel)Causaal: het ene veroorzaakt het andere oorzakelijk verband (experimenteel)Evaluerend: effect van een interventie

Conceptueel model Ideeën over te onderzoeken probleem vanuit theoretisch kader Ontwerpen van hypotheses over mogelijke verklaringen voor het probleem Kiezen van instrumenten Ondezoekselementen, variabelen en onderzoeksvraag/ hypothese

Theorie Doel: scherpstellen en afbakenen van probleem Theoretisch kader = conceptueel model

LiteratuurstudieLiteratuur= het geheel van kennis over een bepaald topic binnen een domein Literatuurstudie= verzamelen, beoordelen en syntheseren van literatuur

Terugkerende fase Onderzoeksvorm Systematische review (synthetiseren van alle literatuur over een bepaald topic) Meta-analyse (systematische review waar we statistiek op toepassen)

Theoretisch kader Hypothese afleiden: theorie nodig om tot onderzoekbare hypotheses te komen Kritische review: sterke en zwakke punten beoordelen uit verschillende studies Terugkoppeling: verder bouwen op de theorie van waar we begonnen zijn Inzicht krijgen: in concepten en theorieën

8

Kwalitatieve methoden van pedagogisch onderzoek

Theoretisch kader Probleem theoretisch verwerken probleem plaatsen tov theorie Vastleggen op theoretisch niveau:

Onderzoekselementen: wie of wat gaan we onderzoeken Variabelen: kenmerken die we bestuderen Hypothese: relatie tussen variabelen van onderzoek elementen

Waarom Onderzoek situeren binnen bestaande theorieën

Theoretische invulling van concepten Lokaliseren van onderzoek

Literatuurstudie als terugkerende fase Status quaestionis: stand van zaken over een bepaaldonderwerp

Synthese: eigen onderzoek opstellen op basis van beperkingen van vorig onderzoekPeer review: betrouwbare wetenschappelijke bronnen Kritisch beoordelen: beperkingen en bijdrage van onderzoek

Doel: Verfijnen van onderzoeksvraag (ifv operationalisatie) Eigen bijdrage aan bestaand onderzoek

Integratief en niet lineair: geen rechtlijning proces, steeds terugkeren naar voorgaande elementen om deze aan te passen of te verfijnen

Waar zoeken Wetenschappelijke bronnen

Studie boeken: veel verschillende studies/ onderwerpen Studies: over één onderwerp, gedetailleerde infoInternationale handboeken: verschillende studies door experts Synthese: alle literatuur over een onderwerp

Op welke plaats zoeken Databanken: online verzameling van onderzoeken ReferentiesHandmatig zoeken Grijze literatuur: peerreview door experts voor het gepubliceerd wordt

Zoekstrategieën Trapsgewijs zoeken: algemeen specifiek Geketend zoeken (sneeuwbal methoden): specifiek specifiek Zoektermen

PI(C)O: population intervention comperresment (controlegroup) outcome Thesaurus: keuwords Truncatie: verschillende kernwoorden met gemeenschappelijk deel (*) Booleaanse operatoren: AND (onderzoekselementen en variabelen) OR (synoniemen) NOT (uitsluiting) Inclusie en exclusie criteria

Bereik: disciplines en theoretische stromingen Types bronnen Datum Taal Grijze literatuur

! expliciteer bij rapportage transparantie voor lezer en betrouwbaarheid (iemand anders bekomt zelfde resultaat)

9

Kwalitatieve methoden van pedagogisch onderzoek

Verwerken: leesstrategie Oriënterend lezen totaal beeld (is artikel relevant?) Skimmend lezen (diagonaal lezen) specifieke informatie Integraal lezen details (kritische beoordeling methodologie) Functionele samenvatting (ifv onderzoek): reflectie, samenvatting, kritische bedenking, structuren)

Als onderzoeksvorm Verschillende soorten onderzoek tegenstrijdige resultaten

Systematische reviewSynthese van alle bestaande literatuur over een bepaald topic

Gerichte onderzoeksvraag Expliciete zoekstrategie Kritische beoordeling Outcome: synthese

Meta analyse Statistische synthese van alle bestaande literatuur over een topic Statistiek gebruiken om uitspreken te doen over resultaten van verschillend onderzoek significant effect?

Onderzoekselementen Op wie/ wat van toepassing theoretische definitie Waar we kenmerken aan gaan toeschrijven Verschillende niveaus: collectiviteiten, groepen, paren, individuen Implicaties voor interpretatie en conclusie externe validiteit ! niveau verwarring! (gegevens zijn niet generaliseerbaar naar een ander niveau) Implicaties voor gegevens verzameling en analyse

Varriabelen (latent, theoretisch) Kenmerken van onderzoekselement bepalen welke relevant zijn Hypothese: verwachte samenhang van geselecteerde kenmerken Theoretische definitie: wat verstaan we onder een variabele theoretische variabelen

Categorisch: individu plaatsen binnen een categorie Dimensioneel: maten waarin iemand zich op een spectrum bevindt (continuüm)

Afhankelijk en onafhankelijk

Mediator: Interveniërende variabelen AV en OVEen variabele kan de afhankelijke variabele zijn voor een andere onafhankelijke variabele, maar ook een onafhankelijke variabele voor een andere afhankelijke variabele

10

afhankelijke wat we manipuleren geven ene verklaring

onafhankelijke wat we bestuderen wat we willen verkalren

onafhankelijke medeator afhankelijke

Kwalitatieve methoden van pedagogisch onderzoek

Moderator-variabele: OVBepaald/ heeft invloed d op het verband tussen twee variabelen geeft meer genuanceerde verklaring voor de samenhang Interactie

Storende variabelen: controle variabelen en testvariabelen Controle: vastleggen en controleren via design en statistiek

Matchen vergelijkbare groepen maken Test: causale samenhang bepalen

Alle variabelen waarvan men verondersteld dat zij samenhang tussen x en y zouden kunnen verklaren Derde variabelen

Overzicht maken van variabelen en hoe ze onderzoek beïvloeden

Onderzoeksvraag Bepaalt design Verwachte relatie tussen variabelen richting: positief of negatief (= relatie) Beschrijvend – relationeel – causaal – evaluerend

Bepaald onderzoeksdesign

Hypothese Hypothese: toetsbare voorspelling over samenhang Positief of negatief lineaire samenwerking rechtlijnig verband: gaat stijgen OV samen met stijging of daling van AVCurvelineair: geen rechtlijnig verband Causaal of niet causaal beinvloed de ene variabele de andere? Toetsend: hypothese toetsen aan empirisch materiaal Explorerend: zonder expliciete hypothese te formuleren Beschrijvend of descriptief: geven van een beschrijving van een aantal onderzoekelementen aan de hand van tevoren in het conceptueel model opgenomen variabelen

Concretiseren van het conceptueel model Conceptueel model vertalen in onderzoeksontwerp Inductie deductie: Operationaliseren van theoretische concepten Theorie empirie Welke onderzoekelementen komen in aanmerking voor het onderzoek? steekproef Hoe de variabelen uit conceptueel model operationaliseren? meetinstrumenten Op welke wijze worden er gegevens over de onderzoekselementen verzameld verzamelmethoden Zijn de veramelde gegevens geldig en betrouwbaar validiteit en betrouwbaarheid Op welke wijze moeten de gegevens verwerkt worden geschikt maken voor analyse (coderen)Op welke wijze moeten gegevens geanalyseerd worden analysemethoden Selectie van onderzoeksdesign experimenteel of corelationeel

Onderzoeksontwerp Onderzoekselementen: Welke personen steekproeftrekking

11

onafhankelijke medeator afhankelijke

Moderator

Kwalitatieve methoden van pedagogisch onderzoek

Variabelen: Welke gegevens meetinstrumenten Hoe gegevens verzamelen, verweken en analyseren Selectie onderzoeksdesign (corelationeel of experimenteel) Plan data analyse Theoretische termen vertalen in conceptueel model

Vastleggen in onderzoeksprotocol

Steekproeftrekking

Onderzoekselementen Individu, paren, groepen, collectiviteiten

Populatie Populatie: op wie of wat heeft ons onderzoek betrekking

Totaal mogelijke onderzoekselementen Operationele definitie

Context: tijd en plaats van gegevens verzameling Kenmerken (inclusie en exclusie criteria)Meetbaarheid

Implicaties voor conclusies en externe validiteit generaliseerbaarheid: op wie zijn de resultaten van toepassing Theoretische en praktische overwegingen

Theoretisch: theoretische samenhang tussen eigenschappen Elementaire eenheden

Steekproef = selectie van n elementen/ eenheden uit de populatie Steekproeffractie: n/NDoel: generaliseren naar populatie (resultaten uit steekproef gebruiken om fenomenen in de populatie te verklaren)

Representatieve steekproef: steekproef geeft betrouwbaar beeld van populatie Aselecte trekking: toeval bepaald welke elementen in steekproef komen

Grote van de steekproef: afhankelijk van Grote van de populatie (steekproeffractie) Response rate: verhouding mensen die aangeschreven worden en mensen die deelnemen Variabiliteit in meting Aantal variabelen Vertrouwen in uitkomsten (betrouwbaarheid): hoe groot moet de steekproef zijn om op een

betrouwbare manier uitspreken te doen bepalen via statistiek Foutenmarge (betrouwbaarheidsinterval) Doel: parameter schatten (nagaan of bepaalde groepen in een afhankelijke variabele verschillen van

andere groepen) en groepen vergelijken Praktische overwegingen: soort gegevens en beschikbaarheid deelnemers

12

Kwalitatieve methoden van pedagogisch onderzoek

Steekproeftechnieken

Aselecte trekking = het toeval bepaalt welke elementaire eenheden in de steekproef getrokken worden

Enkelvoudige aselecte steekproef: grabbelton methoden en toevalsgetallen Mogelijke problemen:

Geen gelijke verdelen van een bepaald kenmerk Hoe kleiner de steekproef, hoe meer vertekening

Voordelen Eenvoudig Voorwaarden voor statistische toetsen Geen voorkennis van populatie nodig

Systematische steekproef Bv. Methode van random nummers (toevalsgetal) Genummerde lijst van N eenheden, trekken van n eenheden door telkens hetzelfde aantal eenheden weg te laten

Eenheden moeten willekeurig gerangschikt zijn ! periodiciteit

Voordelen Eenvoudig Steekproefeenheden zijn goed verspreid over populatie

Nadelen Vertekening door periodiciteit Verdeling van bepaalde kenmerken

Gestratificeerde steekproefPopulatie verdeeld in strata (homogeen naar een bepaald kenmerk Proportioneel: verdeling in steekproef is hetzelfde als in populatie (representatief)Niet-proportioneel: even veel mensen uit verschillende strata (vergelijking)

Oplossing: gemiddelde gebruiken

Clustersteekproef Steekproef onderverdelen in primaire en secundaire eenheden aselecte trekking in clusters Voordeel

Efficiënt en goedkoop Nadeel

Geen zuivere EAS: samenhang van gegevens binnen één cluster afhankelijke dataVertekening Beperkte variatie tussen verschillende leden van een cluster

Twee of meetrapssteekproef Aselecte selectie uit eenheden van secundair en/of tertiair niveau

13

Kwalitatieve methoden van pedagogisch onderzoek

Voordelen: Representatief

Nadelen Tijdsintensief

Niet aselecte steekproeven

Gemakssteekproef Respondenten die voor de hand liggen

Sneeuwbal steekproef Vanuit 1 respondent meerdere respondenten zoeken

Quata steekproef Selectieve selectie van eenheden per stratum even grote verhouding in onafhankelijke variabelen Gevaar: beperkt generalisatie

Vervolgonderzoek Nuanceren voor wie en onder welke condities samenhang gelden

N=1 steekproef Vaak in klinisch onderzoek

Single subject researchOnderzoek naar behandelingsmethoden

Case studie Diepgaand onderzoek van een enkel geval

Kwaliteit van steekproeven Match met onderzoeksvraag Voorkomen van vertekening

Operationele definitie van onderzoekselementen Wijze van steekproeftrekking Omvang van steekproef Non respons

Generalisatie externe validiteit

Onderzoeksdesign Experimenteel vs corelationeel

Afhankelijk van onderzoeksvraag Experimenteel: heeft OV invloed op AV

= causale vraag of evaluerend Corelationeel: beschrijvend of relationeel Causaliteit: variantie in OV produceert variantie in AV

Causaal verband= samenhang, oorzaak gevolg verband Tijdsdimensie: OV gaat vooraf aan AV Geen storende factoren: alternatieve verklaringen voor samenhang

14

Kwalitatieve methoden van pedagogisch onderzoek

Experimenteel onderzoek = vraag naar causaliteit

Basiskenmerken Manipulatie: verandering teweeg brengen in de OV om te zien welk effect dit heeft op AV ! verschil in OV is enige verschil veranderingen in AV kan niet door een ander effect verklaard wordenManipulatie check: kijken of manipulatie invloed heft op experimentele groep en of dit het gewenste effect is

Experimentele en controle conditie Tussen subject design: twee groepen die elk aan een conditie worden toegewezenBinnen subject design: twee groepen die om de beurt aan alle condities worden toegewezen

Voordelen: efficiëntie, geen invloed van selectie Nadeel: volgorde effect, oefening en vermoeidheid

Counter balanceren: elke volgorde komt even vaak voor Differentiële overdracht: volgorde heeft effect op resultaten (de effecten van de ene interventie werken door op de volgende interventie)

Randomisatie: at random verdelen over condities en volgorde Random controled trail Covariantie analyse: effect van initiële verschillen bepalen Uitschakelen of onder controle houden van buiten experimentele factoren Matching: het gelijkstellen van controlegroep en experimentele groep voor bepaalde variabelen Storende factoren onder controle houden Frequentie matching: twee homogene deelgroepen gelijke verdeling in conditiesPrecisie matchen: verdelen in paren paren van deelnemers die identiek zijn voor een kenmerk Matchen op controle variabelen: variabele die samenhangt met OV en AVUitschakelen of onder controle houden van buiten experimentele factoren

Standaardisatie Constant houden van

OmstandighedenManipulatie/ interventie binnen zelfde conditie Meetinstrument: zelfde instrument op dezelfde manier gebruiken

Blindering: niet weten wie in welke conditie zit voorkomen van vooroordelen dubbel-blind procedure: onderzoeker en deelnemer zijn geblindeerd

storende factoren alternatieve verklaringen voor een effect Buitenexperimentele factoren:oorzaak ligt in andere factoren dan de factoren waarvan we het effect willen vaststellen

Rijping Spontane vooruitgang van individuen Voor alle biologische en psychologische processen

Testing Hoger score bij een tweede meting met hetzelfde instrument History Gebeurtenissen die los staan van het experiment, maar wel een invloed

hebben op de resultaten Regressie Extreme scores bij een eerste meting zullen bij een tweede meting meer naar

het gemiddelde gaan Selectie Groepen verschillen in verschillende kenmerken Instrumentatie Afname effect: manier van afnemen beïnvloed de meting

Plafond effect: boven grens aan wat gemeten kan worden Bodem effect: ondergrens aan wat gemeten kan worden

Uitval Respondenten die stoppen met het onderzoek systematische uitval Interactie Verschillende storende factoren die elkaar beïnvloeden

15

Kwalitatieve methoden van pedagogisch onderzoek

Pre-experimentele designs

One shot case study X O

One group pretest posttest design O1 x O2

Statistische groepsvergelijking Twee of meer groepen met elkaar vergelijken X O1 X1 O1

O2 of X2 O21 groep krijgt een treatment of allebei de groepen krijgen een treatment

Interne valide designs Experimentele en controle groep Uitschakeling van storende factoren

Posttest only control group design

Randomisatie en matching, twee condities, enkel nameting

Pre-test-posttest control group design

Voormeting voor afhankelijke variabelen Wel of geen voormeting? Voordelen voormeting:

Check randomisatie Verandering in scores waarnemen

Nadeel voormeting Sensibilisatie effect (bij onderzoek naar houdingen en meningen) Invloed

Solomon four group design

Nagaan of voormeting een effect heeft op de resultaten Iets zeggen over interventie, voormeting en combinatie

16

Kwalitatieve methoden van pedagogisch onderzoek

Complexere designs

Meerdere niveaus OVMeerdere condities met elkaar vergelijken

Meerdere AV’s Meerdere variabelen

Factoriele mixed designs De categorieën van de ene variabele worden gecombineerd met de categorieën van de andere variabelen of van andere variabelen om te komen tot groepen die elk een specifieke behandeling krijgen Twee of meer OV (=factoren) AxB design

Mixed designs Wanneer men het effect van één onafhankelijke variabele waarmee gemanipuleerd wordt onderzoekt voor verschillende subgroepen afzonderlijk Twee of meer manipulaties manipuleerbaar en niet manipuleerbaar

Designs met herhaalde meting Verschillende nametingen om vast te stellen of het effect een blijvend karakter heeft Onderzoekselementen worden meerdere malen met een treatment geconfronteerd en nameting

Treatment is steeds hetzelfde Treatment is steeds anders counterbalancing designs

Single subject research N=1 experiment single case study: het effect van een behandeling bij 1 persoon bepalen

Reversal design (ABAB)

A= controle conditie B= experimentele conditie A en B wisselen elkaar afEthisch verantwoord? als we weten dat een bepaalde interventie gevaarlijk gedrag verhogen

Multiple baseline design

Interventie toepassen in verschillende situaties om het verschil in effect te meten

17

Kwalitatieve methoden van pedagogisch onderzoek

Tijdserie design

Groot aantal metingen At random bepalen op welk moment men de interventie gaat uitvoeren

Quasi experimentele designs Voldoet niet aan alle voorwaarden om te kunnen spreken van een experimenteel design geen zuiver experimenteel ontwerp

Niet equivalente controlegroep Randomisering is niet mogelijk of niet gelukt Resultaten kunnen verklaard worden door selectie of interacties

Corelationeel onderzoek Vragen naar samenhang

Samenhang vaststellen Groote van samenhang vergelijken Samenhang over lange tijdsperiodenindividuele verschillen

Manipulatie niet mogelijk of niet ethisch Naturalistisch onderzoek Multi-causale fenomenen: er zijn veel factoren die een invloed hebben en geïnteresseerd in hun onderlinge interactie Specifieke onderzoeksvragen

Analyse van 1 variabelen

Frequentieverdeling Hoeveel een onderzoekselement tot de verschillende categorieën tot de verschillende categorieën van variabelen behoren Proportie en percentage

Maten van centrale tendentie Gemiddelde Mediaan (middelste waarneming) Modus (meeste onderzoekselementen)

Causaliteit in corelationeel onderzoek Aantonen of onafhankelijke variabele X in de tijd aan afhankelijke variabele Y voorafgaat en dat de samenhang tussen X en Y niet verklaard kan worden door ander variabelen Tijdsvollegordeprobleem: de vollegorde waarop x en y voorvallen

18

Kwalitatieve methoden van pedagogisch onderzoek

Samenhang in corelationeel onderzoek Samenhang: het gelijktijdig variëren van x en y

Tabellenanalyse Kruistabellen relatie tussen twee variabelen (combinaties van de waarden van twee variabelen) Samenhang berekend in percentages Interactie tussen twee variabelen Positieve of negatieve samenhang

Associatiematen Correlatiecoëfficiënt: Getal dat de mate van samenhang weergeeft

Centrale tendtie Voor verschillende subgroepen na gaan hoe ze gemiddeld op een schaal scoren

Cross-sectioneel onderzoek Samenhang tussen twee variabelen op 1 meetmoment

Probleem van de derde variabeleSamenhang mag niet verklaard worden door andere variabelen uitsluiten van alternatieve verklaringen We moeten een idee hebben over welke variabelen mogelijks de samenhang kunnen beïnvloeden opnemen in model Statistische controle Eleboratietechniek: om na te gaan of de samenhang tussen twee variabelen verklaard kan worden door een derde variabele Partiële correlatie: derde variabele zoeken via correlatiecoëfficiënten Samenhang blijft: de derde variabele heeft geen invloed Samenhang verdwijnt:

Schijnsamenhang: als Z in de tijd aan X vooraf gaat en de oorspronkelijke relatie tussen X en Y verdwijnt

= storende variabele gemeenschappelijke oorzaak Interpretatie: als Z in tijd na X komt en de oorspronkelijke relatie tussen X en Y verdwijnt = mediator tussenliggende factor

Tijdvolgorde Veranderbaar

Samenhang verandert: Interactie: het verband tussen x en y veranderd door rekening te houden met Z = moderator

Beperkte controle via opzet Constant maken van derde variabelen om storend effect uit te schakelen Matchen op factoren die samenhangen met het fenomeen

Ex post facto onderzoek: groepen die men wil vergelijken achteraf gelijkwaardig maken voor een bepaald kenmerk = matchen voor derde variabelen

Causale interpretaties Onmogelijk in cross-sectioneel onderzoek tijdvollegorde probleem oplossen

Longitudinaal onderzoek Oplossing voor tijdvollegorde probleem meten op verschillende tijdstippen Conclusies trekken over de tijdvolgorde Meerdere meetmomenten in dezelfde steekproef met hetzelfde of verschillende meetinstrumenten Richting van het verband bepalen: horizontaal of verticaal

(Cross-lagged) panel onderzoek Op verschillende tijdstippen bij dezelfde onderzoeksgroep over dezelfde variabelen informatie verzameld Analyse via correlatiecoëfficiënt Verschillende golven

19

Kwalitatieve methoden van pedagogisch onderzoek

Data verzameling Onderzoek uitvoeren men kan verschillende verzamelingsmethoden gebruiken in één onderzoek

Meten van variabelen Variabelen: kenmerken van onderzoekselementenTheoretische variabelen indicatoren= hoe gaan we iets waar nemen? operationele definitie= items Meten: het bepalen van een waarde op de variabele

Enkelvoudig meten: 1 construct, 1 indicator Samengesteld meten: meerdere indicatoren voor eenzelfde construct

Kwaliteit van het instrument: afspiegeling van het instrument ten opzichten van het te meten fenomeen Vanuit theoretisch kader: Verschillende contexten en tijdstippen opnemen in meting verschillende manifestaties van construct Bepaalt keuzen instrument Waarnemingseenheid: degene bij wie we de gegevens gaan verzamen

Onderzoekelement of proxy’s (bij twijfel aan geldigheid van informatie) Meetniveaus: (is geen eigenschap van de variabele maar van het meetinstrument)

Nominaal Ordinaal Interval Ratio/verhouding

Implicaties voor statistiek Hoe meten? welke dimensies moeten we bevragen? Hebben we een of meerdere indicatoren nodig?

Operationalisering in vorig onderzoek Meten via:

Test en schalen Vragen Observatie Bestaand materiaal

Meten met behulp van test en schalen

Test en schalen Proces van operationalisering is al gedaan Gestandaardiseerd instrument

Afnameprocedure: hoe test moet worden afgenomen Scoring: hoe prestatie van de testpersoon gescoord en beoordeeld worden

Objectieve data, geen invloed van testafnemer Voorkomen van vertekening Meetfouten vermijden door procedures goed te omschrijven

Normatieve data: respons positioneren binnen de norm Normatieve steekproef (op grote schaal) om respondent binnen te situeren

Voordelen: Constructie onderzoek beschikbaar Steekproefselectie

Bestaande test testotheek ! doelpopulatie: test die we willen afnemen moet gericht zijn op de populatie waarbij we de test willen afnemen

Kwaliteit van bestaande test: de cotanTheoretische achtergrond Kwaliteit testmateriaal Kwaliteit handleiding Normen Betrouwbaarheid Begripsvaliditeit Criteriumvaliditeit

Toetsen van causale modellen

20

Kwalitatieve methoden van pedagogisch onderzoek

Pad-analyse (multiple regressie) Structurele vergelijking

Meten door middel van vragen Vragen: veertalingen van theoretische variabelen uit het conceptueel model Bestaand/ zelf ontwikkelen

Afnemen van vragenlijst Schriftelijk Mondeling Computer of papier Real-life of telefonisch = vragenlijst = interview: gesprek tussen interviewer en respondent Groepsenquête Groepsinterview: hogere respons met beperkte kosten

Kwaliteit van data: zorgen dat er geen vertekening komt op data doordat bepaalde respondenten overheersen

KostenGoedkoper Opstellen en afnemen is duurder

SteekproefgrootteMeer respondenten met minder kosten Verondersteld taalvaardigheid probleem bij jonge

kinderen ! voldoende, goed en betrouwbare gegevens verkrijgen

RespondentenAndere manier van reageren Andere manier van reageren

AnonimiteitAnonimiteit beter bewaakt Anonimiteit minder goed bewaakt

Aanwezigheid onderzoekerOnderzoeker is niet (altijd) aanwezig Geen invloed van aanwezigheid

Onderzoeker is aanwezig ! controle effect: reactie van respondent wordt beïnvloed ! biased-viewpoint effect: antwoorden anders interpreteren aan de hand van non verbale gegevens

Eerlijkheid en betrokkenheidMinder betrokkenheid Meer kans op oneerlijke antwoorden

Meer betrokkenheid, meer motivatie Aan gedrag afleiden of respondent eerlijk antwoordt

Volledigheid en kwaliteit van dataVragen kunnen overgeslagen worden Mogelijkheid om vragen toe te lichten

Zorgen dat elke vraag beantwoord wordt Aard van vragen

Ander soort vragen en andere manier van antwoorden Makkelijker emotioneel moeilijke zaken aan de orde brengen

Aantal vragenVerveling Respons set

Motiverender meer vragen stellen Afhankelijk van de tijd

VerwerkingMakkelijker te verwerken Kiezen uit aantal antwoordmogelijkheden

Andere manier van verwerking nodig

Motiveren waarom je voor welke methode kiest respondent, rol interviewer, volledigheid en kwaliteit van data

Constructie van vragenlijst Selectie: welke vragen theoretisch en empirisch

21

Kwalitatieve methoden van pedagogisch onderzoek

Formulering en vorm: hoe gaan we vragen stellen Volgorde: halo effect vermijden (antwoord op de ene vraag heeft een invloed op het antwoord op de volgende vraag Pilootstudie: om te achterhalen of we voldoende en juiste informatie verzamelen eventueel aanpassingen doen Operationalisering: construct indicatie operationele definities

Formulering van vragen ! validiteit

Begrijpelijk Rekening houden met verwachte kennis en info Alle antwoordmogelijkheden opnemen (ook ‘ik weet het niet’)De tijd die verlopen is sinds de gebeurtenis Het belang dat de respondent hecht aan de gebeurtenis

Acceptabel Oppassen voor sociaal wenselijk antwoord Onderwerpen in de taboesfeer of vragen die dreigend kunnen overkomen Indirecte vragen: om de mening van de respondent te achterhalen Projectiemechanisme hypothetische situatie: ‘hoe denkt u dat andere zouden reageren’ (eigen mening achterhalen)

Neutraal Oppassen voor suggestieve vragen (uitlokken van een antwoord) Alle antwoordmogelijkheden geven

Ondubbelzinnig Onderwerp van de vraag moet door alle respondenten op dezelfde manier begrepen worden

Eendimensionaal Eén ding tegelijk bevragen

Vollegorde van vragen Vollegorde van

Te bespreken onderwerpen Vragen over een onderwerp

Storing op meting door vollegorde Funnel approach:

Algemeen specifiek Kennis mening

Voorkomen dat antwoorden op specifieke vragen het antwoord op algemene vragen bepalen Halo effect: het stellen van de ene vraag heeft invloed op de wijze waarop de volgende vraag beantwoordt wordt Respons-set: systematisch beantwoorden van vragen die op elkaar lijken Aandachtscurve: minder aandacht naar het einde van de vragen Hoeveelheid items per categorie afhankelijk van complexiteit van het thema

Vraagvormen Gesloten vragen Vooral bij kwantitatief onderzoek meer controle op storende factoren en gemakkelijk te analuseren Mogelijke antwoorden liggen op voorhad vast

22

Kwalitatieve methoden van pedagogisch onderzoek

Uitputtend: alle antwoordmogelijkheden Uitsluitend: geen overlap tussen antwoordopties

DichotoomNominaal

Twee antwoordmogelijkheden Probleem: ongenuanceerd en positieve bias Voordeel: eenvoudigGedichotomiseerd: bestaande categorieën samenvoegen om het aantal terug te brengen naar 2

Meerkeuze Nominaal

Vragen met meer antwoordmogelijkheden Uitputtend en uitsluitend Formele antwoordcategorieën: verschillende vragen met dezelfde antwoordmogelijkhedenPositieve response set: voornamelijk positieve antwoorden geven Voordeel: eenvoudig en details Nadeel: rankorde effect (antwoorden die bovenaan staan worden sneller gekozen

Rating schalen(quasi) interval

Meten van houding en mening Paarsgewijze vergelijking: welke categorie vindt respondent het belangrijkste Voordeel: differentiatie in antwoorden en verschillen waarnemen Nadeel: groot risico op response-set (mensen vermijden extreme antwoorden)

Rangschik vragen

Categorieën rangschikken volgens belangrijkheid Q-sort methode: categorieën rangschikken, op voorhand bepalen hoeveel er in elke categorie mag Verhoudingen tussen antwoorden bekijken Voordeel: informatie over voorkeuren Nadeel: complexe data analyse

Waarden Interval/ratio

Vragen naar aantallen Voordeel: eenvoudig en accuraat Nadeel accuraatheid kan in vraag gesteld worden zekerheid waarmee respondent antwoordt

Analyse techniek afhankelijk van meetniveau Meetniveaus:

Nominaal: verschil Ordinaal: rangorde, geen getal Interval: rangorde, geen nulpunt Ratio: rangorde, nulpunt, verschil, verhouding Quasi interval: scores op items optellen

Open vragen Vooral bij kwalitatief onderzoek Mogelijke antwoorden liggen niet op voorhad vast respondent geeft zelf invulling Voordelen

Respondent kan in zijn eigen woorden antwoorden Levert meer waarheidsgetrouwe antwoorden op Meer motiverend Meer genuanceerde info Doorvragen is mogelijk Nagaan of de vraag goed werd begrepen

Nadelen Antwoorden moeten letterlijk genoteerd worden Verweking neemt meer tijd in beslag Lagere betrouwbaarheid toevalligheid van de gedachten van de respondent Antwoorden afhankelijk van de openheid/ geslotenheid van de respondent

Algemeen open vs specifieke deelvragen

Selectie van vragen Theoretische selectie: wat willen we weten op basis van theoretisch construct Empirische selectie: statistiek om goede vragen te selecteren

23

Kwalitatieve methoden van pedagogisch onderzoek

Variantie Item-totaal correlatie

Pilootstudie: instrument uittesten en daarna vragen aanpassen of weglaten

Meten door middel van observatie

Observatie vs vragenlijst Soort gegevens: feitelijk gedrag vs houding (niet observeerbaar gedrag) & nu vs in het verleden Deelnemers: observatie als respondent geen vragen kan beantwoorden Contextfactoren en interactie: gedrag in groep Invloed van onderzoeker: aanwezigheid, interpretatie vertekening Praktische overwegingen: aantal respondenten en beschikbare tijd

Soorten observatie Gestructureerd Ongestructureerd

Observatie systeem Flexibel Deductief: vanuit theorie Inductief: vanuit topic Makkelijkere verweking Moeilijker te verwerken Vaststellen van voorkomen, frequentie en duur Niet op voorhad bepaald wat we gaan observeren Objectief Risico op subjectiviteit Kwantitatief Kwalitatief Reducerend Totaliteit Participeren Niet participerend Deelnemen Niet deelnemen Begrijpen: waarden normen en gedragingen Natuurlijke omgeving Risico: invloed van relatie en status Biased viewpoint

Invloed van interpretatie van onderzoeker Niet mogelijk al het relevant gedrag te observerenPositie in rolllenstructuur geeft beperkte toegang

Controle effect Invloed van onderzoeker op groepsproces

Overt Covert Open observatie Gesloten observatie Onderzochte weet dat hij geobserveerd wordt Deelnemers weten niet dat ze geobserveerd worden

Minder controle effect Kunstmatige setting Natuurlijke setting Gecontroleerd door onderzoeker Bekent voor onderzochte

24

Kwalitatieve methoden van pedagogisch onderzoek

Systematische observatie Ifv onderzoeksvraag Time sampeling vs event sampeling Waarnemen vastleggen in van tevoren opgestelde observatiesystemen

Categorieën moeten uitputtend en uitsluitend zijn Best op voorhand observeren

Specimen description: zo uitgebreid mogelijk verslag van de gebeurtenissen Verschillen

Tijdsinterval Te observeren gedrag (verbaal of non verbaal) Direct of indirecte observatie Bestaand of eigen observatie systeem Observatie subject

Tekensysteem Lijst met gedragingen, observator kijkt of gedrag voorkomt binnen een bepaald tijdsinterval

Time sampeling (intervalsysteem) Op vastgelegde tijdstippen bepalen welk gedrag zich heeft voorgedaan binnen het interval Intervalsysteem: te observeren tijdsperiode opdelen in kleine intervallen en voor elk interval noteren of gedrag zich voordoet

Te lang: meer dan één gedrag per interval Te kort: geen afgerond gedrag binnen interval

Event sampeling (frequentiesysteem) Event sampeling: noteren dat gedrag zich voor doet Frequentiesysteem: van te voren opgestelde reeks van categorieën (uitputtend en uitsluitend) waarop men aanduidt hoevaak het gedrag zich voor doet

Combinatie event en time sampeling Duurmethode: noteren van gerag dat zich voor doet en hoelang gedrag zich voor doet Vollegorde events: weten wanneer welk gedrag zich voor doet en in welke volgorde

Beoordelingsschalen Ratingscales: op een schaal aanduiden in welke maten het gedrag gesteld wordt Halo-effect: voorgaand gedrag kan beoordeling van volgend gedrag beïnvloeden (invloed van kenmerken of algemene indruk)

Waar/ wanneer observeren Op voorhand bepalen

Zorgen voor representatieve steekproef Willekeurig of systematisch (wanneer we weten dat gedrag zich voordoet)

Ifv onderzoeksvraag Waarnemingen moeten representatief zijn voor het doorsnee gedrag van de totale groep

Wat observeren Bepaald door:

de participant de setting het doel het sociaal gedrag de frequentie en duur

25

Kwalitatieve methoden van pedagogisch onderzoek

hoe registreren tijdens observatie: sleutelwoorden onmiddellijk na observatie periode specimen description of protocolleren: zo uitgebreid mogelijk verslag van de gebeurtenissen indexsysteem: gebeurtenissen of gedragingen die op dezelfde categorie betrekking hebben bij elkaar plaatsen checklist: belangrijke punten observatie aantekeningen: zo weinig mogelijk interpretatie nauwkeurig en betrouwbaar een feitelijke weergaven van gebeurtenissen geven theoretische notities: aantekeningen naar aanleiding van observatie aantekeningen methodologische aantekeningen: beslissingen die hij neemt in het onderzoek noteren

meten met behulp van bestaande gegevens reeds gepubliceerde gegevens Steinmetz archief Voordelen: efficiëntie (beperkte non-respons)

Niet reactieve meting: waarden van variabelen vast te stellen voor onderzoekselementen zonder dat die weten dat dit gebeurt

Nadeel: toegankelijkheid en operationalisering is al gebeurt (gegevens zijn verzameld met ander doel)

SoortenGeproduceerd en verwerkt Geproduceerd en geordend Ongeordend ruw materiaal zelf ordenen en verwerken via inhoudsanalyse

Inhoudsanalyse Gegevens ordenen, categoriseren en analyseren Analyse eenheid: over wie we informatie verzamelen (steekproef) Tel of meeteenheid: van waar we informatie verzamelen (discreet of continu) Contexteenheid: beslissen welke waarden de teleenheid zal krijgen Ruw materiaal dan nog niet geordend is, maar wel de indicering en operationalisering van variabelen gebruikt ka worden door een inhoudsanalyse op het materiaal uit te voeren Globaal aantekeningen over problemen aard van problemen inventariseren dossier opnieuw doorwerken

Validiteit en betrouwbaarheid van de meting wat is de kwaliteit van onze meting? Validiteit: Geldigheid: meten we wat we willen meten

Het gebruiken van relevante indicatoren Het niet gebruiken van irrelevante indicatoren Het vermeiden van systematische fouten

Betrouwbaarheid: hoe nauwkeurig we de waarde van een variabele vaststellen

Validiteit Die kenmerken, en alleen die kenmerken, meten die de onderzoeker wil meten Geldigheid van de operationalisering: vragen moeten een vertaling zijn van theoretische variabelen uit het conceptueel model Systematische fouten Theoretisch

Gezichtsvaliditeit Inhoudsvaliditeit

Empirisch Systematische meetfouten: fouten in het meetinstrument die de meetresultaten continu in een bepaalde richting beïnvloeden vermeiden door de manier waarop we vragen stellen Indiceren = empirische verschijnselen worden aangewezen als indicatoren voor theoretische variabelen

26

Kwalitatieve methoden van pedagogisch onderzoek

Gezichtsvaliditeit Test meet op het eerste zicht wat hij wil meten

Inhoudsvaliditeit (content) Indicatoren en vragen zijn een afspiegeling van variabelen Hangt ook af van de beoordeling van deskundigen

Criterium validiteit

Concurrente

Predicatieve

Congruente

Hangen de scores samen met een extern criterium?

In het heden of in het verleden

Toekomstig gedrag voorspellen

Vergelijking en samenhang met test die hetzelfde meet

Begripsvaliditeit (construct)

Convergente

Discriminerende

A priori contrasten

Begrijpen van het onderliggend theoretisch construct Voorspellingen over samenhang tussen variabelen afleiden uit theorie alternatieve verklaringen verwerpenSamenhang met testen die hetzelfde metenSamenhang met testen die iets anders metenAndere scores bij verschillende soorten respondenten

Betrouwbaarheid Nauwkeurigheid van de meting Interne consistentie: items moeten in dezelfde maten samenhangen, het resultaat mag niet afhangen van een item Stabiliteit: op verschillende momenten dezelfde uitkomst hebben

Test-hertest betrouwbaarheid

Samenhang tussen twee meetmomenten met hetzelfde instrument Vereist stabiel kenmerk Tijdsinterval?

te lang ruis op meting (mensen ontwikkelen en veranderen te kort geheugen effect

Parallel betrouwbaarheid Twee gelijkaardige testen die tegelijkertijd afgenomen worden Uitschakelen van geheugeneffect

Interne consistentie

Split-half

Even en oneven

Cronbach alpha

Onderlinge samenhang van items uit instrument Samenhang tussen twee delen van een test !oplopende moeilijkheid of onderwerp! In beide groepen vragen uit het begin en einde

Het gemiddelde nemen van alle mogelijke combinaties

Interbeoordelaars

Intrabeoordelaars

Proportie overeenstemming: #overeenstemmingen/#overeenkomsten+#verschillen Inter: tussen verschillende observatoren !interpretatie en training Intra: op verschillende meetinstrumenten met dezelfde observator Vertekening door: halo effect, vooroordelen, projectie, biased viewpoint effect, controle effect, bedrijfsblindheid

Meetfouten: systematisch vs onsystematisch Foutmarges: op elk instrument zitten meetfouten Onsystematisch: toevallige fouten: sommige respondenten zullen iets hoger scoren en andere iets lager (verschillen vallen tegen elkaar weg)

Data analyse De bekomen resultaten analyseren

27

Kwalitatieve methoden van pedagogisch onderzoek

Experimenteel onderzoek

Externe validiteit Generaliseerbaarheid Interactie effect test en treatment: effect van treatment is afhankelijk van voormeting Interactie van selectie en treatment: effecten van treatment zijn alleen generaliseerbaar naar de populatie waar de steekproef uit komt Reactieve arrangements: het verschijnsel dat onderzoekselementen zich in een onderzoek anders gaan gedragen, omdat ze weten dat ze aan een experiment deelnemen Multiple treatment interference: kan optreden als onderzoekselementen in een onderzoek met twee of meer treatments geconfronteerd worden

Statistische toetsing Zijn de geobserveerde verschillen statistisch significant? Analyse techniek is afhankelijk van het soort design

Hoofd en interactie effect Hoofdeffect: wat is het effect van de variabele Interactie effect: hangt het effect van de ene variabele af van de andere variabele

geen effect

hoofdeffect van AV

hoofdeffect van conditie

interactie effect

hoofdeffect conditie, AV en interactie effect

Factorieel design (hier het meest prominent) Conditie × Conditie → interactie tussen OVsConditie × Subjectvariabele → moderator

28

Kwalitatieve methoden van pedagogisch onderzoek

Het effect van de ene variabelen hangt af van de andere, er is een interactie effectPre-test – Post-test design

Meting × Conditie → check randomisatie + effectInteractie effect als er geen verschil is in voormeting maar wel in nameting

Binnen-subject designVolgorde × Conditie → check differentiële overdrachtWe willen dat het effect van volgorde in alle condities hetzelfde is, anders hebben we temaken met differentiële overdracht

Corelationeel onderzoek

Analyse Vaststellen van samenhang

Tabel analyse Associatie maten Centrale tendentie (multiple) regressie- analyse

Probleem van de derde variabelen Storende factoren Mediatoren Moderatoren

Interpretatie Vergelijken met conceptueel model, hypotheses

rapportagelezer moet zich een oordeel kunnen vormen over de juistheid van het gekozen conceptueel model, onderzoeksontwerp en de uitvoering

het onderzoeksrapport Abstract Korte samenvatting Inleiding Theoretisch kader, onderzoeksvraag en hypothese Methoden Steekproef, instrument, opzetResultaat Descriptief en inferentie Discussie Antwoord op onderzoeksvraag? Suggesties voor verder onderzoek en implicaties Acknowledgements Bedankwoord Referenties Aangeven welke bronnen gebruikt werden APA

Laat andere onderzoekers toe om te kijken op welk onderzoek jou onderzoek gebaseerd is

Appendix/ bijlagen

Belang van adequate bronvermelding Plagiaat: het overnemen van andere mensen hun ideeën zonder bronvermelding Parafraseren: verwoorden van wat iemand anders gezegd heeft en naar die persoon verwijzen Citeren: letterlijk overnemen, verwijzen met naam & jaartal & pagina

Rapportage criteria: Consort: Checklist voor experimenteel onderzoek Strobe: corelationeel onderzoek, checken voor storende factoren

29

Kwalitatieve methoden van pedagogisch onderzoek

Kritische beoordeling van kwalitatief empirisch wetenschappelijk onderzoek

Empirisch: er worden gegevens verzameld Inhoud en methoden moeten beoordeeld worden

Algemene kwaliteitscriteria Betrouwbaarheid: nauwkeurigheid en consistentie van het onderzoek en mogelijke toevalsfouten

Intern: consistentie Extern: repliceerbaarheid

Validiteit: de geldigheid van de conclusies Intern: kunnen we deze soort conclusies trekken Extern: zijn deze geldig voor de populatie generaliseerbaar

Bruikbaarheid: toegepast onderzoek

Peer reviewd = kwaliteitslabel Onderzoeker schrijft paper en stuurt deze door naar een redact

Beoordelingscriteria

Conceptueel model Inleiding: doel en bijdrage van studie? Literatuuroverzicht: relevante studies genomen, kritische analyse Onderzoeksvraag Hypothesen

Onderzoeksontwerp Onderzoekselementen

Populatie, kenmerken, steekproeftrekking, steekproefgrootteInstrumenten

Valide indicatoren? Kwaliteit en procedures Onderzoeksopzet

Experimenteel: Causale onderzoeksvraag Manipulatie van de OV Randomisatie Standaardisatie Invloed van storende factoren

Corelationeel: Beschrijvende/ samenhang onderzoeksvraag

Resultaten Ontbrekende gegevens? Uitval Duidelijke beschrijving van resultaten? Resultaten gekoppeld aan onderzoeksvraag

Discussie Gebaseerd op onderzoeksvraag en resultaten Link met bestaand onderzoek Beperkingen aan onderzoek Generalisatie

30

onderzoeker schrijft paper

suurt onderzoek

naar redacteur

bepaald kwaliteit van

het onderzoek

rescesent met gespecialiseer

de kennis

kijken naar tekort-

komingen

terug naar redacteur met

aanbeveling

onderzoeker krijgt feedback

en herziet artiekel

redacteur maakt een

beslissing over publicatie

publicatie