pedagogischekringleuven.files.wordpress.com€¦ · Web view2020. 9. 19. · Doel: zoeken naar en...
Transcript of pedagogischekringleuven.files.wordpress.com€¦ · Web view2020. 9. 19. · Doel: zoeken naar en...
Kwalitatieve methoden van pedagogisch onderzoek
Methoden van pedagogisch onderzoek.................................................................................................................6
Waarom methoden................................................................................................................................................6
Kwantitatieve methoden........................................................................................................................................6
Kwantitatief, kwalitatief en gemengd onderzoek...................................................................................................6
Kwantitatieve onderzoekscyclus........................................................................................................................7
De Groot: De empirische cyclus.........................................................................................................................7
Hypothetisch deductief model......................................................................................................................7
Het onderzoeksproces............................................................................................................................................8
Fases in het onderzoeksproces..........................................................................................................................8
Probleemstelling................................................................................................................................................8
Conceptueel model...........................................................................................................................................8
Theorie..........................................................................................................................................................8
Literatuurstudie............................................................................................................................................8
Theoretisch kader....................................................................................................................................9
Waarom...................................................................................................................................................9
Literatuurstudie als terugkerende fase....................................................................................................9
Waar zoeken........................................................................................................................................9
Zoekstrategieën...................................................................................................................................9
Verwerken: leesstrategie...................................................................................................................10
Als onderzoeksvorm...............................................................................................................................10
Systematische review.............................................................................................................................10
Meta analyse..........................................................................................................................................10
Onderzoekselementen................................................................................................................................10
Varriabelen (latent, theoretisch).................................................................................................................10
Afhankelijk en onafhankelijk..................................................................................................................10
Mediator: Interveniërende variabelen AV en OV..............................................................................10
Moderator-variabele: OV.......................................................................................................................11
Storende variabelen: controle variabelen en testvariabelen.................................................................11
Onderzoeksvraag........................................................................................................................................11
Hypothese..............................................................................................................................................11
Concretiseren van het conceptueel model.................................................................................................11
Onderzoeksontwerp........................................................................................................................................12
Steekproeftrekking.....................................................................................................................................12
Onderzoekselementen...........................................................................................................................12
Populatie................................................................................................................................................12
Steekproef..............................................................................................................................................12
Steekproeftechnieken............................................................................................................................13
Aselecte trekking...............................................................................................................................13
Systematische steekproef.............................................................................................................13
Gestratificeerde steekproef..........................................................................................................13
Clustersteekproef.........................................................................................................................13
1
Kwalitatieve methoden van pedagogisch onderzoek
Twee of meetrapssteekproef........................................................................................................13
Niet aselecte steekproeven...............................................................................................................14
Gemakssteekproef........................................................................................................................14
Sneeuwbal steekproef..................................................................................................................14
Quata steekproef..........................................................................................................................14
Vervolgonderzoek.........................................................................................................................14
N=1 steekproef..................................................................................................................................14
Single subject research.................................................................................................................14
Case studie....................................................................................................................................14
Kwaliteit van steekproeven....................................................................................................................14
Onderzoeksdesign.......................................................................................................................................14
Experimenteel onderzoek......................................................................................................................15
Basiskenmerken................................................................................................................................15
Manipulatie..................................................................................................................................15
Randomisatie................................................................................................................................15
Matching.......................................................................................................................................15
Standaardisatie.............................................................................................................................15
storende factoren.........................................................................................................................15
Buitenexperimentele factoren:................................................................................................15
Rijping......................................................................................................................................15
Testing.....................................................................................................................................15
History......................................................................................................................................15
Regressie..................................................................................................................................15
Selectie.....................................................................................................................................15
Instrumentatie.........................................................................................................................15
Uitval........................................................................................................................................15
Interactie..................................................................................................................................15
Pre-experimentele designs................................................................................................................16
One shot case study......................................................................................................................16
One group pretest posttest design...............................................................................................16
Statistische groepsvergelijking......................................................................................................16
Interne valide designs........................................................................................................................16
Posttest only control group design...............................................................................................16
Pre-test-posttest control group design.........................................................................................16
Wel of geen voormeting?.........................................................................................................16
Solomon four group design..........................................................................................................16
Complexere designs..........................................................................................................................17
Meerdere niveaus OV...................................................................................................................17
Meerdere AV’s..............................................................................................................................17
Factoriele mixed designs...............................................................................................................17
Mixed designs...............................................................................................................................17
2
Kwalitatieve methoden van pedagogisch onderzoek
Designs met herhaalde meting.....................................................................................................17
Single subject research......................................................................................................................17
Reversal design (ABAB).................................................................................................................17
Multiple baseline design...............................................................................................................17
Tijdserie design.............................................................................................................................18
Quasi experimentele designs.............................................................................................................18
Niet equivalente controlegroep....................................................................................................18
Corelationeel onderzoek........................................................................................................................18
Analyse van 1 variabelen...................................................................................................................18
Frequentieverdeling......................................................................................................................18
Maten van centrale tendentie......................................................................................................18
Causaliteit in corelationeel onderzoek..............................................................................................18
Samenhang in corelationeel onderzoek............................................................................................19
Tabellenanalyse............................................................................................................................19
Associatiematen...........................................................................................................................19
Centrale tendtie............................................................................................................................19
Cross-sectioneel onderzoek...............................................................................................................19
Probleem van de derde variabele.................................................................................................19
Statistische controle.................................................................................................................19
Causale interpretaties...................................................................................................................19
Longitudinaal onderzoek...................................................................................................................19
(Cross-lagged) panel onderzoek........................................................................................................19
Data verzameling.............................................................................................................................................20
Meten van variabelen.................................................................................................................................20
Meten met behulp van test en schalen.......................................................................................................20
Test en schalen.......................................................................................................................................20
Meten door middel van vragen..................................................................................................................21
Afnemen van vragenlijst.........................................................................................................................21
Constructie van vragenlijst.....................................................................................................................22
Formulering van vragen.........................................................................................................................22
Begrijpelijk....................................................................................................................................22
Acceptabel....................................................................................................................................22
Neutraal........................................................................................................................................22
Ondubbelzinnig.............................................................................................................................22
Eendimensionaal..........................................................................................................................22
Vollegorde van vragen...........................................................................................................................22
Vraagvormen..........................................................................................................................................23
Gesloten vragen................................................................................................................................23
Dichotoom....................................................................................................................................23
Meerkeuze....................................................................................................................................23
Rating schalen...............................................................................................................................23
3
Kwalitatieve methoden van pedagogisch onderzoek
Rangschik vragen..........................................................................................................................23
Waarden.......................................................................................................................................23
Open vragen......................................................................................................................................23
Selectie van vragen................................................................................................................................24
Meten door middel van observatie.............................................................................................................24
Observatie vs vragenlijst........................................................................................................................24
Soorten observatie.................................................................................................................................24
Gestructureerd..................................................................................................................................24
Ongestructureerd..............................................................................................................................24
Participeren.......................................................................................................................................24
Niet participerend.............................................................................................................................24
Overt.................................................................................................................................................24
Covert................................................................................................................................................24
Kunstmatige setting...........................................................................................................................24
Natuurlijke setting.............................................................................................................................24
Systematische observatie.......................................................................................................................25
Tekensysteem....................................................................................................................................25
Time sampeling (intervalsysteem).....................................................................................................25
Event sampeling (frequentiesysteem)...............................................................................................25
Combinatie event en time sampeling................................................................................................25
Beoordelingsschalen..........................................................................................................................25
Waar/ wanneer observeren...................................................................................................................25
Wat observeren.....................................................................................................................................25
hoe registreren.......................................................................................................................................26
meten met behulp van bestaande gegevens..............................................................................................26
Soorten..................................................................................................................................................26
Inhoudsanalyse......................................................................................................................................26
Validiteit en betrouwbaarheid van de meting............................................................................................26
Validiteit.................................................................................................................................................26
Gezichtsvaliditeit...............................................................................................................................27
Inhoudsvaliditeit (content)................................................................................................................27
Criterium validiteit.............................................................................................................................27
Concurrente..................................................................................................................................27
Predicatieve..................................................................................................................................27
Congruente...................................................................................................................................27
Begripsvaliditeit (construct)..............................................................................................................27
Convergente.................................................................................................................................27
Discriminerende...........................................................................................................................27
A priori contrasten........................................................................................................................27
Betrouwbaarheid...................................................................................................................................27
Test-hertest betrouwbaarheid..........................................................................................................27
4
Kwalitatieve methoden van pedagogisch onderzoek
Parallel betrouwbaarheid..................................................................................................................27
Interne consistentie...........................................................................................................................27
Split-half.......................................................................................................................................27
Even en oneven............................................................................................................................27
Cronbach alpha.............................................................................................................................27
Interbeoordelaars..............................................................................................................................27
Intrabeoordelaars..............................................................................................................................27
Data analyse....................................................................................................................................................28
Experimenteel onderzoek...........................................................................................................................28
Externe validiteit....................................................................................................................................28
Statistische toetsing...............................................................................................................................28
Hoofd en interactie effect......................................................................................................................28
Corelationeel onderzoek.............................................................................................................................29
Analyse...................................................................................................................................................29
Interpretatie....................................................................................................................................................29
rapportage.......................................................................................................................................................29
het onderzoeksrapport...............................................................................................................................29
Belang van adequate bronvermelding........................................................................................................29
Rapportage criteria:....................................................................................................................................29
Kritische beoordeling van kwalitatief empirisch wetenschappelijk onderzoek....................................................30
Algemene kwaliteitscriteria.............................................................................................................................30
Peer reviewd....................................................................................................................................................30
Beoordelingscriteria........................................................................................................................................30
Conceptueel model.....................................................................................................................................30
Onderzoeksontwerp...................................................................................................................................30
Methoden van pedagogisch onderzoek Waarom methoden Doel: zoeken naar en creëren van antwoorden op problemen hoe is men tot resultaten gekomen? Weg van probleemstelling naar tot antwoorden
5
Kwalitatieve methoden van pedagogisch onderzoek
Evidence based handelen = wetenschappelijk
Kwantitatieve methoden Kwantitatief, kwalitatief en gemengd onderzoek
3 wetenschapsfilosofische uitgangspunten Eigen methoden van onderzoek
Kwantitatieve onderzoekscyclus Wetenschappelijk onderzoek: keuzes maken deze kunnen verantwoorden ! generalisatie
6
werkelijkheid = objectief algemeen geldende wetten doel wetenschap: wetten afleiden en bepalen wetenschappelijke kennis= het geheel van wetten over een fenomeen werkelijkheid verklaren en toetsen --> via algemene wettenhypotheses weerleggen of bevestigen testen gestructureerd en gecontroleerd onderzoek objectief data verzamelen storende factoren uitschakelen
positivisme = kwantitatief (natuurwetenschappen en exacte wetenschappen)
werkelijkheid = door uniek individu geconsrueerd mens als uniek wezen dat betekenis geeft aan zijn wereld geconstroleerde subjectiviteit uniciteit begrijpen open methoden van onderzoek --> subjectiviteit tot zijn recht laten komenonderzoek: subjectief en specifiek
interpretatievisme/ constructivisme = kwalitatief
maatschappij in vraag stellen verandering door elementen beïvloeden
kritisch emancipatorisch= gemengd
Kwalitatieve methoden van pedagogisch onderzoek
De Groot: De empirische cyclus
Hypothetisch deductief model Gebruikt in methodologie en diagnostiek Positivisme: afleiden en toetsen van hypotheses Verondersteld duidelijke theorie
Inductief model (exploratief onderozek) Vertrekken van werkelijkheid Nog geen theorie gegevens verzamelen
Theorie verfijnen gegevens samen voegen tot theorie
Het onderzoeksproces
7
observatie
bepaald concreet probleem
inductie
kaderen in theorie
deductie
hypothese afleiden en omzetten in toetsbare voorspelling (=operationaliseren)
toetsing
gegens verzamelen hypothese bevestigen of weerleggen
evaluatie
klopt de hypothese?
Kwalitatieve methoden van pedagogisch onderzoek
Doel= met behulp van empirische gegevens inzicht krijgen in een probleem dat zich stelt vanuit een waarden patroon en observatie
Fases in het onderzoeksproces Probleemstelling Observatie Theoretisch kader Inductie Onderzoeksvragen en hypotheses Deductie Onderzoeksontwerp Toetsing Gegevensverameling Gegevens analyse Interpretatie Evaluatie Rapportering
Probleemstelling Vertrekpunt vanuit interesse of observatie Doel: inzicht krijgen in het probleem Uit onderzoeksbevindingen conclusies trekken over hoe we een probleem verminderen of elimineren Welk probleem waardenoriëntatie en toevallige omstandigheden Het onderwerp/ probleem ! Uitvoerbaar en onderzoekbaar ethische commissie
Praktisch: onderzoek naar praktische implicaties vanuit de praktijk Fundamenteel: verschillende gaten in theorieën oplossen vanuit de theorie
Doelstelling Relevantie
Praktische/ maatschappelijke relevantie toekomstig beleid Theoretische relevantie theoretische interesse
Vraagstelling bepaald onderzoeksdesign Beschrijvend: beschrijven hoe een fenomeen zich in de werkelijkheid voordoetRelationeel: samenhang tussen fenomenen verband (corelationeel)Causaal: het ene veroorzaakt het andere oorzakelijk verband (experimenteel)Evaluerend: effect van een interventie
Conceptueel model Ideeën over te onderzoeken probleem vanuit theoretisch kader Ontwerpen van hypotheses over mogelijke verklaringen voor het probleem Kiezen van instrumenten Ondezoekselementen, variabelen en onderzoeksvraag/ hypothese
Theorie Doel: scherpstellen en afbakenen van probleem Theoretisch kader = conceptueel model
LiteratuurstudieLiteratuur= het geheel van kennis over een bepaald topic binnen een domein Literatuurstudie= verzamelen, beoordelen en syntheseren van literatuur
Terugkerende fase Onderzoeksvorm Systematische review (synthetiseren van alle literatuur over een bepaald topic) Meta-analyse (systematische review waar we statistiek op toepassen)
Theoretisch kader Hypothese afleiden: theorie nodig om tot onderzoekbare hypotheses te komen Kritische review: sterke en zwakke punten beoordelen uit verschillende studies Terugkoppeling: verder bouwen op de theorie van waar we begonnen zijn Inzicht krijgen: in concepten en theorieën
8
Kwalitatieve methoden van pedagogisch onderzoek
Theoretisch kader Probleem theoretisch verwerken probleem plaatsen tov theorie Vastleggen op theoretisch niveau:
Onderzoekselementen: wie of wat gaan we onderzoeken Variabelen: kenmerken die we bestuderen Hypothese: relatie tussen variabelen van onderzoek elementen
Waarom Onderzoek situeren binnen bestaande theorieën
Theoretische invulling van concepten Lokaliseren van onderzoek
Literatuurstudie als terugkerende fase Status quaestionis: stand van zaken over een bepaaldonderwerp
Synthese: eigen onderzoek opstellen op basis van beperkingen van vorig onderzoekPeer review: betrouwbare wetenschappelijke bronnen Kritisch beoordelen: beperkingen en bijdrage van onderzoek
Doel: Verfijnen van onderzoeksvraag (ifv operationalisatie) Eigen bijdrage aan bestaand onderzoek
Integratief en niet lineair: geen rechtlijning proces, steeds terugkeren naar voorgaande elementen om deze aan te passen of te verfijnen
Waar zoeken Wetenschappelijke bronnen
Studie boeken: veel verschillende studies/ onderwerpen Studies: over één onderwerp, gedetailleerde infoInternationale handboeken: verschillende studies door experts Synthese: alle literatuur over een onderwerp
Op welke plaats zoeken Databanken: online verzameling van onderzoeken ReferentiesHandmatig zoeken Grijze literatuur: peerreview door experts voor het gepubliceerd wordt
Zoekstrategieën Trapsgewijs zoeken: algemeen specifiek Geketend zoeken (sneeuwbal methoden): specifiek specifiek Zoektermen
PI(C)O: population intervention comperresment (controlegroup) outcome Thesaurus: keuwords Truncatie: verschillende kernwoorden met gemeenschappelijk deel (*) Booleaanse operatoren: AND (onderzoekselementen en variabelen) OR (synoniemen) NOT (uitsluiting) Inclusie en exclusie criteria
Bereik: disciplines en theoretische stromingen Types bronnen Datum Taal Grijze literatuur
! expliciteer bij rapportage transparantie voor lezer en betrouwbaarheid (iemand anders bekomt zelfde resultaat)
9
Kwalitatieve methoden van pedagogisch onderzoek
Verwerken: leesstrategie Oriënterend lezen totaal beeld (is artikel relevant?) Skimmend lezen (diagonaal lezen) specifieke informatie Integraal lezen details (kritische beoordeling methodologie) Functionele samenvatting (ifv onderzoek): reflectie, samenvatting, kritische bedenking, structuren)
Als onderzoeksvorm Verschillende soorten onderzoek tegenstrijdige resultaten
Systematische reviewSynthese van alle bestaande literatuur over een bepaald topic
Gerichte onderzoeksvraag Expliciete zoekstrategie Kritische beoordeling Outcome: synthese
Meta analyse Statistische synthese van alle bestaande literatuur over een topic Statistiek gebruiken om uitspreken te doen over resultaten van verschillend onderzoek significant effect?
Onderzoekselementen Op wie/ wat van toepassing theoretische definitie Waar we kenmerken aan gaan toeschrijven Verschillende niveaus: collectiviteiten, groepen, paren, individuen Implicaties voor interpretatie en conclusie externe validiteit ! niveau verwarring! (gegevens zijn niet generaliseerbaar naar een ander niveau) Implicaties voor gegevens verzameling en analyse
Varriabelen (latent, theoretisch) Kenmerken van onderzoekselement bepalen welke relevant zijn Hypothese: verwachte samenhang van geselecteerde kenmerken Theoretische definitie: wat verstaan we onder een variabele theoretische variabelen
Categorisch: individu plaatsen binnen een categorie Dimensioneel: maten waarin iemand zich op een spectrum bevindt (continuüm)
Afhankelijk en onafhankelijk
Mediator: Interveniërende variabelen AV en OVEen variabele kan de afhankelijke variabele zijn voor een andere onafhankelijke variabele, maar ook een onafhankelijke variabele voor een andere afhankelijke variabele
10
afhankelijke wat we manipuleren geven ene verklaring
onafhankelijke wat we bestuderen wat we willen verkalren
onafhankelijke medeator afhankelijke
Kwalitatieve methoden van pedagogisch onderzoek
Moderator-variabele: OVBepaald/ heeft invloed d op het verband tussen twee variabelen geeft meer genuanceerde verklaring voor de samenhang Interactie
Storende variabelen: controle variabelen en testvariabelen Controle: vastleggen en controleren via design en statistiek
Matchen vergelijkbare groepen maken Test: causale samenhang bepalen
Alle variabelen waarvan men verondersteld dat zij samenhang tussen x en y zouden kunnen verklaren Derde variabelen
Overzicht maken van variabelen en hoe ze onderzoek beïvloeden
Onderzoeksvraag Bepaalt design Verwachte relatie tussen variabelen richting: positief of negatief (= relatie) Beschrijvend – relationeel – causaal – evaluerend
Bepaald onderzoeksdesign
Hypothese Hypothese: toetsbare voorspelling over samenhang Positief of negatief lineaire samenwerking rechtlijnig verband: gaat stijgen OV samen met stijging of daling van AVCurvelineair: geen rechtlijnig verband Causaal of niet causaal beinvloed de ene variabele de andere? Toetsend: hypothese toetsen aan empirisch materiaal Explorerend: zonder expliciete hypothese te formuleren Beschrijvend of descriptief: geven van een beschrijving van een aantal onderzoekelementen aan de hand van tevoren in het conceptueel model opgenomen variabelen
Concretiseren van het conceptueel model Conceptueel model vertalen in onderzoeksontwerp Inductie deductie: Operationaliseren van theoretische concepten Theorie empirie Welke onderzoekelementen komen in aanmerking voor het onderzoek? steekproef Hoe de variabelen uit conceptueel model operationaliseren? meetinstrumenten Op welke wijze worden er gegevens over de onderzoekselementen verzameld verzamelmethoden Zijn de veramelde gegevens geldig en betrouwbaar validiteit en betrouwbaarheid Op welke wijze moeten de gegevens verwerkt worden geschikt maken voor analyse (coderen)Op welke wijze moeten gegevens geanalyseerd worden analysemethoden Selectie van onderzoeksdesign experimenteel of corelationeel
Onderzoeksontwerp Onderzoekselementen: Welke personen steekproeftrekking
11
onafhankelijke medeator afhankelijke
Moderator
Kwalitatieve methoden van pedagogisch onderzoek
Variabelen: Welke gegevens meetinstrumenten Hoe gegevens verzamelen, verweken en analyseren Selectie onderzoeksdesign (corelationeel of experimenteel) Plan data analyse Theoretische termen vertalen in conceptueel model
Vastleggen in onderzoeksprotocol
Steekproeftrekking
Onderzoekselementen Individu, paren, groepen, collectiviteiten
Populatie Populatie: op wie of wat heeft ons onderzoek betrekking
Totaal mogelijke onderzoekselementen Operationele definitie
Context: tijd en plaats van gegevens verzameling Kenmerken (inclusie en exclusie criteria)Meetbaarheid
Implicaties voor conclusies en externe validiteit generaliseerbaarheid: op wie zijn de resultaten van toepassing Theoretische en praktische overwegingen
Theoretisch: theoretische samenhang tussen eigenschappen Elementaire eenheden
Steekproef = selectie van n elementen/ eenheden uit de populatie Steekproeffractie: n/NDoel: generaliseren naar populatie (resultaten uit steekproef gebruiken om fenomenen in de populatie te verklaren)
Representatieve steekproef: steekproef geeft betrouwbaar beeld van populatie Aselecte trekking: toeval bepaald welke elementen in steekproef komen
Grote van de steekproef: afhankelijk van Grote van de populatie (steekproeffractie) Response rate: verhouding mensen die aangeschreven worden en mensen die deelnemen Variabiliteit in meting Aantal variabelen Vertrouwen in uitkomsten (betrouwbaarheid): hoe groot moet de steekproef zijn om op een
betrouwbare manier uitspreken te doen bepalen via statistiek Foutenmarge (betrouwbaarheidsinterval) Doel: parameter schatten (nagaan of bepaalde groepen in een afhankelijke variabele verschillen van
andere groepen) en groepen vergelijken Praktische overwegingen: soort gegevens en beschikbaarheid deelnemers
12
Kwalitatieve methoden van pedagogisch onderzoek
Steekproeftechnieken
Aselecte trekking = het toeval bepaalt welke elementaire eenheden in de steekproef getrokken worden
Enkelvoudige aselecte steekproef: grabbelton methoden en toevalsgetallen Mogelijke problemen:
Geen gelijke verdelen van een bepaald kenmerk Hoe kleiner de steekproef, hoe meer vertekening
Voordelen Eenvoudig Voorwaarden voor statistische toetsen Geen voorkennis van populatie nodig
Systematische steekproef Bv. Methode van random nummers (toevalsgetal) Genummerde lijst van N eenheden, trekken van n eenheden door telkens hetzelfde aantal eenheden weg te laten
Eenheden moeten willekeurig gerangschikt zijn ! periodiciteit
Voordelen Eenvoudig Steekproefeenheden zijn goed verspreid over populatie
Nadelen Vertekening door periodiciteit Verdeling van bepaalde kenmerken
Gestratificeerde steekproefPopulatie verdeeld in strata (homogeen naar een bepaald kenmerk Proportioneel: verdeling in steekproef is hetzelfde als in populatie (representatief)Niet-proportioneel: even veel mensen uit verschillende strata (vergelijking)
Oplossing: gemiddelde gebruiken
Clustersteekproef Steekproef onderverdelen in primaire en secundaire eenheden aselecte trekking in clusters Voordeel
Efficiënt en goedkoop Nadeel
Geen zuivere EAS: samenhang van gegevens binnen één cluster afhankelijke dataVertekening Beperkte variatie tussen verschillende leden van een cluster
Twee of meetrapssteekproef Aselecte selectie uit eenheden van secundair en/of tertiair niveau
13
Kwalitatieve methoden van pedagogisch onderzoek
Voordelen: Representatief
Nadelen Tijdsintensief
Niet aselecte steekproeven
Gemakssteekproef Respondenten die voor de hand liggen
Sneeuwbal steekproef Vanuit 1 respondent meerdere respondenten zoeken
Quata steekproef Selectieve selectie van eenheden per stratum even grote verhouding in onafhankelijke variabelen Gevaar: beperkt generalisatie
Vervolgonderzoek Nuanceren voor wie en onder welke condities samenhang gelden
N=1 steekproef Vaak in klinisch onderzoek
Single subject researchOnderzoek naar behandelingsmethoden
Case studie Diepgaand onderzoek van een enkel geval
Kwaliteit van steekproeven Match met onderzoeksvraag Voorkomen van vertekening
Operationele definitie van onderzoekselementen Wijze van steekproeftrekking Omvang van steekproef Non respons
Generalisatie externe validiteit
Onderzoeksdesign Experimenteel vs corelationeel
Afhankelijk van onderzoeksvraag Experimenteel: heeft OV invloed op AV
= causale vraag of evaluerend Corelationeel: beschrijvend of relationeel Causaliteit: variantie in OV produceert variantie in AV
Causaal verband= samenhang, oorzaak gevolg verband Tijdsdimensie: OV gaat vooraf aan AV Geen storende factoren: alternatieve verklaringen voor samenhang
14
Kwalitatieve methoden van pedagogisch onderzoek
Experimenteel onderzoek = vraag naar causaliteit
Basiskenmerken Manipulatie: verandering teweeg brengen in de OV om te zien welk effect dit heeft op AV ! verschil in OV is enige verschil veranderingen in AV kan niet door een ander effect verklaard wordenManipulatie check: kijken of manipulatie invloed heft op experimentele groep en of dit het gewenste effect is
Experimentele en controle conditie Tussen subject design: twee groepen die elk aan een conditie worden toegewezenBinnen subject design: twee groepen die om de beurt aan alle condities worden toegewezen
Voordelen: efficiëntie, geen invloed van selectie Nadeel: volgorde effect, oefening en vermoeidheid
Counter balanceren: elke volgorde komt even vaak voor Differentiële overdracht: volgorde heeft effect op resultaten (de effecten van de ene interventie werken door op de volgende interventie)
Randomisatie: at random verdelen over condities en volgorde Random controled trail Covariantie analyse: effect van initiële verschillen bepalen Uitschakelen of onder controle houden van buiten experimentele factoren Matching: het gelijkstellen van controlegroep en experimentele groep voor bepaalde variabelen Storende factoren onder controle houden Frequentie matching: twee homogene deelgroepen gelijke verdeling in conditiesPrecisie matchen: verdelen in paren paren van deelnemers die identiek zijn voor een kenmerk Matchen op controle variabelen: variabele die samenhangt met OV en AVUitschakelen of onder controle houden van buiten experimentele factoren
Standaardisatie Constant houden van
OmstandighedenManipulatie/ interventie binnen zelfde conditie Meetinstrument: zelfde instrument op dezelfde manier gebruiken
Blindering: niet weten wie in welke conditie zit voorkomen van vooroordelen dubbel-blind procedure: onderzoeker en deelnemer zijn geblindeerd
storende factoren alternatieve verklaringen voor een effect Buitenexperimentele factoren:oorzaak ligt in andere factoren dan de factoren waarvan we het effect willen vaststellen
Rijping Spontane vooruitgang van individuen Voor alle biologische en psychologische processen
Testing Hoger score bij een tweede meting met hetzelfde instrument History Gebeurtenissen die los staan van het experiment, maar wel een invloed
hebben op de resultaten Regressie Extreme scores bij een eerste meting zullen bij een tweede meting meer naar
het gemiddelde gaan Selectie Groepen verschillen in verschillende kenmerken Instrumentatie Afname effect: manier van afnemen beïnvloed de meting
Plafond effect: boven grens aan wat gemeten kan worden Bodem effect: ondergrens aan wat gemeten kan worden
Uitval Respondenten die stoppen met het onderzoek systematische uitval Interactie Verschillende storende factoren die elkaar beïnvloeden
15
Kwalitatieve methoden van pedagogisch onderzoek
Pre-experimentele designs
One shot case study X O
One group pretest posttest design O1 x O2
Statistische groepsvergelijking Twee of meer groepen met elkaar vergelijken X O1 X1 O1
O2 of X2 O21 groep krijgt een treatment of allebei de groepen krijgen een treatment
Interne valide designs Experimentele en controle groep Uitschakeling van storende factoren
Posttest only control group design
Randomisatie en matching, twee condities, enkel nameting
Pre-test-posttest control group design
Voormeting voor afhankelijke variabelen Wel of geen voormeting? Voordelen voormeting:
Check randomisatie Verandering in scores waarnemen
Nadeel voormeting Sensibilisatie effect (bij onderzoek naar houdingen en meningen) Invloed
Solomon four group design
Nagaan of voormeting een effect heeft op de resultaten Iets zeggen over interventie, voormeting en combinatie
16
Kwalitatieve methoden van pedagogisch onderzoek
Complexere designs
Meerdere niveaus OVMeerdere condities met elkaar vergelijken
Meerdere AV’s Meerdere variabelen
Factoriele mixed designs De categorieën van de ene variabele worden gecombineerd met de categorieën van de andere variabelen of van andere variabelen om te komen tot groepen die elk een specifieke behandeling krijgen Twee of meer OV (=factoren) AxB design
Mixed designs Wanneer men het effect van één onafhankelijke variabele waarmee gemanipuleerd wordt onderzoekt voor verschillende subgroepen afzonderlijk Twee of meer manipulaties manipuleerbaar en niet manipuleerbaar
Designs met herhaalde meting Verschillende nametingen om vast te stellen of het effect een blijvend karakter heeft Onderzoekselementen worden meerdere malen met een treatment geconfronteerd en nameting
Treatment is steeds hetzelfde Treatment is steeds anders counterbalancing designs
Single subject research N=1 experiment single case study: het effect van een behandeling bij 1 persoon bepalen
Reversal design (ABAB)
A= controle conditie B= experimentele conditie A en B wisselen elkaar afEthisch verantwoord? als we weten dat een bepaalde interventie gevaarlijk gedrag verhogen
Multiple baseline design
Interventie toepassen in verschillende situaties om het verschil in effect te meten
17
Kwalitatieve methoden van pedagogisch onderzoek
Tijdserie design
Groot aantal metingen At random bepalen op welk moment men de interventie gaat uitvoeren
Quasi experimentele designs Voldoet niet aan alle voorwaarden om te kunnen spreken van een experimenteel design geen zuiver experimenteel ontwerp
Niet equivalente controlegroep Randomisering is niet mogelijk of niet gelukt Resultaten kunnen verklaard worden door selectie of interacties
Corelationeel onderzoek Vragen naar samenhang
Samenhang vaststellen Groote van samenhang vergelijken Samenhang over lange tijdsperiodenindividuele verschillen
Manipulatie niet mogelijk of niet ethisch Naturalistisch onderzoek Multi-causale fenomenen: er zijn veel factoren die een invloed hebben en geïnteresseerd in hun onderlinge interactie Specifieke onderzoeksvragen
Analyse van 1 variabelen
Frequentieverdeling Hoeveel een onderzoekselement tot de verschillende categorieën tot de verschillende categorieën van variabelen behoren Proportie en percentage
Maten van centrale tendentie Gemiddelde Mediaan (middelste waarneming) Modus (meeste onderzoekselementen)
Causaliteit in corelationeel onderzoek Aantonen of onafhankelijke variabele X in de tijd aan afhankelijke variabele Y voorafgaat en dat de samenhang tussen X en Y niet verklaard kan worden door ander variabelen Tijdsvollegordeprobleem: de vollegorde waarop x en y voorvallen
18
Kwalitatieve methoden van pedagogisch onderzoek
Samenhang in corelationeel onderzoek Samenhang: het gelijktijdig variëren van x en y
Tabellenanalyse Kruistabellen relatie tussen twee variabelen (combinaties van de waarden van twee variabelen) Samenhang berekend in percentages Interactie tussen twee variabelen Positieve of negatieve samenhang
Associatiematen Correlatiecoëfficiënt: Getal dat de mate van samenhang weergeeft
Centrale tendtie Voor verschillende subgroepen na gaan hoe ze gemiddeld op een schaal scoren
Cross-sectioneel onderzoek Samenhang tussen twee variabelen op 1 meetmoment
Probleem van de derde variabeleSamenhang mag niet verklaard worden door andere variabelen uitsluiten van alternatieve verklaringen We moeten een idee hebben over welke variabelen mogelijks de samenhang kunnen beïnvloeden opnemen in model Statistische controle Eleboratietechniek: om na te gaan of de samenhang tussen twee variabelen verklaard kan worden door een derde variabele Partiële correlatie: derde variabele zoeken via correlatiecoëfficiënten Samenhang blijft: de derde variabele heeft geen invloed Samenhang verdwijnt:
Schijnsamenhang: als Z in de tijd aan X vooraf gaat en de oorspronkelijke relatie tussen X en Y verdwijnt
= storende variabele gemeenschappelijke oorzaak Interpretatie: als Z in tijd na X komt en de oorspronkelijke relatie tussen X en Y verdwijnt = mediator tussenliggende factor
Tijdvolgorde Veranderbaar
Samenhang verandert: Interactie: het verband tussen x en y veranderd door rekening te houden met Z = moderator
Beperkte controle via opzet Constant maken van derde variabelen om storend effect uit te schakelen Matchen op factoren die samenhangen met het fenomeen
Ex post facto onderzoek: groepen die men wil vergelijken achteraf gelijkwaardig maken voor een bepaald kenmerk = matchen voor derde variabelen
Causale interpretaties Onmogelijk in cross-sectioneel onderzoek tijdvollegorde probleem oplossen
Longitudinaal onderzoek Oplossing voor tijdvollegorde probleem meten op verschillende tijdstippen Conclusies trekken over de tijdvolgorde Meerdere meetmomenten in dezelfde steekproef met hetzelfde of verschillende meetinstrumenten Richting van het verband bepalen: horizontaal of verticaal
(Cross-lagged) panel onderzoek Op verschillende tijdstippen bij dezelfde onderzoeksgroep over dezelfde variabelen informatie verzameld Analyse via correlatiecoëfficiënt Verschillende golven
19
Kwalitatieve methoden van pedagogisch onderzoek
Data verzameling Onderzoek uitvoeren men kan verschillende verzamelingsmethoden gebruiken in één onderzoek
Meten van variabelen Variabelen: kenmerken van onderzoekselementenTheoretische variabelen indicatoren= hoe gaan we iets waar nemen? operationele definitie= items Meten: het bepalen van een waarde op de variabele
Enkelvoudig meten: 1 construct, 1 indicator Samengesteld meten: meerdere indicatoren voor eenzelfde construct
Kwaliteit van het instrument: afspiegeling van het instrument ten opzichten van het te meten fenomeen Vanuit theoretisch kader: Verschillende contexten en tijdstippen opnemen in meting verschillende manifestaties van construct Bepaalt keuzen instrument Waarnemingseenheid: degene bij wie we de gegevens gaan verzamen
Onderzoekelement of proxy’s (bij twijfel aan geldigheid van informatie) Meetniveaus: (is geen eigenschap van de variabele maar van het meetinstrument)
Nominaal Ordinaal Interval Ratio/verhouding
Implicaties voor statistiek Hoe meten? welke dimensies moeten we bevragen? Hebben we een of meerdere indicatoren nodig?
Operationalisering in vorig onderzoek Meten via:
Test en schalen Vragen Observatie Bestaand materiaal
Meten met behulp van test en schalen
Test en schalen Proces van operationalisering is al gedaan Gestandaardiseerd instrument
Afnameprocedure: hoe test moet worden afgenomen Scoring: hoe prestatie van de testpersoon gescoord en beoordeeld worden
Objectieve data, geen invloed van testafnemer Voorkomen van vertekening Meetfouten vermijden door procedures goed te omschrijven
Normatieve data: respons positioneren binnen de norm Normatieve steekproef (op grote schaal) om respondent binnen te situeren
Voordelen: Constructie onderzoek beschikbaar Steekproefselectie
Bestaande test testotheek ! doelpopulatie: test die we willen afnemen moet gericht zijn op de populatie waarbij we de test willen afnemen
Kwaliteit van bestaande test: de cotanTheoretische achtergrond Kwaliteit testmateriaal Kwaliteit handleiding Normen Betrouwbaarheid Begripsvaliditeit Criteriumvaliditeit
Toetsen van causale modellen
20
Kwalitatieve methoden van pedagogisch onderzoek
Pad-analyse (multiple regressie) Structurele vergelijking
Meten door middel van vragen Vragen: veertalingen van theoretische variabelen uit het conceptueel model Bestaand/ zelf ontwikkelen
Afnemen van vragenlijst Schriftelijk Mondeling Computer of papier Real-life of telefonisch = vragenlijst = interview: gesprek tussen interviewer en respondent Groepsenquête Groepsinterview: hogere respons met beperkte kosten
Kwaliteit van data: zorgen dat er geen vertekening komt op data doordat bepaalde respondenten overheersen
KostenGoedkoper Opstellen en afnemen is duurder
SteekproefgrootteMeer respondenten met minder kosten Verondersteld taalvaardigheid probleem bij jonge
kinderen ! voldoende, goed en betrouwbare gegevens verkrijgen
RespondentenAndere manier van reageren Andere manier van reageren
AnonimiteitAnonimiteit beter bewaakt Anonimiteit minder goed bewaakt
Aanwezigheid onderzoekerOnderzoeker is niet (altijd) aanwezig Geen invloed van aanwezigheid
Onderzoeker is aanwezig ! controle effect: reactie van respondent wordt beïnvloed ! biased-viewpoint effect: antwoorden anders interpreteren aan de hand van non verbale gegevens
Eerlijkheid en betrokkenheidMinder betrokkenheid Meer kans op oneerlijke antwoorden
Meer betrokkenheid, meer motivatie Aan gedrag afleiden of respondent eerlijk antwoordt
Volledigheid en kwaliteit van dataVragen kunnen overgeslagen worden Mogelijkheid om vragen toe te lichten
Zorgen dat elke vraag beantwoord wordt Aard van vragen
Ander soort vragen en andere manier van antwoorden Makkelijker emotioneel moeilijke zaken aan de orde brengen
Aantal vragenVerveling Respons set
Motiverender meer vragen stellen Afhankelijk van de tijd
VerwerkingMakkelijker te verwerken Kiezen uit aantal antwoordmogelijkheden
Andere manier van verwerking nodig
Motiveren waarom je voor welke methode kiest respondent, rol interviewer, volledigheid en kwaliteit van data
Constructie van vragenlijst Selectie: welke vragen theoretisch en empirisch
21
Kwalitatieve methoden van pedagogisch onderzoek
Formulering en vorm: hoe gaan we vragen stellen Volgorde: halo effect vermijden (antwoord op de ene vraag heeft een invloed op het antwoord op de volgende vraag Pilootstudie: om te achterhalen of we voldoende en juiste informatie verzamelen eventueel aanpassingen doen Operationalisering: construct indicatie operationele definities
Formulering van vragen ! validiteit
Begrijpelijk Rekening houden met verwachte kennis en info Alle antwoordmogelijkheden opnemen (ook ‘ik weet het niet’)De tijd die verlopen is sinds de gebeurtenis Het belang dat de respondent hecht aan de gebeurtenis
Acceptabel Oppassen voor sociaal wenselijk antwoord Onderwerpen in de taboesfeer of vragen die dreigend kunnen overkomen Indirecte vragen: om de mening van de respondent te achterhalen Projectiemechanisme hypothetische situatie: ‘hoe denkt u dat andere zouden reageren’ (eigen mening achterhalen)
Neutraal Oppassen voor suggestieve vragen (uitlokken van een antwoord) Alle antwoordmogelijkheden geven
Ondubbelzinnig Onderwerp van de vraag moet door alle respondenten op dezelfde manier begrepen worden
Eendimensionaal Eén ding tegelijk bevragen
Vollegorde van vragen Vollegorde van
Te bespreken onderwerpen Vragen over een onderwerp
Storing op meting door vollegorde Funnel approach:
Algemeen specifiek Kennis mening
Voorkomen dat antwoorden op specifieke vragen het antwoord op algemene vragen bepalen Halo effect: het stellen van de ene vraag heeft invloed op de wijze waarop de volgende vraag beantwoordt wordt Respons-set: systematisch beantwoorden van vragen die op elkaar lijken Aandachtscurve: minder aandacht naar het einde van de vragen Hoeveelheid items per categorie afhankelijk van complexiteit van het thema
Vraagvormen Gesloten vragen Vooral bij kwantitatief onderzoek meer controle op storende factoren en gemakkelijk te analuseren Mogelijke antwoorden liggen op voorhad vast
22
Kwalitatieve methoden van pedagogisch onderzoek
Uitputtend: alle antwoordmogelijkheden Uitsluitend: geen overlap tussen antwoordopties
DichotoomNominaal
Twee antwoordmogelijkheden Probleem: ongenuanceerd en positieve bias Voordeel: eenvoudigGedichotomiseerd: bestaande categorieën samenvoegen om het aantal terug te brengen naar 2
Meerkeuze Nominaal
Vragen met meer antwoordmogelijkheden Uitputtend en uitsluitend Formele antwoordcategorieën: verschillende vragen met dezelfde antwoordmogelijkhedenPositieve response set: voornamelijk positieve antwoorden geven Voordeel: eenvoudig en details Nadeel: rankorde effect (antwoorden die bovenaan staan worden sneller gekozen
Rating schalen(quasi) interval
Meten van houding en mening Paarsgewijze vergelijking: welke categorie vindt respondent het belangrijkste Voordeel: differentiatie in antwoorden en verschillen waarnemen Nadeel: groot risico op response-set (mensen vermijden extreme antwoorden)
Rangschik vragen
Categorieën rangschikken volgens belangrijkheid Q-sort methode: categorieën rangschikken, op voorhand bepalen hoeveel er in elke categorie mag Verhoudingen tussen antwoorden bekijken Voordeel: informatie over voorkeuren Nadeel: complexe data analyse
Waarden Interval/ratio
Vragen naar aantallen Voordeel: eenvoudig en accuraat Nadeel accuraatheid kan in vraag gesteld worden zekerheid waarmee respondent antwoordt
Analyse techniek afhankelijk van meetniveau Meetniveaus:
Nominaal: verschil Ordinaal: rangorde, geen getal Interval: rangorde, geen nulpunt Ratio: rangorde, nulpunt, verschil, verhouding Quasi interval: scores op items optellen
Open vragen Vooral bij kwalitatief onderzoek Mogelijke antwoorden liggen niet op voorhad vast respondent geeft zelf invulling Voordelen
Respondent kan in zijn eigen woorden antwoorden Levert meer waarheidsgetrouwe antwoorden op Meer motiverend Meer genuanceerde info Doorvragen is mogelijk Nagaan of de vraag goed werd begrepen
Nadelen Antwoorden moeten letterlijk genoteerd worden Verweking neemt meer tijd in beslag Lagere betrouwbaarheid toevalligheid van de gedachten van de respondent Antwoorden afhankelijk van de openheid/ geslotenheid van de respondent
Algemeen open vs specifieke deelvragen
Selectie van vragen Theoretische selectie: wat willen we weten op basis van theoretisch construct Empirische selectie: statistiek om goede vragen te selecteren
23
Kwalitatieve methoden van pedagogisch onderzoek
Variantie Item-totaal correlatie
Pilootstudie: instrument uittesten en daarna vragen aanpassen of weglaten
Meten door middel van observatie
Observatie vs vragenlijst Soort gegevens: feitelijk gedrag vs houding (niet observeerbaar gedrag) & nu vs in het verleden Deelnemers: observatie als respondent geen vragen kan beantwoorden Contextfactoren en interactie: gedrag in groep Invloed van onderzoeker: aanwezigheid, interpretatie vertekening Praktische overwegingen: aantal respondenten en beschikbare tijd
Soorten observatie Gestructureerd Ongestructureerd
Observatie systeem Flexibel Deductief: vanuit theorie Inductief: vanuit topic Makkelijkere verweking Moeilijker te verwerken Vaststellen van voorkomen, frequentie en duur Niet op voorhad bepaald wat we gaan observeren Objectief Risico op subjectiviteit Kwantitatief Kwalitatief Reducerend Totaliteit Participeren Niet participerend Deelnemen Niet deelnemen Begrijpen: waarden normen en gedragingen Natuurlijke omgeving Risico: invloed van relatie en status Biased viewpoint
Invloed van interpretatie van onderzoeker Niet mogelijk al het relevant gedrag te observerenPositie in rolllenstructuur geeft beperkte toegang
Controle effect Invloed van onderzoeker op groepsproces
Overt Covert Open observatie Gesloten observatie Onderzochte weet dat hij geobserveerd wordt Deelnemers weten niet dat ze geobserveerd worden
Minder controle effect Kunstmatige setting Natuurlijke setting Gecontroleerd door onderzoeker Bekent voor onderzochte
24
Kwalitatieve methoden van pedagogisch onderzoek
Systematische observatie Ifv onderzoeksvraag Time sampeling vs event sampeling Waarnemen vastleggen in van tevoren opgestelde observatiesystemen
Categorieën moeten uitputtend en uitsluitend zijn Best op voorhand observeren
Specimen description: zo uitgebreid mogelijk verslag van de gebeurtenissen Verschillen
Tijdsinterval Te observeren gedrag (verbaal of non verbaal) Direct of indirecte observatie Bestaand of eigen observatie systeem Observatie subject
Tekensysteem Lijst met gedragingen, observator kijkt of gedrag voorkomt binnen een bepaald tijdsinterval
Time sampeling (intervalsysteem) Op vastgelegde tijdstippen bepalen welk gedrag zich heeft voorgedaan binnen het interval Intervalsysteem: te observeren tijdsperiode opdelen in kleine intervallen en voor elk interval noteren of gedrag zich voordoet
Te lang: meer dan één gedrag per interval Te kort: geen afgerond gedrag binnen interval
Event sampeling (frequentiesysteem) Event sampeling: noteren dat gedrag zich voor doet Frequentiesysteem: van te voren opgestelde reeks van categorieën (uitputtend en uitsluitend) waarop men aanduidt hoevaak het gedrag zich voor doet
Combinatie event en time sampeling Duurmethode: noteren van gerag dat zich voor doet en hoelang gedrag zich voor doet Vollegorde events: weten wanneer welk gedrag zich voor doet en in welke volgorde
Beoordelingsschalen Ratingscales: op een schaal aanduiden in welke maten het gedrag gesteld wordt Halo-effect: voorgaand gedrag kan beoordeling van volgend gedrag beïnvloeden (invloed van kenmerken of algemene indruk)
Waar/ wanneer observeren Op voorhand bepalen
Zorgen voor representatieve steekproef Willekeurig of systematisch (wanneer we weten dat gedrag zich voordoet)
Ifv onderzoeksvraag Waarnemingen moeten representatief zijn voor het doorsnee gedrag van de totale groep
Wat observeren Bepaald door:
de participant de setting het doel het sociaal gedrag de frequentie en duur
25
Kwalitatieve methoden van pedagogisch onderzoek
hoe registreren tijdens observatie: sleutelwoorden onmiddellijk na observatie periode specimen description of protocolleren: zo uitgebreid mogelijk verslag van de gebeurtenissen indexsysteem: gebeurtenissen of gedragingen die op dezelfde categorie betrekking hebben bij elkaar plaatsen checklist: belangrijke punten observatie aantekeningen: zo weinig mogelijk interpretatie nauwkeurig en betrouwbaar een feitelijke weergaven van gebeurtenissen geven theoretische notities: aantekeningen naar aanleiding van observatie aantekeningen methodologische aantekeningen: beslissingen die hij neemt in het onderzoek noteren
meten met behulp van bestaande gegevens reeds gepubliceerde gegevens Steinmetz archief Voordelen: efficiëntie (beperkte non-respons)
Niet reactieve meting: waarden van variabelen vast te stellen voor onderzoekselementen zonder dat die weten dat dit gebeurt
Nadeel: toegankelijkheid en operationalisering is al gebeurt (gegevens zijn verzameld met ander doel)
SoortenGeproduceerd en verwerkt Geproduceerd en geordend Ongeordend ruw materiaal zelf ordenen en verwerken via inhoudsanalyse
Inhoudsanalyse Gegevens ordenen, categoriseren en analyseren Analyse eenheid: over wie we informatie verzamelen (steekproef) Tel of meeteenheid: van waar we informatie verzamelen (discreet of continu) Contexteenheid: beslissen welke waarden de teleenheid zal krijgen Ruw materiaal dan nog niet geordend is, maar wel de indicering en operationalisering van variabelen gebruikt ka worden door een inhoudsanalyse op het materiaal uit te voeren Globaal aantekeningen over problemen aard van problemen inventariseren dossier opnieuw doorwerken
Validiteit en betrouwbaarheid van de meting wat is de kwaliteit van onze meting? Validiteit: Geldigheid: meten we wat we willen meten
Het gebruiken van relevante indicatoren Het niet gebruiken van irrelevante indicatoren Het vermeiden van systematische fouten
Betrouwbaarheid: hoe nauwkeurig we de waarde van een variabele vaststellen
Validiteit Die kenmerken, en alleen die kenmerken, meten die de onderzoeker wil meten Geldigheid van de operationalisering: vragen moeten een vertaling zijn van theoretische variabelen uit het conceptueel model Systematische fouten Theoretisch
Gezichtsvaliditeit Inhoudsvaliditeit
Empirisch Systematische meetfouten: fouten in het meetinstrument die de meetresultaten continu in een bepaalde richting beïnvloeden vermeiden door de manier waarop we vragen stellen Indiceren = empirische verschijnselen worden aangewezen als indicatoren voor theoretische variabelen
26
Kwalitatieve methoden van pedagogisch onderzoek
Gezichtsvaliditeit Test meet op het eerste zicht wat hij wil meten
Inhoudsvaliditeit (content) Indicatoren en vragen zijn een afspiegeling van variabelen Hangt ook af van de beoordeling van deskundigen
Criterium validiteit
Concurrente
Predicatieve
Congruente
Hangen de scores samen met een extern criterium?
In het heden of in het verleden
Toekomstig gedrag voorspellen
Vergelijking en samenhang met test die hetzelfde meet
Begripsvaliditeit (construct)
Convergente
Discriminerende
A priori contrasten
Begrijpen van het onderliggend theoretisch construct Voorspellingen over samenhang tussen variabelen afleiden uit theorie alternatieve verklaringen verwerpenSamenhang met testen die hetzelfde metenSamenhang met testen die iets anders metenAndere scores bij verschillende soorten respondenten
Betrouwbaarheid Nauwkeurigheid van de meting Interne consistentie: items moeten in dezelfde maten samenhangen, het resultaat mag niet afhangen van een item Stabiliteit: op verschillende momenten dezelfde uitkomst hebben
Test-hertest betrouwbaarheid
Samenhang tussen twee meetmomenten met hetzelfde instrument Vereist stabiel kenmerk Tijdsinterval?
te lang ruis op meting (mensen ontwikkelen en veranderen te kort geheugen effect
Parallel betrouwbaarheid Twee gelijkaardige testen die tegelijkertijd afgenomen worden Uitschakelen van geheugeneffect
Interne consistentie
Split-half
Even en oneven
Cronbach alpha
Onderlinge samenhang van items uit instrument Samenhang tussen twee delen van een test !oplopende moeilijkheid of onderwerp! In beide groepen vragen uit het begin en einde
Het gemiddelde nemen van alle mogelijke combinaties
Interbeoordelaars
Intrabeoordelaars
Proportie overeenstemming: #overeenstemmingen/#overeenkomsten+#verschillen Inter: tussen verschillende observatoren !interpretatie en training Intra: op verschillende meetinstrumenten met dezelfde observator Vertekening door: halo effect, vooroordelen, projectie, biased viewpoint effect, controle effect, bedrijfsblindheid
Meetfouten: systematisch vs onsystematisch Foutmarges: op elk instrument zitten meetfouten Onsystematisch: toevallige fouten: sommige respondenten zullen iets hoger scoren en andere iets lager (verschillen vallen tegen elkaar weg)
Data analyse De bekomen resultaten analyseren
27
Kwalitatieve methoden van pedagogisch onderzoek
Experimenteel onderzoek
Externe validiteit Generaliseerbaarheid Interactie effect test en treatment: effect van treatment is afhankelijk van voormeting Interactie van selectie en treatment: effecten van treatment zijn alleen generaliseerbaar naar de populatie waar de steekproef uit komt Reactieve arrangements: het verschijnsel dat onderzoekselementen zich in een onderzoek anders gaan gedragen, omdat ze weten dat ze aan een experiment deelnemen Multiple treatment interference: kan optreden als onderzoekselementen in een onderzoek met twee of meer treatments geconfronteerd worden
Statistische toetsing Zijn de geobserveerde verschillen statistisch significant? Analyse techniek is afhankelijk van het soort design
Hoofd en interactie effect Hoofdeffect: wat is het effect van de variabele Interactie effect: hangt het effect van de ene variabele af van de andere variabele
geen effect
hoofdeffect van AV
hoofdeffect van conditie
interactie effect
hoofdeffect conditie, AV en interactie effect
Factorieel design (hier het meest prominent) Conditie × Conditie → interactie tussen OVsConditie × Subjectvariabele → moderator
28
Kwalitatieve methoden van pedagogisch onderzoek
Het effect van de ene variabelen hangt af van de andere, er is een interactie effectPre-test – Post-test design
Meting × Conditie → check randomisatie + effectInteractie effect als er geen verschil is in voormeting maar wel in nameting
Binnen-subject designVolgorde × Conditie → check differentiële overdrachtWe willen dat het effect van volgorde in alle condities hetzelfde is, anders hebben we temaken met differentiële overdracht
Corelationeel onderzoek
Analyse Vaststellen van samenhang
Tabel analyse Associatie maten Centrale tendentie (multiple) regressie- analyse
Probleem van de derde variabelen Storende factoren Mediatoren Moderatoren
Interpretatie Vergelijken met conceptueel model, hypotheses
rapportagelezer moet zich een oordeel kunnen vormen over de juistheid van het gekozen conceptueel model, onderzoeksontwerp en de uitvoering
het onderzoeksrapport Abstract Korte samenvatting Inleiding Theoretisch kader, onderzoeksvraag en hypothese Methoden Steekproef, instrument, opzetResultaat Descriptief en inferentie Discussie Antwoord op onderzoeksvraag? Suggesties voor verder onderzoek en implicaties Acknowledgements Bedankwoord Referenties Aangeven welke bronnen gebruikt werden APA
Laat andere onderzoekers toe om te kijken op welk onderzoek jou onderzoek gebaseerd is
Appendix/ bijlagen
Belang van adequate bronvermelding Plagiaat: het overnemen van andere mensen hun ideeën zonder bronvermelding Parafraseren: verwoorden van wat iemand anders gezegd heeft en naar die persoon verwijzen Citeren: letterlijk overnemen, verwijzen met naam & jaartal & pagina
Rapportage criteria: Consort: Checklist voor experimenteel onderzoek Strobe: corelationeel onderzoek, checken voor storende factoren
29
Kwalitatieve methoden van pedagogisch onderzoek
Kritische beoordeling van kwalitatief empirisch wetenschappelijk onderzoek
Empirisch: er worden gegevens verzameld Inhoud en methoden moeten beoordeeld worden
Algemene kwaliteitscriteria Betrouwbaarheid: nauwkeurigheid en consistentie van het onderzoek en mogelijke toevalsfouten
Intern: consistentie Extern: repliceerbaarheid
Validiteit: de geldigheid van de conclusies Intern: kunnen we deze soort conclusies trekken Extern: zijn deze geldig voor de populatie generaliseerbaar
Bruikbaarheid: toegepast onderzoek
Peer reviewd = kwaliteitslabel Onderzoeker schrijft paper en stuurt deze door naar een redact
Beoordelingscriteria
Conceptueel model Inleiding: doel en bijdrage van studie? Literatuuroverzicht: relevante studies genomen, kritische analyse Onderzoeksvraag Hypothesen
Onderzoeksontwerp Onderzoekselementen
Populatie, kenmerken, steekproeftrekking, steekproefgrootteInstrumenten
Valide indicatoren? Kwaliteit en procedures Onderzoeksopzet
Experimenteel: Causale onderzoeksvraag Manipulatie van de OV Randomisatie Standaardisatie Invloed van storende factoren
Corelationeel: Beschrijvende/ samenhang onderzoeksvraag
Resultaten Ontbrekende gegevens? Uitval Duidelijke beschrijving van resultaten? Resultaten gekoppeld aan onderzoeksvraag
Discussie Gebaseerd op onderzoeksvraag en resultaten Link met bestaand onderzoek Beperkingen aan onderzoek Generalisatie
30
onderzoeker schrijft paper
suurt onderzoek
naar redacteur
bepaald kwaliteit van
het onderzoek
rescesent met gespecialiseer
de kennis
kijken naar tekort-
komingen
terug naar redacteur met
aanbeveling
onderzoeker krijgt feedback
en herziet artiekel
redacteur maakt een
beslissing over publicatie
publicatie