1

Validitet og reliabilitet(gyldighed og

pålidelighed)07.05.12

11. Kursusgang

Et spørgsmål om validitet

• 70 procent af alle P3´s lyttere er yngre mænd, mens resten er kvinder

• Problemformulering: Hvad er det der er galt med indholdet i P3’s programmer, som betyder at kvinder ikke lytter til kanalen?

• Er det en gyldig problemstilling?

2

Kvales syv stadier

Eksamen

4

5

• De kvalitative kriterier• De kvantitative kriterier

Validitet og reliabilitet

Gyldighed og pålidelighed

Validitet/gyldighed• Hele undersøgelsen• Hvad kan den sige om mit emne?

Reliabilitet/pålidelighed • Har jeg lavet fejl i min indsamling af data?• Er der fejl i mine data?

6

Et spørgsmål

• Er en undersøgelse der er pålidelig også gyldig?

7

8Lund, Anker Brink (1986): Habermas i hovedet og Gallup på papiret, s.

Metodekravene

9

Validitet (gyldighed)

"Validitet handler om at sikre sig, at man konkret undersøger det, som man sætter sig for at undersøge."

(Bente Halkier 2001: "Fokusgrupper, s.109)   Har du undersøgt det, man skal undersøge? • Ydre validitet (autencitet og dybde)• Indre validitet (konsensus)

Validitet – både kval/kvan

10

• Lav et systematisk stykke håndværk• Gør det gennemskueligt for andre og

så dine forforståelser• Fremlæg præmisserne for din

bearbejdning• Argumenter for dine resultaterFokusgrupper: Bente Halkier

Validitet i praksis

11

• Metodetriangulering

• At have nogle fornuftige udvælgelseskriterier

• "Når samfundsforskere nævner tre ting, der har betydning for validiteten burde de sige systematik, systematik, systematik"

Bente Halkier 2001: "Fokusgrupper, s.113

Styrk validiteten ved

Tre elementer i validitet

12

Tjeklisten for validitet - 1Konstruktionsvaliditet• Har du fat i det rigtige problem og har du fat i de rigtige variable

(forskningsspørgsmål)• Med al data ind kan du vurderer på validiteten i projektet• Vurder om du har overset faktorer, som kan have betydning for validiteten

Datavaliditet• Kan du svare på problemformulering på baggrund af din empiri • Forhold dig kritisk til din undersøgelser og vurder hele tiden, om du har tilstrækkeligt

datamateriale til at kunne drage nogle konklusioner (data-validitetsproblemer).• Ellers lav opfølgende undersøgelser for at få flere data indsamlet.

Undersøgelsesvaliditeten • Her vurderer du hele din metode i forbindelse med både empiriindsamling,

teorivalg og problemformulering.

Lav en selvkritisk vurdering• Samle dem i et metodekritikkapitel eller skriv dem ind i dine delkonklusioner.

13

Tjekliste for validitet - 2

Derudover skal du:• Lav et systematisk stykke håndværk• Gør det gennemskueligt for andre• Fremlæg præmisserne for din bearbejdning• Argumenter for dine resultater

14

Tjek tjeklisten…

• …og vend den med din sidemand, du ikke er i gruppe med…

15

16

Reliabilitet (pålidelighed)

Har man målt rigtigt? "I dag handler reliabilitet om at gøre sine

måder at producere og bearbejde data eksplicitte og gennemskuelige for andre, så andre kan vurdere, om der er lavet et ordentligt stykke håndværk."

(Bente Halkier 2001: "Fokusgrupper, s.111)

Reliabilitet

17

Objektivitet

– Kan tilstræbes – men kan vi nogensinde ikke være subjekter?

– Det væsentlige kriterium er intersubjektivitet, både i forhold til de interviewede og de andre forskere

 Repræsentativitet

– Næsten uladsiggørlig, forbeholdt den kvantitative metode, men interviewede man alle kirkegængere i Lumsås kirke eller medlemmer af et community så er man tæt på.

Kriterier fra den kvantitative metode

18

• Flere fokusgrupper• Give mulighed for at lave mange

modelbrugere• Være up-front overfor de kvantitative

undersøgelser• Men det handler om hvad man vil

undersøge og hvor komplekst det er

Tendenser – flere fokusgrupper

Formålet med kvantitative undersøgelser

””Formålet med kvantitative stikprøve-undersøgelser er at finde mønstre i mangfoldigheden. Disse undersøgelser fokuserer på et mindre antal kendetegn hos mange respondenter, hvor den kvalitative undersøgelse fokuserer på et større antal kendetegn hos få undersøgte enheder.”

Sepstrup, Preben (2002): ”En undersøgelse viser…”, s. 19

Måle og veje

Den kvantitative metode antager, at de undersøgte forhold kan måles og værdisættes eks:

 – Hvor hyppigt taler du i mobiltelefon?– Hvor vigtig er din mobiltelefon for dig på

en skala fra 1-5?– Kan man så det?

Styrke og svagheder

Metodens styrke– Klarhed– Overblik– Tal (– en undersøgelse viser…)– (Anerkendelse)

  Metodens svaghed

– Reduceret forståelse– Minus nuancer– Minus dybde

Validitet og repræsentativitet

Repræsentativitet:– Den gruppe, man spørger, skal repræsentere

den gruppe, man vil vide noget om

Validitet: Kan man tro på svarene? Forstås de rigtigt og ens – eks. ”bjørnetjeneste”

.

Validitet - spørgeskema

”Hvad synes du om hjemmehjælpen?”

- Hvem skal vi spørge?- Hvor og hvordan kan man spørge dem henne?- Hvad hvis vi spørger de gamle på biblioteket?

- Hvad hvis vi sender det ud til de gamle i deres hjem

23

Udvælgelse af svarpersoner

Systematisk udvælgelseF.eks. hver tiende husstand eller computergeneret), CPR-numre (koster penge), medlemslister (eks. hver femte), Nørreport (hver tiende person der går forbi), arbejde etc.

KlyngeudvælgelsePopulationen opdeles i delgrupper – klynger, der er repræsentative. Det kunne være alle 8. klasser i Nordjyllands amt.

Stikprøvens størrelse

Gallup bruger 1000 enheder til at sige noget om den danske befolkning, men ofte er 500 nok

I USA bruger de også 1000 enheder

Tommelfingerregel = ikke færre end 100 enheder

Konstruktion af strukturerede spørgeskemaer

Vær klar over formålet; hvad skal det bruges til?

 Begrænsningerne: Hvad kan man ikke forvente at få besvaret ved denne metode?

 Spørgeskemaerne kan være åbne, lukkede, semilukkede. Med efterfølgende konsekvenser for bearbejdningen.

 

27

Reliabilitet er spørgsmålet om målingens kvalitet. Man kan vurdere reliabiliteten i forhold til følgende potentielle fejlkilder:

• Subjekt-reliabiliteten: karakteristika hos respondenten under undersøgelsen, humør, tid...

• Observatør-reliabilitet: fortolkning eller påvirkning af respondentens svar fra interviewerens side.

• Instrument-reliabilitet: ex. var spørgsmålene klare for alle?

• Situationsreliabilitet: omgivelsernes påvirkning i indsamlingssituationen f.eks manglende briller eller link til spørgeskema i bunden af en mail

(DDA-nyt (1983):15-16)

Reliabilitet – kval/kvan

Tjeklisten - reliabiliteten

• Hvor pålidelige er de indsamlede data? Herunder: hvad kan have påvirket dataindsamlingen? (fx følsomme emner, respondenterne etc.)

• Hvordan har du foretaget målingerne? • Hvordan analyserer og bearbejder du data? Kan

du argumentere for din metode? Og kan andre læse sig frem til,

• Hvorfor du er kommet frem til de resultater, du kommer frem til? (vedlagte interviewudskrift og/eller citater, der underbygger en påstand)

28

Tjek tjeklisten…

• …og vend den med din sidemand, du ikke er i gruppe med…

29

30

Styrk validiteten

• Både af den kvalitative og den kvantitative undersøgelse

31

32

 "En måte å styrke validiteten i et prospekt på er metodetriangluering. Metodisk triangulering betyr å kompensere for svakheter ved én metode ved å bruke også andre metodiske tilnærminger.......Slik triangulering kan innebære at en bruker både kvalitative og kvantitative metoder..., eller at en bruker flere ulike kvantitative eller kvalitative metoder for å analysere en problemstilling.”

Helge Østbye m.fl. (1997): "Metodebok for mediefag", s. 101

Hvad er metodetriangulering

33

• Støtte validiteten (gyldighed - måler man det man vil måle) af undersøgelsen

• Dette kan også bruges til at vurdere, validiteten af de involverede undersøgelser.

• Levere viden, som det kvalitative interview er dårligt til f.eks. antal brugere, uddannelse, køn, etc

• Åbne øjnene for nye aspekter - f.eks. hvem der er de primære brugere af en hjemmeside Sikkertrafik.dk - bekymrede mødre og mandlige trailerentusiaster

 Forbehold• Men dette forudsætter, at alle involverede metoder

(delundersøgelser) er valide

Hvad kan metodetriangulering?

34

Bente Halkier beskriver tre årsager til at lave metodetriangulering:

 1) For at forbedre metoderne gensidigt

Ved at bruge den ene metode f.eks. fokusgruppeinterview som pilotmetode for at udvikle et større spørgeskema.

 2) Som opfølgning efter hinanden for at opnå

yderligere relevant informationEx. hvis individuelle interview viser, at den sociale interaktion er vigtig, så kan der følges op med fokusgruppeinterview – og omvendt.

Former for metodetriangulering, 1

35

3) Som ligestillede former for empiriEx. både at bruge individuelle interview og fokusgrupper for at opnå forskellige perspektiver.(Halkier (2002): ”Fokusgrupper”, s. 18-23)

Hvis I bruger metodetriangulering, så tænk over:

• Hvorfor er det en væsentligt eller en udbytterig fremgangsmåde til jeres formål?

Former for metodetriangulering, 2

36

Kim Schrøder kritik:• For at sige, at hvis resultaterne fra de anvendte metoder

understøtter hinanden er det fint. • Hvis ikke behøver, det ikke være et problem, men tegn på

mangfoldighed. Kim Schrøder mener at:

”Måske skulle vi med en anden metafor hellere se de forskellige metoder som forskellige optiske linser, hvor man jo forventer, at man ser noget forskelligt igennem dem?"

Kim Schrøder: "Pionerdagene er forbi, hvor går receptionsforskningen hen", s. 13.

Kritik af metodetriangulering

Slut for i dag

Bonus info:• www.statistikbank.dk• www.matematiksider.dk/

statistik1.html

37

38

• Det store spørgsmål er om man kan bruge resultaterne fra f.eks. fokusgrupper til at sige noget generelt om en større gruppe?

Kan man generalisere?

39

Generaliserbarhed Hvorledes kan kvalitative resultater generaliseres ? Statistisk generaliserbarhed• Hvor man ønsker at generalisere fra en udvalgt

stikprøve til befolkningen som helhed. – Dette kan lade sig gøre, hvis stikprøven er udvalgt tilfældig,

og er repræsentativ.

Analytisk generaliserbarhed• Hvor man ønsker at generalisere fra et udvalg til

nogle idealtyper, ex. forskellige brugerprofiler eller personaer. – For at sige, hvorledes lignende situationer eller målgrupper

kunne tænkes at se ud eller opføre sig. (Halkier 2002: 113)

• Fremhæver eller tydeliggøre det vigtige for et område

• Nedtoner det der ikke har så stor betydning

• En idealtype er ikke en rigtig person

40

Idealtyper – hvad er essensen

41

Bentes idealtyper

Bente opstiller 3 forskellige idealtyper for måder at håndtere risiko på:

 • Bekymret risikohåndtering• Irriteret risikohåndtering• Pragmatisk risikohåndtering(Bente Halkier (2002): "Fokusgrupper" s. 114)

I hendes nye projekt er der seks forskellige måder at håndtere madlavning på f.eks.: Madlavning som nødvendighed

42

Kim Schrøders idealtyper

Kim Schrøder opstiller ud fra forskning i folks reception af reklamer, disse 3 idealtypiske reaktioner på reklamer:

Kim Schrøder:Pionerdagene er forbi – hvor går receptionsforskningen hen?

43

GeneraliseringsmålI følge Kvale kan man tale om tre mål med at foretage

generaliseringer. Ønsket om at studere: 1. Hvordan det er: dvs. forsøge at fastslå det typiske, det

almindelige, det sædvanlige.

2. Hvad der er muligt: ex. undersøge skoler der er på forkant med integration af IT i undervisningen, for at finde ud af, hvordan folkeskolen kan blive bedre til at integrere IT i undervisningen.

3. Hvordan det kunne blive: ex. undersøge situationer, der er ideelle eller exceptionelle, for at se, hvad der foregår der.

44

Personaer/modelbrugere

Nogle grupper ønsker afslutningsvist at opstille en eller flere personaer eller modelbrugere.

Ex. Havde en rapport om skoleelver tre drengeprofiler, de fremlagde (frit fra hukommelsen):

• Jesper: den typiske, sociale, aktive fodbolddreng, med mange venner...

• Mikael: der var til rollespil, lidt en enspænder....

• Ali: indvandrerdreng, der ...

45

2 intranetpersonaer, Margit

En målgruppeanalyse til et intranet på et hospital resulterede i 2 personaer:

• Livssituation: Margit Hansen er 38 år og bor i Brønshøj med sin mand Preben og sine to døtre. Hun er sygeplejerske og mellemleder på børneafdelingen på xx Hospital....Arbejdsmæssigt: Interessen for at arbejde med mennesker har Margit haft så længe...Faglig interesse: Margit har en stærk faglig interesse og læser næsten altid sit fagblad ”Sygeplejersken”...Intranettet: Intranettet er det sted, Margit henter hovedparten af sine oplysninger om hospitalet, og...

(Positiv)

46

2 intranetpersonaer, Hanne

• Livssituation: Husassistenten Hanne er mellemleder i rengøringen på xx hospital. Hun er ryger, 49 år og har sammen med sin mand Steen, der er tømrer, sønnen Claus....Arbejdsmæssigt: Hun har lige fejret sit 20 års jubilæum. Faglig interesse: Hanne er ufaglært, men hun har flere gange benyttet sig af kursustilbud fra sin fagforening,...Intranettet: Hun bruger intranettet jævnligt, og sætter pris på at hun derigennem kan få informationerne hurtigt, men hun syntes at computere er lidt og upersonlige og foretrækker at snakke med sine kollegaer ansigt til ansigt....(Mere skeptisk. det er ok men synes det kan være en besværlig ekstra kanal)

47

2 modelbrugere til psykologhjemmeside

• Modelbruger A: er meget visuelt orienteret. Hvis en hjemmeside skal opleve at få modelbruger A’s indledende opmærksomhed, skal hjemmesiden være visuelt velfungerende. Hænger hjemmesidens layout ikke sammen med emnet, kan det let resultere i, at modelbruger A klikker væk. For at modelbruger A bliver på hjemmesiden og fortsat er opmærksom, kræver det at tekst og elementer er sat hensigtsmæssigt op. Tekslinier må ikke være for lange og linieafstanden ikke for lille, er dette ikke i orden er der atter risiko for at modelbruger A klikker væk. Det er ofte først herefter at modelbruger A forholder sig til selve indholdet på hjemmesiden.

48

Modelbruger B

Modelbruger B: er meget indholdsorienteret. Det første modelbruger B lægger mærke til på en hjemmeside er eksempelvis overskrifterne, der er her tale om den indledende opmærksomhed. Hvis overskrifterne er underlige eller indeholder stavefejl, er der risiko for at modelbruger B klikker væk fra hjemmesiden. Er det derimod iorden, er der stor sansynlighed for at modebruger B begynder at forholde sig til de visuelle elementer. De visuelle elementer har sjældent betydning for om modelbruger B forbliver på hjemmesiden eller klikker væk, det er indholdet der er relevant.

49

Lene Nielsens modelbruger

”Fordi modelbrugeren er hovedperson i scenariets fortælling, har modelbrugeren en række karakteristika, ligesom alle hovedpersoner i fortællinger har det.”

(Lene Nielsen 2002: 6)

• Et dramatisk ønske: det som hun ønsker at opnå gennem handlingen.

• Et point of view: den måde hun oplever verden på.

• En forandring/forvandling: det der sker med hende undervejs i fortællingen.

• En holdning: den holdning hun har.

50

Idealtyper

Om dette siger Bente Halkier:

" Disse idealtyper fungerer som en slags kondensering af et kompleks af viden om typiske sociokulturelle relationer på området for fokusgrupperne. Det være sig relationer for betydninger, relationer for betydningsdannelser og relationer for normer - eller hvad projektet nu koncentrerer sin vidensproduktion om."(Bente Halkier (2002): "Fokusgrupper" s. 113-114)

51

Slut

52

Sammenhæng

”Med traditionel metodisk sprogbrug skal man altså sikre sig, at man laver nogle fornuftige operationaliseringer af de vidensinteresser, som kan udmøntes fra problemstillingen i projektet, og som er i vis samklang med det empiriske felt. Både når det gælder udvælgelse, spørgeguide, moderation, analyse og fortolkning. Derfor handler validitet også om, at de anvendte begreber og kategorier hænger sammen med projektets vidensinteresse.”

(Halkier 2002, 110)

Lidt historieKilde: http://www.clbs.dk/userfiles/pdf/metoder_opslag.pdf

Population og delmængder

 2 typer af stikprøver:1) Repræsentative stikprøver2) Ikke-repræsentative

stikprøver

Hvis det er for omkostningsfuldt at spørge hele populationen, kan man lave en stikprøveundersøgelse - en delmængde.

Husk at have nogle kriterier for udvælgelsen eller vurderingen af en stikprøve

Helge Østbye et al.: Metodebok for mediefag, Bergen-Sandviken, 1997