Konsten att ställa frågor att ställa...Positivt skev skala?: Alla skalsteg nämner ordet...
Transcript of Konsten att ställa frågor att ställa...Positivt skev skala?: Alla skalsteg nämner ordet...
2016-09-13 1
Konsten att ställa frågor Fråge- och enkätkonstruktion
Fredrik Scheffer ([email protected])
Enheten för Mätteknik (PCA) SCB
• Frågekonstruktion – psykologi &språk
• Att designa frågor och svarsalternativ
• Insamlingsmetoder - olika insamlingsmetoders för- och nackdelar
• Struktur & Layout
• Test - Vikten av att testa en blankett, vad vi gör, vad ni kan göra
…finns inte! Varierande egenskaper… …språkförståelse …kognitiva förutsättningar (förmåga) …ålder, ursprung, kultur, utbildning etc.
Den standardiserade
respondenten…
Frågekonstruktör Uppgiftslämnare
=
Frågeblanketten - kommunikation
Kommunikation via språket (tal/skrift)
Kommunikation via språket (tal/skrift)
Frågekonstruktör Uppgiftslämnare
=
Frågeblanketten - kommunikation
8
Ska det vara så svårt att kommunicera med uppgiftslämnarna?
Språket är inte ett perfekt verktyg för kommunikation!
Svarsprocess
CASM-modellen/4-stegs modellen
Bedöma svaret
Finna svar
Förstå fråga
Avge svaret (Tourangeau et al. 2000 m.fl.)
Frågekonstruktion
• Frågan ska vara: enkel, kort, rak, neutral och begripligt formulerad.
• Frågan ska förstås av ALLA!... • …och på samma sätt.
• Betrakta blanketten som ett samtal (som
genomförs standardiserat)
1
Tror du att barn far illa av att titta på program med våld i?
Utvärderingar visade att testpersonerna uppfattade begreppen ”barn”, ”far illa” och ”våld” väldigt olika. (Belson, 1981)
Att vara specifik
Ledande fråga
Den nya James Bond filmen har redan setts av 80 miljoner människor. Har du sett den? Ja Nej
Ledande fråga
Hur bra trivs du på ditt arbete? Hur dåligt trivs du på ditt arbete? Hur trivs du på ditt arbete?
Frågor om det förflutna
Det första man bör fråga sig är om respondenterna kan förväntas ha uppmärksammat och ”lagt på minnet” det man frågar efter överhuvudtaget. Hur många bilar passerade dig på vägen till jobbet imorse?
Hur långt tillbaka kan man fråga om då?
Det beror på vad man frågar efter. Riktlinjer:
Framträdande händelser (större inköp, sjukhusvistelser, viktiga livshändelser etc) = kan minnas många år senare
Vardagliga händelser (matinköp, motionerande etc) = Få veckor
Minnet är inte ett fotoalbum med objektiva bilder som förblir oförändrade över tid!
Frågor om framtiden
Skulle du kunna tänka dig att ta ett arbete som innebär att resan från hemmet till arbetet tar mer än 1 timme?
Attityd / åsiktsfrågor Attityd/åsiktsfrågor kan vara en utmaning att utforma…
Respondenten kanske inte har någon åsikt/kunskap om ämnet (attitydobjektet)…
… 30% anger en åsikt om påhittade ämnen (Schuman & Presser, 1981)
Attitydfrågor ”Stabila”
The filedrawer model (Wilson & Hodges 1992)
• Förstå fråga • Finna svar • Bedöma svar • Avge svar
Attitydfrågor ”Stabila”
The filedrawer model (Wilson & Hodges 1992)
Antaganden: • Attityder finns redan • Attityder är stabila
Attitydfrågor ”Temporära”
Skapa en åsikt ”här och nu” • Förstå fråga • Skapa svar • Bedöma svar • Avge svar
Attitydfrågor ”Temporära”
Skapa en åsikt ”här och nu” Perifer info blir viktigt: • Frågekontext • Frågeordning • Andra omständigheter = osäkra mätningar(?)
Att tänka på: (Wärneryd m.fl.)
• Var försiktig med att fråga om ämnen som folk inte intresserat sig för
• Var försiktig med att dra slutsatser från svaren på enstaka frågor
Attitydfrågor
Frågor i påståendeform ÄR problematiskt • Ursprung • Varför fungerar det dåligt? • När fungerar det?
Frågor i påståendeform
• Mer komplicerad kognitiv process • Mindre förpliktigande • Hypotetiska situationer • Uppmuntrar till ”acquiescence” (benägenhet
att hålla med) • Osäkrare på sina svar • Svårt att utforma neutrala påståenden
Frågor i påståendeform Varför fungerar det dåligt?
Frågor i påståendeform När fungerar det?
• ”Aktuella” påståenden, som alla kan förväntas ha en uppfattning om
• När ämnet är känsligt – mindre konfrontativt • Bättre för attityder/värderingar än för rena
faktafrågor
Problematiskt…
• …avancerad kognitiv uppgift • …bedömning var för sig/i relation +
ordna
• Tar tid – resp. gör egna lösningar
Rangordning
”Villkor” Deltog du, på din fritid, i någon kurs eller annan aktivitet som leddes av lärare eller instruktör under vecka 32, till exempel gympapass, studiecirkel, föreläsning eller trafikskola?
”Villkor” Om du tänker på din fritid under v. 32: Deltog du i någon kurs eller annan aktivitet som leddes av lärare eller instruktör? (Exempel???? ……förlorar vi något?)
Exemplifiering Använde du på något sätt arbetsförmedlingens tjänster när du fick ditt nuvarande arbete, t.ex. deras tjänster på internet? Risk att exemplifieringen styr…
Undvik… • …Långa meningar, långa ord, svåra
begrepp, facktermer • …bindeord (och, samt, eller) • …negationer • …ledande frågor (pos/neg laddade)
Tips vid frågekonstruktion
1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt
Svarsalternativ
Grundregler • Ömsesidigt uteslutande • Uttömmande • Överblickbara • Jämna skalsteg • Ett svar på frågan
Svarsalternativ
1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt
Svarsalternativ
1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt
Svarsalternativ
Antal skalsteg • 2-7... (11?)... 4-5 • Dock två aspekter
1. Reliabilitet – validitet 2. Användarvänligt
Hur ska analysen göras/se ut?
Svarsskalor
1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt
Svarsalternativ
Mittenalternativ
Hur trivs du på ditt arbete?
• Mycket bra • Ganska bra • Varken bra eller dåligt • Ganska dåligt • Mycket dåligt
Mittenalternativ
Mittenalternativ kan ge bias: Uppgiftslämnare med olika förutsättningar använder samma svar: Vill inte ta ställning Har ingen åsikt Vill ligga i mitten av skalan (“lika bra som dåligt”)
Mittenalternativ
15 möjliga mittpunkter (tolkningar): • Varken P eller N • Proportionellt lika mycket P och N • Oproportionellt P och N • Samtidigt helt P och helt N • Dynamisk blandning av lika mycket P och N • Till hälften helt P och till hälften helt N • Halva tiden P och halva tiden N • Ibland P, ibland N, ibland varken eller • Ibland P, ibland N, ibland båda • Ibland P, ibland N, ibland varken eller, ibland båda • Osäker proportion • Okänd proportion • Irrelevant proportion • Ovilja att svara • Ingen åsikt om proportion
Yorke 2001
Mittenalternativ bipolär skala
• Mycket bra • Ganska bra • Varken bra eller dåligt • Ganska dåligt • Mycket dåligt
• Mycket bra • Ganska bra • Ganska dåligt • Mycket dåligt
Mittenalternativ bipolär skala
Inget mittenalternativ kan ge bias: Ej jämna skalsteg: Större avstånd mellan mittenalternativen jämfört med övriga
Mittenalternativ bipolär/unipolär skala
• Mycket bra • Ganska bra • Varken bra eller dåligt • Ganska dåligt • Mycket dåligt
• Mycket bra • Ganska bra • Ganska dåligt • Mycket dåligt
• Mycket bra • Ganska bra • Inte så bra • Inte alls bra
Mittenalternativ bipolär/unipolär skala
Unipolär skala kan ge bias: Positivt skev skala?: Alla skalsteg nämner ordet ”bra” Kan det dock underlätta att ange negativa svar?
1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt
Svarsalternativ
Svarsskalor
”Alla respondenter måste vara överrens om tolkningen av varje skalstegs mening, och frågeställarna måste veta vad denna tolkning är…” ”…Dvs. för att få reliabilitet måste respondenten ha klart för sig vad varje skalsteg står för. Ju mer respondenten måste tolka, ju större risk för inkonsistens i svar över tid och mellan respondenter” (Krosnick et.al. 2005)
Frågans koncept
• Trivs mycket bra • Trivs ganska bra --------------------------- • Trivs ganska dåligt • Trivs mycket dåligt
• Mycket trygg • Ganska trygg ------------------------ • Ganska otrygg • Mycket otrygg
Frågans koncept
• Trivs mycket bra • Trivs ganska bra --------------------------- • Trivs ganska dåligt • Trivs mycket dåligt
• Mycket trygg • Ganska trygg ------------------------ • Ganska otrygg • Mycket otrygg
• Mycket trygg ---------------------- • Ganska trygg • Ganska otrygg • Mycket otrygg
Barn-ULF
Stämmer precis
Stämmer ungefär
Stämmer dåligt
Stämmer inte alls
Positvt (%) 98 2
Positvt (%) 97 2
Positvt (%) 98 2
Positvt (%) 98 2
Negativt (%) 42 57
Negativt (%) 26 72
Negativt (%) 10 90
Negativt (%) 26 73
(10-11 åringar), svarsfördelning positivt och negativt riktade påståenden
Tolkning…
“Jag känner mig trygg I skolan” (5:e klassare)
Stämmer helt Stämmer ganska bra
Stämmer ganska dåligt
Stämmer inte alls
Vägt genomsnitt %
65,3 28,2 x x
Nyhet 17:e april 2012 (SVT Aktuellt):
“9 av 10 barn i Sverige känner sig trygga i skolan”
“Mer än 3 av 10 barn i Sverige känner sig inte trygga i skolan”… ?
Insamlingsmetoder
Primacyeffekt: Respondenten väljer ett av de första svarsalternativen (typiskt web/papper) Recencyeffekt: Respondenten väljer ett av de sista svarsalternativen (typiskt telefon)
Blandad insamling “Mixed mode”
Anledningar till att blanda insamlingsmetoder:
1) Öka svarsfrekvensen (olika personer föredrar olika datainsamlingsmetoder)
2) Att utnyttja olika metoders styrkor (intervju för komplexa frågor och själv-administrerade för känsliga)
3) Att spara pengar – starta med ett billigt alternativ och spara de dyrare till uppföljningar.
Blandad insamling Mixed mode
Varför kan vi förvänta oss skillnader mellan olika datainsamlingsmetoder?
1) Intervjuarpåverkan (både pos och neg)
2) Människors vana av och beteenden kan variera mellan olika datainsamlingsmetoder (t.ex. Internetvana)
3) Presentation av informationen (visuellt eller ljudmässigt, öga eller öra)
Webb → Smartphone
Två insamlingsmetoder? • Skärmstorlek • Frånvaro av fysiskt tangentbord och mus • Var man befinner sig när man svarar
Smartphone
Webblankett via mobil • Högre andel avhopp
• Längre svarstid
• Färre/kortare öppna svar
• Risk för skevhet i svar
Smartphone
• Allt som rör den enskilda frågan ska synas på skärmbilden…
• …uppgiftslämnaren ska inte behöva scrolla, zooma, svepa.
• Undvik onödiga element
• Tablåfrågor → separata frågor
Smartphone
Webblankett via mobil • Ny värld av paradata (”data om data”)…
• …gör applikationen redo att samla in detta, t.ex. svarstid, enhet (device) m.m.
• Kommer troligen öka men sannolikt aldrig bra för längre undersökningar…
Strukturen i en blankett • Vad är viktigt? Börja med det (efter vissa
bakgrundsfrågor…)
• Så få hoppanvisningar som möjligt
• Använd filterfrågor ”Om du har bil…?” Fråga: Ej svar eller partiellt bortfall? • Logisk ordning • Samma ämne – samma avsnitt • Rubriker…
Blankett - layout
• Intresseväckande • Lätt att läsa • Lätt att förstå • Lätt att fylla i • Rationell att hantera
6
Visuell design • Bryt ner komplexa frågor till flera, enklare frågor
• Ha en konsekvent layout på sidan/skärmen
• Använd visuell design för att tydliggöra vad som hör ihop och inte
• Frågor och svarsalternativ ska vara nära varandra
• Ha instruktioner vid frågan där de behövs – undvik separata instruktioner
…handlar mycket om att dra nytta av perceptionslagar, respondenternas allmänna erfarenheter och att vara konsekvent
• Gör viktiga områden visuellt distinkta, mindre viktiga områden visuellt perifera
• Gör navigering enkel – (upp->ned, vänsterjusterat)
• Ha frågan i fet stil och svarsalternativen i normal stil
• Ha svarsalternativen vertikalt!
Visuell design
2016-09-13 85
Hur ofta äter du på restaurang?
Forskning (av t.ex. Mick Couper) har visat att bilder och till och med perifera visuella signaler kan påverka svaren.
Bilders påverkan
Visuell information - bilder
Att tänka på
• Allt man gör ska hjälpa respondenten att läsa, förstå och svara på frågan!
• Plats får inte vara en faktor. I webb kostar det inte mer att använda mer plats!
Mycket att tänka på… …men:
Genom att följa grundreglerna kommer man långt! • Frågan: enkel, kort, rak, neutral och begripligt formulerad. • Svaren:
• Ömsesidigt uteslutande • Uttömmande • Överblickbara • Jämna skalsteg (så gott det går) • Ett svar på frågan
• Dom ska förstå frågorna… • …Vi ska förstå svaren • …SUNT FÖRNUFT!
Varför testa en blankett?
• I det stora hela: Minska det totala felet Strategier: • Låtsas som det regnar • Skatta alla felkomponenter • Preventiva åtgärder
- Varför testa överhuvudtaget? Extremt svårt att formulera frågor ”vid skrivbordet”. Minska mätfel, öka svarsfrekvens, minska kostnader för granskning etc.
Att testa en blankett
SCB enheten för mätteknik
• Debriefing • Fokusgrupper • Expertgranskning • Kognitiva intervjuer
Test – villkor
• Om mätinstrumentet är helt nytt.
• Om mätinstrumentet ändras, t.ex. frågor eller insamlingsmetod.
• Om mätsituationen förändras.
• Om det finns indikationer på problem.
• Om mätinstrumentet inte har testats tidigare.
• Om kunden önskar test, eller av policyskäl.
Tidningsrubrik Frågan bakom rubriken och artikeln: ”Skulle du vilja ha en lag om cykelhjälm om den hjälpte till att rädda cirka 30 liv per år?”
Litteratur:
Schwarz N, Sudman S (1996): Answering Questions Jossey-Bass
Tourangeau, R., Rips, L. J., & Rasinski, K.(2000). The psychology of Survey Response. Cambridge: Cambridge University Press.
Buskirk, T. D., Andrus, C. (2012) Smart Surveys for Smart Phones: Exploring Various Approaches for Conducting Online Mobile Surveys via Smartphones
De Bruijne, M., Wijnant, A., (2013) Comparing Survey Results Obtained via Mobile Devices and Computers: An Experiment With a Mobile Web Survey on a Heterogeneous Group of Mobile Devices Versus a Computer-Assisted Web Survey.
To Mix or Not to Mix Data Collection Modes in Surveys (de Leeuw 2005): http://www.odum.unc.edu/odum/content/pdf/deleeuw%20mixed%20mode%20jos%202005.pdf
Dillman, D. A. (2007). Mail and Internet Surveys: The Tailored Design Method. (2nd ed., 2007 update). Hoboken, John Wiley Co., New Jersey.
Litteratur:
Schuman H, Presser S, eds. (1981). Questions and Answers in Attitude Surveys: Experiments on Question Form, Wording and Context. New York: Academic
Sudman, S., Bradburn, N.M., & Schwarz, N. (1996). Thinking about answers – The application of cognitive processes to survey methodology. SF: Jossey-Bass Publishers
Wilson, T.D., & Hodges, S.D. (1992). “Attitudes as Temporary Constructions” in L. Martin, & A. Tesser, (eds.) The Construction of Social Judgment. Hillsdale, NJ. Erlbaum.
Krosnick, J.A., Judd, C.M., & Wittenbrink, B. (2005) The Measurement of Attitudes. In D. Albarracin, B.T. Johnson & M.P. Zanna (Eds.) The Handbook of Attitudes (Chapter 2) Mahwah, NJ: Lawrence Erlbaum Associates, Inc.
Yorke, M., (2001). Bipolarity… or not? Some Conceptual Problems Relating to Bipolar Scales. British Educational Research Journal. Vol. 27, No. 2 pp. 171-186.
Wärneryd B m.fl. (1990) Att fråga, Om frågekonstruktion vid intervjuundersökningar och postenkäter. Statistiska centralbyrån.
Litteratur:
Fowler Floyd J. (1995) Improving Survey Questions, Design and Evaluation
Willis G. B. (2005) Cognitive Interviewing, SAGE Publications
Saris, W. E., Krosnick, J. A., Revilla, M., Shaeffer, E. M., (2010). Comparing Questions with Agree/Disagree Response Options to Question with Item-Specific Response Options, Survey Research Methods, Vol.4, No.1, 61-79.
Couper M. (2008) Designing Effective Web Surveys. Cambridge New York.
Dillman D, Smyth J.D, Christian L.M. (2009) Internet, Mail and Mixed Mode Surveys, The Tailored Design Method. Wiley & Sons
Millar, M. M., Dillman, D. A. (2012) Encouraging Survey Response via Smartphones: Effects on Respondents´ Use of Mobile Devices and Survey Response Rates
Belson, W. A. (1981) The design and understanding of survey questions. Gower Publishing, Co, Aldershot, England.
Bra svensk litteratur om statistiska undersökningar
Wärneryd B m.fl. (1990) Att fråga, Om frågekonstruktion vid intervjuundersökningar och postenkäter. Statistiska centralbyrån.
Dahmström K (2000). Från datainsamling till rapport – att göra en statistisk undersökning Studentlitteratur, Lund
Ribe M. (1994, 1996) ABC i statistik, DEF i statistik Särtryck ur Välfärdsbulletinen
Wallgren A och B, Persson R, Jorner U, Haaland J-A , (1996): Graphing Statistics & Data. Creating Better , Charts SAGE Publications
Att köpa statistiska undersökning (1998) SCB
Fråga rätt! Utveckla, testa, utvärdera och förbättra blanketter (2001) SCB
Persson A. (I tryck, 2016) Frågor och Svar – Om frågekonstruktion i Enkät- och Intervjuundersökningar. SCB
Kontaktstrategier – web/mixed mode
• Optimal Contact Strategy in a Mail and Web Mixed Mode Survey (Holmberg, Lorenc, Werner 2008):
http://epp.eurostat.ec.europa.eu/portal/page/portal/research_methodology/documents/S8P4_OPTIMAL_CONTACT_STRATEGY_HOLMBERGLORENCWERNER.pdf