Strategische Ausrichtung des Teams ´Survey Operations´
Prof. Dr. Michael Bosnjak Infrastrukturangebot
e:Standardisi
erte und maßgeschneiderte
Projektberatung
Forschung: ´Evidenzba
siertes Survey
Operations´
Universitäre Lehre,
Wissensvermittlung
und Nachwuchsförderung
Agenda• Verortung des Teams Survey Operations– im GESIS Gesamtkontext– innerhalb der Abteilung SDM– innerhalb des Bereichs Survey Operations
• GESIS Panel (seit 1/2013)• Aufgaben des Teams Survey Operations (seit 10/2014)
• Anvisierte strategische Ausrichtung des Teams– Infrastrukturangebote– Forschungsschwerpunkte– Universitäre Lehre und Wissensvermittlung
• Diskussion: SHARE-Bedarfe und –Beteiligung?
Forschungsdatenzyklus & GESIS Infrastrukturangebote
Studien planenArchivieren und
Registrieren
Recherchieren
Daten erhebenDaten analysieren
SO-Bereich: Team GESIS Panel seit 1/2013
• Aufbau und Betrieb eines offenen, für Deutschland repräsentativen Mehrthemenpanels (Mixed Mode)
• 2013: Rekrutierungs- und Aufbauphase• Seit 2014: Regulärer Betrieb mit knapp 5000 Panelisten• Leitlinien:
– Standardisierung und größtmögliche Automatisierung (Einreichungsprozess, Datenbereitstellung)
– Maximale Transparenz (Datensatz, Instrumente, technische Berichte, etc.)
– Maximale Anteil an Eigenleistungen (externe Vergaben vermeiden)-> Service-relevante Erfahrungen für Bereich SO
Team Survey Operations seit 10/2014
• Entwicklung von standardisierten Infrastrukturangeboten • Anfragespezifische Projektberatungen• Leitlinien bei der Auswahl von Themen für
standardisierte Angebote:– Bedarfsorientierung – Kernkompetenzen innerhalb des Teams, SDM und darüber
hinaus nutzend (abteilungsübergreifend, Institute einbeziehend)
– Vorausschauend im Hinblick auf den Forschungsdatenzyklus (abteilungsübergreifend)
– Bestehende Infrastrukturen nutzend (Survey Guidelines, Archiv, Wissensvermittlung)
Team Survey Operation: Schwerpunkte
1. Standardisierte Ausschreibungsunterstützung (SDM Survey Guideline)
2. Standardisierte Dokumentationsempfehlungen(SDM Survey Guideline)
3. Interviewerschulung (und –zertifizierung)(Wissensvermittlungsangebot)
4. Experimentelles Sample für das GESIS Panel(geplanter DFG Antrag)
Ausschreibungsunterstützung1. Zielsetzung und Aufbau des Leitfadens2. Voraussetzungen und Abgrenzung3. Grundgesamtheit und Stichprobe4. Erhebungsinstrumente und Erhebungsmodus5. Kontakt- und Interaktionsplanung (inkl. Incentives)6. Feldpretest7. Feldarbeit8. Daten- und Dokumentationslieferung9. Zeitplanung10. Vertragliche Eckpunkte11. Modus-spezifische Anforderungen
1. Komplexe Erhebungsprojekte2. Panelbefragungen3. Haushaltsbefragungen/Multi-Actor-Befragungen4. Mixed-Mode Erhebungen5. (weitere spezifische Fälle)
Dokumentationsempfehlungen1. Ziel von Dokumentation2. Kernbestandteile einer Studiendokumentation• Studienbeschreibung• Erhebungsinstrument(e)• Codebuch• Daten (Inhalts-, Para- und Metadaten)
3. Selbstarchivierung im GESIS Datorium4. Archivierung im GESIS Datenbestandskatalog• Voraussetzungen• Zugang• Ablauf des Archivierungsprozesses
5. Prospektive Dokumentations- und Archivierungsplanung gemäß DDI3.x-Lifecycle
6. Weiterführende Informationen
Interviewerschulung
1. Grundlagen persönlich-mündlichen Befragungen
2. Aufgaben einer/es Interviewers/in
3. Best practices: Ausgestaltung der Kernphasen eines Interviews• Kontaktierung von Zielpersonen• Durchführung eines Interviews• Prozessdokumentation
Bezüge zu SO Kernthemen
• Survey mode(s) selection• Contact and interaction
protocol development• Incentive scheme• Field monitoring
strategy/documentation• Staff / interviewer
selection / training
Preparation
• Contact and data collection monitoring
• Incidence-based adjustments / revisions
• Documentation of the fielding process
Fielding • Data cleaning• Finalization of
documentation• Bias analyses• Construction of weights
(e.g., nonresponse weights)
Post-Processing
Ausrichtung des SO-Teams
Infrastrukturangebote:Standardisierte und maßgeschneiderte
Projektberatung
Forschung: ´Evidenzbasiertes
Survey Operations´
Universitäre Lehre, Wissensvermittlung
und Nachwuchsförderung
Ausrichtung des SO-Teams
Infrastrukturangebote:Standardisierte und maßgeschneiderte
Projektberatung
Forschung: ´Evidenzbasiertes
Survey Operations´
Universitäre Lehre, Wissensvermittlung
und Nachwuchsförderung
InfrastrukturangeboteEvidenz-basierte Empfehlungen in anderen Bereichen: Public Policy Interventions
Infrastrukturangebote´What works, what doesn´t, and why in Survey Methodology´
Das SO Team unterstützt den Ausbau der SDM Survey Guidelines in Richtung eines umfangreichen Wissensportals.
Quellen für Survey Operations-spezifische Inhalte:• Übergeordnete Darstellung des SO-Phasenmodells und die
einzelnen Entscheidungen unterstützende, spezifische Themen.
• Systematische Ableitung von Empfehlungen auf Basis der ´besten´ Evidenz gemäß Evidenzpyramide (eigene und externe Forschungsprojekte: Meta-Analysen und experimentelle Studien besonders gewichtet).
• Erweiterung und Pflege aus (a) Projektberatungs-dokumentation, (b) Vorschläge von Nutzerinnen des Portals, (c) team- und abteilungsübergreifendes Vorschlagswesen, (d) pro-/aktiver Einbezug von Experten.
SO-Phasenmodell
• Survey mode(s) selection• Contact and interaction
protocol development• Incentive scheme• Field monitoring
strategy/documentation• Staff / interviewer
selection / training
Preparation
• Contact and data collection monitoring
• Incidence-based adjustments / revisions
• Documentation of the fielding process
Fielding • Data cleaning• Finalization of
documentation• Bias analyses• Construction of weights
(e.g., nonresponse weights)
Post-Processing
Ausrichtung des SO-Teams
Infrastrukturangebote:Standardisierte und maßgeschneiderte
Projektberatung
Forschung: ´Evidenzbasiertes
Survey Operations´
Universitäre Lehre, Wissensvermittlung
und Nachwuchsförderung
• Survey mode(s) selection• Contact and interaction
protocol development• Incentive scheme• Field monitoring
strategy/documentation• Staff / interviewer
selection / training
Preparation
• Contact and data collection monitoring
• Incidence-based adjustments / revisions
• Documentation of the fielding process
Fielding• Data cleaning• Bias analyses• Construction of weights
(e.g., nonresponse weisghts)
• Finalization of documentation
Post-Processing
RepresentativenessExternal Validity
Nonresponse Bias
Measurement Quality
Laufende Projekte (Auswahl)• Meta-Analysen:– Aktualisierung und Erweiterung der 2008 Web-RR Meta-Analyse
(mit Katja-Lozar Manfreda, U Ljubljana)– Moderatoren der Reliabilität von Survey-Items
(mit GESIS Team Messinstrumente)– Moderatoren der Repräsentativität von Befragungen
(mit Carina Cornesse, U Manheim, GIP A8)– Studienqualitätsbewertungssysteme (Study DIAD, GRADE)
(mit Kai Becker, FU Bozen)– Nonresponse Bias & SO-Variablen
(Erweiterung von Groves & Peytcheva, 2008)• Quasi-experimentelle Studie:
Repräsentativität von Panel-basierten Daten: Probabilistisch vesus nicht-probabilistische Panels im Vergleich(GESIS Panel gemeinsam mit Team GIP, A8 Projekt)
Ausrichtung des SO-Teams
Infrastrukturangebote:Standardisierte und maßgeschneiderte
Projektberatung
Forschung: ´Evidenzbasiertes
Survey Operations´
Universitäre Lehre, Wissensvermittlung
und Nachwuchsförderung
Lehre, Wissensvermittlung, Nachwuchsförderung
• Universitäre Lehre• Angebote der Teamleitung:
• Systematische Übersichtsarbeiten und Meta-Analyse (Einführungs- und Fortgeschrittenenkurse, z.B. ´Meta-Analyse mit R´)
• Survey Operations / Survey Implementation• Team-Mitglieder mit Habilitationsabsicht sollen ihre Expertise in
eigenen Lehrveranstaltungen einbringen• GESIS Wissensvermittlung
Alle Teammitglieder beteiligen sich aktiv an Veranstaltungen (Workshops, Summer Schools) zu SO-Themen• Ideenbörse für Qualifikationsarbeiten,
verbunden mit Betreuungsangebot
DiskussionSHARE-Bedarfe: • Intervierschulung durch GESIS (und
Zertifizierung)?• Muster-Curriculumsentwicklung mit GESIS (und
Akkreditierung)?• Projektspezifische Schulungsbedarfe (mit GESIS)?
SHARE-Beteiligung:• … an der Ausgestaltung standardisierter Inhalte
(GESIS Survey Guidelines)?• … an einem Austausch zu konkreten SO-Inhalten?
Top Related