Die Evaluation des Bundesprogramms - dji.de · 4 Qualifizierung von Fachkräften in der...
Transcript of Die Evaluation des Bundesprogramms - dji.de · 4 Qualifizierung von Fachkräften in der...
Die Evaluation des Bundesprogramms
„Elternchance ist Kinderchance “
Prof. Dr. Sabine Walper
Prof. Dr. Mark Stemmler
1
2
3
PISA & IGLU…: Insgesamt hoher Bedarf an besserer Kompetenzförderung
besonders für Kinder aus unteren sozialen Schichten
und für Kinder mit Migrationshintergrund
Das ökonomische Argument: „Return on Investment“
Der Hintergrund:
Die soziale Schere und Chancen früher Förderung
4
Qualifizierung von
Fachkräften in der
Familienbildung zu
Elternbegleiter/innen
(Programmbereich 1)
Förderung lokaler
Vernetzungsstrukturen
durch Elternbegleitung
Plus
(Programmbereich 2)
5
Übersicht
1) Ziele und Struktur des Bundesprogramms
„Elternchance ist Kinderchance “
2) Ziele, Aufgaben und Methodik der Evaluation
3) Modul 1: Evaluation der Qualifikationsmaßnahme auf Ebene
der Elternbegleiter/innen (DJI)
4) Modul 2: Evaluation von Elternbegleitung Plus auf Ebene
der Einrichtungen und Angebote (DJI)
5) Modul 3: Evaluation von Elternbegleitung und
Elternbegleitung Plus auf Ebene der Eltern und Kinder
(FAU)
6) Ausblick
6
Ziele und Struktur des Bundesprogramms
„Elternchance ist Kinderchance“
Qualifizierung von
Fachkräften in der
Familienbildung zu
Elternbegleiter/innen
(Programmbereich 1)
Förderung lokaler
Vernetzungsstrukturen
durch Elternbegleitung
Plus
(Programmbereich 2)
(1) Verbesserte Erreichbarkeit von bislang tendenziell
vernachlässigten Zielgruppen der Elternarbeit: sozial schwache
und bildungsferne Familien, Zuwanderer-Familien
(2) Umsetzung bewährter und Entwicklung innovativer,
wirksamer Angebote für diese Zielgruppen
(3) Verbesserung der Vernetzungsstruktur
7
Ziele und Struktur des Bundesprogramms
„Elternchance ist Kinderchance“
Qualifizierung von
Fachkräften in der
Familienbildung zu
Elternbegleiter/innen
(Programmbereich 1)
Förderung lokaler
Vernetzungsstrukturen
durch Elternbegleitung
Plus
(Programmbereich 2)
Verbesserung der Elternarbeit
Stärkung von Elternkompetenzen
Verbesserte Förderung der Kinder
Erfolgreiche Bildungsverläufe der Kinder
8
Weiterqualifizierung zur Elternbegleiterin/zum Elternbegleiter
Adressat/innen: Haupt- und nebenamtliche Fachkräfte, die in einer Einrichtung
der Familienbildung in der Regel im Umfeld einer „Schwerpunkt-Kita Sprache
& Integration“ der Offensive „Frühe Chancen“ des BMFSFJ tätig sind
Ziel: „Mit der Qualifizierung von haupt- und nebenamtlichen Fachkräften in der
Eltern- und Familienbildung sowie mit von ihnen initiierten Angeboten in den
Sozialräumen der Schwerpunkt-Kitas Sprache & Integration sollen Eltern
frühzeitig und zielgruppengerecht für die Bildungsverläufe ihrer Kinder und
die Übergänge im Bildungssystem sensibilisiert werden, so dass Eltern
wiederum ihre Kinder von klein auf in ihren Bildungsprozessen und bei der
Bewältigung von Bildungsübergängen aktiv begleiten können.“ (Leitlinie des
BMFSFJ zum Programmbereich Elternbegleiter/innen, S. 2)
Umsetzung: auf der Grundlage von zwei fachlich geprüften Curricula
9
Curricula der Weiterqualifizierung von Elternbegleiter/innen
I. Bundesarbeitsgemeinschaft Familienbildung und Beratung e.V. (AGEF)
Dachorganisation von über 600 Trägern und Einrichtungen der Eltern- und
Familienbildung. Mitglieder sind in Trägerschaft der Arbeiterwohlfahrt (AWO), des
Deutschen Roten Kreuzes (DRK) oder Mitglied im Deutschen Paritätischen
Wohlfahrtsverband (DPWV) bzw. in kommunaler und freier Trägerschaft.
II. Trägerkonsortium
Arbeitsgemeinschaft für katholische Familienbildung e.V. (AKF)
Arbeiterwohlfahrt Bundesverband e.V. (AWO)
Bundesarbeitsgemeinschaft Evangelischer Familienbildungsstätten und
Familien-Bildungswerken e.V. (BAG)
Deutsche Arbeitsgemeinschaft für Erwachsenenbildung e.V. (DEAE)
Katholische Bundesarbeitsgemeinschaft für Einrichtungen der Familienbildung
Paritätisches Bildungswerk Bundesverband
10
Curricula der Weiterqualifizierung von Elternbegleiter/innen
AGEF
Weiterentwicklung des seit 2001 bestehenden Qualifizierungsprogramms
Elternberater/in zum Elternbegleiter bzw. zur Elternbegleiterin
Orientierung am Kompetenzbegriff (kompetenzorientiertes Lernen) und an
einem ko-konstruktivistischen Bildungsverständnis
Trägerkonsortium
Neuentwicklung eines trägerübergreifenden Curriculums, verstanden als
„entscheidender Schritt in Richtung einer kooperativ entwickelten und
einheitlichen Professionalisierungsstrategie im Bereich der
Familienbildung“ (Rahmencurriculum 2012, S. 5)
Orientierung am Leitbild eines „gelingenden Lebens“ und am Konzept der
„dialogischen Haltung“ in der Elternarbeit (vgl. u.a. Schopp 2010)
12
Inhalte der beiden Curricula
AGEF Trägerkonsortium
Familie, Kindheit und Elternsein Elternschaft heute und Elternbildung Bildung und Bildungsorte für Kinder Familienorientierte Beratungs-techniken Bildungsberatung für Familien Umgang mit Elterngruppen Wirksamkeit von Elternberatung und Familienbildung Intervention und Kooperation in der Beratung Frühe Hilfen im Übergang zur Elternschaft und in der (frühen) Kindheit Konzeptentwicklung und –präsentation Medienkompetenz
Frühe Bildung im familiären Alltag Bildungswege und Förder-möglichkeiten in den Bundesländern Prinzipien dialogischen Lernens Wahrnehmungs-, Diagnose- und Beratungskompetenzen Konzepte aufsuchender Elternarbeit Aufbau von Bildungspartnerschaften und sozialräumlichen Netzwerken Wirksame Strategien der Öffentlichkeitsarbeit
13
Bindung, frühkindliche Entwicklung und Sprache
Bildungsgelegenheiten im Familienalltag
Bildungschancen und Bildungsinvestitionen
Bildungsverläufe und Bildungsübergänge
Bildungssysteme in den Bundesländern
Bildungs- und Erziehungs-vorstellungen in unterschiedlichen sozialen Milieus
genderspezifische Bildung und Erziehung
Konzepte aufsuchender, informeller und niederschwelliger Elternarbeit
Wertschätzung und Achtsamkeit in der Zusammenarbeit mit Eltern
Kommunikationsmodelle, Beratungsformen und Beratungs-techniken
Interkulturelle Kompetenz, vorurteilsbewusste Begegnung/Haltung
Selbstreflexion der eigenen Rolle als Elternbegleiter/in
Erziehungs- und Bildungspartner-schaften
Vernetzung im Sozialraum Selbstdarstellung und Öffentlich-
keitsarbeit Auf- und Ausbau von Medien-
kompetenzen
Gemeinsame Inhalte der Curricula
14
Ziele und Aufgaben der Evaluation
Die Evaluation soll klären,
inwieweit die Qualifizierung zum Elternbegleiter/ zur
Elternbegleiterin erfolgreich umgesetzt wird (Modul 1),
inwieweit sie mit den angestrebten Veränderungen in
der Elternarbeit der Fachkräfte einhergeht (Modul 1),
wie sich die Arbeit der Einrichtungen mit Förderung im
Rahmen von Elternbegleitung Plus bewährt (Modul 2),
inwieweit die Elternarbeit die angestrebten Wirkungen
auf Seiten der Eltern und Kinder zeigt (Modul 3).
15
2 Arten der Evaluation:
Formative Evaluation
Prozess-Evaluation
Bewertung der Umsetzung der Qualifikations-maßnahme
Akzeptanz der Maßnahme seitens der Eltern-begleiter/innen
Rückmeldung zur Optimierung des Programms
Summative Evaluation
Ergebnisevaluation
Bewertung der Wirkung der Maßnahme anhand von Veränderungen …
… auf Ebene der Elternbegleiter/innen
… auf Ebene der Eltern und Kinder
Im Vergleich zu geeigneten Kontrollgruppen
16
Ziele und Struktur des Bundesprogramms
„Elternchance ist Kinderchance“
Qualifizierung von
Fachkräften in der
Familienbildung zu
Elternbegleitern
anhand von zwei Curricula
(Programmteil 1)
Förderung lokaler
Vernetzungsstrukturen
durch Elternbegleitung
Plus
(Programmteil 2)
Verbesserung der Elternarbeit
Stärkung von Elternkompetenzen
Verbesserte Förderung der Kinder
Erfolgreiche Bildungsverläufe der Kinder
Formative Evaluation
Summative Evaluation
Evaluation institutionelle Ebene
Evaluation auf
Eltern-Kind-Ebene
17
Module 1 und 2: Übersicht über das Design
Alle
Institutionen Elternbegleitung
Plus
Online-Befragung
Fokusgruppen
Stichprobe Eltern-
begleiter/innen
Stichprobe Fachkräfte ohne
Qualifikation zum Elternbegleiter
Online-Befragung
Qualitative Interviews
Online-Befragung
18
Module 1, 2 und 3: Übersicht über das Design
Alle Institutionen
Elternbegleitung Plus
Stichprobe betreute Eltern
(Interventionsgruppe): Zugang über
Elternbegleiter/innen
Stichprobe Eltern-
begleiter/innen
Stichprobe Fachkräfte ohne
Qualifikation zum Elternbegleiter
Stichprobe Eltern (Kontrollgruppe),
Zugang über Fachkräfte
Stichprobe betreute Eltern
(Interventionsgruppe), Zugang über
Elternbegleiter/innen
20
Formative Evaluation: Summative Evaluation:
Online-Befragungen von Teil-
nehmer/innen und Kontrollgruppen
Prä-Post-Follow-up :
Curriculum-bezogenes Wissen
Beratungskompetenz
Interkulturelle Kompetenz
Zugang+ Zugangswege zu
Zielgruppen
Genutzte Angebote
Kooperation mit anderen
Einrichtungen
Online-Befragung von Teil-
nehmer/innen der Qualifizierung
bzgl. Zufriedenheit mit …
Inhalten (Neu? Praxisrelevant?)
Didaktik (Verständlichkeit?
Aufbau?)
Rahmenbedingungen
(Gruppengröße, Zeit …)
Modul 1: Evaluation der Qualifikationsmaßnahme auf Ebene der Elternbegleiter/innen
21
Modul 1: Evaluation der Qualifikationsmaßnahme auf Ebene der Elternbegleiter/innen
Vergleich der Elternarbeit hinsichtlich: • Zugang zur Zielgruppe
• Art der Angebote / Maßnahmen • Wirkung bei Eltern und Kindern
Fachkräfte Elternbildung Elternbegleiter
im Kontext Elternbegleitung
Plus
(n = ca. 100)
Elternbegleiter ohne
Elternbegleitung Plus
(n = ca. 500)
Fachkräfte ohne Weiterbildung zum
Elternbegleiter
(n = ca. 200)
22
Interventionsgruppe 2
Interventionsgruppe 1
Kontrollgruppe 2 (ohne Weiterqualifizierung zum Elternbegleiter)
2012/2013 2013/2014
Prätest Posttest Inter-
vention Follow up
Kontrollgruppe 1 (Wartegruppe)
Prätest Posttest Follow up
Prä-Post-Follow-up-Design mit Kontrollgruppen
24
• Soziodemografie
• Berufliche Situation
• Zielgruppen und Arbeitsfelder
• Kooperation und Vernetzung
• Weiterqualifizierung zum/zur Elternbegleiter/in
• Elternarbeit
• Kompetenzen
• Einstellungen, Selbstverständnis
• Einverständniserklärungen
Bereiche des Fragebogens für Elternbegleiter/innen
25
„Vorher“ = Prätest
• Soziodemografie
• Berufliche Situation
• Kontext der Weiterqualifizierung
zum/zur Elternbegleiter/in
• Zielgruppen und Arbeitsfelder
• Kooperation und Vernetzung
• Zugänge + Themen in Elternarbeit
• Kompetenzen
• Einstellungen, Selbstverständnis
• Einverständniserklärungen
Bereiche des Fragebogens für Elternbegleiter/innen
„Nachher“ = Posttest
• Formative Evaluation der
Weiterqualifikation zum/zur
Elternbegleiter/in
• Zielgruppen und Arbeitsfelder
• Kooperation und Vernetzung
• Zugänge + Themen in Elternarbeit
• Kompetenzen
• Einstellungen, Selbstverständnis
26
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
Kontext EB Plus ohne EB Plus
Beispiele für erhoffte Befunde
Wahrgenommene Umsetzungs-
möglichkeiten je nach Arbeitskontext
der Elternbegleiter/innen
0
1
2
3
4
5
6
Prätest Posttest
Elternbegleiter Kontrollgruppe
Entwicklung der subjektiven
Beratungskompetenz bei
Elternbegleitern und Kontrollgruppe
29
Methodisches Vorgehen der Evaluation (Onlinebefragung):
Modul 2: „Elternbegleitung Plus“: Onlinebefragung
T 1 T2
T 3
•Geplante Aktivitäten •Erwartungen und Wünsche •Aufgaben •Geplante Netzwerkpartner •Kommunikationswege •Derzeitiger Stand der Vernetzung
•Durchgeführte Aktivitäten •Erwartungen und Wünsche •Hindernisse / Stärken / Schwächen •Derzeitiger Stand der Vernetzung •Netzwerkpartner und Frequenz des Austauschs
Alle Einrichtungen durch „Elternbegleitung Plus“ gefördert
Online-befragung
(Vollerhebung)
Online-befragung
(Vollerhebung)
Online-befragung
(Vollerhebung)
•Durchgeführte Aktivitäten •Erwartungen und Wünsche •Hindernisse / Stärken / Schwächen •Stand der Vernetzung •Netzwerkpartner und Frequenz des Austauschs •Bewertung von Effekten
30
Modul 2: „Elternbegleitung Plus“: Fokusgruppen
T 1
Vernetzungsaktivitäten
T 2
Ziel der Fokusgruppen: Multiperspektivische Abbildung des Netzwerkes
Partizipativer Ansatz
Fokusgruppen mit Einrichtungen EB Plus
und jeweiligen Kooperationspartnern
•Themenzentrierte Diskussionen zum Thema „Netzwerk“ •Erfassung gemeinsamer Erfahrungsräume
•Themenzentrierte Diskussionen zum Thema „Netzwerk“ / Erfahrungen •Erfassung gemeinsamer Erfahrungsräume
Fokusgruppen mit Einrichtungen EB Plus
und jeweiligen Kooperationspartnern
31
Bereiche des Fragebogens für
„Elternbegleitung Plus“ Einrichtungen
• Befragte/r
• Einrichtungsstruktur
• Aufgabengebiet der Einrichtung
• Angebote
• Sozialraum
• Kooperationspartner/innen
• Netzwerk
32
MODUL 3:
Evaluation von Elternbegleitung und
Elternbegleitung Plus auf Ebene der Eltern und
Kinder (FAU)
33
Evaluation Eltern + Kinder Multi-informant-Ansatz der Evaluation
Selbstauskunft der Eltern:
…bezogen auf bildungsrelevante Inhalte der Angebote
• Kenntnisstand der Eltern bzgl. Bildungssystem, Fördermaßnahmen etc.
• Einstellung und Verhalten der Eltern zum Thema Bildung
• Inanspruchnahme von Angeboten der Elternbegleiter
…bezogen auf weitere Inhalte der Angebote
• z.B. Erziehungsverhalten, familiäre Belastungen/Veränderungen
Abgleich mit Informationen der Elternbegleiter:
• z.B. Wie viele Eltern werden erreicht? Welche Eltern werden erreicht?
„Harte Daten“ (bezogen auf das Kind):
• z.B. Angaben über altersgemäße Einschulung, Zurückstellung,
Klassenwiederholung, Erzieherinnen- und Lehrerinnendokumentation, Struktur-
und Sozialraumdaten
34 34
Formative und summative Evaluation
Eltern + Kinder
Formative Evaluation:
• Erreichte Zielgruppe
• In Anspruch genommene Maßnahmen
• Subjektiv erlebte Bildungshürden
• Teilnehmerzufriedenheit/ Akzeptanz
Summative Evaluation:
• Teilnahme an frühkindlichen Bildungsangeboten
• Lernumwelten und Anregungsstrukturen
• Bewältigung von Bildungsübergängen
• Elternverhalten
• Entwicklungsverlauf der Kinder (sozial-emotionale und kognitiv-sprachliche
Entwicklung)
35
Evaluationsdesign Eltern + Kinder
Interventionsgruppe (N = 480)
360 Eltern, betreut durch EB Curricula I +II
120 Eltern, betreut durch EB Plus
Kontrollgruppe (N = 150)
Eltern, nicht durch EB oder EB Plus betreut
2012/2013 2013/2014
Prätest
Prätest
40 intensiv
Posttest
Posttest
40 intensiv
Inter-
vention
36
Erhebung Eltern Prätest
Nutzung von Angeboten
Anregungsstrukturen
Erziehungskompetenz
Elterlicher Stress
Entwicklungsbeobachtung (Daten über das Kind)
Kontakt zum Elternbegleiter
(Bedarf an) Unterstützung
Eigene Bildungserfahrungen, Einstellungen zu Bildung
Fremdbetreuung des Kindes
Übergänge
Soziodemographische Angaben
37
Beispiel: Bereich „Anregungsstrukturen“
In Anlehnung an „Home Observation for Measurement
of the Environment“ (HOME)
Gemeinsame Aktivitäten der Eltern mit dem Kind
Zusätzlich Fokus auf Vorlesen
38
Vorgehen bei der Erhebung: Eltern Prätest
Anhand von Telefoninterviews
Fragebogen dafür als Computer-Version programmiert
Kontakt zu Eltern über jeweiligen Elternbegleiter
Wirbt bei betreuten Eltern für Teilnahme an der Studie
Wird zuvor von FAU kontaktiert und motiviert: Telefonisch
sowie per Flyer mit kleinem incentive
Anreiz für Eltern: Gutschein im Wert von 10 Euro als kleines
Dankeschön
Nach einem Jahr erneute Kontaktierung → Posttest
40
Querbezüge der Evaluationsmodule
Formative Evaluation EB:
Umsetzung der EB-
Qualifizierungsmaßnahme
Evaluation auf institutioneller
Ebene: EB Plus Verbesserung der Vernetzung
und Entwicklung neuer Angebote
Evaluation auf Eltern-Kind-Ebene: Stärkung Elternkompetenzen, günstigere
Bildungsverläufe der Kinder
Summative Evaluation EB: Verbesserung der Elternarbeit
41
Projektteam
Prof. Dr. Sabine Walper (Leitung)
Dr. Karin Jurczyk (Leitung)
Alexandra Langmeyer (Projektbegleitung)
Pamela Berckemeyer (Sachbearbeitung)
Monika Bradna
Angelika Guglhör-Rudan
Dagmar Koenigsbeck
Dagmar Müller
(DJI München)
Prof. Dr. Mark Stemmler (Leitung)
Dr. Daniela Runkel
Mira Beck
Tobias Eisenmann
(FAU Erlangen-Nürnberg)