Lärande utvärdering- Teoretiska utgångspunkter- Praktiska konsekvenser- Samtal i grupp

Örenäs slott 23 oktober 2009

Idag fokus på lärtänkande, inte metoddetaljer som

• Svarsfrekvens• Bortfall • Tillförlitlighet• Pålitlighet• Indikatorer

(rätt/bra/viktiga)• Frågor (rätt/bra/viktiga)

• Kvantitativa eller kvalitativa metoder (rätt/bra/effektiva)

• Urval (deltagare/grupper/nivåer)

• Hinder (språk mm)• Kontrollgrupp

Upplägg13:00 Inledning13:10 Teorigrund13:50 Paus14:00 Första samtalet14:50 Paus15:00 Andra samtalet15:50 Paus16:00 Uppsamling, stöd, fortsättning16:30 SlutUtvärdering via webben

Kan framtiden förutsägas och planeras?

Olika synsätt

Rationellt tänkande• Instrumentellt och

funktionellt synsätt• Medel A leder till

mål B• Slutet system• Stabil omgivning

Systemtänkande• Dynamiskt synsätt• Helhetsperspektiv• Öppet system• Interagerar med

omgivningen

Planeringsstyrda projekt

Processtyrda projekt

Lärande typer(Ellström, 1992)

Anpassningsinriktat• Vad – åtgärda • Kontrollera• Reproduktivt lärande

Utvecklingsinriktat• Varför – förstå • Reflektera• Kreativt lärande

Utvärderingstyper

Summativ Formativ

Varför? Kunskap att bedöma

Kunskap att förändra

Vad? Resultat och effekter

Praktik och process

När? Sällan,

efteråt

Ofta,

under tiden

Planeringsstyrda projekt

och summativ utvärdering

Processtyrda projekt

och formativ utvärdering

Systematisk reflektion

En lärande utvärderare

1. Engageras tidigt och har nog med tid

2. Är mer processkunnig än metodexpert

3. Kombinerar närhet med kritisk distans

4. Stödjer och stör (farthinder)

5. Organiserar gemensamma lärmiljöer

6. Involverar intressenter och samlär

7. Sprider information

8. Balanserar omedelbar nytta med långsiktiga effekter

Centrala begrepp

• Dialog

• Delaktighet

• Kontinuerlig återkoppling

• Kollektivt lärande

• Kritisk reflektion

Metoder och arbetssätt

DATAINSAMLING• Egendokumentation• Enkäter• Intervjuer• Fokusgrupper

DATABEARBETNING• Fokusgrupper• Seminarier• Workshops• Nätverk

Projekt

Projektresultat och Programmål

Resultat EffektIdé

S P R I D N I N GS P R I D N I N G

1. Hur kan utvärderingen organiseras för lärande och projektutveckling?

• Hur kan utvärdering på ett naturligt sätt struktureras in i processen?

• Utvärderaren kommunicerar inte med oss. Vi kan inte påverka utvärderingen.

• Räcker det med att utvärderaren sitter i styrgruppen?

• Processen, inte målen, är det mest relevanta. Omformulera målsättningen?

2. Hur kan utvärderingen bidra till att påverka ordinarie verksamheter?

• På vilket sätt har kompetenshöjningen gett avtryck i det dagliga arbetet?

• Hur prioritera och planera implementeringsarbetet?• Hur värdera hur mjuka faktorer påverkar företagens tillväxt?• Coachin är en process som kan ge effekt långt senare. Hur kan

man lyfta det?• Applicerbarheten i praktiken av utbildningsinsatsen• Hur analysera projektets resultat i jämförelse med ordinarie

verksamhet och identifiera framgångsfaktorer?• Projektet innehåller en mängd olika aktiviteter och målgruppen

har kommit olika långt vilket kan försvåra spridningen av resultatet.

Exempel ur en offerttext:

Syftet med processutvärderingen är att vid punktinsatser under projektperioden redovisa och analysera - deltagarnas synpunkter- projektets genomförande i relation till ansökan- projektets organisation, insatser och metoder- faktorer som rör programkriterier- aspekter som rör de horisontella kriterierna Processutvärderingen innebär att systematiskt följa och dokumentera projektets genomförande och att studera förutsättningarna för att de uppställda program- och projektmålen ska nås. Värdet av en sådan utvärdering ligger i att den kan synliggöra varför projektet lyckas bra eller mindre bra, det vill säga analysera hur och varför målen har nåtts eller inte.

Varje insats dokumenteras i en projekt- och rådgivningsrapport till projektägaren.

Syftet med processutvärderingen är att vid olika punktinsatser under projektperioden redovisa x, y, z och organisera lärseminarier med strategiskt viktiga intressenter för att analysera delresultaten, utveckla projektprocessen och sprida erfarenheter. Varje insats dokumenteras i en delrapport som används till ett studiematerial inför analysseminarierna.

Processutvärderingen innebär att systematiskt följa och dokumentera projektets genomförande och att stödja projektet så att de uppställda program- och projektmålen nås samt leder till hållbara effekter.

Processtöd till projekt

• Direktstöd

• Nätverk för utvärdering och lärande

• Regionala seminarier/workshops

Extrabilder

Absorbering

För-ändring

ESF-PROJEKT

ORGANISATIONER Direkt Indirekt

STRUKTUR

Lärande

Strategisk påverkan

Lärande utvärdering – följeforskning

Lärande utvärdering

Följeforskning

Lärande utvärdering och strategisk påverkan

Idé Resultat

Projekt

Effekt