Implementeringoch utvärdering

Grundutbildning i

drogförebyggande

arbete

16-18 november 2010

karin.guldbrandsson@fhi.se

Spridningskurvan (i bästa fall) (E. Rogers 2003)

Tid

100%

0

Innovators

Laggards

Late

majority

Early

majority

Early

adopters

… varför ser det ofta ut så här?(efter Sundell 2008)

Tid

100%

0

”One of the greatest pains to

human nature is the pain of

a new idea” (Walter Bagehot 1873)

Kampen mot skörbjugg och barnsängsfeber

Vi behöver evidensbaserade metoder för

implementering av evidensbaserade

metoder

Från nyhet till vardagsnytta

Behandling av gravida som riskerar att föda för tidigt med syfte att minska andningsproblemen hos det nyfödda barnet

1969 – den första studien på djur

1972 – de första studierna på människa

1979 – fem RCT-studier, tydliga rekommendationer

1991 – används av 5-10% av alla kliniker I UK

1997 – används på ca 95% av alla kliniker I UK

(Hanney 2005)

Metod OCH implementering

Metod

• Vilka komponenter ingår i metoden?

• Vilka effekter kan man förvänta sig?

• Programföljsamhet

Implementeringsprocess

• Vilka implementeringskomponenter ingår?

• Vilka effekter kan man förvänta sig?

BÅDE metoden OCH implementeringen måste fungera!

Effektiv implementering av effektiva metoder ger resultat –inget annat (efter Fixen m fl 2005)

Implementering

Effektiv Ineffektiv

Metod

Effektiv + -

Ineffektiv - -

Evidensbaserade insatser

Bästa tillgängliga kunskap

- baserad på relevant forskning av hög kvalitet

Varför evidensbaserade insatser?

• Åderlåtning (livsfarligt)

• DARE – VÅGA (ingen effekt)

• Lifeskills education (ingen/negativ effekt)

• Scared straight (ingen/negativ effekt)

• ANT-undervisning i skolan (ingen effekt på lång sikt)

Därför att (bristande) resurser inte ska satsas på ineffektiva åtgärder!

Hur kan vi använda

evidens i vardagen?

1. Skaffa information

2. Agera relevant

Åldersgräns för inköp: hög effektivitet, högt

vetenskapligt stöd och låg

implementeringskostnad

Skolbaserad alkoholinformation: låg effektivitet,

högt vetenskapligt stöd och hög

implementeringskostnad

Effektiv implementering av effektiva metoder ger resultat –inget annat (efter Fixen m fl 2005)

Implementering

Effektiv Ineffektiv

Metod

Effektiv Vaccination

Ryggläge

C-vitamin

Olweus

Ineffektiv Åderlåtning

Magläge

Steg för

steg

4

31

2

Det behövs ett behov

Lokala behov är en viktig faktor för att

implementering av en ny metod ska fungera

”vi är inte nöjda med hur mobbningsproblematiken

hanteras i kommunens skolor”

När behoven uttrycks explicit ökar chanserna

till lyckad implementering

”vi behöver ett nytt program för att

förebygga mobbning i kommunens skolor”

Rätt metod på rätt sätt

Implementeringen fungerar bäst om metoden

• är relevant (Yetton 1999)

• har relativa fördelar (Greenhalgh 2005, Rogers 2003, Dirksen

1996, Aubert 2001)

• överensstämmer med gällande värderingar (Greenhalgh

2005, Rogers 2003, Denis 2002, Glaser 1980, Rohrbach 2006, Mihalic

2003, Aubert 2001, Ferlie 2001)

• är lätt att använda (Greenhalgh 2005, Rogers 2003, Meyer 1988, Denis

2002)

Rätt metod på rätt sätt

Implementeringen fungerar bäst om metoden

• är möjlig att testa (Greenhalgh 2005, Rogers 2003, Yetton 1999)

• visar synliga resultat snabbt (Greenhalgh 2005, Meyer 1988, Denis

2002)

• går att anpassa till lokala förhållanden (Greenhalgh 2005,

Rogers 2003, Glaser 1980)

• erbjuder generaliserbar kunskap (Greenhalgh 2005, Aubert 2001)

Snabb implementering inom sjukvården

En ny metod för att tina upp blodplasma

resulterade under det första året i att

plasmasvinnet minskade med 80% och att

besparingar på över 100 000 kr gjordes

Förklaring till den lyckade implementeringen:

• Enkel metod som fungerar

• Leder till besparingar

(Wehrli, 2009)

Snabb implementering inom idrotten

•

• Relativa fördelar

• Lätt att använda

• Synliga resultat snabbt

Rätt metod på rätt sätt

• Kombinationer av insatser (Gotham 2004, Fixsen 2005,

Rohrbach 2006, Grol 2000, Bero 1998, Ager 2001, Kelly 2000)

• Tidig involvering av användarna (Greenhalgh 2005)

• Resurser (Rohrbach 2006, Mihalic 2003, Robinson 2006,

Greenhalgh 2005, Rogers 2003, Fitzgerald 2002)

• Feedback (Fixsen 2005, Greenhalgh 2005)

Information och utbildning räcker inte!(Fixsen 2005, Azocar 2003, Davis 1995, Denton 2003, Rogers 2002)

Aktörer i implementeringsprocessen

Mottagare Förändringsagent Sändare

Mottagaren

upplever ett

behov

Förändringsagenten

känner till både

mottagarens behov

och sändarens

metod och förmedlar

kontakt

Sändaren kan

erbjuda en metod

som svarar upp

mot mottagarens

behov

Förändringsagentens uppgifter

• Medvetandegörande

• Upprättande av förtroendefullt förhållande

• Analysstöd

• Motivationsstöd

• Praktiskt stöd

• Institutionaliseringsstöd

• Överlämning

The Community readiness model

• Ingen medvetenhet

• Förnekelse

• Vag medvetenhet

• Planering

• Förberedelse

• Implementering

• Stabilisering

• Förstärkning och professionalisering

Sammanfattningsvis …

• Bedöm och uttryck behovet

• Välj en relevant och effektiv metod

• Involvera utförarna i tidigt skede

• Organisatoriskt och finansiellt stöd

• Maximera implementeringsstödet

• Återkoppla till utförarna

Inget upplevt behov – ingen lyckosam

implementering!

Läs mer om implementering

www.fhi.se

Utvärdering

Varför utvärdera?

• Gjorde vi som vi planerade?

• Blev det som vi planerade?

• Uppfylldes målen?

• Uppnådde vi några mätbara effekter?

• Bieffekter? Positiva eller negativa?

För att förbättra verksamheten!

Policytriangeln(Walt and Gilson 1994)

Aktörer

Kontext

ProcessInnehåll

Policy: på principer grundat handlande eller tillvägagångssätt

Policytriangeln - aktörer

Aktörer påverkar utvecklingen av policy

• Individer (t ex socialministern)

• Grupper (t ex ungdomar, yrkesgrupper)

• Organisationer (t ex CAN )

• Nätverk bestående av flera aktörer

Policytriangeln - kontext

Kontext påverkar utvecklingen av policy

• Politiska faktorer (t ex valår)

• Ekonomiska faktorer (t ex svag/stark ekonomi)

• Kulturella faktorer (t ex invandring, sekularisering)

• Sociala faktorer (t ex arbetslöshet, åldersstruktur)

Policytriangeln - process

Policyprocessen handlar om på vilket sätt en policy är initierad, utvecklad, formulerad, förhandlad, kommunicerad, implementerad och utvärderad.

Fyra faser återkommer i alla policyprocesser

(fast sällan linjärt)

1. Erkänna och identifiera problem (agendasetting)

2. Policyformulering

3. Implementering

4. Utvärdering

Måluppfyllelse - man måste veta vad man vill uppnå!

Om man inte vet vart man ska så kan man

inte veta om man kommer dit.

Utarbeta mål för verksamheten

Mål

Finns det mål? På vilka nivåer? Kommunal nivå, förvaltningsnivå, verksamhetsnivå?

Är målen:

Specifika

Mätbara

Accepterade

Realistiska

Tidsatta

Exempel på mål

• x antal drogfria aktiviteter ska erbjudas

ungdomarna i Huddinge kommun under år

2010 (verksamhetsmål)

• Alkoholbruket bland unga i Huddinge

kommun ska minska med x % till år y

(uppnåendemål)

• Antalet unga i Huddinge kommun som

vårdas för alkoholrelaterade skador ska

minska med x/1000 (utfallsmål)

Process - man måste veta vad man gör!

Om man inte vet hur man gjorde så vet man

inte vad som skulle kunna ha gjorts

annorlunda.

Hur gjorde vi? Vad blev rätt/fel?

Klargör processen för arbetet

Process

Exempel

• x antal personer ska utbildas inom området

drogförebyggande arbete under år 2010

• Relevant material ska införskaffas

• Verksamheten ska budgeteras

• Lokaler och föreläsare ska bokas

• Osv.

Utfall – man måste veta hur det ser ut!

Om man inte vet hur det såg ut när man

startade så kan man inte mäta förändring.

Gör en baslinjeundersökning

Skapa användbara mått

Utfall

Exempel

• Tobaksbruk (egenuppgift), före – efter

• Alkoholbruk (egenuppgift), före – efter

• Attityder (egenuppgift), före – efter

• Alkoholrelaterade skador (register), före –

efter

Finns det bra mått på dessa utfall?

Jämförelser

Jämföra mot egen verksamhet över tid

• Vad är bättre/sämre nu jämfört med då?

Jämföra mot andra verksamheter/kommuner

• Vad är bättre/sämre jämfört med andra?

Att utvärdera verksamheten är ett

sätt att korrigera kursen under

resans gång