Looginen malli -suunnittelun jaarvioinnin välineenä.Stina HögnabbaJohtava kehittämiskonsulttiSosiaalivirasto / Arviointi- ja kehittämisyksikkö9.11.2012

Mihin loogista mallia tarvitaan?

Loogisen mallin käyttö on yksi mahdollisuusselventää ja kuvata palvelujen, projektien jne.toimintaa, prosesseja, tuotoksia ja vaikutuksiasekä palvelujen ja projektien eri elementtienvälisiä kytkentöjä ja vaikutussuhteita.

Looginen malli voi toimia myösarviointisuunnitelman ja arvioinnin tekemisenlähtökohtana.

2

Lisätietoja

www.innonet.orgThe Logic Model Guidebook; Lisa Wyatt Knowlton &Cynthia C. PhillipsPurposeful Program Theory, effective use of theories ofchange and logic models; Sue C. Funnel & Patricia J.RogersHelsingin lasten ja nuorten hyvinvointisuunnitelmaKASTEhankkeita / Lapsen ääni & Mielen avainGOOGLE: looginen malli hakusanana

3

Mihin tarkoitukseen?

Arviointisuunnitelman tekeminen ja arviointiLooginen malli on tärkeä työkalu arviointisuunnitelman ja arvioinnin tekemisessä sekätoiminnan kehittämisessä.Johtaminen ja seurantaLooginen malli on hyvä apuväline myös hankkeen, ohjelman, kehitettävän palvelunjne. johtamisessa, seurannassa, tulosten hallinnassa ja budjetin teossa.Viestintä ja kommunikointiLoogisen mallin avulla voidaan myös ulkopuolisille kuvata ja kertoa, miten toimitaanja millaisia tuloksia toiminnalla on tarkoitus aikaansaada. Mallin avulla voidaan myöshelpottaa hankkeen eri osallisten välistä viestintää. Malli mahdollistaa sen, ettähankkeen osalliselle syntyy yhteinen näkemys hankkeen toiminnoista, tavoitteista jne.Muita tarkoituksiaLoogisen mallin avulla voidaan tunnistaa ja analysoida ongelmia sekä määritellätavoitteita ja toimenpiteitä. Voidaan myös tarkastella suunnitteilla olevan palvelun taiintervention relevanttisuutta suhteessa ratkaistaviin ongelmiin. Mallin avulla voidaanarvioida hankkeen, palvelun jne. toteutettavuutta ja myös sitä, että onko hanke,palvelu jne. mahdollista vakiinnuttaa osaksi normaalia toimintaa ja levittää myöslaajempaan käyttöön 4

Mitä kannattaa huomioida?

OsallisetLoogisen mallin rakentamisessa on otettava huomioon palveluja tuottavanhenkilöstön ja muiden osallisten näkemykset ja mielipiteet. Mallinrakentamisessa eri osapuolten välille on löydyttävä yhteinen kieli.

Mallin pysyvyysLoogisen mallin ei tarvitse olla pysyvä. Sitä voidaan ja pitää muuttaa, jospalveluissa, projektissa jne. tapahtuu muutoksia.

Aikarajat mallilleMallille pitää määritellä käyttö- ja hyödynnettävyysaika. Tämä auttaarakentamaan lyhyen, keskipitkän ja pitkän aikavälin tulokset sekä tekemäänparempia resursseja ja toimintaa koskevia päätöksiä.

5

Kokemuksia

Malli on hyvä ja suhteellisen yksinkertainenapuväline hahmottaa palvelun kokonaisuuttaUuden toimintatavan tai hankkeensuunnittelussa mallin rakentaminen tuottaakonkreettisempaa visiointia siitä mihin pyritäänOn erinomainen apuväline silloin, kun toimintaanhalutaan rakentaa arviointi

6

Loogisen mallin elementit

Resurssit TuotoksetLyhyen

ajantulokset

Keski-pitkän ajan

tulokset

Pitkän ajantulokset

/vaikutukset

Toiminnot

Välttämättömät ehdot jaulkoiset vaikuttavat tekijät

Päämäärä

Ongelma / tarve

Lapsen ääni-kehittämisohjelman (Kaste)looginen malli 2011-2012

.

8

Tarve/ongelma:Päämäärä/tavoitteet:Resurssit Toiminnot Tuotokset Lyhyen

aikavälintulokset

Keskipitkänaikavälintulokset

Pitkänaikavälintulokset

Oletukset siitä, mitkä tekijät muutosta selittävät

Oletukset hankkeen toimivuuden välttämättömistä ehdoista

Ulkoiset tekijät, jotka voivat vaikuttaa ohjelman toimivuuteenLähde: www.innonet.org

Loogisen mallin laatukriteerit

Muutosteorian laatukriteerinä on uskottavuusLoogisen mallin laatukriteerinä on sen toteutettavuus

Vaikutusketjun loogisuus ei vielä ole toteutettavuuden taeUsein intervention ja odotetun tuloksen välillä onmittakaavavirhe – jos lähitavoite ei ole toteuttamis-kelpoinen, eivät pitemmän ajan tavoitteetkaan toteuduUsein ongelmana mallin yleisyys ja fokusoimattomuusRiskinä on hyväksyttävyyden saamiseksi tehdäkompromisseja, jotka huonontavat toteutettavuutta

Lähde: Knowlton, L & Phillips, C (2009) The Logic Model Guidebook; BetterStrategies for Great Results.

Loogisen mallin parantaminen

Kokemuksesta oppii – seuraava malli on jo parempiMallin esittäminen kollegoille tai ulkopuolisille parantaajälkeäSen selvittäminen, mille oletuksille malli on rakennettuSMART-kriteerit: Täsmällisyys, Mitattavuus,Toimintasuuntautuneisuus, Realistisuus, AjoitusFIT-kriteerit: Toistuvuus/määrä, Intensiivisyys,Kohdentuminen

Lähde: Knowlton, L & Phillips, C (2009) The Logic Model Guidebook; BetterStrategies for Great Results.

Loogisen mallin käsitteet 1/4Ongelmien/tarpeiden kuvaaminen

Kuvataan ongelmat, joita projektilla jne. pyritään lievittämään tai ratkaisemaan.Kuvataan tarpeet, joita projektin avulla pyritään tyydyttämään. Ongelmankuvaamisella vastataan kysymykseen: ”Minkä ongelman tai millaisia ongelmiahanke, sosiaalipalvelu, interventio jne. ratkaisee.”

PäämääräMikä on projektin jne. pitkän aikavälin päämäärä/tavoitteet ja aiotut vaikutukset.Mikä on kohderyhmä. Päämäärä pitää ilmoittaa muutoksena, joka halutaanaikaansaada asiakkaiden hyvinvoinnissa jne. hankkeen avulla.

Oletukset siitä, mitkä tekijät selittävät muutostaOletukset ovat tutkimuksiin, kokemuksiin ja hyviin käytäntöihin perustuviahypoteeseja siitä, miksi juuri tietyt toiminnot ja interventiot johtavat muutokseenjuuri tiettyjen, erityisten asiakkaiden ja asiakasryhmien kohdalla. Nämäoletukset ovat keskeisimmät interventioiden ja tulosten välisiä suhteita koskevathypoteesit.

Loogisen mallin käsitteet 2/4

Oletukset hankkeen toimivuuden välttämättömistä ehdoistaNäiden ehtojen oletetaan olevan olemassa, kun jotakin uutta palvelua,interventiota jne. aletaan suunnitella ja toteuttaa tai olemassa olevaatoimintaa kehittää. Nämä oletukset voivat koskea olemassa olevia asioitatai erityisiä olosuhteita yhteiskunnassa, kunnassa, yhdyskunnassa,organisaatiossa tai läheisessä toimintaympäristössä.

Ulkoiset tekijätHanke, palvelu, interventio jne. eivät toteudu tyhjiössä. Monet tekijät, joihinhankkeen toteuttajat eivät pysty vaikuttamaan, voivat vaikuttaa tuloksiin.Nämä ulkoiset tekijät kuten poliittinen tai taloudellinen tilanne, kulttuurinenkonteksti jne. voivat joko edistää tai ehkäistä hankkeen tavoitteidensaavuttamista.

ResurssitTyöntekijät, aika, tilat, materiaalit jne., jotka ovat tarpeen tulostenaikaansaamiseksi.

Loogisen mallin käsitteet 3/4

ToiminnotToimenpiteet, interventiot jne., jotka tehdään, jotta halutututtulokset ja vaikutukset saavutettaisiin. On usein hyödyllistä tehdätoimintoryhmiä niistä toimenpiteistä, interventioista jne., jotka ovatläheisessä suhteessa toisiinsa. Toimintoryhmien lukumäärä onriippuvainen hankkeen koosta. Isoissa hankkeissa saattaa ollauseita toimintoryhmiä ja pienissä korkeintaan yksi tai kaksi.

TuotoksetTuotokset ovat toimintojen, interventioiden jne. mitattavia,välittömiä tuotteita tai aikaansaannoksia. Tuotokset mahdollistavathaluttujen tulosten aikaansaamisen, mutta eivät ole itsessään niitämuutoksia, joita hankkeella jne. on tarkoitus tuottaa asiakkaanelämässä, yhteisössä, organisaatiossa jne. Aikaansaatujentuotosten määrää, laajuutta jne. kannattaa mitata. Se auttaaseuraamaan, kuinka hyvin hankkeen, palvelun, intervention jne.toimeenpanossa on onnistuttu.

Loogisen mallin käsitteet 4/4

Tulokset

Asiakkaiden elämässä, yhteisössä, organisaatiossa jne.tapahtuneet muutokset, joiden oletetaan olevan palvelun,projektin, interventioiden ym. aikaansaamia. Tuloksetvastaavat kysymykseen: ”Mitä muutoksia hankkeella,palvelulla tai ohjelmalla on mahdollista saada aikaan?

Millaisia asioita tulokset kuvaavat 1/2

Oppimisessa tapahtuvia muutoksiaUusi tietoLisääntyneet taidot ja osaaminenMuuttuneet asenteet, mielipiteet tai arvotMuuttunut motivaatio tai halu

EsimerkkejäÄitien tiedot lasten kehittymiseen liittyvistä asioista lisääntyvät.Teini-iässä olevat sitoutuvat osallistumaan yhdyskuntapalveluun.

Toiminnassa tapahtuvia muutoksiaMuuttunut käytös tai toimintatapaMuuttuneet päätöksetMuuttunut politiikka tai toimintamalli

EsimerkkejäÄidit toteuttavat uutta kasvatusmallia.Teini-iässä olevat osallistuvat yhdyskuntapalveluun.

Millaisia asioita tulokset kuvaavat 2/2

Olosuhteissa tapahtuvia muutoksiaYksilöissä ja perheissä tapahtuvat muutoksetMuutokset taloudessaMuutokset yhteiskunnassa, kunnassa, asuinyhteisössäMuutokset ympäristössä

EsimerkkejäHankkeeseen osallistuneiden äitien lasten kehittyminen eteneeodotusten mukaisesti.Hankkeeseen osallistuneiden miesten työttömyys vähenee.

Lähde: Innovation network (www.innonet.org)

Tulosten kohdentuminen 1/2

Yksilöihin kohdentuvat tulokset (asiakastulokset)Esimerkkejä

Vanhemmat käyttävät aikaisempaa parempia kasvatusmenetelmiä (muuttunutkäytös).Vanhemmat osaavat aikaisempaa paremmin pitää kiinni oikeuksistaan(lisääntyneet taidot).Lapsilla on aikaisempaa paremmat valmiudet aloittaa koulu (muuttunutolosuhde)

Perhe- tai yhdyskuntatason tuloksetEsimerkkejä

Parantunut kommunikointi perheen jäsenten keskenParantunut vuorovaikutus lasten vanhempien ja koulun välilläVäkivallan väheneminen naapurustossaVastuu omasta toiminnasta siirtyy osittain viranomaisilta itselle (esim.ryhmäkodissa asuville).

Lähde: Innovation network (www.innonet.org)

Tulosten kohdentuminen 2/2

Systeemituloksetkuvaavat koko järjestelmässä tapahtuvia muutoksia. Esimerkiksi kokoorganisaatio, työyksikkö jne. alkaa toimia uudella tavalla (esim.organisaation oppiminen).

Hanke-/ ohjelmatuloksetHankkeen sisäiset tulokset (sekä yksilö- että eri organisoitumistasoilla)vaikuttavat siihen, kuinka hyvin hanke voi saavuttaa ulkoiset(varsinaiset) tulokset.

EsimerkkejäHankkeen tai ohjelman johtamis- ja koordinaatiomahdollisuudet saattavatparantuaToiminnan tehokkuus lisääntyyHenkilökunnan motivaatio paranee

Esimerkkejä asiakkaan hyvinvoinnissa ja olosuhteissatapahtuvista muutoksista 1/2

Tavoiteltuun suuntaan tapahtunut muutos (muutos parempaan)

Olosuhde Asunnoton saa asunnonYhteiskunnallinen asema Työtön saa työnKäyttäytyminen Nuori alkaa käydä säännöllisesti

koulussaToimintakyky Asiakkaan selviytymistaidot (esim.

suhteessa ongelmiin) lisääntyvätAsenne Nuoren lisääntynyt arvostus

opiskelua kohtaanTunne Asiakkaan lisääntynyt tunne, että

hänet hyväksytään esim. ryhmässäMielipide Asiakkaan näkemys omista kyvyistä

ja mahdollisuuksista lisääntyy

Lähde: Rossi, H. Peter; Freeman, Howard E. ja Lipsey, Mark W.: Evaluation. A systematicapproach. Sage publications 19

Muutos huonosta tilanteesta parempaan

Olosuhde Öiden määrä, jotka asunnoton viettää kadullaYhteiskunnallinen asema Päivien määrä, jotka päihdeongelmainen on

poissa työstäKäyttäytyminen Päivien määrä, jotka nuori on poissa koulustaToimintakyky Tilanteiden väheneminen, joissa asiakas

tappelee puolisonsa kanssaAsenne Tilanteiden väheneminen, joissa nuori

käyttäytyy impulsiivisesti jakontrolloimattomasti

Tunne Asiakkaan huonommuuden tunteenväheneminen

Mielipide Negatiivinen näkemys toisesta etnisestäryhmästä muuttuu positiiviseen suuntaan

Esimerkkejä asiakkaan hyvinvoinnissa ja olosuhteissatapahtuvista muutoksista 2/2

Pitkä aikaväliesim. olosuhteissatapahtunut muutos

TulosketjutLyhyt aikaväliesim. oppimiseenliittyvä tulos

Välittäväesim. muuttunutkäytös

Ajallisesti lähellä hankkeenpalvelun, intervention jne.päättymistä tai saavutetaanjo hankkeen jne. toteuttamisenaikana

Helpompi mitata kuinpitemmän aikavälin tuloksia

Palvelulla, interventiolla jne.suora yhteys tulokseen

Ajallisesti kaukanapalvelun, interventionjne. päättymisestä

Vaikeasti mitattavissa

Palvelulla, interventiollajne. ei enää suoraayhteyttä tulokseen

Tulosten ja tuotosten ero - esimerkkejä

TUOTOS (OUTPUT) TULOS (OUTCOME)

• uusien äitien luona tehdään 6kotikäyntiä

• kotikäynteihin osallistuneiden uusien äitientieto lasten kehitykseen vaikuttavistatekijöistä lisääntyy

• radiossa ja televisiossa tietoiskuja lastenpahoinpitelystä ja laiminlyönnistä

• lasten pahoinpitelyä ja laiminlyöntiäkoskevia tiedotteita jaetaan paikallisiinkirjastoihin ja sosiaaliasemille

• kohderyhmät oppivat aikaisempaaparemmin havaitsemaan lastenpahoinpitely- ja laiminlyöntitapaukset sekätoimimaan oikealla tavalla tilanteenkorjaamiseksi

• tehty toimintasuunnitelma naapurustonleikkipaikkojen ja pelikenttienkunnostamiseksi

• asukkaat kunnostaneet leikkipaikat japelikentät

• sosiaalista ohjelmaa koskevarahoitushakemus jätetty päätettäväksi

• saatu resursseja ja rahaa sosiaalisenohjelman toteuttamiseksi

Tulokset ja tulosmittarit

Usein vaikuttavuuden seurannan ja arvioinninlähtökohtana on se, että selvitetään millaisia tuloksia(muutoksia asiakkaiden olosuhteissa ja elämässä)halutaan saada aikaan.Kun on selvillä, mihin projektilla, sosiaalipalvelulle,interventiolla jne. pyritään, voidaan rakentaatulosmittarit. Tulosmittareilla seurataan asiakkaanelämäntilanteessa, sosiaalisissa olosuhteissa,hyvinvoinnissa, ongelmissa jne. tapahtuviamuutoksia.

Tulosmittareilta vaadittavia ominaisuuksia 1/2

Tulokset ilmoitetaan muutoksina, jotka halutaanaikaansaadaTulosten pitää olla mitattaviaMitattavien asioiden pitää olla sellaisia, että ne voirealistisesti saavuttaaTulosten voidaan olettaa olevan toteutettavan hankkeen,palvelun, intervention jne. aikaansaamiaMittarit kuvaavat mahdollisimman täsmällisesti ja kattavastioleelliset puolet mitattavasta ilmiöstäAina ei löydy suoraan muutosta kuvaavaa mittaria, jolloinkäytetään sijaismittaria, jonka voidaan katsoa riittävässämäärin kohdistuvan tavoiteltuun muutokseenMittarin kattavuuden parantamiseksi tehdään useastamuuttujasta yksi summamuuttuja

Tulosmittareilta vaadittavia ominaisuuksia 2/2

Mittarin pitää olla suhteessa käytettävissä oleviinresursseihin, tietopohjaan ja aikaisemmin saatuihinkokemuksiin vastaavanlaisesta toiminnastaMittareita sekä lyhytaikaisten ja välittömien vaikutusten ettäpitkäaikaisten vaikutusten ja tulosten kestävyydenosoittamiseenAsiakkaan prosessiin sopivat indikaattoritOsallisten on päästävä sopimukseen siitä, millaiset tulokset jatulosmittarit ovat heidän näkemystensä mukaanluotettavimpiaEri ajankohtina asiakkaat saattavat antaa erilaisia vastauksia(samoihin kysymyksiin)Standardisoidut mittarit (yksi vaihtoehto)

Esimerkkejä

27

Sosiaaliviraston pienhankkeidenhankekortit noudattavat loogisen mallinrakennetta

Tämän vuoden pienhankkeiden hankekortit löytyvätHelmisestä: Kehittäminen/projektipankki

28

29

HANKEKORTTIpäivämäärä

Hankkeen nimi:Adoptioperheiden perhekerho

Hankkeen tavoitteet Halutaan kehittää adoptioperheiden kanssa tehtävää perhetyötä ja sen kautta tarjota perheillelisää tukea varhaisessa vaiheessa lapsen tultua perheeseen. Perhekerho on tuloskorttitavoitteenmukaista varhaisen tuen vahvistamista. Halutaan tukea lapsen ja vanhemman vuorovaikutusta jakiintymyssuhdetta sekä vahvistaa vanhemmuutta. Hankkeen tarkoitus on ennaltaehkäistämahdollisia tulevia ongelmia. Auttaa adoptioperheitä verkostoitumaan keskenään ja mahdollistaavertaistuki. Tarjotaan perheille hauskaa ja mielekästä tekemistä yhdessä.

Lyhyt kuvaus hankkeen toiminnasta Hanke toteutetaan kerran kuukaudessa kokoontuvalla perhekerholla. Kerho toteutetaan ainasamalla tavoin, vain kerhon teema vaihtuu (sama ohjelmarunko). Perhekerho kokoontuu perjantaiaamupäivällä Leikkipuisto Linjassa klo 9.30 -11.30. Perheet voivat käydä kerhossa kaksi vuottalapsen saapumisen/sijoittamisen jälkeen.

Kehittämistyön toteutumisen riskit Kehittämistyöllä ei ole varsinaisia riskejä. Ainoa nähtävä riski on, että adoptioperheet eivät koekerhoa omakseen, eivätkä ota palvelua vastaan.

Toimenpiteet Leikkipuisto Linjassa järjestettävä perhekerho, aluksi kerran kuukaudessa, syksyllä kaksi kertaakuukaudessa. Perhekerhossa on läsnä leikkipuiston henkilökuntaa sekä adoptiotyöryhmän kaksityöntekijää. Kerhossa on tietty ohjelmarunko, jota noudatetaan, esim. laululeikit, askartelua,välipalahetki, vapaata toimintaa. Lisäksi joillekin kerroille pyydetään asiantuntija, esim. Theraplay-tyyppisten leikkien ohjaaja tai tehdään retkiä.

Tuotokset (suoritteet) Kysellään kerhossa kävijöiltä toiveita, kehittämisehdotuksia ja mielipiteitä esimerkiksisähköpostilla ja paikan päällä. Seurataan perheiden kiinnostusta kerhoa kohtaan. Pidetäänarviointikokouksia säännöllisin väliajoin yhdessä leikkipuiston henkilökunnan kanssa

Tulokset ja vaikutukset (muutokset)1) asiakkaille2) toimintakäytäntöihin

1) Perheet voivat paremmin, kokevat tulevansa kohdatuksi ja voivat jakaa kokemuksia toistenadoptioperheiden kanssa

2) Adoptioperheiden varhainen tukeminen jatkuu perhekerhon muodossa vuosia eteenpäin

Yhteistyötahot ja kumppanit Lasten päivähoidon vastuualue, Leikkipuistotoiminta, Leikkipuisto Linja

Rahoitusmäärä 1500 euroa.Toiminnan juurruttaminen Vuoden aikana tuleva palaute perheiltä antaa eväitä tulevaan. Jos perhekerho todetaan toimivaksi

tukimuodoksi, jatketaan sitä vuosia eteenpäin. Mahdollisuus jatkoon on, jos toimintahuomioidaan budjetissa.

30

Ellen Taylor-Powell & Ellen Henert :DEVELOPING A LOGIC MODEL: TEACHING AND TRAINING GUIDE 2/29/2008

31

Ellen Taylor-Powell & Ellen Henert :DEVELOPING A LOGIC MODEL: TEACHING AND TRAINING GUIDE 2/29/2008

32

Ellen Taylor-Powell & Ellen Henert :DEVELOPING A LOGIC MODEL: TEACHING AND TRAINING GUIDE 2/29/2008

33Communities of Learning, Inquiry, and Practicehttp://www.insites.org/CLIP_v1_site/index.html

Miten Looginen malli auttaa arviointisuunnitelmanrakentamisessa

Resurssit Toimenpiteet Tuotokset jaosalliset

Tulokset/vaikutukset

Lyhyenaikavälin

Tulokset/vaikutuksetKeskipitkän

aikavälin

Tulokset/vaikutukset

Pitkänaikavälin

•Määrittely aloitetaan useimmiten tuloksista ja vaikutuksista•”Kun tehdään x asioita x osallisille x resursseilla saavutamme x tuloksia”

•Kehittämisprosessin arviointi kiinnittyy kohtiin: resurssit, toimenpiteet ja tuotokset•Millä indikaattoreilla tai kriteereillä kerrotaan edistymisestä?

•Tulosten ja vaikutusten arviointi kiinnittyy kohtiin: Lyhyen, keskipitkän ja pitkänaikavälin tuloksiin ja vaikutuksiin.•Millä indikaattoreilla kerrotaan tuloksista ja vaikutuksista?

Kehittämisprosessin arviointi Tulosten ja vaikutusten arviointi

Arvioinnin tarkoitus ja hyödyntäminen

Mitä arvioidaan?Kehittämisprosesseja, tuloksia, vaikutuksia……

Ketkä ovat osallisina?Työntekijät, asiakkaat, päättäjät……

Mihin arviointia käytetään?Työn kehittämisen tueksi, osoittamaan tuloksellisuutta…….

Miksi arviointia tehdään?Tilaus, hanke, halutaan tietoa oman työn vaikutuksista….

Kuka tai ketkä arviointia käyttävät?Työntekijät, päättäjät…..

Mitä arvioinnilta odotetaan?Minkälaista raportointia, tilaus…..

35

Toiminta- ja palvelu- Aineistonprosessien arviointi kerääminen

Toteutus Menetelmät

LOOGINEN MALLI

Vaikutusten ja vaikutta- Aineiston kerääminen

vuuden arviointi Menetelmät Toteutus

Tulokset

(outcomes)

Resurssit

(resources)

Toiminnot

(activities)

Tuotokset(outputs)

Toiminnot

Tulokset Mittarit

Tuotokset

Looginen malli ja arviointi

Lähde: www.innonet.org

Arviointisuunnitelma

Prosessin arviointisuunnitelma

Toiminnot 1. tuotokset ja

2. toimeenpanonlisäkysymykset

Tiedonkeruun menetelmä

1.2.

Tulosarvioinnin suunnitelma

Tulokset Mittarit Tiedonkeruun menetelmä

KIITOS !

38