OULU 15.4.2014

Osaamisen ja sivistyksen parhaaksiOsaamisen ja sivistyksen parhaaksi

Ammatillisen koulutuksen oppimistulosten arvioinnin menetelmien

kehittäminenTYÖELÄMÄYHTEYTTÄ KUVAAVA

INDIKAATTORI

Opetusneuvos, FT, VTM Mari Räkköläinen

OULU 15.4.2014

Osaamisen ja sivistyksen parhaaksi

TAUSTAA

Liittyy laajemmin kansallista oppimistulosten arviointia täydentävien menetelmien kehittämistyöhön

Indikaattorit:• Opiskelijan osaamisen itsearviointi

(testataan osana pintakäsittely- ja elintarvikealan oppimistulosten arviointeja keväällä 2014)

• Työelämäyhteistyön /työelämälähtöisyyden/ työelämäläheisyyden tason/ tilan mittaristo

(suunnittelu käynnistyy keväällä 2014, testaus syksyllä 2014/2015 ?)

Mari Räkköläinen


TYÖELÄMÄINDIKAATTORITYÖN SUUNNITELMA

Nykytilanteen kartoitus (kansalliset ja koulutuksen järjestäjillä käytössä olevat mittarit/järjestelmät) sekä käyttäjien kokemukset ja kehittämistarpeet (esim. OPIX, AIPAL, OPAL)

Perehdytään erilaisissa (merkittävissä) ammatillisen koulutuksen / opetustoimen henkilöstön kehittämishankkeissa laadittuihin/ sovellettuihin työelämäyhteistyöhön liittyviin kriteeristöihin ja työkaluihin (arvioinnin kohteiden kartoittaminen)

Analysoidaan aikaisempien kansallisten oppimistulosten arviointien tulokset ja tutkintorakenteen kehittämistyön kokemukset ja järjestelmän kehittämistarpeet

Tarkennetaan tiedontarpeet ja indikaattorien laatimisen tavoitteet

Mari Räkköläinen


Aiempien hankkeiden tuotoksia

Työpaikkaohjaajien koulutuksen kriteerit (Yhdessä tekemällä -hanke, OSAO)

Työssäoppimisen laatukriteerit työpaikalle (Yhdessä tekemällä -hanke, OSAO)

Työelämäyhteistyön laadunhallinta, asiakkuuksien johtaminen (Q-master -koulutus, Tuula Sillanpää, Lamppu2015 -hanke, KY LAPPIA)

Työelämäpedagoginen osaamiskartta (Osaava työelämäpedagogi ammatillisessa koulutuksessa -hanke, OAMK/AMOK)


TYÖELÄMÄINDIKAATTORITYÖN SUUNNITELMA

Kehittämisverkoston luominen

• Asiantuntijaryhmät ja tapaamiset

• Alueelliset työpajat

Indikaattorin/ mittariston viitekehys (huom! käsitteistö)

- laadinnan näkökulmat ja sisällölliset painotukset Indikaattorin käyttö / hyöty (lisäarvo)

- kenelle, mihin tarkoitukseen ja miten toteutetaan Mittarien laatiminen/ kokoamisen periaatteet

- määrälliset/ laadulliset indikaattorit

Pilotointi osana kansallista oppimistulosten arviointia

Mari Räkköläinen


TUOTOKSET JA KÄYTTÖTavoitteena on luoda mittarit, jotka ovat

- käyttäjäystävällisiä

- helposti saatavissa olevia

- ydinasioihin keskittyviä, luotettavaa tietoa antavia

- lisäarvoa antavia

- muita tavoitteita?

Käytetään kansallisten oppimistulosten arviointien yhteydessä- täydentää oppimistulosten arviointiaineistoa ja tulosten tulkintaa

- hyödynnetään toiminnan kehittämisessä ja koulutuksen laadun parantamisessa

Myös koulutuksen järjestäjät voivat käyttää

- itsearviointi, vertaisarviointi, laadunhallintajärjestelmät

- täydentää olemassa olevia mittareita/ järjestelmiä


TYÖELÄMÄINDIKAATTORIN LÄHTÖKOHTIA

TARVE saada kansallisesti vertailukelpoista ja luotettavaa tietoa täydentämään oppimistuloksia

TARVE tuottaa hyödyllistä ja käyttökelpoista tietoa valtakunnallisesti ja koulutuksen järjestäjille

Tuo tietoa myös sidosryhmille ja työelämän yhteistyötahoille, opetushenkilöstölle, opiskelijoille, opettajien kouluttajille

Vahvistaa tietoperustaisuutta ja selkiyttää tavoitteiden asettamista, tukee päätöksentekoa ja työelämäyhteyden laadun arviointia valtakunnallisesti ja paikallisesti

Mari Räkköläinen


TYÖELÄMÄINDIKAATTORIN LÄHTÖKOHTIA

Näytöt kehitettiin koulutuksen laadun, ennen kaikkea työelämälähtöisyyden ja -läheisyyden varmistamiseksi

Työelämälähtöisyyttä on kehitetty myös lisäämällä työssäoppimista, työpaikkaohjaajakoulutuksella ja opettajien työelämäjaksoilla

Miten eri koulutuspoliittiset toimenpiteet työelämälähtöisyyden kehittämiseksi ovat vaikuttaneet?

Onko työelämälähtöinen pedagogiikka kehittynyt?

Työelämälähtöisyyden kehittymisen arvioimiseksi tarvitaan oppimistulosten arvioinnin rinnalle indikaattoreita, jotka osittavat työelämälähtöisyyden tasoa


KÄSITTEESTÄ (huom! alustavaa pohdintaa)TYÖELÄMÄLÄHTÖISYYS

- esim. näytön/ oppimistehtävien sisällöt, työssäoppimisjaksot, pedagogiikka

TYÖELÄMÄLÄHEISYYS

- esim. koulutuksen järjestäjän/ opettajan toimintatavat, näyttöympäristön valinta, arvioijien valinta ja kouluttajien käyttö

Työelämäyhteistyö

Työelämäyhteys

Työelämäsuhteet


INDIKAATTORIN MÄÄRITELMÄSTÄOsoitin

Ilmaisin

(Tiivistetty) tilastollinen luku

Laadullinen mittari (laajojen ja monimutkaisten tietojen yksinkertaistaminen), laatua kuvaava

Kriteeri

Absoluuttinen/ suhteellinen

Apuväline

• Tavoitteiden asettamisessa ja seurannassa

• Vertailussa

• Suunnittelussa

• Päätöksenteossa


• INDIKAATTORIT

”ovat määrällisiä esityksiä, joiden voidaan järkeenkäyvästi ajatella tarjoavan kokoavaa tietoa kohdetoiminnan laajuudesta, laadusta ja elinvoimaisuudesta.”” tilastollinen tunnusluku, joka kuvaa ilmiön tilaa ja muutoksia tiivistetysti´, yleensä yhdellä luvulla”” tunnusluvut voivat olla keskiarvoja, osuuksia, määriä suhteessa ko. ”ryhmään” tai esimerkiksi palveluiden käyttö henkeä kohden”

Anu Räisänen 2013

,


Määrällisiä indikaattoriesimerkkejäHR

Henkilöstön mitoitus/opiskelija

Koulutettu/epäpätevä henkilöstö

Taloudelliset voimavarat

Käytettävissä olevat määrärahat/opiskelija

Täydennyskoulutukseen suunnatut varat / osallistumisaste

Palveluiden saatavuus

Odotusaika

Kansainvälinen liikkuvuus

Opiskelijavirta

Hakijat, valitut, keskeyttäneet, tutkinnon suorittaneet,

työhön/jatko- opintoihin sijoittuneet, rekrytoitumisaste

Alan työvoimatiedot

Työvoiman määrä, palkkataso, työllisyysasteAnu Räisänen 2013


Laadullisia indikaattoriesimerkkejäArvojen toteutuminen

opiskelijalähtöisyys

Osallisuus

osallistumisaste, vaikuttamismahdollisuudet,

kuulluksi tulemisen aste

Opiskelijoiden, henkilöstön ja kumppanien tyytyväisyys

tyytyväisyyden aste ja muutos vuodesta toiseen

Ammattikuntakohtaisen toiminnan laatu

prosessi-indikaattorit (itsearvioinnin ja vertaisarvioinnin pohjaksi)


ESIM. (alustavaa)

Työelämälähtöisyys

Opetussuunnitelmien sisällön laatu, näyttöjen arviointikriteerien osuvuus, pedagogiikan laatu

Työelämäläheisyys

työpaikoilla toteutetun työssäoppimisen ja ammattiosaamisen näyttöjen toteutumisaste


Indikaattoreiden laadinnassa tulee tietää:

Mikä on ilmiö, jota indikaattori kuvaa?

Miten indikaattoritieto on kerätty?

Millaisia tulkintoja ilmiöstä voidaan indikaattorin avulla tehdä?

Miten vastata kysymykseen, onko indikaattorin kuvaama tilanne hyvä vai huono?

Millä tavalla voidaan vaikuttaa ilmiöön, jota indikaattori kuvaa?

Kanerva-Kaste hanke / Anu Räisänen 2013


TYÖELÄMÄINDIKAATTORIN LAATIMINEN / Mari Räkköläinen 2014

Työelämäyhteistyö/ työelämäyhteys / työelämälähtöisyys/ työelämäläheisyysArvot

Tavoitteet

SäädöksetLaatuvaatimukset“Kriittiset kohdat”

Laadun arvioinnin kohteetKriteerit

Arviointityövälineet(lomakkeisto, kriteeristö)

Kehittäminen, seuranta

Indikaattorit/tunnusluvut(määrälliset, laadulliset)

Tulos(toteutumisaste, laajuus,

elinvoimaisuus, laatu)

Palaute


TOIMINNAN TULOKSELLISUUDEN ARVIOINTIMALLI

PANOKSET(toiminta-edellytykset)

PROSESSI(tekeminen)

TULOKSET(aikaansaannokset, tuotokset)

VÄLITTÖMÄT VAIKUTUKSET(toimintatapojen muutos)

VAIKUTTAVUUS(miten muutos näkyy kohderyhmässä/ toiminta-kulttuurissa?)

MR 8.10.12 mukaellen ”Theory of Change” –viitekehystä (ks. esim. Pawson & Tilley 1997; Weiss 1995, 1997)

MARI RÄKKÖLÄINEN


Indikaattorin laadinnan näkökulmia

Päämäärä• Mitä (merkittävää) koulutuspoliittista tavoitetta (työelämäyhteistyöllä)

edistetään? Pitkän tähtäimen hyödyt.• Mikä on se muutos, jota (työelämäyhteistyöllä) tavoitellaan?• Miksi kehittämistyö/ toimintamalli on tärkeä?

Toimintaedellytykset• Millaisin panoksin (laadukas, tavoitteet saavuttava) toiminta

(työelämäyhteistyö) on mahdollista?

Prosessi• Millaisen toiminnan avulla tavoitteet saavutetaan? • Mikä on rakenne (mitä) ja prosessi (miten)?• Laadukkaan palvelun osatekijät

Vaikutukset• Mitä toiminta (työelämäyhteistyö) tuottaa (aikaansaannokset, oppimistulokset)?

Mikä on sen hyöty ja mitä toiminnan tuloksena syntyy?


Indikaattorin laadinnan näkökulmia

VAIKUTTAVUUS (Impact, long term goal)

Tavoitteena on muutos

Mitkä ovat pitkän tähtäimen hyödyt lopulliselle kohderyhmälle?

Miten muutos näkyy kohderyhmässä?

Miten muutos näkyy toimintaympäristössä?

Miten toimintakulttuuri muuttuu?


AMMATILLISEN KOULUTUKSEN

TYÖELÄMÄLÄHTÖISYYSPäämäärä - Tavoitteet

TOIMINTAEDELLYTYKSETMATERIAALISET, TALOUDELLISET JA INHIMILLISET

VOIMAVARAT

TOIMINTASuunnittelu – toteutus – arviointi -

kehittäminen

TUOTOKSET

VAIKUTUKSET

TYÖELÄMÄINDIAATTORIN

LAADINNAN NÄKÖKOHTIA

TYÖELÄMÄYHTEISTYÖTÄ KUVAAVAN INDIKAATTORIN LAATIMINEN


Pohdittavaa

Mikä on arviointitiedon tarve?

Miten tyeöelämäindikaattorilla saatava tieto täydentää oppimistulosten arviointeja ja jo käytössä olevia järjestelmiä (kansallisesti/ paikallisesti)?

Mitä lisäarvoa indikaattorin tuottama tieto antaa koulutuksen järjestäjille ja työelämälle ja opettajille/ opetustoimen henkilöstölle?

Miten arviointitieto kootaan koulutuksen järjestäjiltä kansallista indikaattoria varten?

Ja muita….


Aurinkoisia kevätpäiviä!

Hyvää pääsiäistä myös!

OULU 15.4.2014

Documents

Transcript of OULU 15.4.2014