PROJEKTŲ REZULTATŲ IR POVEIKIO EFEKTYVUMO VERTINIMAS

Zydziunaite, 2010 1

PROJEKTŲ REZULTATŲ IR POVEIKIO EFEKTYVUMO

VERTINIMAS

Prof. dr. Vilma Žydžiūnaitė

E-mail: [email protected]

mailto:[email protected]


Zydziunaite, 2010 2

• VERTINIMAS

Zydziunaite, 2010 3

• Vertinimo poreikis projekte

Zydziunaite, 2010 4

• Vertinimai, vykdant projekto veiklas ir siekiant konkrečių rezultatų, turi būti vykdomi ne tik galutiniame projekto etape (galutinis ar apibendrinamasis vertinimas, vadinamas apibendrinamuoju vertinimu / įvertinimu), bet ir viso projekto eigoje (tarpiniai vertinimai).

Zydziunaite, 2010 5

• Vertinimo termino vartojimas

Zydziunaite, 2010 6

• Vertinimo ir įvertinimo sąvokos netapačios: vertinimui (-ams) atlikti būtinas duomenų rinkimas, analizė, interpretacija ir apibendrinimas, kas sudaro galimybes priimti sprendimus - įvertinimus.

• Metodikoje koncentruojamasi tik į vertinimą (anglų k. – evaluation).

Zydziunaite, 2010 7

• Skirtingose projektų rezultatų kategorijose vertinimas ir įvertinimas turi skirtingus objektus

Zydziunaite, 2010 8

Edukacinė kategorija

• interakcinis / sąveikos (mokymai, mokomieji vizitai), • medžiaginis [leidiniai (knygos, metodikos, programos), • informacinių technologijų (rekomendacijos elektronine

forma, elektroninis informacinis biuletenis), • kognityvus (vertimas, leidinio parengimas), • audiovizualinis (vaizdo klipas, fotoalbumas), • leidybos (knygos leidyba), • švietimo (visuomenei skirtas renginys, vieši

prisistatymai), • politikos (koncepcija, veiksmų planas), • administravimo (leidinių platinimas, tinklapio

administravimas), • informavimo (informacijos skleidimas spaudoje)

Zydziunaite, 2010 9

Tyrimų / empirinė kategorija

• interakcinis / sąveikos (tikslinės tyrimo dalyvių grupės atranka),

• informacinių technologijų (duomenų parengimo analizei kodų matrica kompiuterinėje programoje),

• medžiaginis (straipsnis, tyrimo ataskaita),• kognityvinis (suformuluotos išvados,

suformuluotos rekomendacijos),• proceso (įvykdytas tyrimas (apklausa, interviu),

atrinkta tyrimo medžiaga, pilotinis išbandymas (mokymo kurso),

• edukacinis (testuotas modulis, adaptuotas modulis),

• leidybos (galimybių studijos leidyba).

Zydziunaite, 2010 10

Rekreacijos kategorija

• lavinimo (pažintinės išvykos (vizitai, ekskursijos),

• papildomo ugdymo (vaikų užimtumo užsiėmimai, sporto užsiėmimai),

• socializacijos (vasaros stovykla, koncertas).


Paramos kategorija

• medžiaginis (įsigytas inventorius),

• mokymo/si (nupirktos knygos),

• savišvietos (sudarytos galimybės naudotis internetu užprenumeruoti leidiniai),

• proceso (funkcionuojantis paramos centras),

• paslaugos (medicinos paslaugos),

• farmacinis (medikamentai).


Informacinių technologijų kategorija

• kognityvinis (interneto puslapio / tinklalapio sukūrimas, elektroninės skilties parengimas, reklaminių skydelių sukūrimas, internetinių informacinių laidų ciklo sukūrimas),

• proceso (interneto svetainės turinio administravimas, įregistruotas domenas, elektroninės skilties administravimas).


• Vertinant rezultatus skirtingose kategorijose, jiems suteikiamos vertės, parodomas objektų vertingumas: jų požymiai, reikšmingumas įvairiuose lygmenyse (pvz., asmeniniame, bendruomenės, organizaciniame, visuomenės ar kt.), nes kiekvienu rezultatu siekiama patenkinti konkrečius poreikius (pvz., kultūrinius, politinius, socialinius, edukacinius ir kt.)


• PROJEKTO REZULTATAS


• Projekto rezultato (anglų k. – project outcome, deliverable, result) terminas vartojamas projektų vadyboje apibrėžti apčiuopiamą, juntamą, akivaizdų, materialų arba neapčiuopiamą, neapibrėžtą, nematerialų objektą (produktą), kuris skirtas konkrečiam vartotojui.

• Projekto rezultatu gali būti ataskaita, dokumentas, serverio patobulinimas, leidybos procesas, parengta knyga ir kt.


• Metodikoje vartojama tik projekto rezultato sąvoka (adekvati projekto produkto sąvokai), kuri suprantama holistiškai, t. y. ji savo turinyje gali apimti ir konkrečias gaires (traktuotinas konkrečiu rezultatu / produktu), ir gairių rengimą, jei bus poreikis vertinti proceso kokybę.


• Projekto rezultatų kokybės prielaidos


• projekto rezultatų turi siekti konkrečias kompetencijas turintys specialistai (praktikai) ir mokslininkai, tyrėjai;

• projekto rezultatas traktuojamas kokybišku, jei jis atitinka numatytus kokybės rodiklius, o atitikimą jiems įrodo atlikto projekto rezultatų ir šių rezultatų poveikio efektyvumo vertinimas;

• jei sukurti projekto rezultatai (produktai) reikalauja papildomų mokymų vartotojams, tuomet mokymams taip pat turi būti sukuriami mokymų kokybės vertinimo kriterijai ir rodikliai, kurie leistų įvertinti mokymų (kaip produkto) kokybę ir jų poveikio vartotojams efektyvumą.


• Europos pabėgėlių fondo projektų rezultatų bendrieji bruožai


• projekto rezultatai yra keturių kategorijų – edukacijos, tyrimų / empirinės, rekreacijos ir informacinių technologijų;

• kiekviena rezultato kategorija apima tris charakteristikas – rezultato tipą, rezultato potipį ir rezultato pobūdį;

• kiekvienoje kategorijoje ir konkrečiame tipe galimi kiekybiniai ir kokybiniai rezultatai;

• kiekviename potipyje gali būti kelių pobūdžių rezultatai yra kiekybiniai ir kokybiniai.


Projekto tikslai

Projekto veiklos

Projekto rezultatai

Rezultato kategorija X

Rezultato kategorija Y

Rezultato kategorija ....

Rezultato tipas X 1

Rezultato tipas X 2

Rezultato tipas Y 1

Rezultato tipas Y 2

Rezultato tipas ...

Rezultato tipas ...

Rezultato potipiai ....






Rezultato pobūdis


• Vertinant projekto rezultatus reikėtų atsiminti, jog tas pats rezultatas gali būti priskiriamas …


…kelioms kategorijoms

Projekto rezultatas X

Edukacijos rezultatai

Tyrimų / empiriniai rezultatai

Rekreacijos rezultatai

Paramos rezultatai

IT rezultatai


…keliems tos pačios kategorijos tipams

Edukacijos kategorijos projekto

rezultatas X

Tipas: Mokymas

Tipas: Mokymasis

Tipas: Lavinimas

Tipas: Rekreacija

Tipas: Tobulinimasis

Tipas: Konsultavimas

Tipas: Informavimas

Tipas: Pagalba

Tipas: Sklaida


…keliems potipiams toje pačioje kategorijoje ir tame pačiame tipe

Projekto rezultatas

X

Kategorija: Edukacija

Tipas: Mokymas

Tipas: Sklaida

Kategorija: Rekreacija

Tipas: Edukacija

Potipis: interakcinis rezultatas

Potipis: kognityvinis rezultatas

Potipis: lavinimo rezultatas

Potipis: papildomo ugdymo rezultatas


…kelioms kategorijoms ir kiekvienoje iš jų skirtingiems tipams bei pastarųjų potipiams

Edukacijos kategorijos

projekto rezultatas X

Tipas: Mokymas

Potipis: Interakcinis rezultatas

Potipis: Medžiaginis rezultatas


• Projekto rezultatų vertimo tipo ir metodo parinkimo logika pagal projekto rezultato priskyrimą kategorijai, tipui ir potipiui


Projekto rezultatas X

Projekto rezultato

KATEGORIJAProjekto

rezultato TIPAS Projekto rezultato

POTIPIS

Projekto rezultato vertinimo

KRITERIJAI


RODIKLIAI

Projekto rezultato

vertinimo METODAI


TIPAS

Projekto rezultato

vertinimo INSTRUMENTAI


• PROJEKTO REZULTATO VERTINIMAS


Projekto rezultato kokybės kriterijų ir juos sudarančių rodiklių / indikatorių apibrėžimas

Projekto X rezultato kokybės kriterijai

Projekto X rezultato kriterijaus apibūdinimas

Projekto X rezultato kokybės kriterijų rodikliai / indikatoriai

Projekto X rezultato kokybės kriterijų rodiklių / indikatorių apibūdinimai

A KRITERIJUS ...............................................................................................................................................................................................................................................................................

A 1 rodiklis ......................................................................................

A 2 rodiklis ......................................................................................

A 3 rodiklis ......................................................................................

B KRITERIJUS ............................................ ............................................ ...........................................


Kiekybinių verčių kokybės kriterijams ir juos sudarantiems rodikliams / indikatoriams numatymas

Projekto rezultato X kokybės kriterijai

Projekto rezultato X kokybės kriterijaus bendroji vertė

Pagrindimas Projekto X rezultato kokybės kriterijų rodikliai / indikatoriai

Projekto X rezultato kokybės kriterijų rodiklių / indikatorių vertės

Pagrindimas

A KRITERIJUS

Min vertė ........Max vertė .......

..................... A 1 rodiklis Min vertė .........Max vertė ........

.........................

A 2 rodiklis Min vertė .........Max vertė ........

.........................

A 3 rodiklis Min vertė .........Max vertė ........

.........................

B KRITERIJUS

Min vertė ........Max vertė .......

.................... B 1 rodiklis Min vertė .........Max vertė ........

.........................

B 2 rodiklis Kiekybiškai nevertinamas

.........................


Projekto rezultato kokybės rodikliams / indikatoriams darančių faktorių apibrėžimas


Projekto rezultato X kokybės rodikliai / indikatoriai

Faktoriai, darantys įtaką rodikliams / indikatoriams

Galima rodiklio / indikatoriaus vertės kaita

Pagrindimas

A KRITERIJUS A 1 rodiklis Tikslinė projekto grupė + 1,5 .... – 1,5 ...........................

Socialiniai tinklai + 2,0 ... – 2,0 ...........................

A 2 rodiklis Projekto planavimas + 0,25 ... – 0,25 ...........................

Projekto žmogiškųjų išteklių vadyba

+ 1,0 ... – 1,0 ...........................

B KRITERIJUS B 1 rodiklis Tyrimo duomenų surinkimo laikas

+ 0,2 ... – 0,2 ...........................

B 2 rodiklis Surinktų tyrimo duomenų kokybė

Kiekybiškai nevertinamas

...........................


Projekto rezultato vertinimo tipų ir metodų parinkimas


Projekto rezultato X kokybės rodikliai / indikatoriai

Vertinimo tipas Vertinimo informacijos rinkimo ir analizės metodai

A KRITERIJUS A 1 rodiklis Kiekybinis Duomenų rinkimo: .....Duomenų analizės: .......

Kiekybinis Duomenų rinkimo: .....Duomenų analizės: .......

A 2 rodiklis Kiekybinis Duomenų rinkimo: .....Duomenų analizės: .......

Kiekybinis Duomenų rinkimo: .....Duomenų analizės: .......

B KRITERIJUS B 1 rodiklis Kiekybinis Duomenų rinkimo: .....Duomenų analizės: .......

B 2 rodiklis Kokybinis Duomenų rinkimo: .....Duomenų analizės: .......

B3 rodiklis Mišrus Duomenų rinkimo: .....Duomenų analizės: .......


Projekto rezultatų vertinimo instrumentų sudarymas

• Kiekybiniame vertinimo tipe – uždaro tipo skalių klausimynas, skalių vertinimo matrica, struktūruoto interviu klausimai, struktūruoto stebėjimo matrica.

• Kokybiniame vertinimo tipe – atviro tipo klausimynas, pusiau struktūruoto ar nestruktūruoto interviu klausimai, nestruktūruoto ar pusiau struktūruoto stebėjimo matrica.

• Mišriajame vertinimo tipe derinami kiekybinių ir kokybinių duomenų rinkimo metodai atskirose vertinimo stadijose


• Projekto rezultatų vertinimo duomenų interpretavimas

• Projekto rezultatų vertinimo išvadų formulavimas


• Bendradarbiavimas su tyrėjais ir mokslininkais vertinant projekto rezultatus


• Atlikdami projekto rezultatų vertinimą – nuo vertinimo tipo, metodų parinkimo, vertinimo instrumento sudarymo iki vertinimo duomenų rinkimo, analizės ir interpretacijos - projekto veiklų vykdytojai turi objektyviai įsivertinti savo turimą kompetenciją tyrimų metodologijoje, ypač – vertinimo srityje, ir jei ši kompetencija įsivertinama nepalankiai, konsultuotis su mokslininkais ir tyrėjais bei su jais bendradarbiauti.


• PROJEKTO REZULTATO POVEIKIO EFEKTYVUMAS


• Efektyvumo vertinimas turi kokybinę prigimtį ir orientaciją į ateitį, proceso eigą, o veiksmingumo matavimas remiasi kiekybine prigimtimi ir orientuojasi į esamą būklės vertinimą.

• Todėl, vertinant projekto rezultatų poveikio efektyvumą, prasminga pirmenybę teikti vertinimams projekto eigoje (tarpiniam poveikio vertinimui) ir kokybinio vertinimo tipui.


• Jei projekto komandai aktualus ir veiksmingumo vertinimas, tuomet esminis dėmesys turi būti skiriamas projekto rezultato vertinimui.

• Pirmenybę teikiant kiekybiniam vertinimo tipui, o jei bus vertinamas projekto rezultatų poveikio veiksmingumas, tuomet prasminga orientuotis į trumpalaikio poveikio vertinimo strategiją.


• Vertinimo strategija siejama su projekto rezultato poveikio tipu, o vertinimo tipas – su projekto rezultato poveikio potipiu.


• Pasirenkant projekto rezultato poveikio vertinimo tipą ir strategiją svarbu atsižvelgti į projekto tikslinės grupės charakteristikas ir į projekto konkretaus rezultato pobūdį (savybes, charakteristikas).

• Būtent tikslinės grupės yra konkrečių rezultatų vartotojos ir jų nuomonė, pasitenkinimas, lūkesčiai bei nuostatos apie konkretų rezultatą yra svarbūs rodikliai, vertinant projekto rezultato poveikį


Projekto rezultato kategorija

Projekto rezultato

tipas

Projekto rezultato

potipis

Projekto rezultato vertinimo tipas

(kiekybinis, kokybinis, mišrus)

Projekto rezultato vertinimo strategija

(ilgalaikis poveikis, trumpalaikis poveikis, tarpinis

poveikis)

Projekto rezultato

poveikio tipas

Projekto rezultato poveikio potipis

Projekto tikslinė grupė

Projekto rezultato pobūdis


• Metodikoje projekto rezultato poveikio efektyvumu vadinamas konkretaus projekto rezultato poveikis tikslinei projekto grupei, projekto komandai ir / ar kitiems projekto rezultato vartotojams, kuris gali būti vertinamas, taikant kokybinį, kokybinį ar mišrų vertinimo tipą, besiremiantį kokybiniais ir kiekybiniais tyrimo metodais vertinimo informacijai rinkti ir analizuoti.


• PROJEKTO REZULTATO POVEIKIO EFEKTYVUMO VERTINIMAS


• Kai vertiname projekto rezultato poveikio efektyvumą, vertiname šio rezultato praktinį naudojimą, praktiškumą ir naudingumą konkrečiai tikslinei projekto grupei.


• Praktiškas vartojimas reiškia, kad produkto kūrėjai siekia konkrečių tikslų, kurių realizavimą atspindi rezultato poveikio efektyvumas ir veiksmingumas, t. y. produkto vartotojų pasitenkinimas (Nielsen, 1993; ISO, 1994).


Vertinant projekto rezultatų poveikio efektyvumą, prasminga orientuotis į tokius kriterijus:

• vartotojų veiksmingas ir efektyvus numatytų tikslų pasiekimas, praktiškai naudojant rezultatą / produktą;

• nesudėtingas mokymasis, taikant / naudojant konkretų projekto rezultatą;

• galimybės išvengti klaidų ir / ar jas ištaisyti, praktiškai naudojant rezultatą;

• vartotojų pasitenkinimas, praktiškai naudojant konkretų projekto rezultatą,

• konkretaus rezultato dermė su konkrečiu kontekstu, kuriame jis taikomas / naudojamas praktiškai.


• Kuriant ir / ar vykdant projektą turi būti informacija apie…


…siekiamą projekto rezultatų poveikio efektyvumą

Projekto rezulta-to katego-rija

Projekto rezulta-to tipas

Projekto rezultato poti-pis

Projekto rezultato poveikio efektyvumo lygme-nys

Projekto rezultato poveikio efektyvumo lygmens apibūdi-nimas

Projekto rezultato poveikio efektyvumo lygmens ryšys su projekto tikslais ir / ar uždavi-niais


Projekto rezultatų poveikio efektyvumo vertinimo strategija gali būti …

• pirminė (trumpalaikė, vienkartinė)

• tarpinė (vertinimas atliekamas, mažiausiai, du kartus)

• ilgalaikė (daugkartinė),



Projekto rezultato tipas

Projekto rezultato potipis

Projekto rezultato poveikio efektyvumo lygmenys

Projekto rezultato poveikio efektyvumo vertinimo tipas

Projekto rezultato poveikio efektyvumo lygmens vertinimo metodai

Projekto rezultato poveikio efektyvumo vertinimo strategija

Tikslinė projekto grupė

Duomenų rinkimo metodas: ...Duomenų analizės metodas: ...


… gautą projekto rezultatų poveikio efektyvumą


Projekto rezultato tipas

Projekto rezultato potipis

Siektas projekto rezultato poveikio efektyvumo lygmuo

Gautas projekto rezultato poveikio efektyvumo lygmuo


Prof. dr. Vilma ŽydžiūnaitėE-mail: [email protected]




PROJEKTŲ REZULTATŲ IR POVEIKIO EFEKTYVUMO VERTINIMAS

Documents

Transcript of PROJEKTŲ REZULTATŲ IR POVEIKIO EFEKTYVUMO VERTINIMAS