Beta BUJAK-SZWACZKAmonitoruj.podkarpackie.pl/Grafika/Menu glowne/Aktualnosci...programu; obejmuje w...
Transcript of Beta BUJAK-SZWACZKAmonitoruj.podkarpackie.pl/Grafika/Menu glowne/Aktualnosci...programu; obejmuje w...
1
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 1
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 2
Paweł KOLAS Trener prowadzący szkolenie
Beta BUJAK-SZWACZKA Trener prowadzący szkolenie
PROWADZENIE
SZKOLENIA
PROWADZENIE
SZKOLENIA
Wykonawcy szkolenia
2
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 3
Instytut Konsultantów Europejskich
Instytut Konsultantów Europejskich (ang. European Advisors Institute), jest niezależną
organizacją pozarządową, instytutem naukowo-szkoleniowym, działający non profit.
Instytut Konsultantów Europejskich jako instytucja non profit nie prowadzi działalności
gospodarczej, a jedynie realizuje cele statutowe.
Instytut jest głównym koordynatorem Europejskiego Programu Kształcenia i Akredytacji
Konsultantów Europejskich ©KFE (Program ©KFE) gdzie w oparciu o doświadczenia swoich
członków Ekspertów ©KFE prowadzi 3 główne działania:
•AKREDYTACJA - European Accreditation System ©KFE;
•SZKOLENIA - Doskonalenie umiejętności i integracja Konsultantów Europejskich;
•NAUKA i INFORMACJA - Działalność naukowa i informacyjna.
Organizator Szkolenia
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 4
Zakres tematyki szkolenia (1/2)
Blok 1 - Znaczenie systemu monitorowania i ewaluacji w nowej polityce
spójności UE
-Rola monitoringu i ewaluacji w refleksji nad politykami
publicznymi
-Wskaźniki monitoringu (rodzaje, dobór, trudności itp.).
-Logika interwencji – Matryca Logiczna
-Benchmarking
Blok 2 - Wskaźniki monitoringu
Blok 3 - Źródła weryfikacji wskaźników:
-Bank Danych Lokalnych
-System Strateg
-Monitoruj Podkarpacie
3
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 5
Zakres tematyki szkolenia (2/2)
Blok 4 i 5 - Ewaluacja strategii
Ewaluacja w cyklu wdrażania interwencji publicznej
Planowanie ewaluacji:
-Temat badania ewaluacyjnego
-Cele badania ewaluacyjnego
-Pytania badawcze
-Zakres badania i źródła danych
-Sposób realizacji badania
-Budżet badania
-Harmonogram badania
Blok 6 - Jak wykorzystywać wyniki monitoringu a jak ewaluacji…
czyli wdrażanie rekomendacji.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 6
Blok 1
Blok 1 - Znaczenie systemu monitorowania i ewaluacji
w nowej polityce spójności UE
4
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 7
Zmiany w stosunku do poprzedniego okresu programowania dotyczą głównie
przygotowywania dokumentów programowych i ich wdrażania oraz
współfinansowania z budżetu UE najważniejszych polityk w tym Wspólnej
Polityki Rolnej (WPR), Wspólnej Polityki Rybołówstwa (WPRyb) i Polityki
Spójności (PS). Główne zmiany to:
• realizacja celów wynikających ze strategii Europa 2020
• koncentracja tematyczna i koncentracja wsparcia;
• osiąganie konkretnych rezultatów, mierzonych konkretnymi
wskaźnikami;
• wsparcie terytorialne.
Blok 1 - Nowe wyzwania polityki spójności w latach 2014-2020
Zmiany w stosunku do poprzedniego okresu:
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 8
Nowe wyzwania polityki spójności dla JST w latach 2014-2020
Zasady i sposoby wydatkowania funduszy EFSI
Koncentracja tematyczna – ograniczenie interwencji do 11 celów tematycznych oraz
tzw. „ring fencingi”, czyli minimalne limity środków z funduszy europejskich, które
państwo członkowskie musi skierować na określone obszary, np. dotyczące badań i
innowacyjności, technologii informacyjno-komunikacyjnych, gospodarki niskoemisyjnej,
włączenia społecznego.
Wymiar terytorialny - lepsze wykorzystanie potencjałów terytoriów, wynikających z ich
specyfiki (np. specjalne wsparcie skierowane do miast i ich obszarów
funkcjonalnych).
Szersze zastosowanie instrumentów finansowych (zwrotnych) - np. pożyczki, poręczenia,
zwłaszcza w obszarze wsparcia dla przedsiębiorstw.
Ukierunkowanie na rezultaty – ocena postępów w rzeczowym i finansowym wdrażaniu
Programów w roku 2019, ocena osiągnięcia zakładanych celów w roku 2022.
Wyniki oceny będą stanowiły podstawę do podziału tzw. rezerwy wykonania.
5
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 9
Blok 1 – Monitoring i ewaluacja w Umowie Partnerstwa – poziom 1
Oczekiwane rezultaty interwencji funduszy w latach 2014-2020
monitorowane będą w trójstopniowym systemie wskaźników.
1. Osiąganie celów strategicznych mierzone będzie zestawem
wskaźników rezultatu na poziomie Umowy Partnerstwa określającym
polskie zobowiązania wynikające ze Strategii Europa 2020 oraz
krajowych dokumentów strategicznych, w tym SRK 2020.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 10
Blok 1 – Monitoring i ewaluacja w Umowie Partnerstwa
6
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 11
Blok 1 – Monitoring i ewaluacja w Umowie Partnerstwa – poziom 1
Dla wskaźników tych oszacowano i zweryfikowano w procesie ewaluacji
ex ante UP przewidywany postęp do 2020 i 2023 r., a także wpływ EFSI
na prognozowane wartości.
Faktyczny wpływ interwencji na obserwowaną zmianę zostanie określony
w toku ewaluacji ex post Umowy Partnerstwa. Wskaźniki rezultatu
wyznaczają cele strategiczne EFSI i stanowią pomoc w szacowaniu
wpływu interwencji funduszy UE na rozwój społeczno-gospodarczy
kraju.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 12
Blok 1 – Monitoring i ewaluacja w Umowie Partnerstwa – poziom 2
2. Na poziomie priorytetów programów operacyjnych cele szczegółowe
będą kwantyfikowane przy wykorzystaniu ograniczonej liczby wskaźników
rezultatu spójnych z celami strategicznymi określonymi w UP.
Monitorowaniu celów UP, jak również innych dokumentów strategicznych,
służyć będzie opracowany i prowadzony przez GUS „System wskaźników
dla monitorowania polityki rozwoju (STRATEG)”.
Dostęp do systemu będzie zapewniony poprzez stronę internetową GUS
i ministerstwa obsługującego ministra właściwego ds. rozwoju regionalnego.
System ten będzie zasilany zarówno danymi pochodzącymi z systemu
statystyki publicznej oraz z innych źródeł, np. z IZ programami operacyjnymi,
w tym regionalnymi.
7
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 13
Blok 1 – Monitoring i ewaluacja w Umowie Partnerstwa – poziom 3
3. Trzecim poziomem służącym mierzeniu efektów interwencji w ramach
programów operacyjnych będzie adekwatny do realizowanych projektów
zestaw wskaźników produktu i rezultatu bezpośredniego pochodzący z
przygotowywanej przez ministra właściwego ds. rozwoju regionalnego
i szeroko skonsultowanej Wspólnej Listy Wskaźników Kluczowych (WLWK).
Lista zawiera wskaźniki wspólne na poziomie europejskim (common indicators)
określone w rozporządzeniach funduszowych. Ponadto, możliwe jest
ustanowienie dodatkowych wskaźników w celu monitorowania efektów
całego programu operacyjnego.
Monitorowanie efektów wsparcia w ramach PROW oparte będzie na systemie
wskaźników określonych na poziomie unijnym i wskaźnikach krajowych
odpowiadających specyfice polskiego PROW. Odrębna lista wskaźników będzie
stosowana dla PO RiM.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 14
Blok 1 – Monitoring w Umowie Partnerstwa
W implementacji strategii ważna jest KONTROLA tego procesu oraz
OCENA uzyskanych EFEKTÓW społecznych i gospodarczych, a także
ZMIAN w środowisku przyrodniczym. Zadanie to, mające charakter
permanentny, nazywa się MONITORING STRATEGII.
Efektywna realizacja strategii wymaga więc kontrolowania skuteczności
wdrażania przedsięwzięć. Pomiar i kontrola działań strategicznych
powinna odpowiadać na dwa zasadnicze pytania:
- Czy strategia jest faktycznie realizowana?
- Czy strategia przynosi zamierzone skutki?
Do czego potrzeba systemu monitoringu strategii polityk
publicznych?
8
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 15
Monitoring musi zatem dotyczyć:
– oceny przebiegu realizacji strategii tj. jej celów, programów
i zadań,
– oceny uzyskiwanych efektów rozwoju społecznego
i gospodarczego oraz stanu środowiska, co w sumie traktować
i uznać można za efekty realizacji strategii.
Taki monitoring realizacji zapisów strategii ma zatem dwie funkcje:
SPRAWDZAJĄCĄ I KORYGUJĄCĄ.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 16
Blok 1 – Funkcje monitoringu
Funkcja sprawdzająca to systematyczne, najlepiej coroczne, zestawienie
wykonanych przedsięwzięć w relacji do zapisanych programów.
Należy tu określić zadania (wykonane i niewykonane), a także podać
przyczyny opóźnień i innych odchyleń od zapisów. Chodzi oczywiście nie
tylko o zadania rzeczowe, ale również o zadania organizacyjno-finansowe
(montaż finansowy).
9
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 17
Blok 1 – Funkcje monitoringu
Funkcja korygująca to wprowadzanie do zapisów dokumentu strategicznego
zmian wynikających ze szczególnie istotnych okoliczności, których nie dało
się przewidzieć w fazie tworzenia strategii, lub co do których przyjęto
niewłaściwe założenie.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 18
Blok 1 – Co umożliwia monitoring?
Monitoring strategii realizacji polityk publicznych umożliwi:
– bieżącą ocenę realizacji programów i zadań oraz osiągania celów,
– prognozowanie ewentualnych zmian warunków realizacji,
– dokonanie bieżących korekt i poprawek,
– podjęcie działań zabezpieczających i naprawczych,
– informowanie społeczności lokalnej o uzyskanych wynikach.
10
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 19
Blok 1 – Władza publiczna – po co monitoring i ocena?
Potrzeba oceny skuteczności polityk publicznych (ewaluacja
ex-ante i ex-post, monitorowanie dokumentów
strategicznych)
Zwiększenie przejrzystości wydatków publicznych
(kontrola publiczna, edukacja, budowanie
współodpowiedzialności, efektywność)
Usprawnienie i poprawa efektywności zarządzania (wspieranie
procesu decyzyjnego, identyfikacja uwarunkowań
i przewidywanie skutków)
Poczucie braku dostatecznych informacji o rozwoju
(współpraca ze statystyką publiczną, konsolidacja danych,
bazy wiedzy, wysoka standaryzacja)
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 20
Blok 1 – Monitoring – czym jest?
Monitoring/Monitorowanie - definicja
„Proces systematycznego zbierania i analizowania ilościowych
i jakościowych informacji na temat wdrażanych projektów
i całego programu w aspekcie finansowym i rzeczowym, mający
na celu zapewnienie zgodności realizacji projektów i programu
z wcześniej zatwierdzonymi założeniami i celami…”.
11
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 21
Blok 1 – Cele monitoringu – poziom wspólnotowy
Analiza strategii: Podniesienie możliwości Dyrekcji Generalnej ds.
Polityki Regionalnej i Miejskiej w zakresie prowadzenia badań
odpowiadających specyficznej tematyce.
Wkład w sterowanie pojedynczym programem: Podniesienie
możliwości pracowników odpowiedzialnych za wprowadzanie
zmian powodujących dokładniejszy wgląd w działania
programu.
Zarządzanie finansowe programem: KE przysyła dane potrzebne do
transferu stosownych płatności dla realizowanych programu.
Odpowiedniość / przejrzystość:
Przygotowanie rocznych raportów na temat wdrażania funduszy
strukturalnych (raportów, odpowiedzi na pytania/interpelacje Parlamentu
Europejskiego, Rady Unii Europejskiej oraz innych instytucji
wspólnotowych).
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 22
Blok 1 – Cele monitoringu – poziom narodowy
Ocena odpowiedniego wykonania/ocena osiągnięć:
-w tym argumentacja do podzieleniu rezerwy wykonania
pomiędzy programami.
Wkład w zarządzanie finansowe:
-informowanie instytucji poziomu narodowego o potrzebach
wprowadzenia zmian we wdrażanych programach.
12
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 23
Blok 1 – Cele monitoringu – poziom programu (1/2)
Rozwój programu: -dane z poprzednich programów dostarczają
informacji potrzebnych dla rozwoju następnych edycji
programu; obejmuje w szczególności balans pomiędzy
priorytetami oraz metodami ich pomiaru, wyboru wskaźników
i kwantyfikacji celów.
Wdrażanie programu: Dane z poprzednich programów dostarczają
informacji wspierających kryteria wyboru oraz określenie
realistycznych celów dla następnych edycji programu.
Zarządzanie finansowe: Dostarcza informacji niezbędnych dla
terminowej realizacji płatności, a w razie potrzeby informuje o
konieczności reagowania w celu zapobiegania utraty
środków.
Zarządzanie strategiczne: Obejmuje wsparcie Komitetów
Monitorujących w wypełnianiu ich strategicznych zadań.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 24
Blok 1 – Cele monitoringu – poziom programu (2/2)
Przygotowanie raportów – odpowiedniość/transparentność:
- dostarczenie informacji o działaniach innych uczestników,
ich obowiązkach oraz informowanie opinii publicznej.
Przygotowywanie raportów dostarczających informacji
o systemie: -dostarczenie informacji/danych dla innych
użytkowników dotyczących ich obowiązków – szczególnie KE
oraz odpowiednich ministerstw w krajach członkowskich.
Kontrola: -zbieranie odpowiednich informacji w celu zapewnienia
odpowiedniego wydawania środków w ramach funduszy
strukturalnych.
Ewaluacja: -bazy danych z monitoringu dostarczają kluczowych
danych, które stanowią punkt wyjścia dla ewaluacji ex-post –
zestaw danych bazowych.
13
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 25
Blok 1 – Cele monitoringu – poziom projektu
Odpowiedniość/transparentność:
-prezentowanie właściwego wykorzystania funduszy pod
kątem spełnienia wymogów audytu.
Zarządzanie finansowe:
-dostarczenie potrzebnych informacji do wystąpienia o
następną transzę środków na realizację projektów.
Zarządzanie strategiczne:
-dostarczanie informacji niezbędnych dla pomyślnego
zakończenia projektu
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 26
Blok 1 – MONITORING – systemowość podejścia do rozwoju
Koniecznym jest powstanie SYSTEMU, którego zadaniem byłoby zbieranie,
gromadzenie oraz analiza danych w celu generowania
i dostarczania informacji o charakterze diagnostycznym
i ewaluacyjnym służących do WERYFIKACJI podjętej polityki rozwoju
i jej MODYFIKACJI.
14
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 27
Blok 1 – SYSTEM INSTYTUCJONALNY MONITORINGU
Nowe instytucje w systemie instytucjonalnym polityki regionalnej
Projekt KSRR wprowadza nowe instytucje w systemie realizacji polityki
regionalnej pozwalające na umieszczenie realizowanych strategii i polityk
w kontekście obiektywnych faktów, danych i ekonomiczno-
społecznych teorii naukowych (evidence based policy).
Należą do nich:
• Obserwatoria rozwoju terytorialnego: regionalne obserwatoria
terytorialne (ROT) oraz krajowe obserwatorium terytorialne
(KOT),
• Krajowe Forum Terytorialne (KFT),
• Regionalne Fora Terytorialne (RFT).
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 28
Blok 1 – MONITORING i OCENA interwencji publicznych
Obserwatoria tworzą SYSTEM współpracy i PRZEPŁYWU
informacji między najważniejszymi podmiotami publicznymi
biorącymi udział w planowaniu i realizacji polityki rozwoju
w celu MONITOROWANIA i OCENY całości INTERWENCJI
PUBLICZNEJ mającej wpływ terytorialny.
15
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 29
Blok 1 –Jak zarządzamy wdrażaniem strategii?
„Zarządzanie” - koordynowanie działań, które są wykonywane przez
określone podmioty (ludzi, ich zespoły, jednostki organizacyjne, systemy
administracyjne) oraz służą osiągnięciu określonego celu,
nakierowanego na uzyskanie oczekiwanej wartości publicznej.
Zarządzanie publiczne, rozumianego jako organizacja procesu realizacji
strategii publicznych zaspakajających istotne potrzeby społeczne.
Zarządzanie, traktowane jako proces, oparte jest na przyjętych strategiach i
służy ich pełnej implementacji, a uzyskana trwała wartość publiczna
(traktowana jako element rozwoju) jest najważniejszym osiągniętym
rezultatem.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 30
Blok 1 – zarządzanie
Podejmowanie decyzji
organizowanie
planowanie
Delegowanie zadań
monitoring
koordynowanie
kontrolowanie
zarządzanie
16
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 31
Blok 1 –Jak zarządzamy wdrażaniem strategii?
Głównym zadaniem zarządzania jest zapewnienie realizacji
opracowanej strategii, jak również bieżące rozwiązywanie
szczegółowych problemów, które nie zostały ujęte w planie ogólnym na
poziomie strategicznym.
Zarządzanie polityką rozwoju jest ściśle powiązane ze strategiami
rozwoju, gdyż konkretyzuje i weryfikuje poszczególne koncepcje
przyjęte w dokumentach strategicznych.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 32
Blok 1 –Jak zarządzamy wdrażaniem strategii?
Polityka rozwoju to „zespół działań zmierzających do efektywnego
wykorzystania zasobów ludzkich i środków materialnych,
podejmowanych w skoordynowany sposób przez jednostki administracji
publicznej różnych szczebli, we współpracy z przedstawicielami
partnerów społeczno-gospodarczych oraz organizacji pozarządowych,
w oparciu o zasadę partnerstwa, w celu osiągnięcia wcześniej
założonych celów”.
Osiągnięcie zaplanowanych w społeczeństwie i dla
społeczeństwa rezultatów jest najważniejszym wymiarem
pojęcia sprawnego działania.
17
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 33
Blok 1 - Dlaczego warto zainwestować w autorefleksję?
Jakość procesów zarządzania strategicznego (od planowania, poprzez
monitoring do ewaluacji) daję większe prawdopodobieństwo realizacji działań
bardziej użytecznych”
Nowoczesne instytucje publiczne zorientowane powinny być na zarządzanie
w oparciu o zadania i wyniki, realizując zadania publiczne w oparciu o
obiektywne informacje i dowody. Dlatego monitoring i ewaluacja maja tutaj
kluczowe znaczenie.
W biznesie osiągnięcie celów weryfikowane jest poprzez rynek i zysk.
W instytucjach publicznych te pojęcia nie decydują o powodzeniu, bądź nie
interwencji publicznych – trzeba szukać innych kryteriów oceny
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 34
Blok 1
Rola monitoringu i ewaluacji w refleksji nad politykami
publicznymi
Celem interwencji publicznych realizowanych przez polityki, programy, projekty
jest pozytywna zmiana w obszarze uznanym za problemowy.
Planowana na podstawie Strategii Rozwoju zmiana ma być wywołana
konkretnymi działaniami, które zaprogramowaliśmy.
Dylematy zarządzającego:
– Jakimi narzędziami sprawdzana jest poprawność przebiegu tych
działań?
– Jakie narzędzia umożliwiają weryfikację efektów?
– Jakie narzędzia pozwalają wyciągać wnioski z udanych działań
(powielając sukces) lub nieudanych eksperymentów (unikając dalszych
błędów)?
A więc jakie są narzędzia uczenia się?
18
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 35
Blok 1 – Proces budowania strategii
Proces budowania strategii
Proces budowania i realizacji strategii
Źródło: Bończak-Kucharczyk, Cousins, Herbst, Stewart 1996, s. 5 (nieco zmodyfikowany).
Realizacja strategii musi być
monitorowana i poddawana
ewaluacji.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 36
Blok 1 – monitoring – ewaluacja – kontrola
Monitorowanie – Ewaluacja - Kontrola
Warunkiem dla powszechnego stosowania monitoringu
i ewaluacji jest istnienie szerszego systemu zarządzania
zorientowanego na wyniki (zarządzania strategicznego, programowania
działań, budżetowania zadaniowego)
•Różnice w procesach dotyczą tego:
- Kto wykonuje monitoring, a kto ewaluacje?
- Co jest monitorowane i poddawane ewaluacji?
- Kiedy prowadzony jest monitoring, a kiedy ewaluacja?
- Po co monitorujemy i poddajemy ewaluacji interwencje publiczne?
19
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Monitoring i ewaluacja
37
Początek
wdrażania
interwencji
Ewaluacja
ex post
Monitoring interwencji
Ewaluacja
ex anteEwaluacja
bieżąca
Ewaluacja
bieżąca
Ewaluacja
bieżąca
Ewaluacja
bieżąca
Ewaluacja
bieżąca
Koniec
wdrażania
interwencji
Blok 1 – co i kiedy?
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Odpowiedź na dylematy zarządzającego:
Monitoring
•Monitoring to proces
systematycznego zbierania
i analizowania ilościowych
i jakościowych informacji,
dotyczących postępów
i efektów wdrażania
Strategii/Programu.
•Monitoring - czy interwencja
przebiegała zgodnie
z wyjściowym planem.
38
Ewaluacja
•Ewaluacja jest to proces oceny
efektów realizacji interwencji publicznej
przeprowadzany w oparciu o
odpowiednie kryteria (trafności,
skuteczności, efektywności,
użyteczności, trwałości) za pomocą
odpowiedniej metodologii w celu
poprawy jakości podejmowanych
działań, ze szczególnym
uwzględnieniem celów jakie
interwencja ma realizować.
Blok 1 – Różnice definicyjne
20
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 39
• Metodyka monitoringu
zestandaryzowana
i powtarzalna, co jest warunkiem
skuteczności monitoringu.
• Przygotowanie narzędzi
monitorowania równolegle
z procesem wyznaczania celów.
• Monitorowanie oparte jest
o system wskaźników.
• Wyniki monitoringu są punktem
wyjścia i jednym ze źródeł
wykorzystywanych w ewaluacji .
• Ewaluacje – wymagają ciągłej
modyfikacji i dostosowywania
metodyki do stawianych pytań
i przedmiotów badania.
• Ewaluacje są prowadzone po to by
weryfikować zasadność wszystkich
trzech teorii programu (bazowych,
wdrażania, teorii zmiany).
Blok 1 - Różnice definicyjne
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Proces monitoringu
40
Blok 1 – Prowadzenie monitoringu
21
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 41
Blok 1 – monitoring
Po co nam monitoring?
Dostarcza danych pozwalających ocenić postępy realizacji Strategii i jej
wpływ na rozwój jednostki
Wnioski z oceny procesu wdrażania mogą być podstawą aktualizacji
dokumentu
Wnioski te są również podstawą do przyjęcia założeń rozwoju
strategicznego w następnym okresie
Pozwala Identyfikować ewentualne opóźnienia lub nieprawidłowości
oraz podejmować działania naprawcze
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 42
Blok 1 – skuteczny monitoring
Co determinuje skuteczny monitoring?
Po pierwsze stworzone ramy wskaźników, a więc filozofia i sposób
kwantyfikacji planowanych nakładów, działań, produktów i efektów.
Po drugie system zbierania danych obejmujący zarówno infrastrukturę danych
(bazy danych), jak i procedury ich wprowadzania, przechowywania,
weryfikacji, obróbki, agregacji.
Po trzecie, jakość kadr urzędniczych zajmujących się monitoringiem – ich
umiejętności i doświadczenie.
22
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 43
Blok 1- Logika interwencji
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 44
Oddziaływanie (długoterminowe efekty)
Rezultaty (bezpośrednie i natychmiastowe
efekty)
Produkty
(dobra i usługi)
Działania
Cele ogólne
Cele
specyficzne
Cele
operacyjne
Nakłady
Blok 1- Logika interwencji
23
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 45
Blok 1 - Logika interwencji
Logika interwencji
• Nakłady - Zasoby zaangażowane w realizację danej interwencji (środki finansowe,
zasoby ludzkie, lokale, sprzęt).
• Działania - Konkretne czynności, interakcje i procedury wdrażane w trakcie
prowadzonej interwencji, mające prowadzić do osiągania kolejnych etapów
i kamieni milowych projektu.
• Produkty - Wartości, rzeczy, elementy infrastruktury, usługi, które zostały wytworzone
i dostarczone beneficjentom danej interwencji w trakcie jej wdrażania.
• Efekty:
– Skutek interwencji – zmiana, która nastąpiła w grupie docelowej, w adresowanym
obszarze, dzięki działaniom przeprowadzonym w ramach danej interwencji.
– Efekty czasami są rozgraniczane na rezultaty i oddziaływanie. Te pierwsze są
bezpośrednim skutkiem interwencji dla jej odbiorców. Te drugie są skutkiem
długookresowym widocznym po jakimś czasie i mają zwykle charakter zmiany
strukturalnej.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 46
Blok 1- Logika interwencji
Sformułowany cel powinien być SMART:
Specific – Measurable - Achievable/Ambitious – Realistic –
Timely/Time-bounded
•Specyficzny – wskazać dokładnie co chcemy osiągnąć
•Mierzalny - Czego nie da się zmierzyć, nie można osiągnąć. Skąd będziemy
wiedzieć, że osiągnęliśmy cel?
•Ambitny/Osiągalny - Określając swój cel musimy pamiętać o tym, że ten cel
w naszym rozumieniu da się osiągnąć i jest to coś do czego można dążyć.
•Realny - posiadane zasoby muszą być wystarczające dla realizacji celu
•Terminowy/Określony w czasie - Dokładne określenie czasu, kiedy chcemy
osiągnąć cel wyznaczy punkt, do którego możemy dążyć
Dla stworzenia możliwości monitoringu cel musimy
OPOMIAROWAĆ
24
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 47
Blok 1 – ocena rezultatów
Benchmarking
Benchmarking oznacza uczenie się od najlepszych.
„Benchmarking to metoda porównywania własnych rozwiązań
z najlepszymi oraz ich udoskonalania przez uczenie się od innych
i wykorzystywanie najlepszych doświadczeń”
(S. Wawak, Zarządzanie jakością. Teoria i praktyka)
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 48
Blok 1 – Benchmarking
Benchmarking to specyficzny proces przetwarzania informacji zawartych
w tzw. wartościach orientacyjnych czy docelowych, którymi są wzorce
zachowań liderów na danym rynku.
W szerszym sensie oznacza to także metody działania, projekty, zasady,
instrumenty, które mogą to być traktowane jako wyznaczniki
naszych dążeń.
Benchmarking oznacza porównuj się z najlepszymi i rozwijaj swoje
umiejętności w tym samym kierunku.
Kojarzy się on z sytuacją prymusa w szkole, wskazywanego przez
nauczycieli, jako wzorzec.
25
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 49
Blok 1 – Benchmarking
Benchmarking nie dostarcza z reguły całkowicie nieznanych rozwiązań -
rezultatem tej metody są jednak bardzo często nowe impulsy
i pomysły.
Niekiedy uzyskujemy potwierdzenie, że znane tylko ogólnie, od strony
teoretycznej metody rzeczywiście przynoszą dobre wyniki.
W metodzie tej należy uwzględnić dwa podstawowe aspekty:
– Mierzenie konkretnych parametrów i definiowanie swojej
sytuacji.
– Aspekt uczenia się
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 50
Blok 1 – Benchmarking
Idea organizacji uczącej się według Petera Senge
(P. Senge, Piąta dyscyplina)
„Organizacje i przedsiębiorstwa, które są zdolne do samopoznania,
zrozumienia swoich problemów i doskonalenia się, które po prostu
umieją się uczyć zarówno na własnych błędach, jak i na sukcesach”
26
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 51
Blok 1 – Benchmarking – rodzaje wg klasyfikacji przedmiotowej
Strategiczny – obejmuje długofalowe cele, dotyczy strategii przedsiębiorstwa,
zorientowany jest głównie na porównanie z konkurencją w zakresie: rynków
lub wybranych segmentów rynków, poziomów i kierunków inwestowania,
rentowności, struktury kosztów, produktów i technologii,
Procesów – przedmiotem porównań są procesy i procedury, sposoby
skutecznego organizowania procesów, pozwalające na osiągnięcie
wysokiego poziomu efektywności i kreowania wysokiej wartości dla klienta.
Poszukuje się procesów wzorcowych i metod ich udoskonalenia,
Produktów – analiza wyrobów i usług w kategoriach zaspakajania potrzeb
klientów, nowatorskich rozwiązań konstrukcyjnych, w zakresie projektowania,
technologii,
Metod zarządzania – porównuje się do firmy wzorcowej metody i techniki lub
cały system zarządzania, podejmowania decyzji lub poszczególnych
obszarów np. metod kierowania ludźmi.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 52
Blok 1 – Benchmarking – ograniczenia
• trudności przy wyborze „partnera benchmarkingu”,
• problemy w zbieraniu dostatecznie szczegółowych informacji
o partnerze benchmarkingu
• zmiany w jednostce, w wyniku benchmarkingu często wymagają
kompleksowych rozwiązań, angażowania dużych zasobów,
a sukces nie zawsze musi być oczywisty
27
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 53
Ćwiczenie 1
W materiałach macie Państwo zestawienie różnego typu wskaźniki
i typy informacji. Generalnie rozróżniamy dane/informacje zbierane
w procesie monitorowania i w procesie ewaluacji. Proszę podane
w tabeli wskaźniki i typy informacji uszeregować w dwie grupy:
– Wskaźniki i dane charakterystyczne dla procesów monitoringu
– Wskaźniki i dane charakterystyczne dla procesów ewaluacji .
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 54
Blok 2
Blok 2 - Wskaźniki monitoringu
28
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 55
WSKAŹNIK to obserwowalne zjawisko B lub cecha B, którego
zaobserwowanie POZWALA OKREŚLIĆ z wystarczająco wysokim
prawdopodobieństwem o WYSTĄPIENIU badanego zjawiska A
lub posiadaniu określonej cechy A.
Przykłady:
-Zmiana liczby wypadków na drogach w gminie (obserwowalne zjawisko
B) pozwoli stwierdzić, czy nastąpiła poprawa stanu bezpieczeństwa
w ruchu drogowym w gminie (badane zjawisko A).
-Napływ zagranicznych inwestycji bezpośrednich do Polski (obserwowalne
zjawisko B) pomoże stwierdzić, czy nastąpił wzrost atrakcyjności
inwestycyjnej kraju (badane zjawisko A).
Blok 2 - Czym są wskaźniki?
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 56
WSKAŹNIK - czynnik ilościowy, jakościowy lub zmienna, za pomocą
której można zmierzyć osiągnięcie celów interwencji,
odzwierciedlić zmiany dokonane przez interwencję lub wspomóc
ocenę efektywności rozwoju.
Blok 2 – wg. OECD
29
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 57
Blok 2 – Wskaźniki – Funkcje
1. Funkcja planowania
2. Monitorowanie postępów - funkcja zarządcza (operacyjna)
3. Ocena wyników - funkcja ewaluacyjna, na przyszłość
4. Funkcja rozliczeniowa
5. Funkcja informacyjna
6. Funkcja społeczna
7. Funkcja naukowa
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 58
Blok 2 – Wskaźniki: podział ze względu na CECHY
BUDOWA
RODZAJ WYKORZYSTYWANYCH DANYCH
SPOSÓB WYKORZYSTANIA
MIEJSCE W LOGICE INTERWENCJI
PROSTE
FINANSOWE I RZECZOWE
KONTEKSTOWE
SYNTETYCZNE
ILOŚCIOWE I JAKOŚCIOWE
PROGRAMOWE/PROJEKTOWE
PRODUKTU ODDZIAŁYWANIA REZULTATU
CECHY
30
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 59
Blok 2 – Wskaźniki – BUDOWA (1/2)
WSKAŹNIK PROSTY składa się, zgodnie z przyjętą definicją, z jednego
zjawiska (B) lub cechy (B), którego zaobserwowanie pozwala określić
z wystarczająco dużym prawdopodobieństwem o wystąpieniu badanego
zjawiska (A) lub posiadaniu określonej cechy (A).
Przykład:
Napływ BIZ to wskaźnik prosty na wzrost atrakcyjności inwestycyjnej kraju
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 60
Blok 2 – Wskaźniki – BUDOWA (2/2)
WSKAŹNIK ZŁOŻONY (indeksowy, syntetyczny) składa się więcej niż
z jednego wskaźnika prostego. Zawsze powinien być opracowany na bazie
modelu (podbudowanego teorią i wcześniejszymi badaniami), a zmienne i
wagi składowych wskaźników mają oddawać wymiary i strukturę badanego
zjawiska.
Przykład:
Tzw. HDI – wskaźnik rozwoju społecznego (ang. Human Development
Index) uwzględnia: długość życia, średnia lat przeznaczonych na edukację,
oczekiwane lata edukacji dzieci rozpoczynających naukę, dochód narodowy
per capita
31
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 61
Blok 2 – Wskaźniki – RODZAJ WYKORZYSTANYCH DANYCH
Ze względu na RODZAJ wykorzystanych danych, można wyróżnić WSKAŹNIKI
FINANSOWE (nakłady) i RZECZOWE (realizacje rzeczowe). Często w obszarze
wskaźników finansowych stosuje się podział na: publiczne i prywatne.
Umożliwia to PORÓWNYWANIE i szacowanie EFEKTYWNOŚCI interwencji.
Podziałem ze względu na rodzaj jest także podział wskaźników na ILOŚCIOWE
i JAKOŚCIOWE. Ilościowe wskaźniki są POLICZALNE (wyrażane w wartościach
bezwzględnych lub względnych – tj. %). Regułą jest zalecenie, by nie stosować
określeń procentowych bez podania poziomu odniesienia – praktyka taka
uniemożliwia określenie RZECZYWISTEGO POZIOMU sukcesu lub porażki
interwencji.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 62
Blok 2 – Wskaźniki – miejsce w logice interwencji
NAKŁADY
Zaangażowane zasoby:
• finansowe
• czasowe
• ludzkie
• materialne
• organizacyjne
Do wyliczenia kosztów jednostkowych, a co za tym idzie - efektywności
Wkłady publiczne - wkłady prywatne - rezultaty - efekt dźwigni finansowej
PRODUKTY
Wskaźniki produktu – output indicators
Produkty materialne i usługi, które otrzymuje/wytwarza beneficjent w trakcie
realizacji projektu przy wykorzystaniu zaangażowanych zasobów.
Efektywność - Skuteczność - Trwałość
32
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 63
Blok 2 – Wskaźniki – miejsce w logice interwencji
Wskaźniki rezultatu – result indicators
Bezpośrednie i natychmiastowe efekty projektu. Zmiany, jakie nastąpiły w
wyniku wdrożenia projektu u bezpośrednich beneficjentów pomocy
Efektywność - Skuteczność - Trwałość
•Pokazujące moc, przepustowość, potencjał
•Pokazujące rzeczywiste osiągnięcia, wykorzystanie potencjału
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 64
Blok 2 – Wskaźniki – miejsce w logice interwencji
Wskaźniki oddziaływania (wpływu) – impact indicators
Konsekwencje danego projektu/programu wykraczające poza
bezpośrednie i natychmiastowe efekty dla beneficjentów:
• bezpośrednie/pośrednie
• oczekiwane/nieoczekiwane
• pozytywne/negatywne
• netto/brutto
33
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 65
Blok 2 – Wskaźniki – SPOSÓB wykorzystania danych
WSKAŹNIKI KONTEKSTOWE – ich rolą jest ukazanie tła sytuacji społeczno-
gospodarczej (najczęściej wykorzystywane w diagnozie strategicznej)
WSKAŹNIKI OSIĄGANIA CELÓW (wskaźniki programowe) – umożliwiają
określenie i monitorowanie celów do osiągnięcia.
za: Wskaźniki w zarządzaniu strategicznym, T.Kot, A. Weremiuk, MRR, 2012
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 66
Blok 2 – Wskaźniki – SPOSÓB wykorzystania danych
Rola wskaźników w diagnozie
Wskaźniki kontekstowe → ukazanie tła sytuacji społeczno-
gospodarczej
Wskaźniki celu (programowe/projektowe) – wynikające z interwencji
→ określenie i monitorowanie celów do osiągnięcia
34
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 67
Blok 2 – Wskaźniki – SPOSÓB wykorzystania danych
WSKAŹNIKI CELU można podzielić na wskaźniki celów najważniejszych dla danej
strategii (to tzw. WSKAŹNIKI KLUCZOWE) – obsługują główne cele lub ‘wiązki’
celów.
Dodatkowo wśród wskaźników określonych dla programu czy projektu można
wyróżnić: WSKAŹNIKI REALIZACJI CELÓW POLITYK, lub KWESTII
HORYZONTALNYCH tj.
• polityki równości szans,
• polityki zrównoważonego rozwoju
• polityki przeciw jakiejkolwiek formie dyskryminacji
• polityki innowacyjności itp.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 68
Blok 2 – Wskaźniki – wyzwania terytorialne
Rola ‘opomiarowania’ planów rozwojowych wzrasta w związku z oczekiwaniem
wywołania efektów na poziomie oddziaływań (które trzeba ocenić
w odniesieniu do ‘postępu’ w obrazie społeczno-gospodarczego rozwoju).
Ze względu na etapy cyklu interwencji publicznej wskaźniki spełniają
ROZMAITE FUNKCJE (planowanie, zarządcza, rozliczeniowa, ewaluacyjna,
informacyjna itp.).
DO DZIAGNOZY – potrzebny zestaw wskaźników kontekstowych opisujących
sytuację wyjściową, wskazują kluczowe problemy,
DO WYBORU CELÓW – planujący interwencję WYBIERAJĄ wskaźniki
rezultatu, obrazujące realizację zakładanych celów,
DO ALOKACJI ZASOBÓW – planujący interwencję wybierają wskaźniki
nakładu.
35
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 69
Blok 2 – WSKAŹNIKI - Praktyka diagnostyczna (1/3)
Reguły zastosowania wskaźników (praktyka) przy budowie DIAGNOZY
-Selekcjonuj zmienne i nie zrażaj się deficytami danych – celem diagnozy
nie jest zgromadzenie wszystkiego co wiemy, ale oparcie na faktach
pomysłu na rozwój. Jeśli skupisz się wyłącznie na statystyce i
danych, łatwo pominąć zjawiska, które są ważne, ale nie są
zapisane w danych (ich pozyskanie może być kosztowne,
czasochłonne i trudne do wykonania pod względem merytorycznym
– takie analizy to ostateczność!)
-Porównuj porównywalne i stosuj skale porównawcze!
-trzeba bardzo zwracać uwagę, że bez zachowania odpowiednich
proporcji oraz właściwego komentarza do zbieranych danych, łatwo
jest o mylną interpretację danego zjawiska.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 70
Blok 2 – WSKAŹNIKI - Praktyka diagnostyczna (2/3)
-Stosuje aktualne i jednolite dane – warto odnosić dane do wybranego roku
bazowego, obszaru, jednakowych uwarunkowań. Tylko takie
podejście odda rzeczywisty stan opisywanego wskaźnikami
zagadnienia lub obszaru.
-Przyjmij prymat wartości względnych (liczbowych) nad bezwzględnymi
(%) – jeśli już chce je stosować, pamiętaj o podaniu ‘bazy’
umożliwiającej porównanie. Zawsze podawaj określenie czasu, kiedy
opisywana sytuacja miała miejsce (np. na 30 czerwca roku XXXX).
-Ostrożnie korzystaj ze wskaźników syntetycznych – łatwe w
‘rankingowaniu’ pozycji, chętnie stosowane przez media, ale bardzo
trudne do rzeczywistej i jednoznacznej interpretacji…
36
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 71
Blok 2 – WSKAŹNIKI - Praktyka diagnostyczna (3/3)
-Stosuj DEZAGREGACJĘ wskaźników – czyli rozbicie ze względu na cechę,
co jest szczególnie ważne w przypadku wewnętrznego zróżnicowania
cechy lub zjawiska mierzonego wskaźnikiem zagregowanym.
Jeśli diagnoza ma być uczciwa, musi uwzględnić złożoność zjawiska
(np. dotyczącego płci, wieku, obszaru, grupy społecznej itp.).
-Bądź precyzyjny posługując się wskaźnikami – błędnie podany okres,
nieprecyzyjne nazewnictwo, uproszczenia... Unikaj powszechnych
błędów przy posługiwaniu się liczbami – mylenie procentów z punktami
procentowymi (% stosujemy, podając zmiany wartości bezwzględnych,
natomiast punkty procentowe – podając zmiany wartości wyrażonych
w %), niewłaściwego zaokrąglania liczb, utożsamienie dynamiki
z wzrostem itp.
-ZBYT WIELE DANYCH/WSKAŹNIKÓW W DIAGNOZIE TO BŁĄD–
zestawienie obszerniejsze danych powinny się znaleźć w załącznikach…
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 72
Blok 2 – WSKAŹNIKI – wyznaczanie i monitorowanie celów (1/3)
WŁAŚCIWE SFORMUŁOWANIE wyznaczonych w dokumentach strategicznych
CELÓW ma wielki związek z ich OPOMIAROWANIEM.
Kryterium SMART (akronim) w tym pomaga. Cel ma być:
Specyfic – konkretny,
Measurable – mierzalny,
Attainable – osiągalny lub acceptable tj. akceptowane, ambitious tj.
ambitne, accountable tj. przypisywalne
Relevant – istotne lub realistic tj. realistyczne przy zasobach, którymi
dysponujemy,
Time-bound – określone w czasie.
37
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 73
Blok 2 – WSKAŹNIKI – wyznaczanie i monitorowanie celów (2/3)
Doprecyzowanie celów warto oprzeć dodatkowo na rekomendowanych przez
OECD lub Bank Światowy pytaniach:
-dla kogo, w jakiej grupie?
-gdzie, w jakim obszarze, na jakim terenie?
-jak bardzo, w jakim stopniu,
-od kiedy.
W praktyce stopień doprecyzowania celów zależy od poziomu dokumentu
strategicznego – im wyższy poziom dokumenty, tym cele są mniej
rozczłonkowane, obejmujące większy obszar i szersze grupy docelowe.
Określenie rodzaju zmiany, która ma nastąpić po planowanej interwencji, jest
kluczowe do właściwego doboru wskaźników (!!!)
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 74
Blok 2 – WSKAŹNIKI – wyznaczanie i monitorowanie celów (3/3)
Wskaźniki na poziomie celów dokumentów strategicznych (polityki, strategii,
programu) powinny być WSKAŹNIKAMI REZULTATU (czyli powinno
odzwierciedlać zamierzone efekty, opisywać ZMIANĘ, która w danej dziedzinie
tematycznej, lub na danym terenie NASTĄPI), mogą (choć nie muszą) zostać
uwzględnione także WSKAŹNIKI PRODUKTU – opisujące założone działania –
przez jakie chcemy zamierzamy osiągnąć cel (zgodnie z założeniem: co zrobić,
żeby osiągnąć oczekiwany stan).
Na osiągnięcie celów ma wpływ szereg wskaźników zewnętrznych (które zespół
programujący powinien uwzględnić) – ale oddzielenie efektów interwencji od
czynników zewnętrznych jest już zadaniem ewaluacji.
Na poziomie projektów, należy dobrać wskaźniki produktu i rezultatu.
38
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Cele szczegółowe: Mierniki Źródła weryfikacji
Rozwój stref aktywności gospodarczej i
infrastruktury sprzyjającej inwestycjom
- Powierzchnia stref aktywności gospodarczej na obszarze
powiatu tarnowskiego (ha);
- Liczba podmiotów funkcjonujących w strefach aktywności
gospodarczej;
- Liczba osób zatrudnionych w podmiotach
funkcjonujących w strefach aktywności gospodarczej;
Statystyka wewnętrzna
jednostek samorządu
terytorialnego
Tworzenie warunków dla rozwoju
przedsiębiorstw działających w
obszarach około i pozarolniczych
Liczba osób zatrudnionych w rolnictwie (wg KRUS – status
rolnika i status domownika);
GUS, statystyka wewnętrzna
jednostek samorządu
terytorialnego,
Poprawa struktury agrarnej Powierzchnia zalesionych nieużytków (ha);
GUS, statystyka wewnętrzna
jednostek samorządu
terytorialnego
Wzrost atrakcyjności turystycznej
powiatu
- Długość szlaków turystycznych PTTK na terenie powiatu
tarnowskiego (km);
- Długość turystycznych szlaków rowerowych na obszarze
powiatu (km);
GUS, statystyka wewnętrzna
jednostek samorządu
terytorialnego, PTTK
Tworzenie produktów turystycznych, - Liczba targów turystycznych z aktywnym udziałem
powiatu tarnowskiego;
- Liczba odwiedzających sanktuaria religijne subregionu w
skali rocznej;
- Liczba projektów z zakresu promocji turystycznej
realizowanych na obszarze powiatu;
Statystyka wewnętrzna
jednostek samorządu
Blok 2 – WSKAŹNIKI – Przykład Strategia Rozwoju Powiatu Tarnowskiego
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Blok 2 – WSKAŹNIKI – Przykład Strategia Rozwoju Powiatu Chojnickiego
39
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 77
Blok 2 – WSKAŹNIKI – ocena ich jakości (1/2)
CECHY DOBRYCH WSKAŹNIKÓW, jak w przypadku konstruowania celów,
w praktyce projektowej opisywane są akronimami: SMART, CREAM, SPICED.
Katalog kryteriów oceny poszczególnych wskaźników, o których te metodologie
mówią sprowadza się do 3 grup warunków uznania wskaźnika:
-tzw. warunki sine qua non – kryteria niezbędne do spełnienia
-warunki poprawności metodologicznej – kryteria pożądane
-zalecenia – kryteria zalecane do spełnienia taj, gdzie to możliwe.
O wskaźniku na poziomie celu strategiczne możemy mówić tylko wtedy, gdy
spełnia od podstawowe kryteria (kryterium sine qua non) :
-wskaźnik rezultatu ZMIENIA WARTOŚĆ w wyniku interwencji,
-wskaźnik ODDAJE ISTOTĘ CELU.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 78
Blok 2 – WSKAŹNIKI – ocena ich jakości (2/2)
WSKAŹNIKI – kryteria poprawności metodologicznej
-ograniczają możliwości manifestowania pozornych efektów,
-ograniczają możliwości zniekształcenia
-umożliwiają jednoznaczną i intuicyjną interpretację skali i kierunku
zmian,
-są wiarygodne statystycznie.
WSKAŹNIKI – kryteria rekomendowane
-możliwe do pozyskania, zbierania, mierzenia za koszt akceptowalny prez
zarządców programu, jak i społeczeństwo,
-możliwe do zdezagregowania według różnych cech,
-mierzalne w sposób zbliżony w różnych regionach, programach,
państwach członkowskich oraz -jeśli to możliwe- porównywalne ze
standardami międzynarodowymi (ONZ, OECD).
40
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 79
Blok 2 – WSKAŹNIKI – metryka wskaźnika
Budując tzw. portfel wskaźników powinien on być:
-zhierarchizowany funkcjonalnie (podział na wskaźniki
kluczowe i pomocnicze),
-proporcjonalny w swoim zakresie (liczbie wskaźników) do
interwencji.
Zaproponowany zestaw wskaźników monitorujących ‘podparty jest’ tzw.
metrykami wskaźników. Jest to zbiór usystematyzowanych informacji na
temat wskaźnika, obejmujący m.in. określenie jego wartości bazowych
i docelowych. Tylko rzetelnie przygotowane metryki umożliwiają skuteczne
monitorowanie osiąganych wyników.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 80
Blok 2 – WSKAŹNIKI – metryka wskaźnika
Metryka wskaźnika w wersji rozbudowanej zawiera:
-określenie jego typu i roli, jaką ma spełniać (wskaźnik
produktu, wskaźnik kluczowy itp.),
-precyzyjną jego nazwę,
-jednostkę pomiaru (np. km, KWh itp.),
-źródła pozyskania danych (np. GUS, beneficjenci itp.),
-częstotliwość pomiaru (np. corocznie),
-termin pozyskania danych – uwarunkowany cykle zbierania
danych i metodologię pomiaru,
-sposób dezagregacji (np. obszar wiejski – miejski, kobiety –
mężczyźni itp.),
-wartość bazową, czyli określony w czasie punkt odniesienia,
pierwszy pomiar zjawiska,
-wartość docelową, czyli określony w czasie skwantyfikowany
cel, do którego dążymy.
41
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 81
Blok 2 – ustalanie wartości bazowych i docelowych
Wartość bazowa (ang. baseline value) to pierwszy pomiar
monitorowanego wskaźnika, punkt startowy projektu, działania, interwencji,
strategii.
Jako tzw. OKRES BAZOWY przyjmuje się rok rozpoczęcia interwencji.
Wartość bazowa wskaźnika może być niezerowa lub równa zeru.
Wartości bazowe mogą JUŻ ISTNIEĆ, można je pozyskać z dostępnych
źródeł np. ze statystyki publicznej lub z poprzednich realizacji, jeśli
działania kontynuujemy lub NIE ISTNIEJE – trzeba je wówczas
opracować.
Wartość bazowa zerowa występuje w przypadku poprawnie
zdefiniowanych wskaźników projektowych.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 82
Blok 2 – ustalanie wartości bazowych i docelowych
Wartości docelowe wskaźników (ang. targets) to skwantyfikowane cele,
oczekiwane do osiągnięcia w określonych ramach czasowych, przy
wykorzystaniu istniejących zasobów.
Ich rzetelne wyznaczenie jest trudne! Mogą to powodować obiektywne
(trudność naukowa, niedoskonałość metod) i subiektywne uwarunkowania
(np. polityczne, psychologiczne itp.). Mają na to wpływ:
-precyzja wyznaczenia celu,
-rodzaj, wielkość i stopień złożoności działania,
-trendy historyczne,
-czas trwania działania
-stabilność szacowanych kosztów jednostkowych,
-oczekiwania społeczne i polityczne,
-czynniki zewnętrzne.
42
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 83
Blok 2 – ustalanie wartości bazowych i docelowych
W praktyce projektowej do ustalania wartości docelowych rezultatów
i oddziaływań wykorzystuje się:
-modelowanie ekonometryczne,
-benchmarking,
-oceny eksperckie,
-dowody naukowe.
Dla wskaźników produktów – oprócz ocen eksperckich oraz wyników podobnych
realizacji pomocne jest obliczenie tzw. kosztów jednostkowych produktu
(uśrednione koszty na jednostkę kalkulacyjną – należy jednak uwzględniać
pogłębioną weryfikację wszystkich uwarunkowań.
Zalecane jest także określanie tzw. wartości pośrednich osiągnięcia celów (ang.
interim targets) – nazywane czasem kamieniami milowymi będące wyznacznikami
ukończenia etapu interwencji.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 84
Blok 3
Blok 3 - Źródła weryfikacji wskaźników
-Bank Danych Lokalnych
-System Strateg
-Monitoring Podkarpackie
43
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 85
Blok 3 – źródła danych - Polska
PODSTAWOWYM źródłem wskaźników do diagnoz strategicznych (poziom
krajowy, lokalny) są OFICJALNE DANE STATYSTYCZNE.
Główna zaleta to ZASÓB DANYCH oraz GWARANCJA JAKOŚCI
(statystyka publiczna stosuje Europejski kodeks praktyk statystycznych)
z zachowaniem tzw. tajemnicy spisowej.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 86
Blok 3 – źródła danych - Polska
Do gromadzenia danych w statystyce publicznej stosuje się:
-spisy powszechne (w cyklach wieloletnich),
-źródła administracyjne (gromadzone przez rozmaite instytucje),
-badania pełne (prowadzone przez GUS lub inne organy),
-badania reprezentacyjne (np. BAEL – badania aktywności ekonomicznej ludności),
-źródła zagraniczne (OECD, Eurostat itp.)
Zależnie od rodzaju, może występować rozmaita przystawalność danych do potrzeb programowania polityk publicznych.
44
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 87
Zasoby statystyczne można wykorzystywać w formule nieodpłatnej (udostępniony
zasób) lub odpłatnej (na zmówienie zainteresowanych) – wykonuje się je ze
zbiorów archiwalnych lub bieżących wg zamówienia.
Ważnym źródłem jest Program Badań Statystycznych Statystyki Publicznej
(PBSSP), którego tematyka dostępna jest na stronach www.stat.gov.pl. Program
jest rozwijany o rozmaite przekroje statystyczne – podmioty publiczne mogą wnosić
o jego zmianę, proponować nowe badania itp.
Bank Danych Lokalnych – BDL (od 2010 roku zwany Bankiem Danym
Regionalnych) zawiera ok. 20 tys. zmiennych opisujących sytuację społeczno-
gospodarczą i stan środowiska (od roku 1995). Dane można analizować
w układzie tablic i wykresów w układzie jednostek NTS oraz TERYT.
Blok 3 – źródła danych - Polska
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 88
Bank Danych Lokalnych
Jest największym w Polsce uporządkowanym ZBIOREM INFORMACJI
OPISUJĄCYCH sytuację społeczno-gospodarczą, demograficzną, społeczną
oraz wiedzę na temat stanu środowiska, opisującym województwa, powiaty
oraz gminy jako podmioty systemu organizacji społecznej i administracyjnej
państwa, a także regiony i podregiony stanowiące elementy nomenklatury
jednostek terytorialnych do celów statystycznych.
Gromadzi, systematycznie uzupełnia, aktualizuje informacje statystyczne o
poszczególnych jednostkach podziału terytorialnego.
Blok 3 – Bank Danych Lokalnych
45
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 89
Blok 3 - BDL
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 90
Blok 3 - BDL
46
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 91
W Banku Danych Lokalnych można znaleźć także bazy danych wprost
dedykowane wskaźnikom monitorowania polityki rozwoju –
dostępna jest tam baza demograficzna, baza danych handlu
zagranicznego oraz zakładki: Wskaźniki makroekonomiczne
i Wskaźniki monitorujące.
Blok 3 – źródła danych - BDL
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 92
Przydatnym do opracowywania diagnoz jest także Statystyczne Vademecum
Samorządowca (SVS) wspierające obsługę administracji
samorządowej.
Również ‘klasyczne’ opracowania GUS (choć dane dotyczą głównie agregacji
przestrzenne na wyższych poziomach) takiej jak: Rocznik Statystyczny
RP, Mały Rocznik Statystyczny, roczniki branżowe i Roczniki
Statystyczne Województw (wydawane przez wojewódzkie urzędy
statystyczne) wspierają programowanie rozwoju na poziome
województwa.
Blok 3 – źródła danych - Polska
47
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 93
Blok 3 - źródła danych – UE/inne
Najważniejszymi organizacjami międzynarodowymi w obszarze
statystycznym są:
-Europejski Urząd Statystyczny (Eurostat),
-Organizacja Współpracy Gospodarczej i Rozwoju (OECD),
-Bank Światowy.
Inne źródła danych – przykłady…
-Moja Polis (www.mojapolis.pl)
-System Analiz Samorządowych –SAS (www.sas24.org)
-Diagnoza społeczna. Warunki i jakość życia Polaków.
(www.diagnoza.com),
-regionalne obserwatoria (terytorialne, branżowe, dziedzinowe),
np. serwis MONITORUJ PODKARPACKIE (o którym będzie mowa).
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 94
Blok 3 - STRATEG
Czym jest system monitoringu STRATEG?
STRATEG to publicznie dostępny zbiór danych gromadzący informacje
wykorzystywane w procesie programowania i monitorowania polityki rozwoju.
STRATEG skupia w jednym miejscu wszystkie wskaźniki wykorzystywane
w różnych dokumentach strategicznych.
Umożliwia wszystkim zainteresowanym użytkownikom łatwe szybkie
pozyskanie informacji na temat efektów wdrażania polityki rozwoju oraz
polityki spójności.
48
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 95
Blok 3 - STRATEG
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 96
Blok 3 - STRATEG
W systemie umieszczono strategie, zgodnie ze znowelizowaną ustawą
o zasadach prowadzenia polityki rozwoju. Oprócz nich włączono dodatkowe
dokumenty o charakterze strategicznym, ważne z punktu widzenia prowadzenia
polityki rozwoju i spójności (w miarę dostępności) dane od 2003 r., w tym m.in.
WSKAŹNIKI służące do MONITORINGU realizacji celów:
-Długookresowej Strategii Rozwoju Kraju,
-Średniookresowej Strategii Rozwoju Kraju,
-9 zintegrowanych strategii (innowacyjności i efektywności
gospodarki, transportu, bezpieczeństwa energetycznego
i środowiska, rozwoju regionalnego, kapitału ludzkiego,
kapitału społecznego, zrównoważonego rozwoju wsi,
rolnictwa i rybactwa, sprawnego państwa,
bezpieczeństwa narodowego RP,
-Strategii Europa 2020
-Strategii rozwoju społeczno-gospodarczego Polski
Wschodniej
49
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 97
Blok 3 - STRATEG
Wraz z postępem prac, zawartość systemu będzie sukcesywnie
wzbogacana o wskaźniki pochodzące z innych dokumentów o charakterze
strategicznym, w tym m.in.:
-strategie wojewódzkie
-kolejne strategie ponadregionalne
-Umowę Partnerstwa
-programy operacyjne przyjmowane dla nowej perspektywy
finansowej
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 98
Blok 3 - STRATEG - zakładki (1/2)
Wskaźniki w Strategu można wybierać według nazwy i wg obszarów tematycznych
DOKUMENTY STRATEGICZNE (zakładka „Strategie i programy”)
Aby wyszukać wskaźniki „według strategii” należy wejść w zakładkę „Strategie
i programy”. Po wybraniu jednej z wyświetlonych pozycji, zostanie
zaprezentowana tablica predefiniowana zawierająca wskaźniki uporządkowane
według układu przyjętego w konkretnym dokumencie strategicznym wraz z
przypisanymi wartościami
(w tym pośrednimi oraz docelowymi).
OBSZARY SPÓJNOŚCI (zakładka „Polityka spójności”)
Wybór wskaźników „według obszaru spójności” wymaga wejścia w zakładkę
„Polityka spójności”. Po wskazaniu jednego z celów wyświetlona zostanie tablica
predefiniowana zawierająca wskaźniki przyporządkowane do obszaru wraz z
przypisanymi wartościami.
50
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 99
Blok 3 - STRATEG - zakładki (2/2)
OBSZARY TEMATYCZNE (zakładka „Obszary tematyczne”)
Wyszukiwanie wskaźników „według obszarów tematycznych” jest możliwe po
wejściu w zakładkę „Obszar tematyczny” bezpośrednio z poziomu strony głównej.
Po wybraniu jednego z obszarów wyświetli się tablica predefiniowana
z przyporządkowanymi do konkretnego obszaru wskaźnikami wraz z przypisanymi
wartościami.
JEDNOSTKI SAMORZĄDU TERYTORIALNEGO (zakładka „Portret JST”)
Korzystanie z tego trybu jest możliwe po wejściu w zakładkę „Portret JST”,
zawierającą drzewo podziału terytorialnego kraju. Drzewo to umożliwia wybór
jednostki terytorialnej począwszy od poziomu ogólnokrajowego do poziomu
gminy. Po zaznaczeniu danej jednostki podziału terytorialnego, wyświetlona
zostanie tablica predefiniowana zawierająca dostępne dla tej jednostki wskaźniki
wraz z przypisanymi wartościami.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 100
Blok 3 - STRATEG - zakładki
Strateg zawiera również opisy metodologiczne wskaźników
Opisy metodologiczne można znaleźć w części „Informacje o wskaźnikach”
w zakładce „Metadane i analizy” poprzez wyszukiwarkę dedykowaną do
metryczek wskaźników.
Ponadto dostęp do metryczek wskaźników zapewniony jest z poziomu tablic
(predefiniowanej i dynamicznej). Przy nazwie wskaźnika znajduje się ikona
oznaczająca dostęp do metryczki danego wskaźnika; po kliknięciu w ikonę
zostanie wyświetlona metryczka wskaźnika.
51
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
„Monitoruj podkarpackie”
– prezentacja możliwości witryny przez reprezentanta
Urzędu Marszałkowskiego woj. Podkarpackiego
Blok 3 - „Monitoruj Podkarpackie”
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Przygotowanie systemu monitorowania strategii
• Co?
• Jak?
• Kto?
• Kiedy?
• Po co?
Blok 3 – Przygotowanie systemu monitorowania strategii
52
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Blok 3 – Przygotowanie systemu monitorowania strategii
• W przypadku realizacji strategii, podstawowymi obszarami do monitoringu
są: rezultaty, działania, terminy, koszty.
• System monitoringu wymaga także ustalenia, w jakich terminach i przez
kogo te obszary będą obserwowane, jak będą raportowane i jakie
procedury uruchamiać będą ewaluację w przypadku zaobserwowanych
trudności.
• Za przeprowadzanie monitoringu i raportowanie radzie jego wyników
odpowiedzialna jest osoba pełniąca funkcję wójta/ burmistrza/
prezydenta/starosty.
• Wykonanie pomiarów i analiz oraz przygotowywanie raportów należy do
zespołu odpowiedzialnego za monitoring strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Blok 3 – Przygotowanie systemu monitorowania strategii
System Monitorowania Strategii
Przygotowanie takiego systemu zazwyczaj obejmuje:
•przegląd strategii;
•opracowanie listy wskaźników podstawowych;
•przydzielenie zadań związanych ze zbieraniem
i agregowaniem danych
•prace nad specyficzną formatką;
•szkolenie zespołu monitorującego strategię
53
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Blok 3 – opracowanie listy wskaźników
Zestaw wskaźników powinien być:
•zhierarchizowany funkcjonalnie - podział na wskaźniki
kluczowe i pomocnicze
•proporcjonalny w swoim zakresie (liczbie wskaźników) do
interwencji
Zestaw wskaźników powinien zawierać:
•definicje wskaźników
•źródła danych
•częstotliwość zbierania danych
•metodologię zbierania danych
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Blok 3 – wyznaczenie zespołu i zadań związanych z monitoringiem
Wyznaczenie zespołu i przydzielenie zadań:
• Skład i zadania zespołu
• Szkolenia zespołu
• Spotkania i wymiana doświadczeń
• Komitet Monitorujący
54
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Blok 3 – Schemat raportowania
Przykładowy schemat raportowania:
• Realizacja celów
• Postęp finansowy
• Postęp rzeczowy
• Problemy z wdrażaniem i środki zaradcze
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 108
Blok 3 – przykład podziału zadań monitoringowych
Powiat Tarnowski
,,Proces monitorowania polegał będzie na systematycznym obserwowaniu zmian
zachodzących w ramach poszczególnych programów oraz celów wytyczonych w Strategii.
Podstawowym celem monitoringu jest uzyskanie mierzalnych wyników progresji osiągnięcia
celów Strategii. Odpowiedzialnym za monitorowanie Strategii będzie Wydział Rozwoju
Powiatu. Poprzez dobór właściwych wskaźników, mierzalnych i dostępnych w statystyce
publicznej lub w wewnętrznym systemie sprawozdawczości Starostwa Powiatowego,
możliwe będzie efektywne monitorowanie procesu wdrażania Strategii Rozwoju. Podstawą
monitorowania efektywności wdrażania zapisów Strategii będą mierniki określone w
przyjętych do realizacji celach strategicznych.”
55
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 109
Blok 3 – przykład podziału zadań monitoringowych
Powiat Nowotarski
Projekt: Nowotarski - nowatorski. Samorząd zorientowany projektowo
• Wyspecjalizowana komórka organizacyjna, wskazana na podstawie regulaminu
organizacyjnego Starostwa odpowiada za:
– przygotowanie i aktualizację listy zadań strategicznych wraz z celami strategicznymi
– monitoring i ewaluację zadań strategicznych,
– controlling taktyczny programów.
• Poziom odpowiedzialności za realizację zadań spoczywa na pracownikach Starostwa
Powiatowego, odpowiedzialność za cele operacyjne przypisane do wydziału ponosi
Naczelnik Wydziału. Odpowiedzialność za realizację celów strategicznych przypisanych do
pionu spoczywa na Kierującym Pionem.
• Taki sposób zorganizowania powoduje aktywizację wszystkich osób zatrudnionych w
Starostwie Powiatowym w zakresie dążenia do realizacji celów nadrzędnych określonych w
Strategii Powiatu.
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 110
Blok 4-5
Blok 4-5 Ewaluacja strategii
Ewaluacja w cyklu wdrażania interwencji publicznej
Planowanie ewaluacji:
-Temat badania ewaluacyjnego
-Cele badania ewaluacyjnego
-Pytania badawcze
-Zakres badania i źródła danych
-Sposób realizacji badania
-Budżet badania
-Harmonogram badania
56
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Cele i funkcje ewaluacji:
Podstawowym celem ewaluacji jest ocena rzeczywistych lub
spodziewanych efektów realizacji danej interwencji publicznej.
Pozostałe cele:
• Poprawa skuteczności i efektywności interwencji publicznych,
• Zwiększanie przejrzystości i promowanie działań podejmowanych przez instytucje publiczne,
• Kształtowanie kierunków działalności sektora publicznego,
• Poznawanie mechanizmów funkcjonowania programów.
UŻYTECZNOŚĆ
111
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Najważniejsze funkcje ewaluacji (1/2):
• Konkluzywna – pozwala na podsumowanie efektów działań podejmowanych
w ramach danej interwencji; ustalenie związków przyczynowo- skutkowych
pomiędzy działaniami i efektami zwiększa nasz zasób wiedzy na temat
oddziaływania interwencji (charakter poznawczy ewaluacji), porównanie
osiągniętych efektów z założonymi celami pozwala na egzekwowanie
odpowiedzialności - stanowi podstawę do rozliczenia
w zakresie skuteczności i efektywności.
• Formatywna – służy poprawie jakości działań podejmowanych w ramach
bieżących jak i planowanych interwencji, dzięki wdrażaniu rekomendacji
pozwala na podnoszenie skuteczności, efektywności i użyteczności
interwencji, służy głównie podmiotom wewnętrznym.
112
Blok 4 i 5 – Ewaluacja strategii
57
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Najważniejsze funkcje ewaluacji (2/2):
• Społeczno-polityczna – pozwala na zwiększenie poziomu uspołecznienia,
zwiększenia poparcia społecznego i politycznego dla interwencji, służy
podniesieniu motywacji i współodpowiedzialności aktorów zaangażowanych
w realizację; zwiększa przejrzystość działań władz publicznych dzięki czemu
kształtuje porządek demokratyczny, legitymizuje działania władz
publicznych.
113
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Miejsce ewaluacji w cyklu życia programu/strategii
– ujęcie praktyczne:
114
DIAGNOZA
Wybór instrumentów
/projekt programu
Ewaluacja ex ante
Wdrażanie programu
- Ewaluacja on going
Ewaluacja
(ex post)
Blok 4 i 5 – Ewaluacja strategii
58
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Ewaluacja na poszczególnych etapach realizacji strategii
Etap realizacji Zagadnienia ewaluacyjne/przedmiot ewaluacji
Przed rozpoczęciem
(ex-ante)
Ewaluacja przebiegu samego procesu przygotowań dokumentu oraz jego
planowanych wyników
Opracowania wskaźników bazowych
Opracowania planów, programów i harmonogramów
W trakcie realizacji
(on-going)
Ocena skuteczności w odniesieniu do konkretnych (wybranych) celów.
Ocena systemu wdrażania
Służy modyfikacji i usprawnianiu, partnerstwa, skuteczności i wpływu
poszczególnych projektów na cele w strategii, sposobu wyboru projektów do
realizacji, sposobu uwzględnienia zagadnień horyzontalnych…)
Po realizacji
(ex-post)
Ocena skuteczności i efektywności realizowanych działań w kontekście
efektów dla beneficjentów i grupy docelowej.
115
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Jakie jeszcze wyróżniamy rodzaje ewaluacji?
• Według kryterium poziomu którego dotyczy badanie ewaluacyjne wyróżnić
możemy:
- ewaluację projektu,
- ewaluację programu (w tym działań/priorytetów w ramach programu),
- ewaluację strategii.
• Ze względu na sposób organizacji procesu ewaluacji wyróżnić możemy
ewaluację wewnętrzną i zewnętrzną:
- ewaluacja wewnętrzna to ocena realizowana przez podmioty zaangażowane
we wdrażanie danej interwencji,
- ewaluacja zewnętrzna polega na zleceniu oceny niezależnemu zespołowi
ewaluacyjnemu.
Jedna i druga metoda posiada zarówno zalety jak i wady.
116
Blok 4 i 5 – Ewaluacja strategii
59
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Czym są kryteria ewaluacyjne? (1/3)
Kryteria ukierunkowują uwagę oceniającego na kwestie najistotniejsze
dla danego projektu. Podstawowe kryteria:
•Trafność (ang. Relevance) - ocenia adekwatność planowanych celów
interwencji i metod jej wdrażania do problemów i wyzwań społeczno-
ekonomicznych, które zostały zidentyfikowane w diagnozie. Analiza tego
kryterium jest prowadzona przez rozpoczęciem i w pierwszych fazach
wdrażania interwencji.
•Skuteczność (ang. Effectiveness) - ocenia stopień realizacji zakładanych
celów (czy osiągnięto to co zaplanowano), skuteczność użytych metod,
instytucji oraz wpływ czynników zewnętrznych na ostateczne efekty.
117
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Czym są kryteria ewaluacyjne? (2/3)
• Wydajność/Efektywność (ang. Efficiency) - ocenia relację między
nakładami, kosztami, zasobami (finansowymi, ludzkimi, administracyjnymi)
a osiągniętymi efektami interwencji.
• Użyteczność (ang. Utility) - ocenia całość rzeczywistych, efektów
wywołanych przez interwencję (zarówno tych planowanych jak i
nieplanowanych tzw. ubocznych) odnosząc je do wyjściowej sytuacji
oraz wyzwań społeczno-ekonomicznych, które były przedmiotem
interwencji. W odróżnieniu od kryterium trafności, ocena użyteczności
jest prowadzona po zamknięciu interwencji lub w jej końcowej fazie
wdrażania.
118
Blok 4 i 5 – Ewaluacja strategii
60
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Czym są kryteria ewaluacyjne? (3/3)
• Trwałość - (ang. Sustainability) - ocenia ciągłość efektów (przede
wszystkim pozytywnych) danej interwencji w perspektywie średnio
i długookresowej (a więc po zakończeniu interwencji – zwykle w 2-3
lata).
119
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Kryteria ewaluacyjne
120
Cele Zasoby
Potrzeby
Działania Produkty
Oddziaływanie
Rezultaty
Program
Ewaluacja
Skuteczność
Użyteczność i Trwałość
Efektywność Trafność
Produkty
Rezultaty
Blok 4 i 5 – Ewaluacja strategii
61
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Kryteria ewaluacyjne a typy ewaluacji
121
Kryterium Ex-ante On-going Ex-post
Trafność X X
Skuteczność X X X
Efektywność X X X
Użyteczność X
Trwałość X
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Pytania badawcze
Wybór pytań i sposób ich sformułowania determinują cały proces
badawczy
Pytania powinny dotyczyć konkretnych potrzeb informacyjnych związanych
z realizacją programu. Ewaluacja powinna dostarczać nam informacji
istotnych z punktu widzenia wdrażania badanego programu lub interwencji.
Celem pytań ewaluacyjnych nie jest jedynie gromadzenie nowej wiedzy, ale
wykorzystanie jej do podniesienia jakości wdrażanego lub planowanego
programu.
122
Blok 4 i 5 – Ewaluacja strategii
62
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Jak zaplanować ewaluację aby ją dobrze zlecić?
• Identyfikujemy temat badania ewaluacyjnego i uzasadniamy decyzję o jego
realizacji,
• Definiujemy cele badania i stawiamy pytania badawcze,
• Określamy obszar i zakres ewaluacji oraz definiujemy źródła danych,
• Dobieramy kryteria ewaluacyjne,
• Określamy sposób realizacji badania,
• Określamy budżet badania,
• Ustalamy harmonogram badania,
• Przygotowujemy zamówienie na ewaluację.
123
Blok 4 i 5 – PLANOWANIE EWALUACJI
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Identyfikujemy temat badania ewaluacyjnego
i uzasadniamy decyzję o jego realizacji
Określamy:
• Dlaczego zamierzamy zrealizować badanie ewaluacyjne i do czego chcemy
wykorzystać jego wynik?
- badania operacyjne,
- ocena efektów.
• Kim są kluczowi odbiorcy wyników ewaluacji? Dla kogo to badanie robimy?
- decydenci, kierownictwo wyższego szczebla, partnerzy, opinia
publiczna…
• Czy będziemy w stanie wykorzystać wnioski i rekomendacje płynące z
ewaluacji? – pytanie o użyteczność ewaluacji?
124
Blok 4 i 5 – Ewaluacja strategii
63
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Jak poprawnie sformułować pytania badawcze?
Sposób sformułowania: opisowy, przyczynowo-skutkowy, normatywny,
predyktywny
1. Czy wzrost ilości przedsiębiorstw w X jest wynikiem kierowanych w ramach
Strategii instrumentów wsparcia?
2. Które z instrumentów wsparcia MŚP najbardziej przyczyniły się do tego
wzrostu?
3. Czy można określić, że dofinansowanie na rozpoczęcie działalności
gospodarczej przyczyniło się do rozwoju przedsiębiorczości w X?
4. Czy i w jakim zakresie poprawa sytuacji na rynku pracy w gminie jest
wynikiem realizacji programu?
125
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Pytania badawcze - Trafność
• Czy cele interwencji odpowiadają zidentyfikowanym potrzebom?
• Czy interwencja odnosi się do głównych sił i słabości danego układu
(regionu, sektora, etc.)?
• Czy obrana strategia trafnie uwzględnia uwarunkowania wewnętrzne
i zewnętrzne, czyli cele innych programów, działań, polityk?
• Czy logika interwencji trafnie oddaje zależności przyczynowo
skutkowe?
• Czy obrana na wstępie strategia pozostaje aktualna w trakcie
wdrażania interwencji?
126
Blok 4 i 5 – Ewaluacja strategii
64
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Pytania badawcze - Skuteczność
• Czy cele interwencji zdefiniowane na etapie programowania
są/zostały osiągnięte?
• Jak silny jest/był wpływ czynników zewnętrznych?
• Jakie były/są sukcesy interwencji?
• Jakie problemy napotyka interwencja?
• Czy wybrane instrumenty i rozwiązania okazały się odpowiednie do
zidentyfikowanych problemów?
• Czy system zarządzania i wdrażania okazał się skuteczny?
127
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Pytania badawcze - Efektywność
• Czy podobne efekty można/można było osiągnąć przy wykorzystaniu
innych instrumentów?
• Czy podobne efekty można/można było osiągnąć przy wykorzystaniu
niższych nakładów finansowych?
128
Blok 4 i 5 – Ewaluacja strategii
65
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Pytania badawcze - Użyteczność
• Czy program spełnia/spełnił oczekiwania adresatów?
• Czy interwencja przyczynia się/przyczyniła się do rozwiązania,
zminimalizowania adresowanych problemów (z punktu widzenia
odbiorców pomocy)?
• Czy interwencja przyczynia się/przyczyniła się do wykorzystania szans
rozwojowych?
• Czy efekty interwencji są korzystne dla rożnych grup odbiorców?
• Czy pojawiły się pozytywne efekty dodatkowe?
• Czy zrealizowana inicjatywa pobudziła kolejne inwestycje (efekty impulsu,
mnożnikowe)?
• Czy pojawiły się negatywne efekty uboczne?
129
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Pytania badawcze - Trwałość
• Czy efekty działania interwencji okazały się trwałe w długim okresie?
• Czy efekty działania interwencji odczuwalne są po zakończeniu realizacji
interwencji?
130
Blok 4 i 5 – Ewaluacja strategii
66
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
W materiałach macie państwo zestawienie różnych pytań
badawczych. Proszę o dobranie odpowiednich kryteriów
ewaluacyjnych do wskazanych pytań.
131
Ćwiczenie 2 – pytania badawcze
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Określamy obszar i zakres ewaluacji oraz definiujemy
źródła danych
• Jakie aspekty interwencji możemy badać w ramach naszej ewaluacji (cały
program czy jego wycinek)?
• W jaki sposób zdefiniować wymiar terytorialny naszej interwencji?
- Obszarowo lub podmiotowo.
• Jakie kryteria ewaluacyjne przyjmiemy w naszym badaniu?
• W jaki sposób badanie ma być realizowane? Jakie mamy wymagania co do
form prezentacji wyników badania? Jakiej metodologii oczekujemy?
• Rzetelność, istotność oraz aktualność informacji.
132
Blok 4 i 5 – Ewaluacja strategii
67
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Jakie kryteria ewaluacyjne przyjmiemy w naszym
badaniu?
• Bierzemy pod uwagę cele, pytania badawcze oraz moment wykonania
badania.
• Kryteria ewaluacyjne są ściśle powiązane z pytaniami ewaluacyjnymi.
• Każde pytanie odnosi się do przynajmniej jednego kryterium
ewaluacyjnego pozwalającego na sformułowanie oceny.
• Kryteria ukierunkowują uwagę oceniającego na kwestie najistotniejsze dla
danej interwencji.
133
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Źródła danych
• Dobór i zdefiniowanie wskaźników i zmiennych których wartości pozwalają
na zmierzenie występowania rozmiaru zjawisk będących obiektem
zainteresowania.
• Wskazanie zbiorowości, w której będą realizowane badania – tzw. study
population - kogo lub co chcemy badać?
• Wybór metod i technik badawczych, baz źródłowych oraz decyzji co do
zasady analizy uzyskanego materiału empirycznego.
• Wybór metod oceny.
134
Blok 4 i 5 – Ewaluacja strategii
68
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Metody i techniki badawcze
• Znajomość podstaw metodologii ewaluacji jest konieczna na
etapie zlecania badania ewaluacyjnego.
• Jakie metody i techniki badawcze wykorzystywane są najczęściej
w realizacji badań ewaluacyjnych?
• Katalog metod i technik używanych w ewaluacji jest bardzo szeroki i
czerpie z bogatego doświadczenia nauk społecznych (głównie
socjologii) oraz ekonomicznych.
• Techniki gromadzenia i analizowania informacji.
135
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Wybór metod badawczych
Przy podejmowaniu decyzji o wyborze metod i technik badawczych warto
dokonać analizy wg następujących elementów:
•Czy istnieje możliwość zdobycia informacji o ludziach i ich problemach
wyłącznie przy pomocy istniejących już materiałów, czy też konieczne
jest uzupełnienie informacji przy pomocy innych technik,
•Jakie są możliwości przerobowe, czyli czas, środki finansowe, zasoby ludzkie
– ankieterzy,
•Czy nie ma jakiś przeszkód, które uniemożliwiłyby zastosowanie danej techniki,
•Czy wystarczające będzie zastosowanie jednej techniki badawczej, czy też
należałoby zastosować kilka technik np.: ankieta wśród mieszkańców
i wywiad grupowy – „focus group” z liderami społeczności lokalnej.
136
Blok 4 i 5 – Ewaluacja strategii
69
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Metody i techniki badawcze
Metody badawcze to powtarzalne sposoby postępowanie badawczego,
czyli zbierania, przetwarzania, analizy oraz interpretacji danych.
•Dane pierwotne i wtórne
•Metody ilościowe i jakościowe
•Stosowanie zasady triangulacji rozumianej jako zwielokrotnienie:
- metod i technik badawczych,
- źródeł informacji,
- typów danych technik analitycznych,
- teorii wyjaśniających,
- liczby osób realizujących badania.
•Jak dopasować odpowiednie metody i techniki do konkretnego badania?
137
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Metody i techniki używane w poszczególnych
fazach ewaluacji (1/4)
• Faza strukturyzacji to faza, w której określa się szczegółowe cele ewaluacji oraz identyfikuje niezbędne źródła badawcze.
• Faza obserwacji to faza zbierania danych:
- burza mózgów,
- mapy myśli,
- metody ilościowe.
• Faza analizy polega na przebadaniu danych zebranych w fazie obserwacji. Zgromadzone „surowe” dane poddaje interpretacji, porównaniu oraz podejmuje się próby szacowania efektów.
• Faza oceny to czwarta i ostatnia faza procesu badawczego. Polega na ocenie efektów interwencji na podstawie zebranych danych za pomocą określonych kryteriów i pytań ewaluacyjnych. Następnie formułuje się wnioski i rekomendacje.
138
Blok 4 i 5 – Ewaluacja strategii
70
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Metody ilościowe stosowane w fazie obserwacji :
- badania ankietowe,
- CATI – (Computer Assisted Telephone Interview) – Wywiad
kwestionariuszowy telefoniczny wspomagany komputerowo,
- PAPI – (Paper and Pencil Interview) – Wywiad z ołówkiem i kartką – gdy
ankieter bezpośrednio spotyka się z respondentem.
- CAPI – (Computer Assisted Personal Interview) – Wywiad osobisty
wspomagany komputerowo – następca PAPI, gdzie zamiast kartki i ołówka
używa się komputera,
- CAWI – (Computer Assisted Web Interwiew) – Ankieta internetowa,
przeprowadzana za pomocą sieci internetowej, wypełniana bezpośrednio
przez respondenta.
139
Metody i techniki używane w poszczególnych
fazach ewaluacji (2/4)
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
• Metody jakościowe stosowane w fazie obserwacji:
- IDI – (Individual In-Depth Interview) – indywidualny wywiad pogłębiony,
- FGI – (Focus Group Interview) – zogniskowany wywiad grupowy,
- metoda desk research, czyli tzw. badań gabinetowych,
- studium przypadku.
140
Metody i techniki używane w poszczególnych
fazach ewaluacji (3/4)
Blok 4 i 5 – Ewaluacja strategii
71
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
• Metody stosowane w fazie analizy:
- analizy statystyczne,
- analiza kosztów/korzyści,
- modele makroekonomiczne.
• Metody stosowane w fazie oceny:
- panel ekspertów,
- benchmarking, czyli ocena efektów projektu, polegająca na
porównaniu zrealizowanych działań z podobnymi, uznanymi za
udane.
141
Metody i techniki używane w poszczególnych
fazach ewaluacji (4/4)
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Jak określamy budżet badania?
• Mierzenie efektów działania i nie może być tak drogie jak sama interwencja.
• Przeznaczenie na badanie pewnej procentowej części wartości poddawanej
badaniu interwencji publicznej.
• W przypadku dużych, wielomilionowych programów będzie to stosunkowo niski
odsetek, zazwyczaj poniżej 1%.
• W przypadku mniejszych interwencji koszt badania może oczywiście być
procentowo wyższy, niemniej wydaję się, że nie powinien on przekraczać 5%
wartości interwencji.
• Koszt badania jest także zależny od zakresu i charakteru wymaganych prac.
Koszt badania zależy w pełni od zadań, które stawia się przed ewaluatorem oraz
od metod, których musi użyć by je zrealizować.
142
Blok 4 i 5 – Ewaluacja strategii
72
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Jeśli mamy ograniczenia budżetowe możemy:
• Zawęzić zakres badania,
• Założyć zmiany w metodologii,
• Wziąć na siebie odpowiedzialność za niektóre etapy prac w ramach
ewaluacji.
143
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Ustalamy harmonogram badania
Zadania w harmonogramie:
• Przygotowanie SOPZ i niezbędnej dokumentacji,
• Data ogłoszenia zamówienia,
• Data spłynięcia ofert,
• Wybór wykonawcy,
• Podpisanie umowy + “kick-off meeting”,
• Projekt raportu metodologicznego,
• Finalna wersja raportu metodologicznego,
• Realizacja badania,
• Projekt raportu końcowego,
• Raport końcowy,
• Prezentacja wyników badania – spotkanie.
144
Blok 4 i 5 – Ewaluacja strategii
73
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Jak realizujemy badanie z udziałem wykonawcy?
• Wybieramy procedurę zamówienia publicznego,
• Odbieramy raport metodologiczny i współpracujemy z Wykonawcą w trakcie
realizacji badania,
• Odbieramy raport końcowy i kończymy współpracę z Wykonawcą.
145
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Wybór wykonawcy
• Kto?
• Kryteria formalne
• Kryteria jakościowe
- koncepcji badawczej,
- metodologii,
- organizacji badanie.
W jaki sposób ograniczać czynniki ryzyka porażki? (partycypacyjny
model współpracy)
146
Blok 4 i 5 – Ewaluacja strategii
74
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Raport metodologiczny
Dobry raport metodologiczny powinien stanowić precyzyjne
uszczegółowienie oferty i zawierać przynajmniej następujące elementy:
– Opis metodologii i propozycje narzędzi badawczych,
– Szczegółowe pytania badawcze,
– Określenie doboru prób i sposobów dotarcia do danych,
– Proponowane wskaźniki,
– Określenie źródeł danych.
147
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Raport końcowy - struktura
• Streszczenie wykonawcze,
• Wprowadzenie (zawierający opis badania),
• Przedstawienie wyników,
• Wnioski,
• Rekomendacje,
• Załączniki ( w tym opis metodologii).
148
Blok 4 i 5 – Ewaluacja strategii
75
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Proces ewaluacji
149
Zlecanie ewaluacji
Decyzja o badaniu
Strukturalizacja 1: przygotowanie
zamówienia na badanie
Strukturalizacja 2: przygotowanie ofert
Konkurs ofert i wybór wykonawcy
Prowadzenie badania
Strukturalizacja 3: raport metodyczny
Obserwacja i zbieranie danych
Analiza i ocena
Wnioski i rekomendacje
Użycie badania
Wewnętrzna dyskusja nad wynikami
Przyjęcie raportu
Wdrożenie strategii upowszechniania
wyników
Blok 4 i 5 – Ewaluacja strategii
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Ćwiczenie 3
Uczestnicy warsztatu, bazując na rzeczywistym przypadku planowanego
badania, mają za zadanie:
1. Określić przedmiot badania ewaluacyjnego oraz moment badania,
2. Sformułować cele badania oraz pytania badawcze,
3. Dobrać kryteria ewaluacyjne,
4. Określić odbiorców badania oraz koncepcje wykorzystania jego wyników.
150
Blok 4 i 5 – Ćwiczenie
76
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Blok 6
Blok 6 - Jak wykorzystywać wyniki monitoringu
a jak ewaluacji… czyli wdrażanie rekomendacji…
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Ocena raportu końcowego (1/3):
152
Kryterium oceny raportu Odpowiedź na wskazane pytanie
TRAFNOŚĆ
Czy treść raportu odpowiada wskazanym
potrzebom informacyjnym?
UWZGLĘDNIENIE STANU
WIEDZY NAUKOWEJ
Czy w trakcie realizacji badania (na wszystkich
etapach) wykonawca odnosił się do istniejącego
stanu wiedzy dot. przedmiotu badania?
ZASTOSOWANA
METODOLOGIA
Czy metodologia i sposób realizacji badania
(zaproponowane metody i narzędzia) były
odpowiednie dla realizacji celów badania
i odpowiedzi na zadane pytania ewaluacyjne?
WIARYGODNOŚĆ
DANYCH
Czy zebrane dane są adekwatne do
zamierzonego użycia i czy ich wiarygodność
została sprawdzona?
Blok 6 – Zawartość raportu ewaluacyjnego
77
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 153
Kryterium oceny raportu Odpowiedź na wskazane pytanie
JAKOŚĆ
ANALIZY
I WNIOSKÓW
Czy dane ilościowe i jakościowe są poddawane
analizie w prawidłowy sposób?
PRZEJRZYSTOŚĆ
RAPORTU
Czy raport jest dobrze skonstruowany, prawidłowo
skomponowany (harmonijny) oraz napisany w
zrozumiały i przystępny sposób?
OCENA
STRESZCZENIA
RAPORTU
Czy streszczenie raportu napisane jest w sposób
syntetyczny, jasny i czytelny?
OCENA
REKOMENDACJI
Czy sformułowane rekomendacje są trafne,
użyteczne i obiektywne?
OCENA
TABELI
REKOMENDACJI
Czy tabela została opracowana w sposób
syntetyczny, jasny i precyzyjny?
Blok 6 – Zawartość raportu ewaluacyjnego
Ocena raportu końcowego (2/3):
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 154
Kryterium oceny raportu Odpowiedź na wskazane pytanie
OCENA
WSPÓŁPRACY
Z WYKONAWCĄ
BADANIA
Kwestie związane z bieżącym kontaktem
w trakcie badania, konsultowanie i uwzględnianie
ewentualnych uwag Zamawiającego,
terminowość, elastyczność w przypadku
zaistnienia nieprzewidzianych
OCENA
WSPÓŁPRACY
Z INNYMI
PODMIOTAMI
W TRAKCIE
REALIZACJI
BADANIA
Jak wyglądała współpraca (Zamawiającego)
z innymi podmiotami zewnętrznymi (w zależności
specyfiki badania – Grupy Sterujące, Komitety
Monitorujące, kluczowi interesariusze)?
Blok 6 – Zawartość raportu ewaluacyjnego
Ocena raportu końcowego (3/3):
78
Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Zakończenie…
Koniec modułu 3-ciego. Dziękujemy za uwagę, zapraszamy
do zadawania pytań i dyskusji…
Beata Bujak-Szwaczka
Paweł Kolas
155