Publikacja została przygotowana w ramach projektu ...wsb.edu.pl/container/Biblioteka...

Publikacja została przygotowana w ramach projektu:Ewaluacja jako standard zarządzania w sektorze publicznymProjekt współfi nansowany ze środków Unii Europejskiej

Ewaluacjajako standard zarządzania w sektorze publicznym

Ewaluacjajako standard zarządzania w sektorze publicznym

Kraków 2008

Redaktor naukowy:Bożena Pietras-Goc

Copyright © Wyższa Szkoła Europejska im. ks. Józefa Tischnera 2008

Wydawca:Wyższa Szkoła Europejska im. ks. Józefa Tischneraul. Westerplatte 11, 31-033 Krakówwww.wse.krakow.pl

Przygotowanie do druku:FALL, ul Garczyńskiego 2, 31-524 Kraków www.fall.pl

ISBN 978-83-60005-08-8

Projekt współfi nansowany ze środków Unii Europejskiej

Umowa nr 9794/JFK/PPt-DG/2007-TF2005/017-488.01.02.06/Ew/18

Program Środki Przejściowe 2005

Wielosektorowy Projekt Wzmocnienia Zdolności Administracyjnych

KOMPONENT 6 „Wzmocnienie zdolności ewaluacyjnych w sektorze publicznym”

Wprowadzenie

System ewaluacji działań publicznych tworzony obecnie w Polsce dla celów po-lityki rozwoju okresu 2007–2013 jest niewątpliwie ogromnym krokiem do przodu w budowaniu kultury ewaluacyjnej w naszym kraju. Po raz pierwszy w sposób systematyczny, w oparciu o konkretne regulacje prawne1, z udziałem znacznych zasobów organizacyjnych i środków fi nansowych (związane z ewaluacją wydatki publiczne w tym okresie szacuje się na ok. 15 mln euro)2, z zaangażowaniem kapitału znaczących kompetencji i zasobów ludzkich tworzy się koordynowany z założenia system ewaluacji działań publicznych, obejmujący zarówno poziom krajowy, jak i regionalny wdrażania programów publicznych. I nie umniejsza jego znaczenia fakt, że – jednak – powstaje on de facto pod ogólne zamówienie „do-nora”, jakim jest budżet UE (bo za tym pieniądzem idą obowiązki proceduralne oraz standard zarządzania, do których musimy się jako kraj-benefi cjent dostoso-wać), ani że system ten ograniczony jest do programów współfi nansowanych ze środków unijnych (co, można mieć nadzieję, ulegnie zmianie).

O ile jednak administracja na poziomie krajowym oraz regionalnym jest pełnoprawnym uczestnikiem, kreatorem i – równocześnie – benefi cjentem tego procesu, o tyle poza nurtem modernizacyjnej zmiany w podejściu do zarządzania publicznego (nie wchodząc w tym miejscu w dyskusję, na ile jest on faktyczny i autonomiczny, a na ile jedynie instrumentalny i wymuszony) wciąż pozostają przynajmniej dwie istotne grupy interesariuszy polityki rozwoju, a mianowicie samorządy lokalne oraz społeczeństwo obywatelskie.

1 W chwili oddawania do druku niniejszego artykułu podstawowe były Wytyczne [Ministra Roz-woju Regionalnego] nr 6 w zakresie ewaluacji programów operacyjnych na lata 2007–2013, z maja 2007r. Źródło: www.mrr.gov.pl. 2 Za: Plan Ewaluacji Narodowych Strategicznych Ram Odniesienia na lata 2007–2013. Źródło: www.mrr.gov.pl.

6 Bożena Pietras-Goc

Wydaje się również, że powstający system ewaluacji działań publicznych jest ukierunkowany „wsobnie”, niejako „do wewnątrz” administracji publicznej i sys-temu zarządzania polityką rozwoju, a w konsekwencji w znacznym stopniu skon-centrowany na techniczno-metodologicznej stronie prowadzenia ewaluacji, nie zaś na jej fi nalnej użyteczności. Istnieje zagrożenie, że po raz kolejny w sektorze publicznym tworzymy system koncentrujący się na procesie jako takim i jego jakości, nie zaś na uzyskiwanym fi nalnym, trwałym efekcie, jego maksymalizacji i trafności, czyli na tym, czemu cały system ostatecznie powinien służyć. Wskazu-je na to nawet kluczowy uczestnik procesu, jakim jest Krajowa Jednostka Oceny ulokowana w Departamencie Koordynacji Polityki Strukturalnej Ministerstwa Rozwoju Regionalnego, w swojej ekspertyzie pisząc, że szersze wykorzystanie wyników ewaluacji, tj. „podniesienie poziomu wykorzystania wyników badań, a tym samym podniesienie użyteczności ewaluacji, jest największym wyzwaniem stojącym przed tym procesem”3.

Z tymi dwiema słabościami wiąże się jeszcze jedno zagadnienie, na które war-to zwrócić uwagę – może najważniejsze – a które również wydaje się niedocenio-ne. Jest nim wręcz ustrojowy potencjał ewaluacji jako narzędzia wspomagającego korzystne zmiany nie tylko w samym sektorze publicznym, ale i szerzej w życiu publicznym; potencjał ewaluacji, która – o ile sensownie i powszechnie stosowana – może stać się narzędziem z jednej strony wzmacniającym odpowiedzialność władz i administracji publicznej za efekty realizowanej polityki, a z drugiej strony, równolegle, narzędziem budowania (odbudowywania?) pozytywnego zaangażo-wania obywateli w sprawy publiczne i wzmacniania społeczeństwa obywatel-skiego. Innymi słowy – niezależnie, jak bardzo górnolotnie to brzmi – może przyczynić się do pogłębienia naszej dojrzewającej demokracji.

W książce w poszczególnych artykułach dotykamy wszystkich tych zagadnień.W pierwszych trzech rozdziałach ich autorzy prezentują w przystępny, acz

niezwykle kompetentny sposób podstawowe zagadnienia – ramy teoretyczne ewaluacji i jej miejsca w zarządzaniu sprawami publicznymi, wraz z przykładami z praktyki wybranych krajów europejskich oraz Kanady, oraz przegląd najczęściej stosowanych obecnie metod i narzędzi ewaluacji.

W kolejnych rozdziałach autorzy omawiają, nierzadko w sposób polemiczny, wybrane bardziej szczegółowe zagadnienia związane z możliwościami praktycz-nego stosowania ewaluacji na różnych etapach zarządzania sprawami publiczny-mi, czy to na poziomie regionalnym, czy lokalnym; czy to w rozwoju gospodar-czym, czy społecznym; czy w zarządzaniu kulturą, w sposób angażujący w procesy ewaluacyjne opinie szerszego grona interesariuszy. I wreszcie książkę dopełnia artykuł poświęcony możliwościom – jak to nazywamy – „ewaluacji obywatelskiej”,

3 Za: Proces ewaluacji polityki spójności w Polsce. Podsumowanie dotychczasowych doświadczeń. Plany

i wyzwania na przyszłość. Krajowa Jednostka Oceny, Departament Koordynacji Polityki Struktu-ralnej, Ministerstwo Rozwoju Regionalnego, kwiecień 2008, s. 67.

Wprowadzenie 7

a więc bezpośredniego zaangażowania społeczeństwa obywatelskiego zarówno w systemowe, jak i niezależne monitorowanie i ewaluacje działań publicznych. Tom zamyka artykuł porządkujący informacje na temat źródłowych dokumentów w obecnym okresie programowania.

Niniejsza publikacja jako rodzaj przewodnika po zagadnieniu jest adresowana przede wszystkim do przedstawicieli wspomnianych wyżej nieco niedocenianych w krajowym systemie ewaluacji środowisk – samorządów lokalnych i organizacji społeczeństwa obywatelskiego – z nadzieją, że znajdą w niej wsparcie meryto-ryczne oraz impuls do spojrzenia na zagadnienia ewaluacji z własnej, codziennej perspektywy, a w efekcie – być może – zainspirują się do bezpośredniego, szer-szego zaangażowania się w tę problematykę. Mam również nadzieję, że książka będzie pożyteczna dla osób bliżej zaznajomionych z tematyką ewaluacji czy wręcz decydentów ewaluacji w sektorze publicznym, i zwróci ich uwagę na zagadnienia traktowane dotychczas marginalnie, jak np. wkomponowanie w system ewaluacji szerszego udziału organizacji społeczeństwa obywatelskiego i częstsze dopusz-czanie i słuchanie głosu również „zwykłych” obywateli.

Bożena Pietras-Goc

Karol Olejniczak, Martin Ferry

Ewaluacja w praktyce sektora publicznego

1 WPROWADZENIE – DEFINICJE I TYPOLOGIE

Celem niniejszego rozdziału, otwierającego książkę, jest przedstawienie ge-nezy ewaluacji w sektorze publicznym oraz zarysowanie jej praktyki w świecie. W części pierwszej przedstawiamy ewaluację w kontekście szerszych procesów sektora publicznego – jako integralny element kolejnych paradygmatów i reform zarządzania domeną publiczną. Pokazujemy też rolę organizacji międzynarodo-wych (wydzielając z nich jednak Komisję Europejską i organy UE) w rozpo-wszechnianiu praktyki ewaluacji. Rozdział drugi poświęciliśmy wyłącznie Unii Europejskiej – z kilku powodów – jest ona specyfi czną organizacją ponadnarodo-wą, jej praktyka ewaluacyjna jest wyjątkowo rozbudowana i zróżnicowana, wresz-cie zasługuje na szczególną uwagę, gdyż w największym stopniu dotyczy Polski. W rozdziale trzecim natomiast staraliśmy się pokazać praktykę ewaluacji w ujęciu funkcjonalnym – zadań, które może spełnić w sektorze publicznym. Omawiając poszczególne funkcje ewaluacji, ilustrujemy je przykładami badań ewaluacyjnych z kraju i ze świata. W podsumowaniu rozdziału zawarliśmy refl eksję nad szerszą rolą ewaluacji, jej ograniczeniami, a także wciąż słabo zbadanym rzeczywistym wpływem badań na praktykę decyzyjną.

Rozdział warto jednak zacząć od wyjaśnienia dwóch kwestii – krótkich, acz zasadniczych dla przejrzystości naszego dalszego wywodu. Pierwszą jest defi nicja ewaluacji – co to jest ewaluacja, a czym nie jest? Kwestią drugą są typy ewaluacji, a więc jakie jej rodzaje możemy spotkać w praktyce sektora publicznego?

1.1 DEFINICJA EWALUACJI

Najszerzej ujmując, ewaluacja to systematyczne badanie społeczno-ekono-miczne gromadzące dowody, oceniające i informujące o jakości i wartości pro-

10 Karol Olejniczak, Martin Ferry

gramów publicznych (FORUNIER, 2005; MATHISON, 2005:139–140; PAT-TON, 2004; ROSSI et al., 2004; WEISS, 1998).

W literaturze tematu podkreślane są szczególnie trzy elementy. Po pierwsze uwypuklany jest analityczny i systematyczny charakter badania ewaluacyjnego. Oznacza to stosowanie podejścia naukowego popartego danymi, przestrzeganie rygoru badawczego wynikającego z kanonu badań nauk społecznych (LANG-BEIN, FELBINGER, 2006:33; PATTON, 2004; ROSSI et al., 2004; SCRIVEN, 1991:131). Po drugie zaznacza się, że ewaluacja bada jakość danego programu i jego wartość w kategoriach zarówno społecznych, jak i ekonomicznych (DA-VIDSON, 2005:1-2; PADDOCK, 1998). Wreszcie trzecim elementem podkre-ślanym w defi nicjach ewaluacji jest to, że badania ewaluacyjne mogą obejmować zarówno ocenę procesów – działania programu, jak i jego efektów (BINGHAM, FELBINGER, 2002:3; WEISS, 1998:4).

Defi niując ewaluację warto również wyjaśnić jej specyfi kę, zaznaczając tak-że, czym ewaluacja nie jest. Szczegółowe różnice między ewaluacją a badaniami naukowymi i innymi formami dyscyplinowania sektora publicznego (monito-ringiem, audytem) zostały przeanalizowane przez Olejniczaka (2007a:363–365) i można je podsumować w trzech punktach:• ewalucja łączy empirię z charakterem normatywnym – nie tylko opisuje i dia-

gnozuje, ale także osądza o wartości danej interwencji• jej ocena jest mniej resktrykcyjna niż ocena np. przy kontroli czy audycie,

często sama ocena jest prowadzona wspólnie z interesariuszami danego pro-gramu

• ewaluacja musi być użyteczna – diagnoza i ocena danego programu są punk-tem wyjścia do postawienia konkretnych rekomendacji, mających pomóc kon-kretnym odbiorcom w rozwiązaniu rzeczywistych problemów (STUFFLE-BEAM, 2001:11).W praktyce Unii Europejskiej (a i szerzej – innych organizacji międzynaro-

dowych, takich jak OECD czy Bank Światowy) ewaluacja jest zawsze przedsta-wiana w kontekście „uczenia się” organizacji, doskonalenia przyszłych programów oraz odpowiedzialności instytucji publicznych przed społeczeństwem.

W dokumentach Unii Europejskiej ewaluacja jest określana zwięźlej i bardziej technicznie – jako niezależne, obiektywne badanie wartości i jakości interwencji

publicznej w odniesieniu do konkretnych kryteriów i standardów (EUROPEAN COMMISSION, 1999b:vol. 6), bądź też jako ocena działań publicznych w za-leżności od ich rezultatów, oddziaływania i potrzeb, które mają zaspokoić (EURO-PEAN COMMISSION, 2004a).

W nowym okresie programowania UE zdefi niowała ewaluację programów polityki spójności jako badania, które mają na celu poprawę jakości, skuteczności

i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych w od-

niesieniu do konkretnych problemów strukturalnych dotykających dane państwa człon-

kowskie i regiony (ROZPORZĄDZENIE RADY (WE), 2006: art. 47.1). Tym

Ewaluacja w praktyce sektora publicznego 11

razem wyróżniła jednak studia o charakterze strategicznym (których celem jest ocena ewolucji programu) i operacyjnym (wspierających procesy i monitoring).

W Polsce ewaluacja jest tłumaczona jako „ocena” . Zredukowanie ewaluacji do samej oceny jest jednak wielce mylące i zawężające1. Błąd w tłumaczeniu popełniony w połowie lat 90. (w ramach grantu Banku Światowego na przygo-towanie systemu ewaluacji w Polsce) był następnie powielany i wrósł do języka aktów prawnych, choć w codziennej praktyce – również instytucji rządowych – funkcjonuje termin „ewaluacji”. W rezultacie w Polsce wciąż utrzymuje się zamieszanie terminologiczne: wydawane są publikacje nt. metod ewaluacji i orga-nizowane konferencje ewaluacyjne2, zaś w dokumentach prawnych – w ustawach, dokumentach programowych i tłumaczeniach ofi cjalnych rozporządzeń UE uży-wa się tylko terminu „ocena”3. Nadzieje na wyleczenie tej swoistej „schizofrenii” pojęciowej są nikłe, gdyż w tłumaczeniach rozporządzeń UE na lata 2007–13 beztrosko skopiowano, idąc za latami 2004–06, tłumaczenie terminu evaluation jako ocena, a nie ewaluacja4.

1.2 TYPOLOGIA EWALUACJI

Podstawowe typologie badań ewaluacyjnych można rozwinąć według trzech zasadniczych pytań: • co jest przedmiotem ewaluacji? • kiedy wykonywane jest badanie?• w jaki sposób wykonywane jest badanie?

Dzieląc ewaluacje ze względu na przedmiot badania można wyróżnić nastę-pujące typy (OLEJNICZAK, 2005:39–40):• ewaluacje projektów koncentrujące się na analizie pojedynczych, małych in-

terwencji, z reguły nowego, innowacyjnego projektu. W praktyce UE takie

1 Użycie angielskojęzycznego terminu jest bardziej wskazane z kilku powodów. „Ewaluacja” jest procesem. „Ocena” jest tylko jednym z elementów tego procesu. Według niektórych podejść, osąd nie zawsze jest kluczowy w procesie ewaluacji, a może być nawet pominięty (akcent jest wtedy postawiony na interakcje i animacje negocjacji pomiędzy uczestnikami programu). Użycie terminu „ocena” koncentruje uwagę wyłącznie na jednym elemencie, przypisując mu cechy całego procesu, a także wyłącza cały szereg podejść alternatywnych. Wreszcie po trzecie „ewaluacja” to nie tylko pojedyncze działanie, ale dziedzina wiedzy. Jak zauważa Kierzkowski (2002b:10), ze względów semantycznych trudno byłoby więc określać terminem „ocena” zespół koncepcji teoretycznych.2 Porównaj: (HABER, 2007; KRAJOWA JEDNOSTKA OCENY, 2005b)3 Na przykład jedną z głównych instytucji rządowych w tym polu jest Krajowa Jednostka Oceny, zlecająca przetargi na „oceny” funduszy strukturalnych, jednocześnie prowadząca na swych stro-nach internetowych dział „ewaluacja funduszy” i publikująca poradnik „ewaluacji” (KRAJOWA JEDNOSTKA OCENY, 2005a). Podobnie inne departamenty ministerstw zakładają jednostki ewaluacyjne, które przygotowują… roczne plany ewaluacji (sic!), następnie zaś – zgodnie z literą prawa – organizują przetargi na „oceny” szacunkowe, „oceny” procesów, „oceny” efektów.4 Porównaj: (COUNCIL OF THE EUROPEAN UNION, 2006) z (ROZPORZĄDZENIE RADY (WE), 2006: Tytuł IV, rozdz. 1)


ewaluacje są elementem większej całości (badania programu) i później wyko-rzystywane jako studia przypadku

• ewaluacje programów to najczęściej spotykany typ – przedmiotem badania może być zarówno pojedynczy program sektora publicznego jak i cały pakiet unijnych interwencji (np. działanie, priorytet)

• ewaluacje polityk, częściej nazywane analizą polityk (ang. policy analysis) – składa się z szeregu badań i analiz (zwykle na przestrzeni wielu lat)

• ewaluacje tematyczne/horyzontalne (ang. thematic/horizontal evaluation), których przedmiotem jest konkretna kwestia zarządzania lub aspekt progra-mu (np. zastosowanie zasady partnerstwa, realizacja celów horyzontalnych równych szans kobiet i mężczyzn, rozwoju zrównoważonego), takie badania są prowadzone przekrojowo – dla kilku, kilkunastu interwencji

• meta-ewaluacje (ang. meta-evaluation) to badania, których przedmiotem są inne, wcześniejsze ewaluacje. Są to analizy porównawcze, podsumowujące obserwacje, wnioski i rekomendacje kilkunastu badań oraz oceniające zasto-sowane techniki, poprawność metodologii.Niektórzy polscy autorzy (ZAWICKI, 2007) wyróżniają, prócz ewaluacji pro-

gramów publicznych, również ewaluacje skutków regulacji, czyli ocenę jakości prawa, tzw. Regulatory Impact Assessment (prowadzoną z reguły ex ante).

Używając kryterium czasu, możemy wyróżnić trzy podstawowe rodzaje ewa-luacji: wykonywane przed rozpoczęciem badanej interwencji, w trakcie badanej interwencji oraz badania po zakończeniu programu będącego przedmiotem anali-zy i oceny (BINGHAM, FELBINGER, 2002; FORUNIER, 2005; SCRIVEN, 1991). Ta typologia znalazła swoje uprawomocnienie w praktyce funduszy struk-turalnych UE. Wyróżniane są5:• ewaluacja wstępna / szacunkowa (ang. ex-ante evaluation)• ewaluacja ad hoc / bieżąca lub ciągła (ang. on-going / ad hoc / interim evalua-

tion)• ewaluacja ex-post / końcowa / pełna / zamykająca (ang. ex-post evaluation)6

Trzecia typologia wynika ze sposobu prowadzenia badania. Można to ro-zumieć dwojako. Po pierwsze jako sposób organizacji i zlecania badania. Mogą więc istnieć:• ewaluacje wewnętrzne – prowadzone przez osoby z danej instytucji odpowie-

dzialnej za wdrażanie analizowanej interwencji lub • ewaluacje zewnętrzne (najczęściej spotykane w praktyce) – zlecane poza in-

stytucję prowadzącą dany program i wykonywane przez zespoły niezależnych ekspertów wyłonione w ramach postępowania przetargowego.

5 W polskich dokumentach występuje kilka różnych tłumaczeń terminów angielskich. W tym miejscu pracy przytaczane są wszystkie. 6 Dokładny zakres pytań każdej z tych ewaluacji jest omówiony w (COUNCIL OF THE EURO PEAN UNION, 1999; EUROPEAN COMMISSION, 1999; OLEJNICZAK, 2007a).


Po drugie „sposób” może być interpretowany jako podejścia i metody badaw-cze użyte w procesie ewaluacji. Tu, w odróżnieniu od przypadku pierwszego, nie ma jednej powszechnej typologii, gdyż i podejść do badań jest wiele, np. Stuffl e beam (2001) wyróżnia 22 podejścia. Propozycją syntezy są typologie Al-kina (2006) i Dahler-Larsena (2005) zaadaptowane do potrzeb programów UE przez Olejniczaka (2008 in press:35–40):• podejście naukowe i wyłączające cele programu – analizuje rzeczywiste efekty

programu (w tym efekty uboczne), bada relację przyczynowo-skutkową mię-dzy działaniami a zmianami na danym obszarze, w grupie docelowej, w śro-dowisku; przewaga metod ilościowych

• podejście oparte na teoriach – analizuje teorie, założenia i mechanizmy pro-gramu w odniesieniu do jego efektów; mieszanka metod jakościowych i ilo-ściowych, użycie modeli badawczych budowanych w oparciu o wcześniejsze, analogiczne ewaluacje

• podejście zorientowane na cele – koncentruje się na ocenie, na ile cele zostały zrealizowane – czyli zestawia cele z produktami, rezultatami i oddziaływaniem na daną grupę docelową; przewaga metod ilościowych

• podejście zorientowane na zarządzanie – koncentruje się na procesach wdra-żania, pomiarze bieżącej jakości, usuwaniu blokad, minimalizowaniu konfl ik-tów; przewaga metod jakościowych, użycie modeli logicznych

• podejście responsywne i partycypatywne – koncentruje się na zidentyfi kowa-niu i zaspokojeniu bieżących potrzeb informacyjnych głównych interesariuszy, analizuje procesy programu i bieżące wdrażanie ze szczególnym uwzględnie-niem roli aktorów procesu, wchodzi w animację współpracy między interesa-riuszami, budowanie dialogu, wzmacnianie komunikacji; dominujące metody jakościowe, techniki animacji dyskusji.

2 EWALUACJA W REFORMACH ZARZĄDZANIA SEKTOREM PUBLICZNYM7

Ewaluacja ma swoje korzenie w Stanach Zjednoczonych. Można zidenty-fi kować dwa źródła jej początków. Pierwsze były badania jakości programów edukacyjnych prowadzone w USA. Worthen (1990) wymienia tu studium porów-nawcze (z lat 1897–1898) umiejętności literowania przeprowadzone wśród 33 tys. uczniów szkół amerykańskich. Nurt edukacyjny ewaluacji podaje również szereg badań mających na celu podniesienie efektywności programów wzmacniania mo-rale amerykańskiej armii w latach 40. XX w. (CRONBACH, ASSOCIATES, 1981:30). Drugim były tworzące i przejmowane przez amerykańską administra-

7 Niniejszy podrozdział jest w swej zasadniczej części fragmentem pracy doktorskiej (OLEJNI-CZAK, 2007b), opublikowanej obecnie w formie książkowej (OLEJNICZAK 2008).


cję klasyczne teorie organizacji – zarządzanie naukowe i, nieco późniejsze, za-rządzanie administracyjne. Nacisk na racjonalne planowanie, pomiar i rozliczanie produktów na stałe włączył ewaluację do praktyki sektora publicznego8.

Ewaluacja jawiła się jako jeden z elementów racjonalnego administrowania, a z czasem zarządzania sektorem publicznym (ang. Public Administration &

Management). Jej rola i forma zmieniały się wraz ze zmianami kolejnych para-dygmatów zarządzania publicznego idących od tradycyjnego administrowania sektorem publicznym poprzez reformy lat 60., koncentrujące się na planowaniu, Menedżeryzm w latach 80. i dominujący od lat 90. nurt Nowego Zarządzania Sektorem Publicznym (przesuwające akcent na zarządzanie), aż po najnowsze trendy w administracji i zarządzaniu sektorem publicznym na początku nowego milenium. W dalszej części rozdziału omówimy rolę ewaluacji w każdym z tych paradygmatów.

2.1 POCZĄTKI EWALUACJI W KLASYCZNEJ ADMINISTRACJI PUBLICZNEJ

Punktem wyjścia ewolucji współczesnej administracji i zarządzania sektorem publicznym było tradycyjne administrowanie sektorem publicznym (ang. Public

Administration), które dominowało od końca dziewiętnastego wieku aż do poło-wy lat 60. wieku dwudziestego. Kluczowymi elementami Klasycznej Administra-cji Publicznej były (GRUENING, 2001: 3; OSBORNE, 2006: 378):• kierowanie się zasadą prawa i zestawem standardowych procedur, reguł i wy-

tycznych administracyjnych• zasada jednego ośrodka decyzyjnego i hierarchii w odniesieniu do delegacji

kompetencji (kluczem do sukcesu jest stabilna, trwała struktura administra-cyjna)

• centralna rola biurokracji w formułowaniu i wdrażaniu polityk i dostarczaniu usług oraz relatywne oddzielenie jej od polityków

• zasada podziału pracy, specjalizacji organizacji biurokratycznych i obiektyw-nego podejścia naukowego

• budżetowanie przyrostowe (zwiększanie wydatków z roku na rok budżetowy).Nieco upraszczając, administratorzy oddzieleni od polityków mieli w pro-

fesjonalny sposób, kierując się wypracowanymi procedurami: planować, organi-zować działania publiczne, prowadzić politykę etatową, kierować, koordynować, raportować i prowadzić budżetowanie (ang. POSDCORB (GULICK, 1937). Teoretycznych podstaw temu nurtowi dostarczyły politologia (z wizją państwa unitarnego, gdzie polityka i system wdrażania są zintegrowane pionowo w ra-mach rządu (WILSON, 1887) oraz klasyczne, wspominane już teorie organiza-

8 Do pewnego stopnia obydwa źródła mają wspólne korzenie – wprowadzanie badań ekspe-rymentalnych i obserwacji uczestniczącej w badaniach społecznych. Najbardziej znany przykład, przytaczany przez obydwa nurty to eksperyment Hawthorne (CRONBACH, ASSOCIATES, 1981; SHAFRITZ, RUSSELL, 2003).


cji – zarządzanie naukowe (Fredericka Taylora) i, nieco późniejsze, zarządzanie administracyjne – rozwijane głównie w USA.

Z perspektywy rozwoju ewaluacji ważnym elementem ówczesnego para-dygmatu było założenie, że polityki publiczne wdrażane przez państwo i jego aparat biurokratyczny powinny kierować się naukowym obiektywizmem. Wraz z wprowadzaniem programu New Deal w latach 30. w USA zaangażowanie państwa znacznie wzrosło, a tym samym pojawiła się silniejsza potrzeba testo-wania i weryfi kowania skuteczności i racjonalności tych działań – w oparciu o obiektywne, jak sądzono, podejście naukowe. Wtedy to pojawiły się pierwsze badania naukowe stosowane w odniesieniu do programów publicznych. Były to głównie wspominane już badania jakości programów edukacyjnych i programów szkoleniowych.

Guba & Lincoln (1989: 22–28) charakteryzują ówczesne badania jako skon-centrowane na pomiarze i opisie. Ich słabością był nadmierny rygoryzm w me-todologii badań społecznych (wzorowanie się na naukach przyrodniczych w pro-wadzeniu eksperymentów i ocenie ich ważności), a przede wszystkim pomijanie elementu oceny. Ewaluatorzy dostarczali opisu relacji przyczynowo-skutkowych, ale nie formułowali ostatecznej oceny na temat wartości danej interwencji.

2.2 EWALUACJA W NEOKLASYCZNEJ ADMINISTRACJI PUBLICZNEJ

W latach 60. amerykańska administracja prezydencka rozpoczęła inicjatywę War on Poverty składającą się z całego pakietu programów sektora publicznego (później nazwane planem Great Society), z czym związany był lawinowy wzrost zaangażowania państwa i wzrost wydatków publicznych w szeregu sektorów ówczesnej gospodarki. Przy znaczącym wzroście zaangażowania administracji publicznej zaczęto poszukiwać dalszych metod racjonalizowania zarządzania w sektorze publicznym. Serią reform wprowadzono do powszechnego użycia w administracji amerykańskiej „Planowanie, Programowanie, System Budże-towy” (ang. PPBS – Planning, Programming, Budgeting System), wykorzystujące mikroekonomiczne techniki decyzyjne i oparte na silnym przeświadczeniu, że centralne planowanie i administracja publiczna prowadzić będą do zoptymali-zowania decyzji społeczno-gospodarczych (GRUENING, 2001). Neoklasyczna Administracja Publiczna opierała się na tych samych podstawach fi lozofi cznych, co administracja tradycyjna, z poprzedniego okresu – zwiększono jedynie nacisk na naukowe zarządzanie, szczególnie na element cyklicznego, ciągłego plano-wania.

W praktyce polityk publicznych oznaczało to (GRUENING, 2001; HEIN-RICH, 2003):• zastosowanie logiki procesowej do analizy interwencji publicznych, tzn. pla-

nowanie i ocena wszystkich działań według ciągu: nakładów, przepływów, produktów, rezultatów, programów i alternatywnych rozwiązań


• strukturalizowanie działań oraz funkcji instytucji publicznych w formie mie-rzalnych celów

• tworzenie wieloletnich planów budżetowych (konstruowanych na zasadzie zadaniowej)

• obiektywną analizę wdrażanych programów opartą na badaniach i ewaluacji.Założenie było proste – każde działanie miało służyć konkretnemu celowi, któ-

remu był przyporządkowany budżet, weryfi kowanie postępów wdrażania opierało się zaś na sprawdzaniu zmian przy pomocy mierzalnych wskaźników. To nowe po-dejście szybko zaczęły stosować również administracje krajów Europy Zachodniej (Wielka Brytania, Francja, Holandia, Niemcy) (TOULEMONDE, 2000).

Wprowadzenie PPBS i intensyfi kacja działań publicznych było momentem przełomowym dla rozwoju ewaluacji. Badania ewaluacyjne rozszerzono na inne pola – z programów głównie edukacyjnych na programy infrastrukturalne, zaso-bów ludzkich, etc. Ewaluacja w tamtym okresie koncentrowała się na ustaleniu relacji przyczynowo-skutkowej między nakładami zaangażowanymi w program a jego bezpośrednimi i natychmiastowymi efektami. Korzystano z modeli i me-tod eksperymentalnych na dużych próbach (grupy kontrolne i metody ilościo-we). Praktyka kolejnych lat ujawniła jednak słabości i ograniczenia tego po-dejścia. Ewaluacje nic nie mówiły o rzeczywistości programów – o tym, jakie procesy stały za pojawieniem się lub brakiem oczekiwanych efektów. Tworzone modele często okazywały się zbyt abstrakcyjne – operowały zbyt dużym stop-niem agregacji informacji – pomijały lokalną specyfi kę programów (późniejsza krytyka nazwała to metodą „czarnej skrzynki”) (GREENE, 2003; HERMAN et al., 1987).

2.3 MENEDŻERYZM I UŻYCIE EWALUACJI

W końcu lat 70. kryzysy paliwowe zmusiły administracje wielu rozwiniętych krajów do refl eksji nad kosztami państwa dobrobytu, racjonalnością rozbudowa-nych programów publicznych i efektywnością sektora publicznego (POLLITT, BOUCKAERT, 2003:21). Szerszym impulsem było przechodzenie gospodarek rozwiniętych od fordyzmu do post-fordyzmu i związana z tym nowa organiza-cja rynku, metod pracy i procesów produkcji oraz roli państwa (GORZELAK, 1995:18–21). Administracja publiczna musiała się określić w nowej, post-for-dystowskiej rzeczywistości. Zaowocowało to tzw. Menedżeryzmem (ang. New

Managerialism), który jednocześnie zaczęła wprowadzać administracja brytyjska (pod rządami Margaret Th atcher) i amerykańska (prezydentura Ronalda Re-gana), a za nimi głównie administracje krajów anglosaskich – nowozelandzka, australijska, kanadyjska.

Podstawą teoretyczną dla nowego ruchu była ekonomia neoklasyczna, szcze-gólnie teorie wyboru publicznego, w tym zarządzanie systemami policentryczny-mi (OSTROM, OSTROM, 1971) i szereg „racjonalnych technik zarządzania”


pożyczonych z sektora prywatnego. Rdzeniem fi lozofi i nowego paradygmatu było przestawienie się z administrowania na zarządzanie sektorem publicznym (od podejścia hierarchicznego „rozkazuj i kontroluj” do rynkowych zachęt i kon-kurencji) i hasło efektywnego (tańszego) zarządzania pieniędzmi publicznymi (Value for Money). Jako kluczowe elementy Menedżeryzmu można wyróżnić (GRUENING, 2001; KETTL, 1997; SHAFRITZ, RUSSELL, 2003):

• nowa fi lozofi a planowania budżetowego – uzależnienie wielkości alokacji od planowanych produktów, czyli budżetowanie zadaniowe (jak obrazowo ujmuje Kettl (1997:449) od pytania o nakłady: Ile powinniśmy wydać?, do pytania o efekt: Jakie produkty przynoszą nasze nakłady?)9

• wprowadzenie do sektora publicznego technik i narzędzi racjonalnego zarzą-dzania przeniesionych – często w całości i bez zmian – z sektora prywatnego: Strategicznego Planowania i Zarządzania przez Cele (Management by Objecti-

ves – MBO) opartych na ciągu logicznym: analiza stanu i perspektyw – wizja – cele strategii – nakłady – działania – efekty – ich ocena

• wprowadzenie zapożyczonego z sektora prywatnego Zarządzania opartego na Wynikach (ang. Performance Management) i rachunkowości polegających na ocenie efektywności działań na podstawie osiąganych wskaźników, stopnia realizacji celów założonych w danej strategii

• wprowadzenie do stabilnego, sztywnego sektora publicznego konkurencji ryn-kowej – rynkowego podejścia do usług publicznych, zlecania na zewnątrz i prywatyzacji części zadań

• przesunięcie akcentu z procedur i struktur na procesy, rozbicie funkcji i dzia-łań publicznych na szereg oddzielnych i łatwych w zarządzaniu procesów (analizowane i prowadzone jak w sektorze prywatnym) (KETTL, 2006:316) oraz odejście od sztywnej hierarchii, pionowej delegacji kompetencji na rzecz wyspecjalizowanych działów i agencji (konkurujących ze sobą), elastycznych działań, płaskiego zarządzania organizacją, grup zadaniowych

• zmianie mentalności urzędniczej i relacji biurokratów z obywatelami: prze-istoczenie urzędników w przedsiębiorczych menedżerów, petentów w urzę-dach zaś – w klientów (a więc zorientowanie na usługi i akcent na jakość usług, stopień zadowolenia obywateli-klientów), w parze z tym szła promocja i marketing sektora publicznego.

9 W praktyce najpopularniejszym podejściem była technika Zero-based budgeting. ZBB domagało się uzasadnienia racjonalności całego planu budżetowego i poszczególnych jego pozycji, podczas gdy dotychczasowe tradycyjne budżetowanie przyrostowe tworzyło budżet na rezultatach decyzji i za-szłości budżetowych lat poprzednich (tzw. bazy budżetowej), koncentrując się wyłącznie na różnicach pomiędzy jednym a drugim rokiem budżetowym (Shafritz, 2003:258). Różnicę jakościową między rocznym a zadaniowym budżetowaniem jasno przedstawia Orłowski (2008) odnosząc do Polski.


Reformy Menedżeryzmu były wprowadzane w sposób szybki i radykalny, choć w literaturze wyróżniane są dwa nurty, o różnej sile reform (KETTL, 1997; POLLITT, BOUCKAERT, 2003)10.

W polu ewaluacji rozczarowanie szerokimi programami (np. USA – Great

Society) opartymi na inżynierii społecznej i PPBS, przemiany społeczne lat 70. (kryzysy polityczne i rozwijający się pluralizm społeczny) oraz ujawnione ogra-niczenia metod eksperymentalnych i ilościowych wywołały dyskusję nad zmianą podejścia (GREENE, 2003)11. Akcent postawiono na użycie metod jakościo-wych jako bardziej odpowiednie narzędzie uchwycenia zróżnicowanych opinii i punktów widzenia różnych aktorów społecznych. Ta kolejna fala ewaluacji koncentrowała się na identyfi kowaniu i adresowaniu wyjątkowych potrzeb róż-nych aktorów-klientów zaangażowanych w lokalne programy oraz opisywaniu specyfi ki procesów danego programu (z perspektywy wdrażania) w celu poprawy efektywności. Menedżeryzm potrzebował narzędzia kontroli postępów i jakości – nowa ewaluacja, obok audytu, dawała takie możliwości. Od lat 80. zaczęto więc w ewaluacji rozwijać metody i działania, które zapewniałyby rzeczywiste przeło-żenie wniosków z ewaluacji na praktykę programów i polityk (HERMAN et al., 1987). Rozwijano podejście utylitarne – ewaluacja dostarczała informacji mene-dżerom, oceniała efektywność działań (zestawiając nakłady i procesy z produk-tami), ułatwiała proces uczenia się danej organizacji, weryfi kowała efektywność działań, dawała konkretne rekomendacje na temat poprawy procesów i kontekstu wdrażania danego programu.

Nowe ewaluacje miały jednak i swoje ograniczenia – trudno było agregować spostrzeżenia z badań i uogólniać wnioski. Serie szczegółowych badań i studiów przypadku zorientowane na procesy miały więc małe znaczenie praktyczne dla polityków i co za tym idzie minimalną moc sprawczą w odniesieniu do budowa-nia szerszych wizji, strategii, weryfi kowania założeń stojących za całymi polity-kami, wyciągania lekcji na przyszłość dla nowych generacji programów. Pojawiło się rozczarowanie samymi efektami tych czysto technicznych ewaluacji.

10 Pierwszy, charakteryzowany hasłem „pozwólmy menedżerom zarządzać” (let the managers

manage) – zakładał, że menedżerowie sektora publicznego wiedzą, co robić, a tym, co krępuje ich przedsiębiorczość, są istniejące procedury i hierarchie. Znosząc te bariery menedżerowie będą mogli pracować lepiej i wdrażać efektywnie wizje i strategie. Nurt ten pojawił się w Niemczech, Francji, Szwecji, Holandii. Drugi, bardziej radykalny nurt (zastosowany głównie w Wielkiej Bryta-nii, USA i Nowej Zelandii) to „zmuśmy menedżerów do zarządzania” (make the managers manage) – zakładający, że tym, co zmusi menażerów sektora publicznego do lepszej i tańszej pracy, jest presja rynkowa, konkurencja, akcent na rozliczenie z efektów (oceniane w odniesieniu do stopnia satysfakcji klientów). Nurt pierwszy koncentrował więc reformy na poprawach struktur i uprasz-czaniu procedur, nurt drugi na prywatyzacji, kontroli produktów i ich jakości.11 Dyskusja ta miała burzliwy przebieg i jest czasem określana Okresem Wojny Paradygmatów (Th e Paradigm Wars) – między tradycyjnym ilościowo-pozytywistycznym i eksperymentalnym po-dejściem a konstrukcjonizmem opartym głównie o metody jakościowe.


2.4 ROLA EWALUACJI W NOWYM ZARZĄDZANIU SEKTOREM PUBLICZNYM (NPM)12

Budując na doświadczeniach Menedżeryzmu w latach 90. pojawiła się, do-minująca obecnie, doktryna Nowego Zarządzania Sektorem Publicznym (ang. New Public Management – NPM). W literaturze tematu podawane są dwie pu-blikacje, które dały impuls nowej doktrynie. Pierwszą była In a Search of Excel-

lence (PETERS et al., 1992), której autorzy dowodzili, że najbardziej efektyw-ne amerykańskie korporacje odchodzą od racjonalnych technik zarządzania na rzecz struktur organicznych, humanistycznego podejścia do zasobów ludzkich, kulturowo elastycznych strategii. Ta dyskusja została przeniesiona do sektora publicznego, który od czasów Menedżeryzmu czerpał wzorce z biznesu. Drugą publikacją było Reinventing Government (OSBORNE, GAEBLER, 1992), której autorzy postulowali, by sektor publiczny skoncentrował się na misji – koordy-nacji i sterowaniu – zamiast codziennym zarządzaniu (winno być zlecane na zewnątrz), poszukiwaniu rynkowych nieadministracyjnych rozwiązań, pomiarze sukcesu poprzez stopień zadowolenia klientów-obywateli. Pojawiały się też głosy, że słabością Menedżeryzmu jest kopiowanie często przestarzałych już wzorów biznesowych do sektora publicznego, bez należytego uwzględnienia specyfi ki te-goż ostatniego (HOOD, JACKSON, 1991; METCALFE, RICHARDS, 1990). Szerszy impuls do dalszych zmian dały też w latach 90. przyspieszające procesy globalizacji, w tym przemiany technologiczne, które odbierały możliwość pełnej kontroli administracyjnej, wymuszając elastyczność i koordynację.

Zestawiając nowe postulaty z Menedżeryzmem, charakterystyczne elementy reform Nowego Zarządzania Sektorem Publicznym można podsumować w sze-ściu punktach (GRUENING, 2001; HEINRICH, 2003; HOOD, 1991; JONES, THOMPSON, 1997): • silniejsze zorientowanie na jakość usług – zaadaptowanie do potrzeb sektora

publicznego zarządzania jakością (ang. Total Quality Management) (SWISS, 1992)

• kontynuowanie logiki strategicznego myślenia, procesowego podejścia i zarzą-dzania opartego na wynikach tak w planowaniu budżetowym, jak i wdrażaniu interwencji, ale silniejszy akcent na szersze efekty (ang. outcomes), zamiast jak dotychczas głównie na produkty (ang. outputs); planowanie w okresach wieloletnich (ang. multi-annual strategies)

• wprowadzenie rynkowego i quasi-biznesowego podejścia do sektora publicz-nego – prywatyzowanie i zlecanie usług na zewnątrz jednak tylko dla wy-branych funkcji, zaś stosowanie quasi-rynkowych mechanizmów w polach sektora publicznego, które nie mogą być sprywatyzowane

12 W polskiej literaturze tematu spotyka się tłumaczenie „Nowe zarządzanie publiczne” (porów-naj: MAZUR, 2006). Zdecydowałem się jednak na tłumaczenie rozszerzające, które jasno zaznacza pole zarządzania – „sektor publiczny”.


• dekoncentracja i decentralizacja (również przestrzenna) zadań i funkcji – głównie przekazanie ich wyspecjalizowanym agencjom quasi-rządowym, tworzenie departamentów zorientowanych wokół usług, w zarządzaniu da-nymi jednostkami stosowanie elastycznych grup zadaniowych (ang. task-force), grup eksperckich powoływanych do rozwiązania danej kwestii

• wyciąganie lekcji i adaptowanie metod i technik z sektora prywatnego, ale przy poszanowaniu specyfi ki działania sektora publicznego, jego odmiennych celów i dłuższej perspektywy czasowej;

• szersze stosowanie badań naukowych, audytu i ewaluacji tak do bieżącej oceny procesów wdrażania, jak i weryfi kacji szerszych, długookresowych strategii, uzasadniania odpowiedzialności działań publicznych przed obywatelami.NPM utwierdził więc rolę ewaluacji jako narzędzia podnoszenia efektywności

działań sektora publicznego. Badania przestały jednak koncentrować się wyłącz-nie na procesach, produktach i krótkoterminowych rezultatach, a zaczęły adre-sować oddziaływanie inwestycji publicznych. Co więcej, dużo silniej powiązano ewaluację z bieżącymi działaniami danych organizacji, jak i z ich strategicznym planowaniem. Organizacje publiczne zaczęły internalizować zadania ewaluacyjne – rozwijając tzw. ewaluacje wewnętrzne – prowadzone na bieżąco przez kadrę własną danych organizacji (WOLLMANN, 2003:2). Pomiar efektów i stra-tegiczne użycie ewaluacji stawiało oczywiście nowe wyzwania metodologiczne (szczególnie w sferze określenia relacji przyczynowo-skutkowej między działa-niami a ich długoterminowymi efektami, w tym efektami ubocznymi). Nowe metody czerpały zarówno z badań ilościowych, jak i jakościowych, zaczęto w dużo większym stopniu używać myślenia systemowego (modele logiczne) i proceso-wego. Ewaluacja stała się więc dla sektora publicznego tym, czym mechanizm rynkowy dla sektora prywatnego.

W promowaniu takiej funkcji ewaluacji szczególną rolę odegrały takie orga-nizacje międzynarodowe jak OECD i Bank Światowy. Ta pierwsza promowała ewaluację (od połowy lat 90.) wśród państw wysokorozwiniętych jako integralny element pakietu nowoczesnego zarządzania (OECD, 1995, 1998). Bank Świa-towy stosował zaś ewaluację (już od lat 1970.) do pokazywania efektów swoich programów pomocowych w krajach słabo rozwiniętych (tym samym promując to podejście w lokalnych administracjach, które chciały korzystać z jego środków) (PICCIOTTO, 1997).

2.5 EWALUACJA W REFORMACH SEKTORA PUBLICZNEGO NA POCZĄTKU XXI WIEKU

Pod koniec dwudziestego wieku na bazie opisanych już elementów NPM pojawiły się nowe tendencje w administracji i zarządzaniu sektorem publicznym. Charakteryzując współczesną sytuację można zidentyfi kować sześć głównych trendów (OECD, 2005; WOLF, 2000).


• Otwarty rząd i włączanie obywateli (ang. Open government & Citizen en gage-

ment). Rządy i administracje otwierają się na obywateli. Po pierwsze starają się, by ich działania były bardziej przejrzyste (ang. transparency), a standardy relacji jasne. Po drugie widać wyraźny trend zwiększania dostępności admi-nistracji i państwa dla obywateli. Jednak, w odróżnieniu od ery NPM, udział obywateli i fi rm (postrzeganych jako „klientów”) nie jest ograniczany tylko do otrzymywania usług i komentowania ich jakości, ale jest rozszerzany do oceny, czy wręcz współuczestnictwa w formułowaniu strategii, kierunków polityk i tworzenia nowych usług (OECD, 2005; WOLF, 2000). Obywatele i aktorzy życia społecznego z klientów polityk publicznych stają się ich interesariuszami (ang. stakeholders)13.

• Systemowe podejście. Próby całościowego, systemowego podejścia wynikają z uświadomienia sobie współzależności dotychczas izolowanych elementów i sieciowej organizacji zglobalizowanych społeczeństw i gospodarek (CA-STELLS, 2000). Próby te przejawiają się w kilku formach. Po pierwsze jest to odchodzenie od klasycznego rozdziału tworzenia polityki i zarządzania jej wdrażaniem na rzecz podejścia wielowymiarowego – interakcji między poli-tykami, doradcami, służbą cywilną, interesariuszami (WOLF, 2000). Chodzi o „wyjście” poza sektor publiczny i spojrzenie na polityki przy uwzględnieniu sieci powiązań sektora publicznego, rynku i społeczeństwa obywatelskiego – różnych perspektyw, opcji, zależności, konfl iktów interesów zróżnicowanych grup interesariuszy (ang. holistic mapping). Po drugie chodzi o przełamywa-nie sektorowych podziałów i wypracowywanie spójnych polityk, całościowych i długofalowych wizji rozwoju. Po trzecie wreszcie są to próby zintegrowania dotychczas oddzielanych od siebie 4 komponentów sektora publicznego (po-lityk, kadr, środków fi nansowych, organizacji) we współgrający system, w tym także przełamywanie podziałów organizacyjnych (KETTL, 2006:314).

• Koordynacja i zarządzanie sieciami (ang. governing by network) (GOLD-SMITH, EGGERS, 2004). Jest ono logiczną konsekwencją podejścia syste-mowego. Skoro współczesne społeczeństwa są sieciowe, a tworzenie polityk, usług i wiedzy opiera się tak silnie na współzależnościach i współgraniu wielu elementów i aktorów (CASTELLS, CARDOSO, 2006), to rolą nowocze-snej administracji jest koordynowanie i strategiczne wpływanie na te pro-cesy – współzarządzanie sieciami informacji, organizacji, zasobów ludzkich, koordynowanie działań pomiędzy poziomami rządzenia, sektorami działań, uczestnikami, partnerstwo z sektorem prywatnym i pozarządowym (GOLD-SMITH, EGGERS, 2004:19–23; OECD, 1997; WOLF, 2000:694).

• Efektywna i odpowiedzialna administracja. Rdzeniem i „jedynie słuszną dro-gą” pozostaje budżetowanie i zarządzanie oparte na wynikach (Performance

13 Interesariusz to „każdy, kto w sposób znaczący wpływa na lub jest dotknięty przez podejmo-wanie decyzji przez kogo” (Chevallier) lub, innymi słowy, „każda osoba, która będzie bezpośrednio dotknięta przez rozstrzygnięcie władzy” (IZDEBSKI, 2007:16).


Budgeting & Management) (PREMFORS, 2006:334), łączony z otwieraniem sektora publicznego na konkurencję i dalszym stosowaniem podejść rynko-wych czy quasi-rynkowych. Dodatkowo w zglobalizowanym, informacyjnym społeczeństwie gwarancją efektywności jest zdolność szybkiej reakcji i ada-ptacji, zmiany strategii działania, a więc szeroko pojęta elastyczność (procedur, struktur, strategii działań). Poszukiwanie elastyczności wymusza kolejne re-strukturyzacje i reorganizacje. Kluczowym wyzwaniem jest jednak równowaga między elastycznością (daną elementom systemu – organizacjom i ludziom) i otwarciem na rynkową konkurencję a kontrolą – gwarantującą odpowiedzial-ność, rozszerzającą ocenę skuteczności działań publicznych poza kryterium krótkookresowego zysku fi nansowego, zapobiegającą mieszaniu prywatnych zysków z interesem publicznym. Trend reform biegnie od dotychczasowych analiz ex ante i kontroli pojedynczych operacji ku rozwiązaniom opartym na analizie i kontroli ex post, rozwijaniu wewnętrznych kontroli (w tym wzmac-nianiu etyki zawodowej służby cywilnej), weryfi kowaniu już nie pojedynczych operacji, a całego funkcjonalnego systemu, poszerzeniu oceny oddziaływania o szersze kryteria – środowiskowe, kulturowe, społeczne (BOUCKAERT, 2006; OECD, 2005; WOLF, 2000:695).

• Nowoczesne podejście do zasobów ludzkich. W nowoczesnej gospodarce głównym kapitałem jest wiedza – kapitał społeczny i ludzki. Nowe reformy kładą więc szczególny nacisk na zarządzanie zasobami ludzkimi i wiedzą. Nacisk na profesjonalizm pracowników wymuszany jest z jednej strony no-wym systemem płac (coraz częściej opieranym, jak w sektorze prywatnym, na osiąganych wynikach), z drugiej strony zachętami w postaci szkoleń, usta-wicznego kształcenia czy atrakcyjnego systemu kadrowego (szybkie ścieżki awansu, bardziej płaska struktura, by przyciągnąć i utrzymać w sektorze pu-blicznym specjalistów). W administracji publicznej coraz częściej stawia się na pobudzanie kreatywności pracowników, niezależne, krytyczne myślenie, współpracę i interakcje (podejście zespołowe, zadaniowe). W skali organiza-cji akcent przesuwany jest na budowanie pamięci instytucjonalnej, uczenie się organizacji i wymianę doświadczeń.

• Globalna wymiana doświadczeń. Wymiana doświadczeń również uległa glo-balizacji. Innowacje w sektorze publicznym pojawiają się na skalę globalną – poszczególne administracje krajowe, organizacje szukają i znajdują roz-wiązania na całym świecie. Administracje krajów anglosaskich przestały być głównym źródłem inspiracji. Nowe pomysły na upraszczanie usług, dotarcie do obywateli, organizację procesów powstają we wszystkich krajach rozwi-niętych. Główną platformą jest tu OECD, ale również UE. Reformatorzy coraz częściej, w odróżnieniu od czasów NPM, uwzględniają specyfi kę kraju – odchodzi się od promowania jednego modelu dobrego dla wszystkich na rzecz uważnego kulturowo wrażliwego adaptowania „najlepszych światowych praktyk” we własnych warunkach.


Siła i specyfi ka tych nowych procesów sprawiła, że w literaturze tematu poja-wia się nowy termin – podkreślający, iż administracja publiczna wchodzi w kolej-ny etap swojej ewolucji (DUNSIRE, 1995:17; OSBORNE, 2006; WOLF, 2000). Nowe Rządzenie Sektorem Publicznym (ang. New Public Governance) łączy biurokrację-administrację z polityką i zarządzaniem, postuluje wyjście poza wi-zję biurokratyczno-menedżerską i uwzględnianie interakcji między rządzącymi, maszynerią administracji a społeczeństwem obywatelskim i biznesem. Podstawą NPG jest kapitał relacyjny, uznanie pluralizmu i wielowymiarowości (spojrzeń, perspektyw, interesów, interakcji), w praktyce partnerstwa zaś zorganizowane sieciowo, zorientowane na wysoką efektywność (KETTL, 2006:316). Podstawy teoretyczne NPG czerpie z socjologii organizacji, teorii sieci, literatury zarzą-dzania strategicznego i zarządzania relacjami (OSBORNE, 2006:383–384). Jak zauważa Izdebski (2007:12–14) podczas gdy New Public Management za punkt odniesienia miał rynek i konkurencyjność New Public Governance stawia w cen-trum społeczeństwo obywatelskie (rozumiane jako sieć organizacji i powiązań społecznych).

W tym nowym paradygmacie ewaluacja znajduje nowe, szersze zastosowanie, które można podsumować w pięciu punktach.

Po pierwsze ewaluacja staje się elementem promowania otwartego i przejrzy-stego rządzenia. Jest elementem systemu kontroli i wzmacnia odpowiedzialności (ang. accountability), o czym szerzej za chwilę. Pokazuje jakość interwencji pu-blicznych, krytycznie analizując ich efekty. Wpisuje się w hasło otwartego rządu i dostępności informacji, gdyż raporty ewaluacyjne są publikowane, a dyskusja nad nimi przyczynia się do poszerzania dialogu publicznego. Wyzwaniem jest tu zachowanie równowagi między obiektywnym i pełnym informowaniem opinii publicznej o wynikach analiz a koniecznością zachowania przystępnej, przejrzy-stej i skróconej formy (coraz częściej pisze się o rosnącej piramidzie raportów ewaluacyjnych, które pozostają niezauważone i mało przydatne zarówno dla za-rządzających, jak i szerszej opinii publicznej).

Po drugie ewaluacja współgra z wielowymiarowym, systemowym podejściem do polityk i zarządzaniem sieciami. Wypracowane formy (szczególnie takie podej-ścia badawcze jak ewaluacja uczestnicząca czy realistyczna) czy techniki ewaluacji (triangulacja, dialog ze zlecającym i interesariuszami, podejście multi sektorowe, analiza powiązań) umożliwiają zidentyfi kowanie różnych perspektyw, interakcji i współzależności, wyjście poza sektorowe myślenie o programach publicznych. Co więcej, nowoczesne teorie socjologii i zarządzania stosowane w ewaluacji umożliwiają praktyczną analizę i ocenę jakości sieci, identyfi kowania blokad, doradzania ulepszeń. Ewaluacje wydają się więc wartościowym narzędziem tak w momencie formułowania polityk, jak i ich wdrażania oraz oceny ex post. Przy tym punkcie pojawia się wyzwanie natury metodologicznej – zachowanie rygorów i standardów warsztatu naukowego przy jednoczesnym kompleksowym podejściu,


szerokim polu tematycznym i krótkim czasie badań. Narzędzia ilościowej analizy sieci są wciąż słabo rozwinięte i rzadko stosowane w ewaluacjach. Wiele z badań ewaluacyjnych ucieka się wyłącznie do metod jakościowych, jednak poddając się presji czasowej i rynkowej zaniedbuje standardy warsztatu naukowego. W rezul-tacie część może być uznana, od strony metodologicznej, jedynie za przyczynki do poważnych analiz, a oceny są formułowane na podstawie szczątkowych danych.

Po trzecie ewaluacja może być przydatna we wzmacnianiu trendu współ-uczestnictwa obywateli (włączania szerszych grup interesariuszy, angażowania społeczeństwa obywatelskiego w dyskusję i formułowanie strategii, kierunków polityk i tworzenie nowych usług), jak i rozwijania sieci. Szczególnie przydatne są tu podejścia uprawniające i partycypatywne – włączanie interesariuszy w mo-ment dyskusji i oceny programu. Efektywne animowanie dialogu między inte-resariuszami wokół oceny programu przyczynia się do rozwijania i wzmacniania relacji. Tak więc ewaluacje mogą być wykorzystywane do wzmacniania i poszerza-nia kapitału relacyjnego skoncentrowanego wokół danych programów i polityk. Wyzwanie stojące w tym polu to zachowanie przez ewaluatorów obiektywizmu i krytycyzmu. Wchodzenie w rolę animatora dyskusji, skracanie dystansu między badaczem a interesariuszami programu z jednej strony wzmacnia dialog i ułatwia wypracowywanie wniosków i rekomendacji, z drugiej grozi rozmyciem roli ewa-luatora jako oceniającego krytycznie program i poddaniem się merytorycznemu dyktatowi zlecającego.

Po czwarte ewaluacja pozostaje jedną z kluczowych (obok audytu i monito-ringu) metod kontroli i oceny efektywności i wydajności (podstawy Performan-

ce Budgeting & Management) (OECD, 2005:23). Daje jednak więcej niż audyt i monitoring. Umożliwia szersze spojrzenie – ponad kontrolę procedur i po-prawności fi nansowo-prawnej pojedynczych działań na rzecz oceny sensu, logiki całego systemu. Ponadto daje szansę przezwyciężenia jednej z głównych słabości PBM – koncentrowania się na krótkookresowej i wąskiej logice wskaźników produktów kosztem szerszej strategii. Ewaluacja dostarcza informacji do dyskusji o powiązaniu decyzji o alokacjach z osiąganymi efektami. Tak więc ewaluacje jakościowe mogą wyjaśniać efekty polityk, programów, jak i procesy stojące za sukcesem lub porażką danych interwencji. Wreszcie, ewaluacja rozszerza też kry-teria oceny, uwzględniając prócz efektywności kosztowej – aspekty środowiskowe, społeczne, kulturowe koszty i zyski. Wyzwanie z tym związane jest oczywiste – kryteria oceny są bardziej miękkie, i dużo mniej jednoznaczne niż w audycie czy monitoringu. Kwestia pomiaru i oceny odniesionego sukcesu programu jest po pierwsze bardziej względna (zależna od postrzegania różnych aktorów), a po drugie trudna do przeprowadzenia od strony metodologicznej (pomiar efektów długoterminowych, udowodnienie relacji przyczynowo-skutkowej między inter-wencją a jej skutkiem).

Wreszcie, analizując perspektywy użycia ewaluacji w nowoczesnym zarządza-niu w sektorze publicznym, należy podkreślić, że ewaluacja jest identyfi kowana


jako narzędzie uczenia się Tym samym wpisuje się więc w obecną tendencję re-form – poszukiwania innowacyjnych, skuteczniejszych rozwiązań, jak i w postulaty uczenia się organizacji (OECD, 1998). Dobrze prowadzone, jasno komunikowa-ne badania ewaluacyjne dostarczają nie tylko bieżących informacji i rekomenda-cji, ale przyczyniają się też do budowania pamięci instytucjonalnej, wzmacniania powiązań międzyorganizacyjnych. Wyzwaniem idącym w parze z tą kwestią jest budowanie wiedzy instytucjonalnej instytucji publicznych, przy jednoczesnym zlecaniu badań poza nie (niezależnym ekspertom, fi rmom konsultingowym).

3 EWALUACJA W UNII EUROPEJSKIEJ

Ewaluację w Unii Europejskiej można zinterpretować trojako. Po pierwsze może chodzić o krajową kulturę ewaluacji – wykorzystanie badań ewaluacyjnych w zarządzaniu krajowymi interwencjami i politykami. Po drugie może cho-dzić o wykorzystywanie ewaluacji przez instytucje Unii Europejskiej – Komisję Europejską, Parlament, agencje europejskie. Po trzecie wreszcie może to być użycie ewaluacji w odniesieniu do polityk i programów UE wdrażanych według ogólnounijnych regulacji prawnych, ale w sposób zdecentralizowany – w po-szczególnych krajach i regionach. Każde z tych trzech znaczeń pokrótce zostało omówione.

3.1 EWALUACJA W ADMINISTRACJACH KRAJÓW UE

Pole to odpowiada ściśle omawianym już trendom reform administracji i za-rządzania sektorem publicznym. Praktyczna zależność jest tu jasna – administra-cje krajów o długiej tradycji zarządzania opartego na wynikach (głównie kraje anglosaskie, kraje północy Europy) mają również silnie rozwiniętą praktykę ewa-luacji.

Państwa Unii Europejskiej dzielone są zwykle na cztery grupy ze względu na ich potencjał ewaluacyjny (BACHTLER, 2001; BACHTLER et al., 2000; OLEJNICZAK, 2005; TOULEMONDE, 2000). Do pierwszej grupy należą te, które wprowadzały ewaluację systemowo od lat 70., bazując na swojej kultu-rze administracyjnej i zintegrowanym, zadaniowym zarządzaniu i budżetowaniu. Klasycznym przykładem jest Wielka Brytania. Obok niej kraje tej grupy to Ho-landia, Niemcy, Francja, Szwecja, w mniejszym stopniu Finlandia. Część z tych państw od początku traktowała ewaluację jako unikalne narzędzie. Inne, takie jak na przykład Szwecja, mając silną tradycję audytu, traktowały ewaluację jako uzupełniający, bardziej miękki aspekt kontroli.

Drugą grupę stanowią kraje, w których wiedza i praktyka ewaluacji miały początkowo słabe bądź też żadne poparcie w rodzimej kulturze administracyjnej, ale zostały skutecznie zaszczepione z zewnątrz, budowane często oddolnie (ze


szczebla lokalnego i regionalnego na centralny) i z czasem rozwinęły się w efek-tywną praktykę krajową. Przykładami są administracje Irlandii, Belgii, Włoch (północnych) i Austrii. Wymóg ewaluacji przyszedł wraz z realizowanymi tam programami Banku Światowego a później funduszy strukturalnych. Ewaluacja była traktowana początkowo jako biurokratyczna powinność wobec zewnętrz-nych darczyńców. Jej użyteczność dla krajowych działań sektor publiczny odkrył z czasem i zinternalizował, skutecznie adaptując ją do działań krajowych (przy-kład Irlandii jest tu wręcz wzorcem europejskim).

Grupą trzecią są kraje bez tradycji ewaluacyjnej, które również były poddane zewnętrznej presji stosowania ewaluacji, w których ewaluacja jak dotąd się jed-nak nie przyjęła. W Hiszpanii, Portugalii, a przede wszystkim Grecji ewaluacja, mimo że wykonywana (acz słabo i pobieżnie), była i pozostaje papierową rzeczy-wistością tworzoną na potrzeby zewnętrznych darczyńców (głównie wymogów funduszy strukturalnych), a ignorowaną przez urzędników krajowych. Co więcej praktyka ewaluacji nie rozprzestrzeniła się na fundusze i programy krajowe.

Ostatnią grupę stanowią nowe kraje członkowskie. Ich administracja dopiero od początku lat 90. zaczęła przestawiać się na nowoczesny sposób zarządzania (wieloletnie planowanie, budżety zadaniowe, strategie) i to głównie za sprawą pieniędzy pomocowych (unijnych, Banku Światowego, USAID). Wraz z progra-mami pomocowymi szły wymagania procedur i specyfi cznego sposobu zarządza-nia. Wśród tych wymagań była również ewaluacja. Początkowo stosowana tylko dla pieniędzy pomocowych, wykonywana głównie przez fi rmy zagraniczne i tylko na potrzeby darczyńców (przyjmująca ich perspektywę), stopniowo i selektywnie zaczęła być przejmowana przez krajowe instytucje publiczne i rodzimych wyko-nawców badań. Analizując rozwój ewaluacji w nowych krajach członkowskich należy jednak podkreślić dwie kwestie. Po pierwsze proces internalizacji był do-tychczas bardzo powolny (bo długotrwały jest szerszy proces – zmiany sposobu myślenia w sektorze publicznym). Po drugie przyspiesza on w ostatnich dwóch latach – czego głównym czynnikiem są fundusze strukturalne.

Polska jak na razie należy do tej ostatniej – przejściowej – grupy państw. Kultu-ra ewaluacji tworzyła się w naszym kraju od połowy lat 1990., głównie za sprawą wymagań funduszy pomocowych UE. Była i pozostaje elementem szerszego, mo-zolnego procesu wprowadzania w sektorze publicznym zarządzania opartego na wynikach14. W najbliższych latach intensyfi kacji ulegnie prawdopodobnie proces internalizacji ewaluacji w programach krajowych – ewaluacja poprzez fundusze strukturalne będzie się rozlewać na rodzime polityki i programy15.

14 Szerzej o historii ewaluacji w Polsce i etapach tworzenia się polskiej kultury ewaluacji od lat 90. do roku 2002 patrz: (KIERZKOWSKI, 2002a; OLEJNICZAK, 2002)15 Próby takie podejmowano już na początku 2000 r., gdy ewaluację (ocenę) wprowadzono jako prawny wymóg kontraktów regionalnych. Ponieważ jednak kontrakty miały roczny charakter, a od-powiedzialność za i zakres ewaluacji były słabo sprecyzowane, pozostały martwym zapisem.


3.2 EWALUACJA W PRAKTYCE INSTYTUCJI UEW instytucjach wspólnotowych ewaluacja pojawiła się na początku lat 80. Wy-

nikało to z gwałtownie rosnącego budżetu UE (wtedy Wspólnot Europejskich) i związaną z nim koniecznością kontroli i racjonalnego wykorzystania większych środków (na co naciskały państwa płatnicy netto)16. Pierwsze po ewaluację sięgnę-ły w Komisji Europejskiej DG-Stosunki Zewnętrzne (i późniejsze zintegrowane biuro EuropeAid) i DG-Badania. Szukając narzędzi bardziej efektywnego ukie-runkowania prowadzonych przez siebie programów, zaczerpnęły z doświadczeń Banku Światowego i OECD.

Kolejny impuls do wzmocnienia ewaluacji przyszedł w końcu lat 90. Po spek-takularnym kryzysie Komisji Santera rozpoczęto reformę Komisji Europejskiej (głównymi jej architektami byli Anglosasi – opierali się więc na anglosaskim podejściu do zarządzania w sektorze publicznym, które wtłaczali w typowo francuską strukturę Komisji). Celem reformy było podniesienie przejrzystości działań instytucji unijnych, zapewnienie ich racjonalności, jakości, sprawności, poszanowania wartości pieniądza podatnika europejskiego. Wymóg ewaluacji, obok wzmocnionych procedur audytu i monitoringu, był jednym z kluczowych narzędzi reformy.

Od roku 2000 każde działanie, które ma wpływ na budżet UE, musi być poddane ewaluacji. Wszystkie Dyrekcje zostały zobowiązane do działań ewalu-acyjnych w swoich dziedzinach. Nadzór i koordynację nad działaniami ewalu-acyjnymi w Komisji Europejskiej przejęła DG-Budżet17.

W praktyce Komisji Europejskiej istnieją nieco odmienne podejścia do ewa-luacji18. Wyróżnić można trzy główne nurty. Pierwszym są praktyki DG-Badania i Nauka, gdzie ewaluacja oparta jest – z uwagi na specyfi kę dziedziny – na tzw. peer assessment (czyli ocenie przez panel naukowców – ekspertów, uczestników da-nego programu). Drugim jest podejście EuropeAid oparte na zarządzaniu cyklem projektu (Project Cycle Management). Jest stosowane przy takich programach jak TACIS, MEDA, ECHO, CARDS, a do niedawna również PHARE19. Wresz-cie trzecia wiodąca metodologia to MEANS (Evaluation Methods for Actions of

the Structural Nature), rozwijany od początku lat 90. przez DG-Regio. Ostatnio

16 W ramach pakietu fi nansowego Delorsa budżet UE wzrósł kilkukrotnie.17 Patrz: http://ec.europa.eu/budget/sound_fi n_mgt/evaluation_en.htm 18 Różnice w podejściu dotyczą najczęściej terminów (co po części wynika z tradycji danej dy-rekcji a po części z niechęci do współpracy z innymi dyrekcjami), rozłożenia akcentów (wyni-kającego z odmiennej tematyki poddawanej badaniu), formy badania (specyfi ka poszczególnych polityk oczywiście narzuca formę ewaluacji), jak i przewidywanej roli raportów (np. raporty dla EuropeAid mają silne przełożenie praktyczne – program jest kontrolowany, może być wstrzymany, przy funduszach strukturalnych raporty dają raczej obraz sytuacji i są punktem wyjścia do dyskusji Komisja-administracja krajowa lub do dużych debat politycznych).19 Porównaj: http://ec.europa.eu/europeaid/how/evaluation/index_en.htm


został przekształcony w tzw. poradnik Evalsed20. Jest on wykorzystywany przy funduszach strukturalnych, ale także w działaniach koordynowanych przez DG--Rolnictwo, DG-Zatrudnienie czy DG-Przedsiębiorczość. Oczywiście poszcze-gólne dyrekcje wydają swoje poradniki na temat ewaluacji21. Należy zaznaczyć, że metody EuropeAid i DG-Regio są zbieżne, mogą być łączone, a często się przenikają. W ostatnich trzech latach wyraźnie też widać unifi kację metodologii, głównie za sprawą działań koordynacyjnych DG-Budżet.

Trzeba także wyraźnie podkreślić, że poradniki komisyjne nie mogą zastąpić prawdziwej metodologii badawczej – są jedynie ramami technicznymi wskazują-cymi pewne kierunki, minimalne wymagania dla prowadzonych badań. Pole do inwencji badawczej pozostaje duże, a poważny ewaluator stanowczo nie powinien poprzestawać w swej pracy na tych biurokratycznych poradnikach.

Wymóg prawny i rozległość działań UE sprawiła, że liczba ewaluacji zleca-nych przez Komisję Europejską lawinowo wzrosła w ostatnich latach i obecnie sięga około 1500 badań. Ich roczne listy z krótkimi podsumowaniami i linkami do pełnych raportów dostępne są na stronach DG-Budżet.

Oprócz Komisji ewaluację wykorzystuje także (głównie jako „amunicję” do debat politycznych) Parlament Europejski. Trzeba również wspomnieć o bada-niach prowadzonych przez Trybunał Audytorów. Mimo iż są to audyty, to jednak w przypadku audytów programów europejskich stawiają one również pytania z zakresu ewaluacji (o skuteczność działań, efektywność procedur, etc.). W sumie takich badań było w ostatnich latach kilkanaście.

3.3 EWALUACJA PROGRAMÓW UE W PAŃSTWACH CZŁONKOWSKICH

Ostatnim – lecz najszerszym chyba – polem ewaluacji w Unii Europejskiej są ewaluacje odnoszące się do programów współfi nansowanych przez UE, ale wdra-żanych na poziomie krajowym czy regionalnym. Chodzi o fundusze strukturalne (czy szerzej programy z polityki spójności).

W nowym okresie programowania (lata 2007–13) wymogiem prawnym w od-niesieniu do programów z funduszy strukturalnych jest wykonywanie ewaluacji ex

ante i ex post. Za te pierwsze odpowiedzialne są administracje państw członkow-skich, natomiast za przekrojowe ewaluacje ex post odpowiedzialna jest Komisja Europejska (będą wykonywane w dwa lata od zamknięcia programów). Dodat-kowo UE dopuszcza ewaluacje bieżące, z tym że decyzję o ich podjęciu i zakresie

20 Porównaj: http://ec.europa.eu/regional_policy/tender/tender_en.htm 21 Podręczniki EuropeAid to Project Cycle Management (EUROPEAN COMMISSION, 2001, 2004b), Podręczniki DG-Regio to cytowany już MEANS i Evalsed (EUROPEAN COMMIS-SION, 1999, 2007), a także cały zestaw tak zwanych dokumentów roboczych. Materiał DG-Bu-dżet to przewodnik (EUROPEAN COMMISSION, 2004a) oraz tłumaczony ostatnio na język polski podręcznik (EUROPEAN COMMISSION, 1997).


badania pozostawia instytucjom wdrażającym programy w krajach członkowskich (COUNCIL OF THE EUROPEAN UNION, 2006:art.48–49).

W poprzednim okresie programowania obowiązkowe były także ewaluacje średniookresowe (wykonywane równo w połowie wdrażania programów). Te wy-mogi prawne, liczba i skala programów wdrażanych w ramach polityki spójności, a także rozszerzenie w 2004 r. o nowe kraje członkowskie dały jak dotychczas zawrotną liczbę ponad 4500 badań ewaluacyjnych. Tylko w Polsce przeprowa-dzono jak dotąd prawie 200 badań (wliczając w to również badania funduszy przedakcesyjnych).

Skala i liczba badań nie zawsze idzie w parze z ich jakością ani z wyszukaną, dokładną metodologią badawczą. Jak pokazują badania przekrojowe (np. meta-ewaluacje), raporty stosują typowe techniki i są raczej aktywnością doradczą niż quasi-naukową (czego oczekuje się od poważnych ewaluacji) (BACHTLER et al., 2005). Zasadniczo jakość procesu, jak i wykorzystania tych badań powiązana jest z kulturą administracyjną kraju. Omawiane już kraje z długą tradycją zarzą-dzania opartego na wynikach podchodzą do tych badan poważnie i używają ich do poprawy nie tylko bieżącej absorpcji środków UE (tzw. absorpcja techniczna – płynne wydawanie środków), ale i do decyzji strategicznych (absorpcja struk-turalna – prorozwojowe ukierunkowanie środków pomocowych).

4 Z PRAKTYKI EWALUACJI FUNDUSZY STRUKTURALNYCH

Skoro utylitaryzm ewaluacji jest jej głównym wyróżnikiem, to w prezenta-cji wybranych praktycznych przykładów ewaluacji warto zastosować właśnie ten klucz – perspektywę „użyteczności”. Wymaga to jednak sprecyzowania pojęcia użyteczności. A więc kiedy konkretne badanie ewaluacje jest użyteczne? Zgodnie z literaturą tematu, jak i praktyką sektora publicznego „utylitaryzm ewaluacji” to cele/funkcje, które dana badanie spełnia w sektorze publicznym. Identyfi kowanych jest szereg funkcji (BACHTLER, 2001:42–48; BATTERBURY, 2006:181–184; CHELIMSKY, 1997; GÓRNIAK, 2005:85–95; OLEJNICZAK, 2005:36–38; TAVISTOCK INSTITUTE et al., 2003:16–17). Można je podsumować w 5 punktach:• poprawa i racjonalizowanie planowania• budowanie partnerstwa i współwłasności• poprawa wdrażania i bieżącej jakości• rozliczanie i wzmocnienie odpowiedzialności • funkcja poznawcza.

Odnosząc te funkcje do nowej unijnej terminologii ewaluacji operacyjnych (zo-rientowanych na zarządzanie, procesy) oraz ewaluacji strategicznych (zorientowa-nych na ocenę efektów) można przedstawić następujący (spolaryzowany) ciąg:


Orientacja operacyjna – na zarządzanie

Orientacja strategiczna – na ocenę faktów

Źródło: na podstawie (OLEJNICZAK, 2008 in press)

Funkcje wspierania partnerstwa i współwłasności idą zwykle w parze z funk-cjami poprawy zarządzania. Natomiast rozliczanie wyników interwencji pojawia się najczęściej w szerszym kontekście – refl eksji i weryfi kacji założeń całych po-lityk (funkcja poznawcza).

Jak wynika z powyższego schematu, funkcje zorientowane na procesy są prze-ciwstawne funkcjom skoncentrowanym na efektach. Łączenie w jednym badaniu oceny efektów (a więc analizy mającej dla interesariuszy programu charakter kontroli i rozliczenia) z próbą poprawy bieżących procesów (a więc wymagającej szczerego dialogu między interesariuszami a ewaluatorami i ciągłej współpracy) blokuje obydwa aspekty ewaluacji i w rezultacie daje mało użyteczne badania. Ten wybór coś za coś (trade off ) między funkcjami ewaluacji – przede wszystkim funkcją rozliczeniową a funkcją pomocy w bieżącym zarządzaniu – potwierdzają badania empiryczne (FERRY, OLEJNICZAK, 2008 in press; OLEJNICZAK, 2008 in press; STERN, 2005).

Dlatego też prezentując wybrane rzeczywiste badania ewaluacyjne postanowi-liśmy je pogrupować w trzech podrozdziałach. Przedstawiamy kolejno przykłady: badań wspierających planowanie, badań pomagających w zarządzaniu (w tym w budowaniu partnerstwa) oraz badań efektów (obejmujących tak funkcję roz-liczeniową, jak i poznawczą). Odwołujemy się głównie do przykładów ewaluacji programów z pola rozwoju regionalnego i funduszy strukturalnych UE, gdyż – z perspektywy polskiej – jest to dziedzina dominująca i ciesząca się najwięk-szym zainteresowaniem (a także mająca najwyższą koncentrację środków fi nan-sowych).

4.1 POMOC W PLANOWANIU

Pomoc w planowaniu oznacza, najogólniej rzecz ujmując (OLEJNICZAK, 2008 in press):• zagwarantowanie racjonalnego uzasadnienia dla polityki/programu przez

zweryfi kowanie jego spójności zewnętrznej, przystawalności celów do potrzeb i problemów


• zapewnienie wydajnej, racjonalnej i skutecznej alokacji zasobów przez zwe-ryfi kowanie logiki programu, racjonalności wyznaczonych celów, spójności zewnętrznej planowanej strategii.

Aby pokazać, co to oznacza w praktyce funduszy strukturalnych, odwoła-my się do dwóch tylko przykładów, gdyż kolejna fala ewaluacji ex ante właśnie przeszła, a kolejna nastąpi dopiero w latach 20012–13. Jest to więc dość odległa perspektywa.

Pierwszy jest przykład ewaluacji ex ante francuskich programów operacyjnych na lata 2007–13 (MENDEZ et al., 2006). Od samego początku funkcja tych badań została jasno określona – wesprzeć konceptualizacje strategii, wzmocnić ra-cjonalne uzasadnienie programów (czy rzeczywiście interwencja publiczna będzie najlepszym rozwiązaniem) i stworzyć podstawy (bazę) do przyszłych porównań, analiz jakości, oceny efektów.

Proces ewaluacji był interaktywny, prowadzony przez 6 miesięcy równolegle z przygotowywaniem programów operacyjnych. Uczestnikami procesu byli me-nedżerowie programów – odpowiedzialni za sterowanie, koordynację i syntezę wyników badania, przedstawiciele urzędów pomocniczych (np. urzędu statystycz-nego odpowiedzialnego za zbieranie danych) oraz zewnętrzni ewaluatorzy, którzy służyli wsparciem eksperckim.

Cały proces był podzielony na 5 etapów, w zasadzie odpowiadających tym zalecanym przez Komisję Europejską (trzeci etap badający trafność i spójność programu został szczególnie wyeksponowany)22:• uwzględnienie wniosków i doświadczeń z poprzednich lat• zapewnienie solidności diagnozy strategicznej• zweryfi kowanie trafności i spójności programów (zarówno wewnętrznej –

między postawionymi priorytetami, jak i zewnętrznej – z innymi działaniami i politykami)

• wstępne oszacowanie a priori spodziewanych efektów interwencji• sprawdzenie rozwiązań instytucjonalnych i proceduralnych związanych

z wdrażaniem.Wytyczne dla prowadzenia tych ewaluacji zostały przygotowane na szcze-

blu centralnym (w formie dokumentu-poradnika). Trzeba przyznać, że były dość szczegółowe. To miało zapewnić wspólną wizję ewaluacji wśród członków ko-mitetów sterujących z różnych programów sterujących, a także stworzyć spójne ramy dialogu i współpracy. W trakcie procesu było jednak pole manewru do adaptacji i dostosowań.

To strukturalizowane podejście do procesu ewaluacji ex ante wsparło w zna-czący sposób planowanie programów, dając jasny obraz kondycji regionów, ich po-trzeb, a także dając możliwość w miarę konkretnego, ilościowego antycypowania przyszłych efektów (które zamieniono na mierzalne i porównywalne w przekroju

22 Porównaj: (EUROPEAN COMMISSION, 2006)


międzyprogramowym wskaźniki). Ewaluacje ex ante wzmocniły także jakość pla-nowania regionalnego, gdyż proces badawczy był zintegrowany z przygotowywa-niem kontraktów regionalnych (CPER – Contrat de projet Etat-région). Był to więc szerszy element wysiłku koordynowania krajowych i unijnych funduszy.

Przykładem drugim jest ewaluacja ex ante programu operacyjnego dla Sycy-lii wdrażanego w latach 2000–2006 (TAGLE, 2000). We Włoszech ówczesna zmiana podejścia do ewaluacji była elementem szerszej reorganizacji systemu planowania i wdrażania Polityki Spójności UE. Zadecydowano wtedy, by wejście w nowy okres programowania wykorzystać do zerwania z tradycyjnym budżeto-waniem przyrostowym i automatyczną dystrybucją dotacji, na rzecz bardziej stra-tegicznego zarządzania i wzmocnienia efektywności administracji publicznej.

Wcześniejsze wymogi ewaluacji płynące z UE były traktowane symbolicznie, ewaluacje były tylko formalnością, zaś ewaluatorów uznawano za konsultantów. Tym razem ewaluację zastosowano jako element strategicznego zarządzania, we-ryfi kowania i racjonalizowania decyzji politycznych oraz rdzeń budowania za-rządzania opartego na wynikach. Tę nową fi lozofi ę rozpropagowano szeroko też na poziomie regionalnym (gdzie ku zaskoczeniu władz centralnych szybko się przyjęła).

Co ciekawie w regionie Sycylii dany mu mandat ewaluacyjny (kompetencje centrum przekazało regionom na cały okres programowania) potraktowano jako rzeczywistą okazję do poprawiania własnego planowania, zarządzania i zracjona-lizowania strategii, nie zaś jako jedynie biurokratyczny wymóg.

Regionalna administracja intensywnie włączyła się więc w proces ewaluacji ex ante. Department Planowania zarządzał całym procesem i zapewniał zinte-growanie procesu ewaluacji z planowaniem programu. Planowanie i przygoto-wanie dokumentu programowego odbywało się w departamencie – własnymi środkami i przy wykorzystaniu własnych zasobów. Kadra prowadziła negocjacje i konsultacje z innymi, sektorowymi departamentami, z przedstawicielami rządu centralnego, z Komisją Europejską, przewodniczyła sesjom dyskusji z partnerami społeczno-ekonomicznymi. W tym procesie przygotowywano kolejne projekty programów operacyjnych.

W przypadku badania ex ante departament korzystał zarówno ze swoich za-sobów, jak i wsparcia zewnętrznego. Z jednej strony urzędnicy zarządzali zespo-łem ewaluatorów, harmonizowali poszczególne części ewaluacji, spajali raport końcowy, koordynowali też relacje pomiędzy zespołem ewaluacyjnym a zespo-łem planistycznym, jak i pomiędzy ewaluatorami a przedstawicielami innych ministerstw i urzędów regionalnych. Z drugiej strony departament wynajął dwie grupy ewaluatorów, którzy mieli przygotować części badania (np. oszacowanie wpływu społeczno-gospodarczego, podsumowanie doświadczeń z poprzednich lat, analizę SWOT, makroekonomiczną analizę efektów, etc). Obydwa zespoły ściśle współpracowały i na bieżąco komunikowały się z regionalnymi decydenta-


mi odpowiedzialnymi za planowanie, negocjowanie i szkicowanie poszczególnych części programu operacyjnego.

Takie podejście niewątpliwie miało znaczący wpływ na kształt Regionalnego Programu Operacyjnego Sycylii. Opierając się na rezultatach ewaluacji wprowa-dzono między innymi następujące zmiany do programu:• dodano działania promujące przedsiębiorczość kobiet (jako rezultat części

ewaluacji poświęconej analizie równych szans)• zaadaptowano interwencje na rzecz rybołówstwa i rolnictwa dostosowując je

do fi lozofi i rozwoju zrównoważonego• poddano rewizji te części programu, dla których analiza makroekonomiczna

wykazała niższe niż zakładano przewidywane efekty• dostosowano kształt niektórych działań do istniejących podziałów kompe-

tencyjnych (np. ewaluacja pokazała, że wdrażanie działania z zakresu margi-nalizacji dzieci tworzyłoby konfl ikt kompetencji pomiędzy dwoma różnymi departamentami regionalnymi – wydzielono więc specjalne poddziałania, tak by móc wdrażać projekty bez zmiany zakresów istniejących instytucji).

4.2 POMOC W ZARZĄDZANIU

Pomoc ewaluacji w bieżącym zarządzaniu oznacza konkretnie (OLEJNI-CZAK, 2008):• poprawienie istniejących struktur, procedur i procesów zarządzania daną in-

terwencją publiczną• minimalizowanie negatywnych efektów ubocznych zarządzania opartego na

wynikach23

• podnoszenie efektywności dostarczania danej interwencji poprzez weryfi ko-wanie, na ile realizuje ona zakładane cele, jaka jest jakość jej produktów

• podnoszenie skuteczności danego programu poprzez sprawdzanie, na ile obra-na początkowo strategia działania wciąż pozostaje aktualna (czy np. kontekst działania programu nie zmienił się na tyle znacząco, że należy przeorientować całą interwencję).Właściwa realizacja takiej funkcji wymaga ścisłej współpracy między zlecają-

cym badanie a jego wykonawcami. W praktyce oznacza to ciągły dialog, dyskusję o problemach, analizy zorientowane na bieżące potrzeby i dylematy, z którymi zmagają się operatorzy danego programu czy projektu. Ta wysoka interaktywność wymaga od ewaluatorów zastosowania takich podejść i narzędzi jak modele lo-giczne, analizy procesów, warsztaty, grupy dyskusyjne, grupy fokusowe, ale także

23 Należą do nich między innymi: nacisk na mierzenie celów, pomiar sukcesu zamiast na rzeczy-wiste efekty, zabijanie innowacji i elastyczności poprzez sztywny system wskaźników i pomiarów, koncentrowanie uwagi na kwantyfi kowalnych efektach ilościowych i ignorowanie trudniej mie-rzalnych, jakościowych efektów, koncentrowanie się na wąskich celach technicznych lub celach krótkookresowych kosztem celów strategicznych (szerzej patrz: OLEJNICZAK, 2005:38)


ilościowych badań benefi cjentów (np. w celu zidentyfi kowania blokad informa-cyjnych, skuteczności promocji programu, etc.).

Dobrze poprowadzone interaktywne badanie pomagające w zarządzaniu przy-czynia się do realizacji także drugiej funkcji ewaluacji – budowania partnerstwa i współpracy, rozumianego jako:• wzmacnianie powiązań, relacji, współpracy, interakcji między uczestnikami

programu• aktywizowanie interesariuszy – włączanie ich w działania programu, dyskusję

nad jego oceną i kierunkami rozwoju; • uprawnianie interesariuszy – włączanie we współdecydowanie o programie

tych grup, które były marginalizowane.Aby zilustrować powyższe zagadnienia odwołamy się do dwóch przykładów.Pierwszy to ewaluacja z Polski – badanie bieżące Priorytetu II Zintegrowa-

nego Programu Rozwoju Regionalnego na lata 2004–06 (OLEJNICZAK et al., 2005). Ewaluację bieżącą zleciła Krajowa Jednostka Oceny zewnętrznemu zespo-łowi badawczemu. Badanie miało trwać 2 miesiące i odpowiedzieć na formalnie trzy, a praktycznie cztery główne pytania badawcze:

1. Jaka jest struktura realizowanych projektów w ramach II Priorytetu ZPORR i które z nich mają największy udział? (pytanie opisowe)

2a. Czy realizowane projekty są zgodne z zapisami dokumentów programowych? Na ile działania podejmowane w ramach II Priorytetu realizują ogólne cele ZPORR? (trafność i spójność)

2b. Czy realizowane projekty wpływają pozytywnie na rozwój danego regionu? Czy projekty wdrażane przez benefi cjentów odpowiadają na potrzeby rynku pracy na danym obszarze? (skuteczność efektów i użyteczność)

3. Jakie są bariery i problemy organizacyjne w systemie skutkujące zróżnicowa-nym zainteresowaniem benefi cjentów poszczególnymi działaniami w ramach II Priorytetu ZPORR? (skuteczność zarządzania).

Na wstępnym etapie prac okazało się, że zakres danych zbieranych w ramach monitoringu programu jest niewystarczający do kompleksowej i aktualnej analizy Pytania 1. Co więcej większość projektów była w początkowym stadium realizacji – do Pytania 2 można było więc sformułować jedynie wstępne spostrzeżenia, a na pewno nie można było podjąć analizy efektów, gdyż takie po prostu nie istniały. Próba orientacji na ocenę efektów wprowadzałaby napięcie między tą funkcją (niemożliwą do spełnienia z braku danych) a najbardziej palącą funkcją – pomocy w usprawnieniu programu.

W rezultacie centralnym pytaniem badania stało się Pytanie 3 – a szczegó-łowe bariery we wdrażaniu i możliwości ich niwelacji analizowano dla trzech, najbardziej newralgicznych działań priorytetu: 2.3. (Reorientacja zawodowa osób odchodzących z rolnictwa), 2.4. (Reorientacja zawodowa osób zagrożonych pro-cesami restrukturyzacyjnymi) i 2.5 (Promocja przedsiębiorczości). W badaniu do


zbierania danych zastosowano głównie metody jakościowe – wywiady z kluczo-wymi osobami zajmującymi się wdrażaniem – na poziomie regionalnym (w urzę-dach marszałkowskich oraz w regionalnych instytucjach pośredniczących) oraz na poziomie centralnym (MRR). Perspektywa zarządzających i wdrążających została uzupełniona perspektywą benefi cjentów (zbadano ankietami opinie o przyjazno-ści procesu wdrażania projektodawców, którzy wygrali, jak i tych, którzy starając się o pieniądze odpadli w konkursie). Analizę zaś prowadzono według 3 etapów wdrażania programu:• identyfi kacji i informowania potencjalnych benefi cjentów• procesu selekcji wniosków• wdrażania projektów.

Na każdym z tych etapów wyróżniono, na podstawie wywiadów, ankiet i przeglądu dokumentów, szereg barier. Analizowano także stan każdej z blokad (czy została usunięta po pierwszych konkursach, czy wciąż istnieje i przeszka-dza uczestnikom procesów). W rezultacie powstała – dla każdego z analizowa-nych Działań Priorytetu II – mapa blokad i miejsc problemowych. Każdą z tych blokad opisano, a następnie zaproponowano rekomendacje, które by ją usuwały lub minimalizowały. Co ważne, dla każdej rekomendacji przypisano adresatów (instytucje, które byłyby najbardziej kompetentne do wdrożenia danych dzia-łań naprawczych). Wstępne rekomendacje, jak i główne wnioski, były następnie dyskutowane z głównymi interesariuszami programu (w tym na ogólnopolskim spotkaniu przedstawicieli regionalnych). Ostatecznie wspólnie wypracowano listę rekomendacji, które następnie wdrożono. Większość ze zidentyfi kowanych blo-kad została w kolejnych miesiącach usunięta, co przyspieszyło wdrażanie opóź-nionych działań.

Drugim, nieco nietypowym przykładem wpierania zarządzania jest ewaluacja ciągła austriackich programów współpracy transgranicznej24. Przedmiotem bada-nia były cztery programy INTERREG IIIA (Austria–Czechy, Austria–Słowacja, Austria–Słowenia, Austria–Węgry). Jest to badanie o tyle ciekawe, że miało nie-typową, rozciągniętą w czasie formę. Z reguły badania procesów są krótkie (2–3--miesięczne), gdyż muszą dostarczyć szybkich informacji i rozwiązań palących problemów. W przypadku austriackim Urząd Kanclerski zlecił badanie ciągłe – tzn. kilkuletnie, złożone z szeregu mniejszych, bieżących badań (planowanych na bieżąco, w zależności od pojawiających się potrzeb informacyjnych). Dało to elastyczność reagowania przez zespół ewaluatorów na potrzeby kilkunastu głów-nych interesariuszy instytucjonalnych programów.

24 Główne raporty z tego badania to: (BAUER-WOLF, 2005; BAUER-WOLF, MONORI, 2003; HUMMELBRUNNER, KOBAL, 2003; HUMMELBRUNNER, OMERSEL-WEEKS, 2005; KOJAN et al., 2003; KOJAN, NAVRATILOVA, 2005; REINER, KARASZ, 2005; REI-NER, KAUFMANN, 2003).


Takie podejście wynikało z tego, że ogólnym celem badania było płynne włą-czenie nowych państw członkowskich do działania w ramach INTERREG (po rozszerzeniu partnerzy z nowych krajów mieli się włączyć w działające od roku 2000 tylko po stronie austriackiej programy INTERREG). Dodatkowym, a klu-czowym pytaniem tej serii ewaluacji było więc: jak funkcjonują wspólne struktury tworzenia i wyboru projektów, podejmowania decyzji? Na ile płynnie partnerzy z nowych krajów włączają się w program? Jak usprawnić ten proces? Pojawiły się też pytania badawcze o to, czy analiza SWOT i strategia programów są aktualne? Czy cele są dobrze skwantyfi kowane? Jakie są postępy wdrażaniu poszczególnych priorytetów i działań (i jak usunąć ewentualne opóźnienia)?

Główne użyte metody badawcze objęły analizę dokumentów, wywiady z interesariuszami programu i projektów, seminaria i warsztaty oraz obserwację uczestniczącą w instytucjach programu. Szczególne ważne były w tym procesie warsztaty – organizowane dla interesariuszy (władz regionalnych, ministerstw). Stworzyły one mniej formalną platformę komunikacji, poznawania współpra-cowników z przeciwnych stron granic. Wyniki kolejnych analiz były na bieżąco dyskutowane i wdrażane przez Komitety Monitorujące poszczególne programy. W praktyce zespół ewaluatorów działał jako stali doradcy Komitetów Monitoru-jących dostarczających bieżących ekspertyz i sugestii. Badanie (a właściwie seria ewaluacji) umożliwiła rozpoznanie potrzeb i problemów uczestników z nowych krajów członkowskich i płynne włączenie ich do działających projektów INTER-REG III.

Słabym efektem badania okazała się jednak trwałość wiedzy i doświadczenia zdobytego przez uczestników z nowych krajów członkowskich. Podczas gdy stro-na austriacka uczyła się i „kumulowała wiedzę” z każdego warsztatu i dyskusji, wiedza w nowych państwach znikała, bo... znikali ludzie współpracujący przy programie. Rotacja w ministerstwach i urzędach Czech, Słowacji czy Węgier była tak wysoka, że praktycznie na każde spotkanie przyjeżdżał nowy zespół – otwarty i pełen entuzjazmu, ale z każdym spotkaniem zaczynający poznawać programy i sytuację od początku. Przykład ten pokazuje, jak ważna jest stabilność kadry – to ludzie gromadzą wiedzę i tworzą pamięć instytucjonalną.

4.3 ROZLICZENIE Z RZECZYWISTYCH EFEKTÓW

Funkcję tę można scharakteryzować dwoma elementami (OLEJNICZAK, 2008):

• informowanie szerszej opinii publicznej o skuteczności programu – na ile cele programu zostały osiągnięte

• informowanie szerszej opinii publicznej o wydajności podjętych działań – jak efektywnie użyto przypisanych zasobów publicznych.

Z perspektywy obywateli jest to wzmacnianie odpowiedzialności (ang. account-

ability) instytucji publicznych przed społeczeństwem za ich gospodarowanie


„groszem publicznym”. Z perspektywy instytucji, której programy są poddawane takiemu badaniu, funkcja ma oczywiście charakter rozliczeniowy.

Dodatkowo taka ewaluacja efektów, jeśli jest dokładnie, sumiennie prowa-dzona i oparta na przemyślanej strategii i planie badawczym, może mieć funkcję poznawczą. Oznacza to:

• wyjaśnianie czynników i procesów warunkujących działania programu, jego sukces lub porażkę (w tym i czynników ubocznych)

• weryfi kowanie teorii leżących u podstaw danych polityk, interwencji

• wyciąganie wniosków dla innych programów i promowanie dobrych wzor-ców

• budowanie zdolności ewaluacyjnych danych instytucji zaangażowanych w ba-danie, lub szerzej – systemu w danym regionie, kraju.Warto zaznaczyć, że w najbliższych kilku latach będą to przeważające badania

(badania efektów – zarówno kończącej się edycji funduszy strukturalnych z lat 2004–06, jak i podsumowania programów przedakcesyjnych).

Ilustrując, jak w praktyce może wyglądać ocena i rozliczanie efektów pro-gramów publicznych, odwołamy się najpierw do dwóch przykładów ze starych państw członkowskich UE (BACHTLER et al., 2000). Pokazują one trudności w wiarygodnym oszacowaniu efektów interwencji, bazującym na przejrzystym materiale i jasnym uchwyceniu relacji przyczynowo-skutkowej.

Pierwszym jest przypadek ewaluacji ex post programu celu 2 na Gibraltarze. Ewaluację zlecono fi rmie ECOTEC (a więc była to ewaluacja całkowicie ze-wnętrzna – w odróżnieniu od opisywanych już wcześniej ewaluacji ex ante z Francji i Włoch). Głównym narzędziem zbierania danych były wywiady z menedżerami projektów (osobami w instytucjach, które wygrały i poprowadziły dofi nansowane projekty). Ewaluatorzy prosili o samoocenę, jakie było oddziaływanie projek-tu i na ile można je przypisać funduszom strukturalnym (ich wartość dodana). Zastosowano 4 kategorie: niską wartość dodaną (< 25%), średnią (= 25–49%), wysoką (między 50 a 74%) i bardzo wysoką (> 75%). Te oceny ewaluatorzy zesta-wili z własnymi wnioskami i obserwacjami (kategoryzując projekty według ana-logicznych grup). Było to niewątpliwie ciekawe narzędzie, jednak ograniczeniem całej metodologii był wysoce jakościowy i w dużej mierze uznaniowy charakter. Badanie dostarczało informacji o opiniach, ale nie dowodów na wartość dodaną programu i jego rzeczywiste efekty.

Drugim przykładem jest próba oszacowania efektu netto w tworzeniu miejsc pracy przez program operacyjny 1989–93 dla Holandii. Badanie było ewaluacją zewnętrzną ex post prowadzoną przez Research voor Beleid (na bazie metodologii Ernst & Younga) dla kluczowych regionów przemysłowych kraju. Do badania wybrano próbę projektów i przebadano ją (za pomocą badań ankietowych benefi -cjentów) pod kątem efektów zatrudnienia. Aby oszacować wartość dodaną FS, re-


spondenci byli pytani, czy dany projekt był w całości dodatkowy (wychodził poza planowane działania), czy częściowo, czy też wcale. Dodatkowość interpretowano jako wpływ FS na zmianę skali i czasu projektu. Miejsca pracy stworzone przez te projekty były następnie liczone jako udziały (1 dla całkowicie dodatkowego projektu, 0 dla braku dodatkowości). Jednocześnie policzono efekty mnożnikowe rozgraniczając pomiędzy bezpośrednimi (zorientowanymi na popyt lub podaż) i pośrednimi (projektami przyczyniającymi się do stworzenia przyjaznego i atrak-cyjnego klimatu biznesowego).

Badanie umożliwiło skwantyfi kowanie efektów mnożnikowych i ustaliło sto-pień, do jakiego klimat biznesowy został poprawiony. Nie jest jednak jasne, czy ustalono jakiś standardowy mnożnik do oszacowania zmian w zatrudnieniu, czy też efekty były analizowane dla każdego projektu z osobna. Niemniej efekt netto został zagregowany poprzez zastosowanie efektu zatrudnienia netto w propor-cji do każdego z priorytetów i wielkości próby projektów z każdego priorytetu, a następnie zsumowany.

Wreszcie trzecim, polskim przykładem jest ewaluacja ex post programów Współpracy Przygranicznej PHARE Polska – Niemcy (edycje 1999–2001). Jak dotychczas było to największe badanie ex post wykonane w Polsce i przez polską instytucję naukową (zarówno pod względem budżetu, skali obszaru badawczego, jak i kompleksowości zastosowanej metodologii)25.

Ogólnym celem badania było oszacowanie efektów zakończonych i kończą-cych się Programów PHARE-CBC na sytuację społeczno-gospodarczą obsza-ru przygranicznego oraz transfer doświadczeń na granicę wschodnią. Populacja projektów zrealizowanych w ramach PHARE-CBC była bardzo liczna (ponad 180 dużych projektów, z czego część projektów jeszcze trwających, oraz prawie 1 tysiąc mikroprojektów), a także bardzo zróżnicowana zarówno pod względem tematycznym (transport, bezpieczeństwo granicy, ochrona środowiska, wsparcie przedsiębiorczości, turystyka, projekty kulturalne), jak i pod względem wielko-ści (duże projekty powyżej 300 tys. EUR, małe projekty, mikroprojekty poniżej 50 tys. EUR). Poszczególne grupy projektów były też inaczej zarządzane. Stwo-rzenie spójnej metodologii analizy było więc nie lada wyzwaniem.

Kontrakt na ewaluację ex post trzech edycji programu PHARE-CBC PL-DE trwał 8 miesięcy. Faza strukturalizacji (przygotowania szczegółowego planu badawczego, opracowania narzędzi badawczych) trwała miesiąc.

Z uwagi na kompleksowość przedmiotu zastosowano trzypoziomowe podej-ście do analizy efektów programu: • na poziomie ogólnym (całego Programu) analizowano kwestie podsumowu-

jące (zagadnienia ekonomiczne, prawno-instytucjonalne i społeczne)

25 Badanie zrealizował zespół EUROREG – Uniwersytet Warszawski (www.euroreg.uw.edu.pl) we współpracy z niemieckim instytutem badawczym IRS-Ekner. Kontrakt prowadził Pricewater-houseCoopers Polska.


• na poziomie sektorowym analizowano specyfi kę efektów tematycznych grup projektów (np. transportowych, turystyki)

• na poziomie projektów analizowano kwestie dla nich specyfi czne (wpływ na społeczność lokalną, wskaźniki, problemy zarządzania, proces uczenia się). Dla każdego z tych poziomów analizy postawiono serię pytań badawczych

(w sumie 32 pytania szczegółowe). Każde z pytań było przypisane do kryte-rium ewaluacyjnego i badane kilkoma narzędziami. Na przykład pytanie o speł-nienie przez Program oczekiwań benefi cjentów i potencjalnych benefi cjentów (kryterium użyteczności) badano ankietami benefi cjentów – gmin, potencjalnych benefi cjentów – gmin, instytucji euroregionalnych, wywiadami z regionalnymi interesariuszami programu, analizą zmian w lokalnych statystykach, wizytami studyjnymi (w tym rozmowami z menadżerami projektów) i kwerendą prasy lokalnej.

Główne metody badawcze objęły:• przegląd dokumentów programowych, dokumentacji z monitoringu• przegląd literatury tematu, wcześniejszych badań poświęconych społeczno-

-gospodarczym aspektom rozwoju pogranicza polsko-niemieckiego• wywiady w instytucjach centralnych i regionalnych (po polskiej i niemieckiej

stronie)• wizyty studyjne wszystkich zrealizowanych projektów (w sumie prawie 300

wizyt)• badania ankietowe benefi cjentów Programu• badania ankietowe potencjalnych benefi cjentów (instytucje starające się

o środki, odrzucone w trakcie konkursu oraz instytucje, które mogły, ale nie aplikowały o fundusze)

• badania ankietowe fi rm z obszaru przygranicznego• badania ankietowe fi rm wykonawców – realizujących kontrakty PWP-PHARE• badania opinii społeczności obszaru przygranicznego (w tym badania mło-

dzieży licealnej ze szkół przygranicznych „miast podzielonych”)• kwerenda i analiza lokalnej prasy• modele logiczne efektów projektów w poszczególnych sektorach lub grupach

tematycznych (np. bezpieczeństwa, turystyki – szlaków rowerowych)• analizy statystyczne i przestrzenne• panele ekspertów (ocena wszystkich projektów) połączone z samooceną be-

nefi cjentów• studia przypadku.

Produktem badania był całościowy raport z badania (310 s. z aneksami). Ponadto ewaluatorzy przygotowali jeszcze dwa skrócone raporty (EUROREG WARSAW UNIVERSITY et al., 2006). Pierwszy był skrót raportu głównego podsumowujący wyniki ewaluacji ex post (30 stron) – pokazujący efekty programu (czy program i jego poszczególne elementy były skuteczne, wydajne, użytecz-ne, trwałe). Raport był skierowany do interesariuszy Programu PHARE-CBC


PL-DE. Drugi raport pt. Lekcje dla Wschodu miał służyć transferowi wiedzy z PHARE-CBC na polską granicę wschodnią – do startującego programu Są-siedztwa Polska–Białoruś–Ukraina (GORZELAK et al., 2006). Porady dotyczyły poszukiwania pomysłu na projekt transgraniczny, przedstawienia pomysłu według unijnej logiki strukturalizowania działań publicznych, przygotowania dokumen-tacji i monitorowania kluczowych rzeczy we wdrażaniu projektu. Trzydziesto-stronicowa broszura była skierowana głównie do benefi cjentów i potencjalnych benefi cjentów Programu Sąsiedztwa, ale raport zawierał również specjalny roz-dział z poradami dla instytucji wdrażających program.

Głównym, dość zaskakującym wnioskiem z badania było, że program miał charakter przygraniczny (ang. close to border), nie transgraniczny (ang. cross-bor-

der). Projekty przystające, jak i projekty skoordynowane zdarzały się bardzo rzad-ko. Drugie spostrzeżenie mówiło, że program nie wpłynął znacząco na rozwój regionów – gdyż jego skala była zbyt mała. Jego efekty zaznaczyły się natomiast w bardzo widoczny sposób na poziomie lokalnym. To skłoniło do wniosku, że ewaluacje programów przygranicznych powinny być prowadzone na poziomie lokalnym. Badanie przedstawiło także szereg wniosków odnoszących się do po-szczególnych sektorów czy grup tematycznych projektów. Badanie odniosło się też do szerszych teorii na temat kierunków interwencji publicznej wspierają-cej współpracę transgraniczną, Stwierdzono, że zgłaszane i realizowane projekty PHARE-CBC koncentrowały się na wyrównywaniu poziomu – głównie zapóź-nień w zakresie infrastruktury. Element budowania funkcjonalnej współpracy był minimalny. Wynikało to z zapóźnienia w rozwoju strony polskiej i – co za tym idzie – innych potrzeb. Logika rozwoju własnego potencjału (uzupełnić pod-stawowe braki w infrastrukturze – wyrównać poziom), a dopiero na tej bazie budowanie miękkich projektów (nawiązać współpracę) była szczególnie wyraź-na w grupie projektów zasobów ludzkich i rozwoju gospodarczego. Za tą opcją przemawiały również obiektywne ograniczenia wspólnych projektów (OLEJNI-CZAK, 2008)26.

Pewnym ograniczeniem badania, mimo całej kompleksowości i poprawności metodologii, było oszacowanie relacji przyczynowo-skutkowych w sposób mięk-ki. Okazało się, że trudno jest oszacować efekty programu, gdyż brakuje bazy do porównania (dane bazowe – sprzed interwencji – były fragmentaryczne). Badanie pokazało więc kluczową rolę systematycznego gromadzenia danych na potrzeby przyszłych ewaluacji.

26 PHARE-CBC dla Polski i INTERREG dla Niemiec były zarządzane w odmienny sposób, w różnych cyklach planowania.


5 PODSUMOWANIE

Jak pokazano w niniejszym rozdziale ewaluacja jest jednym z elementów współczesnego zarządzania w sektorze publicznym. Wraz z ewolucją podejść i paradygmatów zarządzania rozszerzała się również jej funkcja – od narzędzia obiektywnej naukowej oceny jakości, weryfi kowania relacji przyczynowo-skut-kowej między interwencją a jej efektem, poprzez instrument poprawy bieżącego zarządzania i weryfi kacji efektywności procesów, technikę szerszej analizy racjo-nalności interwencji publicznych aż po narzędzie wzmacniania sieci współpracy, budowania kapitału relacyjnego oraz uczenia się.

Przykłady, do których odwoływano się w tekście, pokazują, że ewaluacje mogą skutecznie wypełniać te deklaratywne funkcje w praktyce programów funduszy strukturalnych. Należy jednak podkreślić, że mimo iż ewaluacje mogą spełniać wszystkie te role w sektorze publicznym, to planując pojedyncze badanie ewalu-acyjne trzeba się zdecydować, która z funkcji ewaluacji ma być głównym celem badania. Wyraźnie widać wybór „coś za coś” między ewaluacjami zorientowanymi na procesy (mającymi pomóc aktorom programu w rozwiązaniu bieżących pro-blemów) a oceną efektów i założeń polityk (czyli rozliczeniem zarządzających programem przed społeczeństwem). Warunkami skutecznego uczenia się są też trwałość instytucji, zaangażowanie uczących się i… dane! Brak danych do po-równań uniemożliwia racjonalne i sumienne oszacowanie efektów, ale również ustalenie relacji przyczynowo-skutkowej między inwestycjami a zmianami w kie-runkach rozwoju danego miasta, gminy, regionu.

Niewątpliwy boom ewaluacyjny na świecie, a przede wszystkim w Unii Eu-ropejskiej nasuwa też zasadnicze pytanie. Na ile ewaluacje są skuteczne w speł-nianiu swoich korygujących i prorozwojowych funkcji? Na ile, prócz najbardziej wyraźnej funkcji rozliczeniowej, spełniają szersze funkcje poznawcze i budowa-nia partnerstwa? Mówiąc wprost – ile sektor publiczny rzeczywiście nauczył się z ewaluacji i czy była to nauka owocna?

I tu zaskakujący może być fakt, że skali badań ewaluacyjnych zupełnie w UE nie odpowiada skala badań empirycznych rzeczywistych efektów samych ewa-luacji. Pozytywne użycie ewaluacji jest przyjmowane niejako a priori. Rapor-ty są produkowane, ale ich wpływ na operacje sektora publicznego jest słabo rozpoznany. Studia badające oddziaływanie ewaluacji są w UE incydentalne27. W Polsce pierwsze z takich badań podjęto w roku 2007 w ramach programu

27 W ostatnich 10 latach pojawiły się tylko dwa takie badania w odniesieniu do funduszy struk-turalnych na poziomie instytucji UE. Obydwa dotyczyły wykorzystania badań ewaluacyjnych przez dyrekcje Komisji Europejskiej – okazało się ono dość ograniczone (EPEC, 2005; WILLIAMS et al., 2002). Jedno z nielicznych badań na poziomie krajowym przeprowadzono w Holandii (w od-niesieniu do ewaluacji krajowych programów), a jego krytyczne wyniki wywołały burzę i radykalne zmiany w systemie zarządzania administracji holenderskiej. W rezultacie ewaluacje zaczęły być traktowane poważnie, jako narzędzie samodoskonalenia się, a nie jako biurokratyczna powinność (LEEUW, 2003:108).


Sprawne Państwo (www.sprawnepanstwo.pl), a wyniki badań empirycznych są w opracowaniu.

Wciąż niewiele wiemy o mechanizmach uczenia się i determinantach wyko-rzystania ewaluacji. To wciąż otwarte pytanie jest już pytaniem szerszym – nie tylko o mechanizmy poznawania, przyswajania wiedzy, ale też o zdolności do adaptacji i zmian organizacji. Jest to pytanie o to, w jaki sposób w Polsce mo-żemy budować model skutecznego zarządzania w sektorze publicznym opartym na organizacjach uczących się. Konstruktywna i przemyślana odpowiedź na nie może pomóc w budowaniu przewagi konkurencyjnej Polski, bądź też pogłębić nasze zapóźnienia i dystans dzielący nas do liderów innowacyjności.

6 BIBLIOGRAFIA

ALKIN M. C., CHRISTIE C. A., ROSE M. (2006) Communicating evaluation, [w:] SHAW I.,

GREENE J. C., MARK M. M. (red.) Handbook of evaluation: policies, programs and practices,

ss. 384–403. SAGE, London.

BACHTLER J. (2001) Quod erat demonstrandum? Ewaluacja polityki regionalnej, Studia Regio-

nalne i Lokalne 4(7).

BACHTLER J., POVERARI L., TAYLOR S. (2000) Culture, Commitment and Capacity. A com-

parative review of Structural Funds Evaluation in the European Union, Edinburgh Conference

on Evaluation, Edinburgh, United Kingdom.

BACHTLER J., TAYLOR S., OLEJNICZAK K. (2005) A Study of the Mid Term Evaluations of

INTERREG programmes for the programming period 2000 until 2006, INTERACT Programme

Secretariat, Vienna

BATTERBURY S. (2006) Principles and Purposes of European Union Cohesion policy Evalua-

tion, Regional Studies 40(2), pp. 179–88.

BAUER-WOLF S. (2005) Update of the Mid-Term Evaluation of the Community Initiative Pro-

gramme INTERREG IIIA Austria–Hungary, Managing Authority of INTERREG IIIA Au-

stria–Hungary Programme, Vienna, Budapest

BAUER-WOLF S., MONORI M. (2003) Mid-Term Evaluation of the Community Initiative Pro-

gramme INTERREG IIIA Austria–Hungary, Managing Authority of INTERREG IIIA Au-

stria–Hungary Programme, Vienna, Budapest

BINGHAM R. D., FELBINGER C. L. (2002) Evaluation in practice: a methodological approach.

Seven Bridges Press, New York, London.

BOUCKAERT G. (2006) Modernising Government: Th e way forward – a comment, Internatio-

nal Review of Administrative Sciences 72(3), 327–32.

CASTELLS M. (2000) Th e rise of the network society. Blackwell, Oxford.

CASTELLS M., CARDOSO G. (2006) Th e network society: from knowledge to policy. Center for

Transatlantic Relations, Paul H. Nitze School of Advanced International Studies, Johns Hop-

kins University, Washington, D.C.

CHELIMSKY E. (1997) Th e Coming Transformation in Evaluation, w CHELIMSKY E., SHA-

DISH W. R. (red.) Evaluation for the 21st century: a handbook. Sage, Th ousand Oaks, Calif.;

London.

COUNCIL OF THE EUROPEAN UNION (1999) Council Regulation (EC) No 1260/1999

of 21 June 1999 laying down General Provisions on the Structural Funds, 1260/1999, OJ L161,

26.6.1999


COUNCIL OF THE EUROPEAN UNION (2006) Council Regulation (EC) No 1083/2006 of

11 July 2006 laying down General provisions on the European Regional Development Fund, the

European Social Fund and the Cohesion Fund, 1083/2006, OJ L210, 31.7.2006

CRONBACH L. J., ASSOCIATES (1981) Toward reform of program evaluation: Aims, methods,

and institutional arrangements. Jossey-Bass Publications, San Francisco.

DAHLER-LARSEN P. (2005) Evaluation in Public Management, [w:] FERLIE E., LYNN L.

E., POLLITT C. (red.) Th e Oxford handbook of public management, ss. 615–39. Oxford Uni-

versity Press, Oxford.

DAVIDSON E. J. (2005) Evaluation methodology basics: the nuts and bolts of sound evaluation. Sage

Publications, Th ousand Oaks, Calif.

DUNSIRE A. (1995) Administrative theory in the 1980s: a viewpoint, Public Administration 73,

17–40.

EPEC (2005) Study on the use of evaluation results in the Commission. Final report, European Policy

Evaluation Consortium (EPEC), Paris

EUROPEAN COMMISSION (1997) Evaluating EU expenditure programmes: A guide for ex post

and intermediate evaluation, DG-BUDGET, Offi ce for Offi cial Publications of the European

Communities, Brussels,

EUROPEAN COMMISSION (1999) MEANS collection: evaluating socio-economic programmes.

DG-Regio, Offi ce for Offi cial Publications of the European Communities, Luxembourg.

EUROPEAN COMMISSION (2001) Project Cycle Management Manual, EUROPEAID,

EUROPEAN COMMISSION (2004a) Evaluating EU activities – A practical guide for the Com-

mission services, DG-BUDGET, Offi ce for Offi cial Publications of the European Communi-

ties, Luxembourg,

EUROPEAN COMMISSION (2004b) Project Cycle Management guidelines, vol 1, EUROPE

-AID, Offi ce for Offi cial Publications of the European Communities, Luxembourg,

http://ec.europa.eu/europeaid/evaluation/methodology/index_en.htm

EUROPEAN COMMISSION (2006) Working Document no 1 – Indicative Guidelines on Evalu-

ation Methods: Ex ante evaluation, DG-REGIO, Th e New Programming Period 2007–2013

Working Documents, Offi ce for Offi cial Publications of the European Communities, Luxem-

bourg, http://ec.europa.eu/regional_policy/sources/docoffi c/working/sf2000_en.htm

EUROPEAN COMMISSION (2007) Evalsed – the resource for the evaluation of socio-eco-

nomic development, 12.04.2008, http://ec.europa.eu/regional_policy/sources/docgener/evalu-

ation/evalsed/

EUROREG WARSAW UNIVERSITY, PRICEWATERHOUSECOPPERS PL, IRS (2006)

An ex post evaluation of the Phare Cross-Border Co-operation Programme Poland–Germany 1999–

2001, Implementing Authority for Phare-CBC Poland, Warsaw

FERRY M., OLEJNICZAK K. (2008 in press) Th e use of evaluation in management of EU pro-

grammes – a comparative perspective, Ernst & Young, „Sprawne Państwo”, 2nd revision, www.

sprawnepanstwo.pl

FORUNIER D. M. (2005) Evaluation, w MATHISON S. (red.) Encyclopedia of evaluation,

ss. 139–40. Sage, Th ousand Oaks, Calif.; London.

GOLDSMITH S., EGGERS W. D. (2004) Governing by network: the new shape of the public sector.

Brookings Institution; [Bristol: University Presses Marketing], Washington, D.C.

GORZELAK G. (1995) Transformacja systemowa a restrukturyzacja regionalna. Uniwersytet War-

szawski, Warszawa.

GORZELAK G., KOZAK M., OLEJNICZAK K., SMĘTKOWSKI M. (2006) Doświadczenia

Programu Współpracy Przygranicznej PHARE Polska–Niemcy 1999–2001. Lekcje dla Wschodu,

Władza Wdrażająca Program Współpracy Przygranicznej PHARE, Warszawa

GÓRNIAK J. (2005) Ewaluacja jako czynnik doskonalenia zarządzania strategicznego w admini-

stracji publicznej: projekt SAPER, I konferencja ewaluacyjna – Ewaluacja programów o charak-


terze społeczno-gospodarczym fi nansowanych z funduszy strukturalnych, ss. 83–101. Ministerstwo

Gospodarki i Pracy & Polska Agencja Rozwoju Przedsiębiorczości, Warszawa, 16 września

2005.

GREENE J. C. (2003) Understanding Social Programs through Evaluation, w DENZIN N.

K., LINCOLN Y. S. (red.) Collecting and interpreting qualitative materials, ss. 590–617. Sage,

Th ousand Oaks, Calif.; London.

GRUENING G. (2001) Origin and theoretical basis of New Public Management, International

Public Management Journal 4, 1–25.

GUBA E. G., LINCOLN Y. S. (1989) Fourth generation evaluation. Sage, Newbury Park.

GULICK L. (1937) Notes on theory of organization, w GULICK L., URWICK L. (red.) Papers

on the science of administration. Columbia University, New York.

HABER A. (red.) (2007) Ewaluacja ex post. Teoria i praktyka badawcza. Polska Agencja Rozwoju

Przedsiębiorczości, Warszawa.

HEINRICH C. J. (2003) Measuring Public Sector Performance, w PETERS G., PIERRE J.

(red.) Handbook of Public Administration, ss. 25–37. Sage Publications, London.

HERMAN J. L., MORRIS L. L., FITZ-GIBBON C. T. (1987) Evaluator’s handbook. Sage &

University of California Los Angeles – Center for the Study of Evaluation, Newbury Park.

HOOD C. (1991) A public management for all seasons?, Public Administration 69(1), 3–19.

HOOD C., JACKSON M. (1991) Th e New Public Management: A recipe for disaster, Canberra

Bulletin of Public Administration 1964 (May), 16–24.

HUMMELBRUNNER R., KOBAL J. (2003) Mid-Term Evaluation of the Community Initiative

Programme INTERREG IIIA Austria–Slovenia, Managing Authority of INTERREG IIIA

Austria–Slovenia Programme, Graz, Domzale

HUMMELBRUNNER R., OMERSEL-WEEKS B. (2005) Update of the Mid-Term Evaluation

of the Community Initiative Programme INTERREG IIIA Austria–Slovenia, Managing Author-

ity of INTERREG IIIA Austria–Slovenia Programme, Graz, Ljubljana

IZDEBSKI H. (2007) Od administracji publicznej do public governance, Zarządzanie Publiczne

1(1), 7–20.

JONES L. R., THOMPSON F. (1997) Th e fi ve Rs of the New Public Management, Advances in

International Comparative Management Supplement 3, 15–45.

KETTL D. F. (1997) Th e global revolution in Public Management: driving themes, missing links,

Journal of Policy Analysis and Management 16(3), 446–62.

KETTL D. F. (2006) Modernising Government: Th e way forward – a comment, International

Review of Administrative Sciences 72(3), 313–7.

KIERZKOWSKI T. (2002a) Evaluation of socio-economic programmes in Poland – current situ-

ation and future challenges, Annual Conference of Regional Studies Association “Evaluation and

EU Regional Policy”. Regional Studies Association, Aix en Province, June 2002.

KIERZKOWSKI T. (2002b) Ocena (ewaluacja) programów i projektów o charakterze społeczno-gospo-

darczym w kontekście przystąpienia Polski do Unii Europejskiej. Polska Agencja Rozwoju Przed-

siębiorczości, Warszawa.

KOJAN M., KAUFMANN M., NAVRATILOVA K. (2003) Mid-Term Evaluation of the Com-

munity Initiative Programme INTERREG IIIA Austria–Czech Republic, Managing Authority of

INTERREG IIIA Austria–Czech Republic Programme, Vienna

KOJAN M., NAVRATILOVA K. (2005) Update of the Mid-Term Evaluation of the Community

Initiative Programme INTERREG IIIA Austria–Czech Republic, Managing Authority of IN-

TERREG IIIA Austria–Czech Republic Programme, Vienna, Praha

KRAJOWA JEDNOSTKA OCENY (2005a) Ewaluacja Narodowego Programu Rozwoju i Progra-

mów Operacyjnych w Polsce. Poradnik. MGiP – KJO, Warszawa.

KRAJOWA JEDNOSTKA OCENY (2005b) Rynek ewaluacji w Polsce – diagnoza stanu i per-

spektyw rozwoju, I konferencja ewaluacyjna – Ewaluacja programów o charakterze społeczno-go-


spodarczym fi nansowanych z funduszy strukturalnych, ss. 31–45. Ministerstwo Gospodarki i Pracy

& Polska Agencja Rozwoju Przedsiębiorczości, Warszawa, 16 wrzesnia 2005.

LANGBEIN L., FELBINGER C. L. (2006) Public Program Evaluation. A statistical guide.

M.E.Shape, New York, London.

LEEUW F. L. (2003) Evaluation and New Public Management in the Netherlands, w WOLL-

MANN H. (red.) Evaluation in public-sector reform: concepts and practice in international perspec-

tive, ss. 104–17. Edward Elgar, Cheltenham.

MATHISON S. (2005) Encyclopedia of evaluation. Sage, Th ousand Oaks, Calif.; London.

MAZUR S. (2006) Historia administracji publicznej, w HAUSNER J. (red.) Administracja pub-

liczna, ss. 41–62. PWN, Warszawa.

MENDEZ C., BACHTLER J., GROSS T., YUILL D. (2006) Th e fi nal year of the 2000–2006

period: Review of programme developments: Winter–Summer 2006, IQ-Net Th ematic Papers

18(1).

METCALFE L., RICHARDS S. (1990) Improving public management. Sage, London.

OECD (1995) Governance in transition: public management reforms in OECD countries. OECD.

OECD (1997) Managing across levels of government. OECD.

OECD (1998) Best practice guidelines for evaluation, PUMA, OECD,

OECD (2002) Glossary of Key Terms in Evaluation and Results Based Management. OECD-Devel-

opment Assistance Committee, Paris.

OECD (2005) Modernising government: the way forward. Paris, France: OECD, 2005.

OLEJNICZAK K. (2002) Towards the evaluation culture in Poland – experiences and prospects,

Annual Conference of Regional Studies Association “Evaluation and EU Regional Policy”. Regional

Studies Association, Aix en Province, June 2002.

OLEJNICZAK K. (2005) Teoria i praktyka ewaluacji w świetle doświadczeń europejskich, Studia

Regionalne i Lokalne 4(22).

OLEJNICZAK K. (2007a) Ewaluacja jako narzędzie zarządzania w sektorze publicznym, w GO-

RZELAK G., TUCHOLSKA A. (red.) Rozwój, region, przestrzeń, ss. 361–96. Ministerstwo

Rozwoju Regionalnego, Warszawa.

OLEJNICZAK K. (2007b) Ewaluacja w zarządzaniu programami INTERREG, rozprawa dok-

torska, Wydział Zarządzania, Wyższa Szkoła Przedsiębiorczości i Zarządzania im. L. Koź-

mińskiego, Warszawa.

OLEJNICZAK K. (2008) Rola Programu Współpracy Ponadgranicznej PHARE w rozwoju lo-

kalnym województw zachodnich, w GORZELAK G. (red.) Polska regionalna i lokalna w świe-

tle badań EUROREG-u, ss. 236–58. Wydawnictwo Naukowe Scholar, Warszawa.

OLEJNICZAK K. (2008 in press) Mechanizmy wykorzystania ewaluacji. Studium ewaluacji śred-

niookresowych INTERREG III. Wydawnictwo Naukowe Scholar, Warszawa.

OLEJNICZAK K., LEDZION B., DOMARADZKA A. (2005) Identyfi kacja barier w realizacji

działań współfi nansowanych ze środków Europejskiego Funduszu Społecznego w ramach Zintegro-

wanego Programu Operacyjnego Rozwoju Regionalnego, Krajowa Jednostka Oceny, Warszawa

ORŁOWSKI W. (2008) Wydawanie to wyzwanie, Polityka 2650(16), 40–42.

OSBORNE D., GAEBLER T. (1992) Reinventing government: how the entrepreneurial spirit is

tansforming the public sector. Addison-Wesley Pub. Co, Reading, Mass.

OSBORNE S. S. (2006) Th e New Public Governance?, Public Management Review 8(3), 377.

OSTROM E., OSTROM V. (1971) Public choice: a diff erent approach to the study of public

administration, Public Administration Review 31, 203–16.

PADDOCK S. C. (1998) Evaluation, w SHAFRITZ J. M. (red.) International Encyclopedia of

Public Policy and Administration, ss. 818–23. Westview Press, Boulder, Colo.

PATTON M.Q. (2004) Evaluation Research, w LEWIS-BECK M. S., BRYMAN A., LIAO T.F.

(red.) Th e Sage encyclopedia of social science research methods, ss. 337–40. Sage, Th ousand Oaks,

Calif.


PETERS T. J., WATERMAN R. H., AUSTIN N. (1992) Excellence: In search of excellence lessons

from America’s best-run companies. Random House, Inc., New York.

PICCIOTTO R. (1997) Evaluation in the World Bank, [w:] CHELIMSKY E., SHADISH

W.R. (red.) Evaluation for the 21st century: a handbook, ss. 201–13. Sage, Th ousand Oaks, Calif.;

London.

POLLITT C., BOUCKAERT G. (2003) Evaluating public management reforms: An interna-

tional perspective, w WOLLMANN H. (red.) Evaluation in public-sector reform: concepts and

practice in international perspective, ss. 12–35. Edward Elgar, Cheltenham.

PREMFORS R. (2006) Modernising Government: Th e way forward – a comment, International

Review of Administrative Sciences 72(3), 333–5.

RADA MINISTRÓW RP (2006) Ustawa z dnia 20 kwietnia 2004 r.o Narodowym Planie Rozwoju

– wersja uwzględniająca zmiany wprowadzone ustawą z dnia 13 lipca 2006 r. o zmianie ustawy

o Narodowym Planie Rozwoju oraz niektórych innych ustaw.

REINER K., KARASZ P. (2005) Update of the Mid-Term Evaluation of the Community Initiative

Programme INTERREG IIIA Austria–Slovakia, Managing Authority of INTERREG IIIA

Austria–Slovakia Programme, Vienna, Bratislava

REINER K., KAUFMANN M. (2003) Mid-Term Evaluation of the Community Initiative Pro-

gramme INTERREG IIIA Austria–Slovakia, Managing Authority of INTERREG IIIA Aus-

tria–Slovakia Programme, Vienna

ROSSI P. H., LIPSEY M. W., FREEMAN H. E. (2004) Evaluation: a systematic approach. Sage,

Th ousand Oaks, Calif.; London.

ROZPORZĄDZENIE RADY (WE) (2006) Rozporządzenie Rady (WE) nr 1083/2006 z dnia

11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regio-

nalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności i uchylające rozporządzenie

(WE) nr 1260/1999, 1083/2006, OJ L210, 31.7.2006

SCRIVEN M. (1991) Evaluation thesaurus. Sage, Newbury Park; London.

SHAFRITZ J. M., RUSSELL E. W. (2003) Introducing public administration – 3rd edition. Pearson

Longman, New York; London.

STERN E. (2005) What do we know about the utilization of evaluation?, I konferencja ewaluacyjna

– Ewaluacja programów o charakterze społeczno-gospodarczym fi nansowanych z funduszy struktu-

ralnych, ss. 7–29. Ministerstwo Gospodarki i Pracy & Polska Agencja Rozwoju Przedsiębior-

czości, Warszawa, 16 wrzesnia 2005.

STUFFLEBEAM D.L. (2001) Evaluation Models, New Directions for Evaluation 89(Spring),

7–92.

SWISS J. E. (1992) Adapting Total Quality Management (TQM) to government, Public Admin-

istration Review 52(4), 356–62.

TAGLE L. (2000) Interactive Evaluation and its Integration in Programming, Fourth Conference

on Evaluation for Quality. European Commission, Edinburg, 16–19 September 2000.

TAVISTOCK INSTITUTE, GHK, IRS (2003) Th e Evaluation of Socio-Economic Development.

Th e Evalsed Guide (1st edition), www.evalsed.com, downloaded 21.08.2006

TOULEMONDE J. (2000) Evaluation culture(s) in Europe: diff erences and convergence between

national practices, Th e Danish Evaluation Society Annual Conference.

WEISS C. H. (1998) Evaluation: methods for studying programs and policies. Prentice Hall, Upper

Saddle River, N.J.

WILLIAMS K., DE LAAT B., STERN E. (2002) Th e Use of Evaluation in the Commission Ser-

vices. Final Report, Technopolis France, Paris

WILSON W. (1887) Th e study of Administration, Political Science Quarterly 2(2), 481–506.

WOLF A. (2000) Trends in public administration – a practitioner’s view, International Review of

Administrative Sciences 66, 689–96.


WOLLMANN H. (2003) Evaluation in public-sector reform: Towards a ‘third wave’ of evalu-

ation?, w WOLLMANN H. (red.) Evaluation in public-sector reform: concepts and practice in

international perspective, ss. 1–11. Edward Elgar, Cheltenham.

WORLD BANK (2008) Independent Evaluation Group – Overview, http://www.worldbank.org/

oed/ieg_overview.html

WORTHEN B. R. (1990) Program evaluation, w WALBERG H. J., HAERTEL G. D. (red.) Th e

International encyclopedia of educational evaluation, ss. 42–7. Pergamon Press, Oxford, England;

New York.

ZAWICKI M. (2007) Trzy płaszczyzny ewaluacji – z praktyki polskiej administracji publicznej,

Zarządzanie Publiczne 2(2), 113–24.

Robert Sobiech

Ewaluacja a rozliczalność władz publicznych

DEFICYT DEMOKRACJI A DEFICYT ROZLICZALNOŚCI

Mamy najgorsze szkoły publiczne (...). System opieki zdrowotnej wymknął się nam

spod kontroli. Nasze sądy są tak zawalone sprawami, a więzienia tak przepełnione,

że osądzeni już i skazani przestępcy chodzą na wolności. Wiele spośród miast (...), z których jesteśmy dumni, praktycznie już zbankrutowało. Zaufanie do rządu spadło

do nienotowanego nigdy poziomu. (Osborne D., Gaebler T. 1992:19)Powyższa diagnoza sektora publicznego Stanów Zjednoczonych, sformuło-

wana na początku lat dziewięćdziesiątych przez Osborna i Gaeblera, wydaje się nadal pozostawać aktualna w przypadku wielu państw demokratycznych. Kryzys instytucji publicznych, określany często mianem defi cytu demokracji, przejawia się nie tylko niewydolnością instytucji publicznych, ale także systematycznym spadkiem zaufania obywateli do państwa i jego instytucji. Przekonująco ilustrują to wskaźniki frekwencji wyborczej. W porównaniu z okresem lat pięćdziesią-tych, pod koniec ubiegłego wieku odnotowano znaczące zmniejszenie frekwencji wyborczej w większości państw OECD (Wattenberg M. 2000:72). W Austrii odsetek głosujących w wyborach parlamentarnych zmniejszył się z 88% do 76%, w Niemczech z 81% do 72%, w Wielkiej Brytanii zaś z 82% do 72% oraz do 59% w 2001 roku (Martinez M. 2005). W Stanach Zjednoczonych w 1960 roku w wyborach prezydenckich uczestniczyło 63% Amerykanów, w 1996 zaś jedynie 49%.

Defi cyt demokracji jest stałym elementem polskiej rzeczywistości począwszy od 1998 roku. Nawet w przełomowych wyborach do parlamentu 1989 roku fre-kwencja wyborcza wyniosła jedynie 62,7%. W dwa lata później, w pierwszych wolnych wyborach parlamentarnych wzięło udział 43% Polaków. Kulminacja braku zaufania do mechanizmów demokratycznych nastąpiła jesienią 2005 roku, kiedy to do urn zdecydowało się pójść jedynie 40% obywateli. Wątpliwości co

50 Robert Sobiech

do zasadności mechanizmów demokratycznych są stałym elementem poglądów znacznej części Polaków (CBOS, 2007). W okresie od 1993 do 2007 roku odse-tek zadowolonych z funkcjonowania demokracji w Polsce nigdy nie przekroczył 50%, w latach 2002–2003 wahał się zaś od 20% do 24%. Do połowy 2007 roku dla 40%–50% Polaków nie miało znaczenia, czy rządy są demokratyczne, czy niedemokratyczne.

Dążenie do redukcji defi cytu demokracji stało się punktem wyjścia szeregu re-form poszerzających sferę wpływu obywateli na sprawy publiczne. Stanowiło ono istotną inspirację do decentralizacji, wprowadzania rządów regionalnych (Belgia, Włochy), zwiększenia roli referendów i innych inicjatyw lokalnych, bezpośred-niego wyboru polityków czy lokalnych urzędników. Debata nad ograniczeniem defi cytu demokracji w Unii Europejskiej była punktem wyjścia do wprowadzenia bezpośrednich wyborów do Parlamentu Europejskiego (Dalton R.J., Gray M. 2003:25–27).

Dystans pomiędzy działalnością władz publicznych a oczekiwaniami obywa-telami wyjaśniany jest m.in. jako efekt braku powiązania agend polityków ze sprawami będących przedmiotem zainteresowania opinii publicznej, naruszania standardów etycznych przez władze publiczne, braku reprezentatywności coraz bardziej zróżnicowanych elektoratów partii politycznych czy ignorowania potrzeb i problemów obywateli (zob. np. Clark J. 2003: 69–70).

Za jedną z najbardziej istotnych przyczyn defi cytu demokracji uważa się de-fi cyt rozliczalności (accountability defi cit). W miarę upływu lat coraz częściej po-jawiają się głosy wskazujące na bezskuteczność wysiłków ograniczania defi cytu demokracji bez wcześniejszej redukcji defi cytu rozliczalności (Abelson J., Gauvin F.P. 2004)

Obywatele oczekują od instytucji i ludzi etycznych zachowań, uczciwych postępków

i słów oraz otwartości dotyczącej podejmowanych działań. Rozliczalność i transpa-

rentość postrzegane są jako podwaliny zaufania w instytucjach publicznych, ale także

w społecznościach lokalnych i biznesie. Oczekiwania te wyrażane są przez wykształ-

conych, świadomych obywateli, którzy nie są skłonni ani przygotowani do podporząd-

kowania się autorytetom. W konsekwencji podwyższone zostają standardy dobrego

rządzenia (MacKinnon M. i inni, 2003:36–37). Pojecie „rozliczalności ” stosunkowo niedawno pojawiło się w języku opisują-

cym życie publiczne. Stąd też w debacie nad funkcjonowaniem sektora publicz-nego i rolą władz publicznych mamy do czynienia z wieloma znaczeniami tego terminu charakteryzującymi się wysoce nieuporządkowaną strukturą i zróżnico-wanym zakresem.

W pierwotnej wersji rozliczalność sprowadzała się w decydującym stopniu do kwestii weryfi kacji i kontroli wydatków publicznych. Rozliczenie się z pieniędzy podatników stanowiło tu podstawowy obowiązek władz publicznych. Inna, trwale zakorzeniona w literaturze przedmiotu defi nicja rozliczalności sprowadzała się do rozliczenia (account) z realizowanych działań zgodnie z przyjętymi standardami

Ewaluacja a rozliczalność władz publicznych 51

i procedurami. Niezbędnymi warunkami były tu: istnienie przełożonych upraw-nionych do kontroli czy nadzoru, uzgodnione kryteria oceny wykonania zadań, mechanizm przekazywania informacji o wykonaniu zadań oraz możliwość zasto-sowania sankcji lub nagród w zależności od wykonania zadań. Takie rozumienie rozliczalności ograniczało się w znacznej mierze do tradycyjnych instytucji biu-rokratycznych. Odmienna interpretacja ma miejsce we współczesnych społeczeń-stwach, gdzie rola władz publicznych wyznaczana jest w znacznym stopniu przez oczekiwania obywateli, grup interesu, stowarzyszeń profesjonalnych, organizacji strażniczych (watchdog organizations) czy mediów, domagających się zarówno in-formacji o osiągniętych celach polityk i programów publicznych, jak i zapewnie-nia przestrzegania standardów życia publicznego. Rozliczalność powiązana jest tu z realizacją szerszych celów, jak realizacja interesu publicznego czy budowa zaufania publicznego (Kearns K, 2003:583).

Inni autorzy (np. Schedler A. 1999:13) traktują rozliczalność jako zdolność funkcjonariuszy publicznych do bycia odpowiedzialnym za podejmowane dzia-łania. Oznacza to zarówno dostarczanie informacji o prowadzonej działalności, uzasadnianie dokonanych wyborów, jak też monitorowanie i nadzór nad dzia-łaniami władz publicznych. Stąd też pojęcie rozliczalności zawiera w sobie dwa elementy: egzekwowanie i odpowiedzialność. Egzekwowanie oznacza tu zdol-ność przełożonych i agencji rozliczających do nakładania sankcji na podmioty naruszające ich obowiązki publiczne. Odpowiedzialność (answerability) stanowi zobowiązanie funkcjonariuszy publicznych do informowania o swojej działalno-ści i jej objaśniania. W takim rozumieniu realizacja zasady rozliczalności odbywa się w ramach dwustronnych relacji wymiany informacji, uzasadniania podejmo-wanych działań i nakładania sankcji za niewłaściwe wykonywanie zadań. Aucoin i Heintzman (2000) mówią o trzech funkcjach , jakie pełni zasada rozliczalności w życiu publicznym. Pierwszą z nich jest zapewnienie alokacji środków publicz-nych w powiązaniu z interesem publicznym. Drugą stanowi promowanie rozwią-zań służących poprawie rządzenia i zarządzania publicznego. Ostatnia funkcja – to funkcja kontroli ograniczająca możliwe nadużycia władz publicznych i na-ruszanie obowiązujących standardów.

Romzek i Ingraham (2000) wyróżniają cztery typy rozliczalności. Pierwszy z nich to rozliczalność hierarchiczna, przejawiająca się ścisłym nadzorem nad pracownikami o wysoce ograniczonym zakresie autonomii w wykonywanej pracy. Rozliczalność prawna oznacza nadzór sprawowany przez zewnętrzne podmioty, jak parlament czy sądy. Rozliczalność profesjonalna wiąże się z wymogiem prze-strzegania norm i procedur zawodowych, rozliczalność polityczna zaś nakłada na władze publiczne zobowiązanie do zdawania relacji wobec kluczowych partnerów społecznych; polityków, opinii publicznej czy grup interesu. Wymóg rozliczalno-ści politycznej w wielu sytuacjach stawia funkcjonariuszy publicznych w sytuacji „podwójnej rozliczalności”, z jednej strony skłaniając do odpowiedzialności wo-bec różnorodnych partnerów społecznych, z drugiej do konieczności formalnego

52 Robert Sobiech

rozliczenia się przed swoimi zwierzchnikami. Stąd też autorzy omawianej typo-logii zauważają, że konfrontacja urzędników administracji publicznej z różnymi oczekiwaniami oraz praca w warunkach istnienia szeregu relacji rozliczalności prowadzi do wypracowania różnorodnych strategii radzenia sobie z odmiennymi oczekiwaniami.

Dyskusja dotycząca rozliczalności władz publicznych już dawno przekroczyła progi uniwersytetów, stając się przedmiotem debaty publicznej, toczonej przez ekspertów, dziennikarzy, liderów opinii publicznej i polityków. Dyskusja doty-czącą rozliczalności odwołuje się do różnych rozumień rozliczalności przedsta-wianych w omawianych defi nicjach. Pojawiają się w niej zarówno tezy o koniecz-ności kontroli władz publicznych czy odpowiedzialności urzędników, postulaty przejrzystości działań władz publicznych, jak i mniej czy bardziej profesjonalne koncepcje mierzenia efektów rządzenia.

Zwiększający się zakres i dolegliwość problemów społecznych czy wielość nie-zaspokojonych potrzeb sprawiają, że władze publiczne pozostają pod stałą presją wypracowania nowych rozwiązań, będących adekwatną reakcją wobec aktualnych i przyszłych wyzwań. Oczekiwania opinii publicznej nie ograniczają się już do opracowania i wdrożenia poszczególnych polityk i programów. Coraz częściej obejmują one dostarczenie przez władze publiczne przekonującej dokumentacji ilustrującej efekty działań publicznych. Przedmiotem zainteresowania jest za-równo dokumentacja skuteczności działań, informująca o wprowadzeniu ocze-kiwanych zmian, ewidencja efektywności przekonująca, że wprowadzenie zmian angażowało możliwie najniższe zasoby fi nansowe czy ludzkie, a także sposoby komunikowania różnych form rozliczeń władzy szerokiej opinii publicznej, wy-branym grupom społecznym czy mediom.

ROZLICZALNOŚĆ A EWALUACJA

Kluczowym instrumentem umożliwiającym realizację zasady rozliczalności jest ewaluacja działań publicznych. Rosnący popyt na ewaluację i coraz większe możliwości nauki w wyjaśnianiu mechanizmów zmian społecznych wyznaczają dziś ramy debaty o rozliczalności władz publicznych. Należy jednak pamiętać, że oczekiwania formułowane wobec ewaluatorów nie ograniczają się wyłącznie do dostarczania ewidencji umożliwiającej prezentację efektów rządzenia. Oczekiwa-nia wobec ewaluacji zależą w znacznym stopniu od stawianych przed nią celów i wykorzystywanych metod.

Wedle typologii ewaluacji, opracowanej przez badaczy z Tavistock Institute (Th e Evaluation of Socio-Economic Development, 2003), przyjmuje się, że ewaluacja służy następującym celom:• planowaniu działań publicznych i zapewnieniu efektywności wykorzystania

zasobów


• rozliczalności, rozumianej jako dostarczenie dokumentacji przekonującej o skutecznej realizacji celów.

• doskonaleniu implementacji działań publicznych (poprawa realizacji i zarzą-dzania działań publicznych)

• dostarczaniu wiedzy o uwarunkowaniach i sposobach realizacji działań pu-blicznych

• wzmocnieniu instytucjonalnym podmiotów realizujących polityki i programy publiczne. Istotnym kryterium podziału jest także dominująca metodologia stosowana

w ewaluacji. Badacze z Tavistock Institute wyróżniają 5 dominujących podejść metodologicznych:• alokacja zasobów (metody oceny efektywności wykorzystania zasobów)• standardy i cele (metody pozwalające na określanie kryteriów sukcesu)• formatywne (metody umożliwiające monitorowanie interwencji i dokonywa-

nie bieżących zmian)• interpretacje (metody pozwalające na wyodrębnienie czynników wyjaśniają-

cych efekty i szerszy wpływ interwencji)• partycypacja (metody pozwalające na określanie udziału społeczności czy in-

teresariuszy).Zastosowanie kryterium celu i kryterium dominującej metodologii pozwoliło

na wyróżnienie 5 typów ewaluacji: • ewaluacja ekonomiczna koncentrująca się na planowaniu działań publicznych

i zapewnieniu efektywności wykorzystania zasobów, wykorzystująca metody oceny efektywności

• ewaluacja wykonania działań publicznych, koncentrująca się na dostarczaniu dokumentacji przekonującej o skutecznej realizacji celów, wykorzystująca me-tody pozwalające na określanie kryteriów sukcesu działań publicznych

• ewaluacja formatywna, koncentrująca się na doskonaleniu zarządzania dzia-łaniami publicznymi, wykorzystująca metody umożliwiające monitorowanie interwencji i dokonywanie bieżących zmian

• ewaluacja przyczynowa (wyjaśniająca mechanizmy szerszej zmiany społecz-nej), koncentrująca się na dostarczaniu wiedzy o uwarunkowaniach i spo-sobach realizacji działań publicznych, wykorzystująca metody pozwalające na wyodrębnienie czynników wyjaśniających rezultaty i szerszy wpływ inter-wencji

• ewaluacja partycypacji społecznej, koncentrująca się na rozwoju instytucji, polegającym przede wszystkim na stworzeniu stałych relacji z jej otocze-niem społecznym, wykorzystująca metody pozwalające na określanie udziału w działaniach publicznych zainteresowanych społeczności czy interesariuszy.

Zdaniem autorów powyższej typologii, jedynie ewaluacja wykonania działań publicznych jest bezpośrednio powiązana z rozliczalnością władz publicznych, umożliwiając dostarczenie dokumentacji przekonującej o skutecznej realizacji

54 Robert Sobiech

celów działań publicznych. Przyjmując szersze interpretacje rozliczalności, można sądzić, że również każdy z pozostałych typów ewaluacji jest użytecznym instru-mentem rozliczalności. Szczególne znaczenie posiada tu ewaluacja ekonomicz-na, dostarczająca rekomendacji do optymalnego wykorzystania ograniczonych funduszy publicznych. Wraz z pogłębianiem się defi cytu demokracji kluczową kwestią staje się prowadzenie ewaluacji partycypacji społecznej, umożliwiającej oceny udziału społeczeństwa w działaniach publicznych, tworzenie stałych relacji zrozumienia i zaufania pomiędzy władzą a partnerami społecznymi czy kształto-wania poczucia wpływu na sprawy publiczne.

EWALUACJA A REFORMY SEKTORA PUBLICZNEGO

Historia badań ewaluacyjnych wskazuje, że ocena efektów działań publicz-nych, analizy ich efektywności i analizy partycypacji społecznej stanowiły kolejne etapy reform sektora publicznego prowadzonych w okresie ostatnich kilkudzie-sięciu lat.

Zdaniem Radina, oczekiwania dokumentowania efektów działalności władz publicznych najtrafniej charakteryzują debatę wokół sektora publicznego w ostat-nich dekadach XX wieku (Radin, 2000). Badacze zagadnienia wskazują, że ocze-kiwania te stanowią rezultat złożonego zestawu czynników. W znacznej części są one efektem bezprecedensowej ekspansji sektora publicznego, ingerującego w co-raz to nowe obszary życia społecznego czy gospodarczego (Peters, 1999). Szeroki zakres interwencji publicznych i ich znaczące koszty w wielu krajach wywołały pytania dotyczące skuteczności działań publicznych. Szczególnie silnie pojawiały się one w sytuacjach fi aska reform społecznych bądź ich negatywnej recepcji spo-łecznej. Utrzymująca się niechęć obywateli do ponoszenia nowych obciążeń, przy jednoczesnym braku zgody na ograniczenie zakresu i jakości usług i świadczeń publicznych, była impulsem do rozpoczęcia analiz efektywności gospodarowania środkami publicznymi. Wyrażane coraz powszechniej niezadowolenie z funkcjo-nowania instytucji publicznych, wzmacniane przykładami skandali i afer, owo-cowało społeczną presją na wprowadzenie w życie zasad przejrzystości, a przede wszystkim szeroko rozumianej rozliczalności władz publicznych. Konieczność realizacji zasady rozliczalności stała się podstawą do przeprowadzenia istotnych reform zarządzania sektorem publicznym . Szczególną cechą tych reform było znaczące zwiększenie obszaru pomiaru rezultatów prowadzonej działalności, wy-korzystanie złożonych metod badawczych oraz zwiększona widoczność publiczna tego typu przedsięwzięć, przekładające się na trwałą obecność procedur legislacyj-nych wymuszających odpowiedzialność władz za wyniki podejmowanych działań (Heinrich 2003, Gore 1993, Politt i Bouckaert 2000). Przykłady amerykańskiego Goverment Performance and Results Act (GPRA) czy brytyjskiego Next Steps, wdra-żanych w latach 90., przekonują, że wymienione powyżej czynniki przyczyniły się


do wypracowania instytucjonalnych rozwiązań skłaniających menadżerów spraw publicznych do systematycznej refl eksji nad rezultatami działań, dostarczających wiedzy o przyczynach sukcesu lub niepowodzeń oraz stanowiących podstawę do usprawnienia procesu planowania polityk publicznych.

Należy pamiętać, że reformy sektora publicznego wdrażane obecnie przez większość państw zachodnioeuropejskich czy północnoamerykańskich opierały się na doświadczeniach wcześniejszych programów zmian instytucji publicznych. Badacze zagadnienia lokują pierwsze próby oceny funkcjonowania administracji publicznej w okresie przełomu XIX i XX wieku (Heinrich C. 2003), wskazując m.in. na pomysły naukowego zarządzania sektorem publicznym formułowane przez Woodrowa Wilsona czy pojawiające się w materiałach amerykańskiej Ko-misji ds. Ekonomii i Efektywności (1910). Po II wojnie światowej w Stanach Zjednoczonych problematyka skuteczności działań sektora publicznego stała się przedmiotem systematycznych analiz prowadzonych przez kolejne komisje. Działająca w latach 50. Komisja Hoovera, analizując strukturę i wyniki działania rządu USA, rekomendowała wykorzystanie wyników badań nad sektorem pu-blicznym do procesów doradzania i podejmowania decyzji w agencjach rządo-wych. Jednym z efektów pracy komisji było opracowanie i wdrożenie programu reform znanego pod nazwą Planning, Programming, Budgeting System (PPBS), realizowanego w latach 60. PPBS zawierał m.in. rozwiązania wykorzystujące wy-niki analiz i ewaluacji programów rządowych w planowaniu działań publicznych. Równolegle wdrażano też rozwiniętą przez Petera Drukera koncepcję Zarzą-dzania przez Cele (Management by Objectives), zwiększającą zrozumienie celów i wiedzę o sposobach ich osiągania przez pracowników sektora publicznego oraz przyczyniającą się do lepszej koordynacji celów działań publicznych.

Wspomniane reformy wywarły znaczący wpływ na poprawę funkcjonowania instytucji publicznych. Tym niemniej wskazywano, że usprawnienie działalności dotyczyło przeważnie samych organizacji i w niewielkim tylko stopniu przekła-dało się na skuteczne wprowadzanie szerszych zmian społecznych. Stąd też coraz częściej przyznawano, że „systemy zamknięte”, koncentrujące się na doskonale-niu efektywności samych organizacji, powinny być uzupełnione rozwiązaniami uwzględniającymi złożone, wielowymiarowe relacje organizacji z ich otoczeniem i analizy szerszych efektów działań publicznych. Przykładem takiego rozwiązania była koncepcja Total Quality Management, rozszerzająca zainteresowanie mena-dżerów sektora publicznego o kwestie jakości świadczonych usług czy ich recepcji przez wybranych odbiorców. Ewaluacja działań publicznych odwoływała się tu do pogłębionej analizy efektów rejestrowanych w szerszym otoczeniu społecznym.

Świadomość, że sprawne funkcjonowanie samych instytucji, mierzone między innymi wskaźnikami wyników czy efektywnym wykorzystaniem zasobów, jest jedynie warunkiem wstępnym skutecznych interwencji społecznych, była punk-tem wyjścia do kolejnych zmian w funkcjonowaniu administracji publicznej.

56 Robert Sobiech

W miarę upływu czasu coraz większe znaczenie przywiązywano do analizy re-zultatów działań publicznych i ich oddziaływania na zmniejszenie dolegliwości problemów społecznych czy wpływu na rozwój społeczny i gospodarczy. Pierwsze próby włączenia analizy szerszych zmian społecznych w instytucjonalny system planowania i ewaluacji polityk publicznych pojawiały się m.in. w regulacjach amerykańskiego Job Training Partnership Act, wprowadzonego przez administra-cję Reagana na początku lat 80. Stosowany w nim system oceny uwzględniał nie tylko tradycyjne wskaźniki bezpośrednich rezultatów (outputs), jak liczbę odbytych szkoleń czy liczbę osób przeszkolonych, ale także wskaźniki efektów (outcomes), w rodzaju liczby osób podejmujących pracę czy zwiększenia dochodów osób objętych interwencją. W tym samym czasie podobne założenia przyjmowali autorzy brytyjskiej koncepcji Value for Money, wyznaczającej do dziś zasady oceny funkcjonowania sektora publicznego.

Analiza efektów działań publicznych stanowiła także jeden z podstawowych komponentów koncepcji New Public Management , sformułowanej najpełniej w połowie lat 90. w pracy Davida Osborna i Teda Geablera „Rządzić inaczej” (Re-

inveting Government). Przedstawione w niej zasady, jakimi powinny kierować się władze publiczne, wskazywały zarówno na konieczność analiz wyników działal-ności, jak też postulowały uspołecznienie polityk publicznych, ich decentralizację, kierowanie się interesem odbiorcy, wprowadzenie konkurencji i wykorzystanie mechanizmów rynkowych. New Public Management wywarł znaczący wpływ na polityków w wielu krajach, stanowiąc punkt wyjścia do głębokich przeobrażeń sektora publicznego, począwszy od reform zapoczątkowanych przez administra-cję Clintona (wspomniany wcześniej Government Performance and Results Act, GPRA), do reform administracji prowadzonych w znaczącej części państw Eu-ropy Zachodniej, Australii czy Nowej Zelandii.

Zmiany zachodzące w sektorze publicznym nie wynikały jedynie z dążenia do usprawnienia funkcjonowania instytucji publicznych i zwiększania skuteczno-ści rządowych programów i polityk. Szczególnie w ostatniej dekadzie punktem wyjścia przy podejmowaniu kolejnych reform było głębokie przewartościowanie roli władz publicznych.

Nowa wizja władz publicznych opiera się w znaczącej części na koncepcji rozliczalności. Rozliczalność władz publicznych nie ogranicza się wyłącznie do odpowiedzialności prawnej, polegającej na przestrzeganiu obowiązujących prze-pisów i procedur, czy odpowiedzialności fi nansowej, regulującej sposób wyda-wania funduszy publicznych. Obejmuje ona także odpowiedzialność ze efekty podejmowanych działań, nakładającą na władze obowiązek dokumentowania efektów prowadzonej działalności i systematycznego informowania o osiągnię-tych wynikach zarówno zainteresowanych grup, jak i opinii publicznej. Nowa wizja władz publicznych zakłada też zmianę tradycyjnej wizji sprawowania wła-dzy. Zgodnie z koncepcją governance , rządzenie (a raczej współrządzenie) jest procesem, w którym społeczeństwo wykorzystuje władzę, autorytety i wpływy


do wprowadzenia polityk i decyzji dotyczących życia publicznego i zmian spo-łecznych. W takim rozumieniu istotnym elementem oceny działań publicznych jest udział obywateli w procesie planowania i wdrażania polityk publicznych, jak i zdolność władz do wykorzystania istniejących zasobów społecznych i budowy kapitału społecznego.

Popularność powyższych koncepcji w znaczący sposób kształtuje rozwiąza-nia instytucjonalne, w tym rozwiązania dotyczące ewaluacji działań publicznych. W wielu państwach wypracowane w ostatnim okresie strategie i procedury ewa-luacji wykraczają znacznie poza krąg wąsko rozumianych technicznych analiz i diagnoz. Jakkolwiek profesjonalna wiedza i umiejętności związane z oceną działań publicznych są w każdym przypadku podstawą istniejących rozwiązań, stanowią one jednakże element szerszego systemu odpowiadającego wymogom stawianym obecnie władzom publicznym, w tym przede wszystkim oczekiwa-niom rozliczalności.

EWALUACJA JAKO ELEMENT SYSTEMU ROZLICZALNOŚCI WŁADZ PUBLICZNYCH – PRZYKŁAD KANADY

Jednym z interesujących przykładów łączących realizację zasady rozliczalności z systemem oceny efektów działań publicznych są rozwiązania przyjęte w admi-nistracji publicznej Kanady.

Kluczowym dokumentem przedstawiającym szeroką wizję rządzenia, zgodną z wartościami liberalnych demokracji, odpowiadającą oczekiwaniom społecznym i wymogom skutecznego zarządzania sprawami publicznymi jest rządowa stra-tegia „Rezultaty dla Kanadyjczyków” (Results for Canadians)1. Zgodnie z założe-niami strategii, rząd pełni służebną rolę wobec obywateli Kanady, kierując się we wszystkich swoich działaniach potrzebami obywateli, osiąganiem wyznaczonych rezultatów, promując dyscyplinę, pracowitość i efektywność w wykorzystywaniu funduszy publicznych. Wypełnianie oczekiwań społecznych i zapewnienie wyso-kiej jakości usług publicznych, wymaga spełnienia 4 kluczowych warunków: 1. koncentracji na problemach i potrzebach obywateli (citizens focus) w planowa-

niu, realizacji i ocenie działań rządu2. kierowania się wartościami demokratycznymi i profesjonalnymi standardami

etycznymi,3. koncentracji na osiąganiu rezultatów i informowaniu o osiągniętych efektach

opinii publicznej i polityków w prosty i zrozumiały sposób4. rozsądnego wydatkowania funduszy publicznych, polegającego na łączeniu

kosztów programów rządowych z ich rezultatami.

1 http://www.tbs-sct.gc.ca/report/res_can/rc_1_e.asp#seca

58 Robert Sobiech

Spełnienie dwóch ostatnich warunków wymaga stworzenia solidnego, pro-fesjonalnego zaplecza umożliwiającego ocenę rezultatów działań władz publicz-nych, a także instytucjonalnego systemu pozwalającego na wykorzystanie poten-cjału ewaluacyjnego w pracy administracji publicznej.

Pierwsze koncepcje wprowadzające formalny obowiązek prowadzenia ewa-luacji powstały blisko 30 lat temu. Od tego czasu system ewaluacji ulegał wielu modyfi kacjom, wynikającym zarówno ze zmieniających się koncepcji zarządzania sektorem publicznym, jak i z doświadczeń wykorzystania ewaluacji. Ewaluacja w administracji publicznej Kanady stanowi kluczowy element struktury rozli-czalności (Canadian Government Accountability Structure), będącej z kolei częścią szerszej strategii zarządzania opartego na wynikach, realizowanej przez rząd ka-nadyjski od połowy lat 90.

System ewaluacji oparty jest na trzech instytucjach: Audytora Generalnego (Auditor General), Tresury Board oraz ministerstwach i agencjach rządu federal-nego (Evaluation in Government of Canada, 2004). Audytor Generalny, instytu-cja będąca odpowiednikiem polskiej Najwyższej Izby Kontroli, jest powoływany przez Parlament i odpowiada przed nim. Do jego zadań należy prowadzenie niezależnego audytu instytucji rządowych, sporządzanie cyklicznych raportów dotyczących prowadzenia ewaluacji przez administrację kanadyjską oraz promo-wanie przykładów dobrych rozwiązań i idei odpowiedzialności.

Kluczową rolę odgrywa Treasury Board, która jest instytucją odpowiedzialną za wydatki budżetowe oraz za zarządzanie i politykę personalną kanadyjskiej służby publicznej. Opracowuje ona politykę dotyczącą fi nansowych, personal-nych i administracyjnych zadań rządu, zatwierdza projekty wydatków rządowych i dokonuje oceny realizowanych programów rządowych. Treasury Board pełni dwie funkcje: rządowego komitetu ds. wydatków budżetowych oraz komitetu ds. zarządzania. W skład Treasury Board wchodzą ministrowie rządu federalnego (minister fi nansów oraz 4 ministrów powołanych przez premiera). Treasury Board jest jedynym komitetem rządowym posiadającym własną administrację. Organem administracyjnym jest Treasury Board Secretariat, który posiada status samodziel-nej agencji rządowej. Zadaniem Sekretariatu jest defi niowanie i rozwój nowo-czesnych koncepcji rządzenia (governance) na szczeblu federalnym i wspieranie rządu kanadyjskiego w efektywnym zarządzaniu istniejącymi zasobami. Stąd też Sekretariat pełni funkcje swoistego centrum opracowującego i promującego standardy i zasady prowadzenia ewaluacji przez instytucje administracji central-nej. Jego zadaniem jest także wzmacnianie zasobów instytucjonalnych instytucji rządowych niezbędnych do prowadzenia ewaluacji, a także integrowanie analiz dotyczących monitorowania i bieżącej oceny wyników (performance management) z badaniami ewaluacyjnymi.

Jednym z najważniejszych zadań Sekretariatu jest opracowanie strategii doty-czącej ewaluacji działań publicznych (Evaluation Policy, 2001). Strategia, zmody-fi kowana w 2001 roku, zawiera zarówno założenia efektywnego gospodarowania


środkami publicznymi, jak i stanowi punkt wyjścia do rozwiązań wdrażanych w całej administracji. Jedną z podstaw wyznaczających strategię ewaluacji jest koncepcja zarządzania opartego na rezultatach (managing for results), które sta-nowi jeden z podstawowych obowiązków wyższych urzędników administracji publicznej. Wedle tej koncepcji są oni odpowiedzialni za defi niowanie oczeki-wanych rezultatów, koncentrowanie się na efektach prowadzonych działań, syste-matyczne i obiektywne pomiary wykonania realizowanych zadań oraz za zwięk-szanie skuteczności i efektywności prowadzonych programów i polityk. Zgodnie z przyjętymi założeniami, gromadzenie obiektywnych i pozyskiwanych z rzetel-nych źródeł informacji dotyczących prowadzonych działań w znaczącym stopniu pomaga w podejmowaniu efektywnych decyzji dotyczących polityk, programów i inicjatyw realizowanych przez rząd Kanady na rzecz swoich obywateli.

Kanadyjska strategia ewaluacji opiera się na 3 podstawowych zasadach funk-cjonowania służby publicznej. Wedle pierwszej z nich menadżerowie służby pu-blicznej odpowiedzialni są zarówno za osiąganie zamierzonych rezultatów, jak i za odpowiednie informowanie o efektach prowadzonych działań. Zgodnie z drugą zasadą, jednym z najważniejszych instrumentów realizacji tak postawionych za-dań jest rzetelna i obiektywna ewaluacja. Wreszcie prowadzenie ewaluacji oraz zapewnienie ich odpowiedniej jakości jest obowiązkiem poszczególnych mini-sterstw wpieranych przez Sekretariat Treasury Board.

Strategia formułuje dwa podstawowe cele wykorzystania ewaluacji w sektorze publicznym, jakim służyć ma ewaluacja. Pierwszy z nich to pomoc menadże-rom w projektowaniu polityk, programów i inicjatyw. Drugim celem jest dostar-czanie okresowych ocen efektywności polityk i programów, analiz planowanych i nieplanowych efektów oraz alternatywnych sposobów osiągania zaplanowanych celów.

Trzecim elementem systemu ewaluacji są ministerstwa rządu federalnego. Ewaluacja prowadzona przez ministerstwa odbywa się zazwyczaj w wielowymia-rowym otoczeniu i zakłada współpracę z różnymi podmiotami zaangażowanymi w realizację publicznych polityk i programów: administracją rządową i samo-rządową, sektorem prywatnym i sektorem pozarządowym. Stąd też zadaniem poszczególnych ministerstw jest włączenie ewaluacji do procesów zarządzania działaniami publicznymi, które powinno umożliwić:• opracowanie systemu zarządzania politykami i programami publicznymi

opartego na rezultatach i zasadzie rozliczalności• wprowadzenie procedur monitorowania i pomiaru wykonania zadań • dokonanie oceny przebiegu początkowych faz działań publicznych, w tym

działań realizowanych z udziałem partnerów zewnętrznych (ewaluacja for-matywna lub ewaluacja końcowa)

• ewaluację w oparciu o kryteria adekwatności (relevance) osiągniętych rezulta-tów i efektywności ekonomicznej.

60 Robert Sobiech

W takim rozumieniu ewaluacja stanowi nieodłączny element funkcjonowania instytucji publicznych, dostarczając wiedzy o skutkach podejmowanych działań i efektywnych sposobach osiągania planowanych zmian. Przyjmuje się, że ewa-luacja jest jednym z istotnych instrumentów zarządzania sektorem publicznym, dostosowanym do specyfi cznych potrzeb poszczególnych ministerstw. Warun-kiem włączenia ewaluacji do funkcjonowania administracji publicznej jest m.in. klarowny podział zadań, opracowanie jednoznacznych standardów oceny, a także wspieranie rozwoju wiedzy i umiejętności oceny działań publicznych. Szcze-gólną rolę odgrywa tu Sekretariat Treasury Board, dostarczając innym urzędom przykładów dobrych praktyk, ustalając standardy ewaluacji, monitorując zasoby umożliwiające prowadzenie ewaluacji oraz wykorzystując wyniki ewaluacji do usprawnienia procesu podejmowania decyzji na szczeblu centralnym. • W każdym z ministerstw wyznacza się wiceministra odpowiedzialnego za

prowadzenie ewaluacji działań urzędu. Do jego zadań należy zapewnienie odpowiednich zasobów umożliwiających włączenie ewaluacji w procesy za-rządzania oraz dostosowanie ewaluacji do potrzeb i możliwości ministerstwa. W każdym z ministerstw powołuje się dyrektora ds. ewaluacji (senior head of

evaluation), odpowiedzialnego za prowadzenie badań ewaluacyjnych i współ-pracę z kadrą zarządzającą przy włączaniu ewaluacji do zadań poszczególnych jednostek organizacyjnych. Istotnym elementem systemu jest także komitet ewaluacyjny, kierowany przez wysokiego urzędnika służby cywilnej.

Kadra kierownicza w poszczególnych ministerstwach, zgodnie z zasadami za-rządzania opartego na rezultatach, powinna wykorzystywać istniejące procedury ewaluacyjne do upewnienia się, czy dysponuje rzetelnymi i obiektywnymi infor-macjami niezbędnymi w procesie podejmowania decyzji oraz wykorzystywania wyników ewaluacji przy określaniu priorytetów i planowaniu działań publicznych.

Niezbędnym elementem prowadzenia ewaluacji jest współpraca resortu z Se-kretariatem Treasury Board, polegająca m.in. na udostępnianiu planów ewaluacji i wyników ewaluacji oraz sygnalizowaniu pojawiających się problemów dotyczą-cych efektywnego zarządzania działaniami publicznymi

W opracowaniu strategii ewaluacji w poszczególnych ministerstwach istotną rolę odgrywa Model Zarządzania Opartego na Rezultatach i Odpowiedzialności (Results-based Management and Accounability Framework – RMAF) przygotowany przez Treasury Board Secretariat (Guide 2001). Zakłada się, że wdrożenie RMAF powinno przyczynić się do stworzenia:• stabilnej struktury współrządzenia (governance) – zawierającej przejrzyste za-

sady podziału kompetencji i zadań pomiędzy najważniejszymi „udziałowcami” programu czy polityki

• modelu logicznego, zawierającego przemyślaną koncepcję ukazującą, jak do-stępne zasoby mogą przyczynić się do osiągnięcia oczekiwanych celów, prze-


myślaną sekwencję działań oraz zakładane relacje pomiędzy wynikami rezul-tatami a szerszym oddziaływaniem polityk i programów publicznych

• strategii monitorowania prowadzonej działalności (performace measurement), pozwalającej na pomiar rezultatów, na określanie postępu i wprowadzenie bie-żących zmian

• planu ewaluacji prowadzonych działań publicznych, • odpowiedniej formuły informowania o osiągniętych rezultatach.

Opracowanie powyższego modelu wspiera zarówno szanse porozumienia po-między zainteresowanymi instytucjami, jak i poprawia jakość zarządzania. Zale-cenia zawarte w modelu RMAF podkreślają, że ocena rezultatów prowadzonej działalności nie jest działaniem jednorazowym (Guide for Development of Result-

based Management and Accountability Frameworks, 2001) Rozpoczyna się ona wraz planowaniem działań publicznych, przechodząc przez fazy monitorowania i ewa-luacji formatywnej do ewaluacji końcowej. Autorzy modelu RMAF wyróżniają 9 etapów takiego procesu:

1. zrozumienie potrzeby mierzenia efektów prowadzonej działalności2. opracowanie profi lu programu czy polityki3. opracowanie instrumentów pomiaru4. przygotowanie strategii zbierania danych5. stworzenie systemu zbierania informacji i danych6. dokonanie wstępnego pomiaru i prezentacja wyników7. analiza wyników i wprowadzenie niezbędnych modyfi kacji8. przeprowadzenie ewaluacji formatywnej – koncentrującej się na implementa-

cji i zarządzaniu programem lub polityką 9. przeprowadzenie ewaluacji końcowej – dokonanie oceny planowanych efek-

tów.

Opracowanie samego modelu ma miejsce na etapach 1–4. Podstawowym za-daniem jest tu uzyskanie zgody wszystkich uczestniczących stron, dotyczącej za-równo profi lu programu czy polityki, a przede wszystkim spodziewanych efektów i sposobów ich pomiaru. Etapy 5–7 obejmują wdrożenie modelu RMAF, stano-wiąc jednocześnie podstawę do prowadzenia ewaluacji. Zakłada się, że urzędnicy odpowiedzialni za program czy politykę uczestniczą we wszystkich fazach reali-zacji modelu. Decydują oni o zgodności modelu z polityką resortu i adekwatności do planowanych i realizowanych polityk i programów. Odpowiadają także za prawidłowy sposób zbierania i prezentowania danych.

Oprócz udziału urzędników w większości etapów pożądany jest udział spe-cjalistów. Tak np. eksperci od ewaluacji odgrywają kluczową rolę na etapach 8 i 9. Ich obecność jest także wysoce pożądana w pierwszych dwóch stadiach oma-wianego procesu. Tak np. służą oni pomocą w opracowaniu modelu logicznego,

62 Robert Sobiech

wskaźników i wyborze właściwej metodologii. Z kolei eksperci od zarządzania informacją są niezbędni w etapach 4 i 5.

Projekt modelu RMAF jest opiniowany przez analityków Sekretariatu Treasu-

ry Board przed ostatecznym zatwierdzeniem przez właściwego ministra i przeka-zaniem go do Treasury Board. Charakterystyka modelu zawarta jest w zwięzłym opracowaniu (liczącym zazwyczaj od 10 do 30 stron).

RMAF jest instrumentem pozwalającym zarówno na mierzenie wyników re-alizacji zadań, jak też na ewaluację długofalowych efektów prowadzonej polityki. Kluczowymi elementami modelu są:1. profi l polityki/programu2. model logiczny3. strategia monitorowania i analizy wyników prowadzonej działalności (ongoing

perfomance measurment strategy)4. strategia ewaluacji 5. procedury raportowania.

1 PROFIL POLITYKI/PROGRAMU

Zawiera zwięzłą charakterystykę polityki, programu lub projektu, pozwala-jącą na zrozumienie specyfi ki interwencji, oczekiwanych efektów, sposobów ich osiągnięcia oraz kontekstu społecznego planowanych działań. Stąd też istotnymi częściami profi lu są opisy:• źródeł polityki czy programu, wskazujących na potrzeby wyznaczające specy-

fi kę planowanych interwencji• sposobów realizacji, przedstawiających role i zadania poszczególnych podmio-

tów, a także metody dotarcia do adresatów • zasobów, pozostających w dyspozycji organizacji realizujących politykę czy

program, oraz ich wykorzystania w fazie realizacji,• benefi cjentów polityki czy programu, w tym przede wszystkim charakterysty-

kę odbiorców i klientów• planowanych rezultatów, • fi nalnych efektów, zazwyczaj celów strategicznych lub długofalowych korzyści

uzyskiwanych przez obywateli• struktury zarządzania, ze szczególnym uwzględnieniem najważniejszych

udziałowców, ich roli i zakresu wykonywanych zadań.

Opracowanie profi lu ma miejsce przede wszystkim we wstępnych fazach pro-jektowania polityki czy programu. Wykorzystuje się tu istniejąca dokumentację i diagnozy. W wielu przypadkach niezbędne jest także prowadzenie dodatkowych badań czy zebranie nowych informacji. Istotnym elementem są także konsultacje z udziałowcami, prowadzone zazwyczaj w formie wywiadów bądź grupowych dyskusji. Stanowią one cenną weryfi kację zamierzeń autorów, pozwalając na do-


konanie niezbędnych korekt. Dostarczają także informacji o zakresie akceptacji

strategicznych celów programu wśród najważniejszych partnerów.

2 MODEL LOGICZNY

Model logiczny przedstawia sposób, w jaki proponowane działania mają do-prowadzić do osiągnięcia oczekiwanych efektów. Model jest swego rodzaju „mapą drogową” ilustrującą powiązania pomiędzy działaniami a oczekiwanymi rezul-tatami oraz określającą etapy, których osiągnięcie jest koniecznym warunkiem realizacji kolejnych faz polityki czy programu. W przejrzysty sposób przedstawia on logikę i powiązania planowanych interwencji menadżerom zainteresowanych resortów i ich otoczeniu, stanowiąc punkt odniesienia dla opracowania strate-gii monitorowania i ewaluacji. Opracowanie modelu jest zazwyczaj wspólnym przedsięwzięciem kadry kierowniczej resortu i ekspertów od ewaluacji. Omawia-ny model pomija działania związane z funkcjonowaniem organizacji (np. zakupy sprzętu, zatrudnianie pracowników), a także szczegółowe działania operacyjne dotyczące realizacji polityki czy programu (Guide for Development of Result-based

Management and Accountability Frameworks, 2001). Podstawowymi elementami modelu logicznego są: wkład (input), określający

zasoby niezbędne do przeprowadzenia interwencji, działania (activities), wyniki (outputs), rezultaty bezpośrednie (immediate outcomes), rezultaty pośrednie (inter-

mediate outcomes) oraz rezultat końcowye (fi nal outcome).Zalecaną metodą opracowania modelu są grupowe dyskusje prowadzone

w gronie osób odpowiedzialnych za planowanie i realizację danej polityki czy pro-gramu. Dyskusje te, przybierające w zależności od wielkości złożoności interwen-cji, postać 2–3 spotkań, prowadzone są zazwyczaj przez ekspertów ewaluatorów.

3 STRATEGIA MONITOROWANIA I ANALIZY WYNIKÓW PROWADZONEJ DZIAŁALNOŚCI

Analiza wyników prowadzonej działalności oparta jest na systematycznym gromadzeniu informacji wykorzystywanych do monitorowania danej polityki czy programu. Pierwszym etapem jest opracowanie zestawu wskaźników służących do oceny przebiegu programu, osiągniętego postępu, w stosunku do celów zawar-tych w modelu logicznym. Pomiar wyników jest podstawowym narzędziem bie-żącego zarządzania polityką lub programem, stanowiąc jednocześnie instrument wczesnego ostrzegania o nieprawidłowościach w ich realizacji. Model RMAF przewiduje opracowanie do 3 wskaźników odpowiadających każdemu z rezulta-tów i efektów zawartych w modelu logicznym.

Ważnym elementem jest opracowanie koncepcji gromadzenia informacji. Koncepcja oparta na opracowanych uprzednio wskaźnikach określa także czas pomiaru, metody gromadzenia informacji i instytucje odpowiedzialne. Umożli-wia również ocenę kosztów związanych z gromadzeniem danych. Dla każdego

64 Robert Sobiech

wskaźnika ustala się źródło danych, sposób gromadzenia i częstotliwość pomiaru. W zależności od rodzaju interwencji wykorzystuje się zarówno istniejące dane instytucjonalne, jak i wskaźniki specyfi czne dla danej polityki czy programu, wy-magające wprowadzenia odrębnych metod badawczych (np. panele ekspertów, wywiady zogniskowane, sondaże itp.). Istotnym źródłem danych są także ist-niejące statystyki, badania społeczne czy ekonomiczne. W przypadku większości interwencji dokonuje się także wyboru najbardziej istotnych wskaźników, kierując się kryteriami rzetelności, trafności i efektywności.

4 STRATEGIA EWALUACJI

Strategia ewaluacji stanowi najważniejszą część modelu RMAF, umożliwiają-cą ocenę wpływu polityki czy programu na pojawienie się oczekiwanych zmian. Zazwyczaj zawiera ona dwa typy ewaluacji, prowadzone na różnych etapach przebiegu (cyklu) programu lub polityki. Pierwszy z nich stanowią ewaluacje formatywne (formative evaluation), dokonywane w trakcie przebiegu programu czy implementacji polityki. Koncentrują się one na zagadnieniach zarządzania i służą do wprowadzania koniecznych korekt oraz zapewnienia prawidłowej re-alizacji głównych celów interwencji. Ewaluacje końcowe (summative evaluation), dokonywane są natomiast po zakończeniu interwencji, zazwyczaj w okresie mak-symalizującym szanse pojawienia się długoterminowych efektów. Dostarczają one informacji o zaistniałych zmianach, wyjaśniając w jakim stopniu stanowią one efekty zrealizowanych polityk lub programów.

Niezbędnym elementem strategii ewaluacji jest określenie najważniejszych problemów i pytań wyznaczających przedmiot zainteresowania ewaluacji. Proble-my dotyczą zazwyczaj szerszych kwestii będących przedmiotem analiz, pytania koncentrują się na zagadnieniach metod i technik badawczych. Sformułowanie problemów i pytań ewaluacji wyznacza zarówno rodzaj danych wykorzystywa-nych do oceny efektów, jak i sposobów ich gromadzenia.

Strategia ewaluacji umożliwia także połączenie w jedną całość koncepcji mierzenia wyników działalności i ewaluacji efektów interwencji. Niezależnie od specyfi ki polityk czy programów, podstawowymi zagadnieniami pojawiającymi się w każdej strategii są: • adekwatność (relevance) interwencji do priorytetów ministerstwa i rządu i ist-

niejących potrzeb społecznych • skuteczność – ocena możliwości osiągnięcia planowanych celów (i minimali-

zowania skutków ubocznych) przy wykorzystaniu dostępnych środków • efektywność fi nansowa \ – ocena interwencji jako optymalnego sposobu osią-

gnięcia zamierzonych rezultatów w stosunku do poniesionych nakładów.


Przy określaniu problemów i pytań ewaluacji wykorzystuje się różne metody i techniki badawcze. Punktem wyjścia jest zazwyczaj analiza istniejących do-kumentów rządowych dotyczących danej polityki czy programu. Użytecznym narzędziem są także wywiady z decydentami i udziałowcami, pozwalające na określenie dominujących oczekiwań osób bezpośrednio związanych z analizowa-ną interwencją. Zebrany materiał stanowi podstawę do sporządzenia listy proble-mów i pytań ewaluacyjnych. Zazwyczaj nie jest możliwe włączenie do ewaluacji wszystkich deklarowanych problemów. Stąd też kolejnym etapem jest dokona-nie wyboru problemów uznanych za najważniejsze kwestie będące przedmiotem ewaluacji.

Problemy i pytania wyłonione w poprzedniej fazie umożliwiają określenie da-nych koniecznych do przeprowadzenia ewaluacji. Wykorzystuje się tu m.in. dane i informacje określone w strategii pomiaru wyników prowadzonej działalności. Przy wyborze danych stosuje się zazwyczaj kryteria trafności i wiarygodności wskaźników oraz efektywność procesu pomiaru i gromadzenia danych.

Kolejnym elementem strategii ewaluacji jest określenie procedur gromadzenia danych. Procedury zbierania danych określają źródło, z którego pochodzić będą dane , metodę i częstotliwość ich gromadzenia. Na tym etapie ustala się także szacunkowe koszty zbierania i gromadzenia danych. Istotnym elementem jest powiązanie gromadzenia danych z okresem, w którym będą zadawane pytania ewaluacji, a także z przewidywanymi metodami badawczymi. Zazwyczaj wyko-rzystuje się dane pochodzące z 3 podstawowe źródeł:• dane urzędowe (istniejące i dane zbierane na potrzeby ewaluacji danego pro-

gramu czy polityki)• pierwotne źródła danych (zazwyczaj chodzi tu o dane ze specjalistycznych

badań, sondaży, wywiadów zogniskowanych, paneli ekspertów itp.)• wtórne źródła danych (dane zgromadzone dla innych celów, które mogą być

wykorzystane do oceny efektów, np. dane urzędów statystycznych dotyczące zdrowia, edukacji czy ekonomii).

5 PROCEDURY RAPORTOWANIA

Ostatnim elementem systemu RMAF jest ustalenie form i sposobów syste-matycznego informowania o przebiegu monitoringu i ewaluacji. Odbiorcami cy-klicznie przygotowywanych raportów są zarówno wyżsi urzędnicy odpowiadający za planowanie i wdrożenie danej polityki czy programu, jak również inne zainte-resowane agencje rządowe oraz szerokie grono zewnętrznych udziałowców.

66 Robert Sobiech

EWALUACJA W POLSKIEJ ADMINISTRACJI PUBLICZNEJ – WYBRANE REKOMENDACJE

Trwająca do 1989 roku izolacja Polski od procesów rozwoju sektora publicz-nego, zachodzących w większości państw demokratycznych, wywarła znaczący wpływ na zainteresowanie ewaluacją działań publicznych. W czasie gdy inne kraje podejmowały szeroko zakrojone debaty i wdrażały reformy administracji publicznej, w Polsce zagadnienia te były znane jedynie bardzo wąskiej grupie osób zainteresowanych ekspertów. Sytuacja ta w niewielkim stopniu zmieniła się na początku lat 90. Konieczność budowy instytucji demokratycznego państwa w warunkach wielości problemów społecznych wymagających szybkiej interwen-cji sprawiła, że przez wiele lat władze publiczne zainteresowane były przede wszystkim inicjowaniem niezbędnych interwencji społecznych i tworzeniem niezbędnego porządku prawnego i instytucjonalnego. Nic więc też dziwnego, że kwestie analizy i oceny działań publicznych pozostawały przez dłuższy czas na marginesie zainteresowań polityków i administracji publicznej. Dodatkowym czynnikiem przyczyniającym się do utrwalenia opisywanego stanu rzeczy była ograniczona podaż ekspertyz i badań oferujących niezbędne podstawy teore-tyczne i metodologiczne analizy efektów działań publicznych. Istotne znacze-nie odgrywał także fakt relatywnie niewielkiego zainteresowania problematyką analizy działań publicznych ze strony środowisk naukowych, przejawiający się m.in. znikomą obecnością badań i programów dydaktycznych. Wreszcie, w prze-ciwieństwie do wielu państw zachodnioeuropejskich, a przede wszystkim pół-nocnoamerykańskich, nie pojawiły się w Polsce ruchy społeczne usiłujące skłonić władze publiczne do większej przejrzystości, odpowiedzialności i związanej z tym konieczności analizy i publicznej prezentacji efektów podejmowanych działań. Brak oddolnej presji społecznej sprawił, że większość polskich debat publicznych koncentruje się nadal na kwestiach procedur i kosztów poszczególnych polityk czy programów, pomijając w większości zagadnienie ich rezultatów i szerszego wpływu na rozwój społeczno-ekonomiczny.

W okresie ostatnich kilku lat obserwujemy rosnące zainteresowanie zagada-niem analizy działań publicznych, w tym w szczególności zagadnieniem ewa-luacji. Jednym z najbardziej istotnych powodów są wymogi Unii Europejskiej, nakładające na administrację obowiązek ewaluacji projektów i programów fi nan-sowanych ze środków unijnych. Stąd też instytucje odpowiedzialne za zarządza-nie programami europejskimi wypracowały szereg rozwiązań umożliwiających prowadzenie ewaluacji. Niewiele natomiast wiadomo o prowadzeniu ewaluacji pozostałych programów i polityk realizowanych przez polską administrację rzą-dową i samorządową. Potoczna obserwacja sugeruje, że w większości ministerstw i urzędów centralnych ewaluacje te posiadają zazwyczaj incydentalny charakter i wydają się być bardziej konsekwencją indywidualnych decyzji niż efektem szer-szych instytucjonalnych rozwiązań.


Choć pierwsze próby ewaluacji działań publicznych przez polską administra-cję są w znacznej mierze wynikiem procesów integracji europejskiej, w nieodległej przyszłości nieuniknione wydaje się pojawienie się szerszej debaty dotyczącej rozliczalności władz publicznych za dokumentowanie efektów prowadzonych polityk i programów. Doświadczenia innych państw wskazują, że przedstawienie takiej dokumentacji nie będzie możliwe bez stworzenia instytucjonalnego syste-mu oceny działań publicznych.

Przedstawiony w niniejszym opracowaniu system ewaluacji w administracji kanadyjskiej nasuwa pytanie o możliwości wprowadzenia podobnie trwałych rozwiązań w administracji polskiej. Rozwiązania kanadyjskie wskazują także na zagadnienia i problemy, które powinny być przedmiotem szerszej refl eksji przy budowie polskiego systemu oceny działań publicznych. Do najważniejszych kwe-stii należałoby zaliczyć: • Stworzenie instytucjonalnych ram, określających instytucje odpowiedzialne,

role i zadania poszczególnych ministerstw i mechanizmy koordynacji. Szcze-gólnie istotne wydaje się być określenie instytucji odpowiedzialnej za prowa-dzenie ewaluacji i rozwój potencjału ewaluacyjnego oraz określenie autonomii poszczególnych ministerstw. Jak do tej pory wyznaczanie polityk i programów będących przedmiotem ewaluacji i rozwój potencjału ewaluacyjnego dotyczy niemal wyłącznie działań fi nansowanych z funduszy Unii Europejskiej i ogra-nicza się do kompetencji Ministerstwa Rozwoju Regionalnego. Ważnym ele-mentem przyszłego systemu instytucjonalnego, obejmującego działania całej administracji rządowej, jest określenie relacji pomiędzy administracją rządową a instytucjami kontrolującymi administrację (Najwyższa Izba Kontroli) oraz relacji pomiędzy administracją a parlamentem.

• Określenie ról i zadań związanych z prowadzeniem ewaluacji w ramach po-szczególnych ministerstw. Podział kompetencji w ramach ministerstw powi-nien w sposób szczególny uwzględniać mechanizmy wykorzystania wyników ewaluacji w planowaniu przyszłych działań, konsultacji z partnerami społecz-nymi czy dostępu do danych i informacji. Ważnym elementem jest także określenie zasad fi nansowania ewaluacji.

• Opracowanie, w porozumieniu z środowiskiem naukowym, podstawowych procedur i standardów prowadzenia ewaluacji. Niezbędnym elementem było-by także wypracowanie mechanizmów pozwalających na bieżącą modyfi kację i doskonalenie standardów umożliwiających wykorzystanie nowych koncep-cji i metod oferowanych przez szeroko rozumiane nauki społeczne. Zasady współpracy ze środowiskiem naukowym powinny także regulować kwestie dotyczące kontraktowania ewaluacji zewnętrznych oraz procedury umożli-wiające włączenie wyników ewaluacji w cykl planowania przyszłych działań publicznych.

• Ważnym elementem systemu jest także opracowanie zasad szkolenia pracow-ników administracji uczestniczących w przygotowaniu polityk i programów

68 Robert Sobiech

publicznych oraz w ich ewaluacji. Celem takich szkoleń byłoby zarówno do-starczanie aktualnej wiedzy i umiejętności pozwalających na prowadzenie ewaluacji wewnętrznej, jak i na optymalne wykorzystanie zasobów i wiedzy zewnętrznych środowisk eksperckich.

• Niezbędnym elementem systemu byłoby także wypracowanie rozwiązań umożliwiających przekazywanie informacji o wynikach ewaluacji szerokie-mu gronu zainteresowanych osób i instytucji. Pożądane jest, aby informacje o wynikach ewaluacji włączone zostały w wewnętrzny (resortowy i między-resortowy) system komunikacji, umożliwiający optymalne wykorzystanie wniosków przy planowaniu przyszłych działań publicznych. Wysoce wska-zane jest także określenie zasad udostępniania wyników ewaluacji innym instytucjom publicznym (parlament, instytucje kontrolne), jak i szerokiemu gronu interesariuszy poszczególnych polityk (sektor prywatny, organizacje po-zarządowe, samorząd lokalny czy media). Szczególne znaczenie posiada tak-że wypracowanie rozwiązań pozwalających na systematyczne przedstawianie wyników oceny działań publicznych opinii publicznej.Wypracowaniu przedstawionych powyżej rozwiązań musi towarzyszyć sys-

tematycznie prowadzone przekonywanie pracowników administracji publicznej do potrzeby i korzyści płynących ze stosowania ewaluacji. Jak wykazują liczne badania i analizy dotyczące wykorzystywania ewaluacji, obawa przed wprowa-dzeniem różnych form oceny działań publicznych i niezrozumienie jej celów sta-nowią znaczące ograniczenie funkcjonowania nawet najlepiej zaprojektowanych rozwiązań instytucjonalnych.

Ewaluacja polityk publicznych i planowanie działań publicznych w oparciu o obiek-

tywną ewidencję empiryczną muszą konkurować z innymi czynnikami, takimi jak

doświadczenie praktyczne, utarte formy podejmowania decyzji przez osoby odpowie-

dzialne za planowanie polityk i ich implementacje. Wartości, przekonania i ideologie,

wyznaczające obszar, w którym podejmowane są decyzje dotyczące polityk publicznych,

są istotnymi czynnikami, z którymi przychodzi zmagać się przy prowadzeniu ewalu-

acji działań publicznych. Niedocenianie znaczenia i wpływu tych czynników prowa-

dzi do uzyskania zniekształconego obrazu polityki ewaluacji (Davies P. 2004).

Zainteresowanie personelu administracji publicznej stabilnością organizacji, mak-

symalizowaniem budżetu i promowaniem korzystnego wizerunku przyczyniają się do

utrzymywania się dążenia do powstrzymywania się od prowadzenia ewaluacji, która

może przedstawić w złym świetle działania prowadzone przez urząd czy agencję. Li-

teratura dotycząca „polityki ewaluacji” pokazuje, że dominacja nominacji politycznych

na najwyższych stanowiskach w administracji i będący jej konsekwencją krótki okres

zatrudnienia najwyższych urzędników, kieruje ich zainteresowanie na krótkotermi-

nowe efekty zapewniające polityczne zyski, odwracając uwagę od szerszych kwestii,

które są przedmiotem oddziaływania programów publicznych (Schwartz R. 2002).


Powyższe cytaty, oparte na doświadczeniach innych administracji publicznych, trafnie charakteryzują problemy polskiego sektora publicznego. Wprowadzenie ewaluacji jako instytucjonalnego rozwiązania, będącego stałą częścią procedur administracji publicznych, wiąże się z radykalną zmianą rutynowych zachowań i przyjęciem nowej perspektywy funkcjonowania władz publicznych. Nic więc też dziwnego, że zarówno politycy, jak i znaczna część urzędników zdecydowa-nie preferują tradycyjne rozumienie rozliczalności, ograniczone do rozliczalności fi nansowej (np. wykonanie budżetu), rozliczalności prawnej (zgodność działań z obowiązującymi przepisami) czy przestrzegania norm etycznych. Taką interpre-tację wspierają często media, koncertując swoje zainteresowanie na procedural-nych niedociągnięciach czy naruszaniu standardów etycznych. Nic więc też dziw-nego, że przeciętny obywatel postrzega sektor publiczny bądź jako nieczytelny system biurokratycznych decyzji (np. kolejne unieważniane przetargi na budowę mostów czy autostrad), bądź jako miejsce zbędnych wydatków czy nepotyzmu polityków (np. zakup kolejnych samochodów dla ministerstw czy zatrudnianie najbliższej rodziny w agencjach rządowych). Tradycyjne rozumienie rozliczal-ności i brak instytucjonalnych systemów monitorowania i ewaluacji sprawiają, że przedmiotem publicznego zainteresowania nie są utracone zyski wynikające z kolejnego opóźnienia budowy dróg czy zmiany pojawiające się w wyniku reali-zacji programu rządowego.

W tej sytuacji, zrozumiały wydaje się entuzjazm komentatorów politycznych uznających 54% frekwencję w wyborach parlamentarnych z 2007 roku za efekt wyjątkowej mobilizacji społecznej.

BIBLIOGRAFIA

ABELSON J., GAUVIN F.P. (2004), Transparency, Trust and Citizen Engagement. What Cana-

dians Are Saying About Accountability. Research Report P/05, Public Involvement Network,

December 2004.

AUCOIN, P., HEINTZMAN, R. (2000), Th e dialectics of accountability for performance in public

management reform. International Review of Administrative Sciences, vol. 66, no. 1, March

CLARK J. (2003) Worlds Apart, Earthescan, London.

DALTON R.J, GRAY M. (2003) Expanding the Electoral Marketplace [w:] Cain B.E., Dalton R.J.,

Scarrow S.E. (red.) Democracy Transformed, Oxford University Press: 2003.

DAVIES P., (2004) Policy Evaluation in the United Kingdom. Paper presented at the KDI Inter-

national Policy Evaluation Forum ,Seoul, Korea May, 2004.

Evaluation in Government of Canada (2004), REL Solutions Inc.

Evaluation Policy (2001), Treasury Board of Canada Secretariat.

GORE A. (1993) Creating Government that Works Better and Costs Less, New York Penquin

Books.

Guide for Development of Result-based Management and Accountability Frameworks (2001) Treasury

Board of Canada Secretariat.

HEINRICH C, (2003) Measuring Public Sector Performance and Eff ectiveness [w:] Peters G., Pierre

John Handbook of Public Administration Sage Publications, London.

70 Robert Sobiech

KEARNS K. (2003), Accountability in Seamle: Economy w: Peters G., Pierre John Handbook of Public

Administration Sage Publications, London.

MACKAY K. (1999) Evaluation Capacity Development: A Diagnostic Guide and Action Framework.

World Bank, ECD Working Paper Series no. 6.

MACKINNON M., MAXWELL J., ROSELL S., SAXENA N. (2003) Citizens’ Dialogue on

Canada’s Future: A 21st Century Social Contract, Canadian Policy Research Network.

MARTINEZ, M.D. (2005) Does Turnout Decline Matter? Electoral Turnout and Partisan Choice in

Britain. Paper presented at the annual meeting of the Southern Political Science Association.

MC ALLISTER I., Political junkie? You’ve got company. http://www.abc.net.au/unleashed/stories/

s2032886.htm).

OSBORNE D., GAEBLER T. (1992) Rządzić inaczej, Media Rodzina of Poznań. Poznań.

PETERS G. (1999) Administracja publiczna w systemie politycznym, Scholar Warszawa.

POLLIT C.H., BOUCKAERT G.(2000) Public Management Reform. A Comparative Analysis,

Oxford, Oxford University Press.

RADIN B. (2000) Beyond Machiavelli. Policy Analysis Comes of Age, Washington, Georgetown

University Press.

ROMZEK B., INGRAHAM P. (2000) Cross Pressures on Accountability Initiative, Command and

Failure in the Ron Brown Plane Crash. Public Administration Review 60(3).

SCHEDLER A. (1999) Conceptualizing Accountability w: Schedler A, Diamond L., Plattner M.

Th e self-restraining state. Power and accountability in new democracies, Lynne Rienner Publi-

shers.

SCHWARTZ R. (2002) Politics of Evaluating Government, http://www.europeanevaluation.org,

/docs/13schwartz.pdf.

Spojrzenie na demokrację po wyborach parlamentarnych – komunikat CBOS, Warszawa, listopad

2007.

Th e Evaluation of Socio-Economic Development (2003), Tavistock Institute.

WATTENBERG M.P. (2000) Th e Decline of Party Mobilization w: Dalton R.J., Wattenberg M.

P. Parties Without Partisans: Political Change in Advanced Industrial Democracies, Oxford Uni-

versity Press:, Oxford

Jarosław Górniak, Magdalena Jelonek, Karolina Keler,

Seweryn Krupnik, Janusz Wachnicki, Barbara Worek

Ocena projektów i programów: wybrane techniki badawcze i ich zastosowanie

WPROWADZENIE

Właściwa ocena interwencji publicznych musi być oparta na adekwatnych i wiarygodnych danych. Dane te mogą pochodzić z różnorodnych źródeł i mogą być zbierane za pomocą różnorodnych technik. Możemy więc wykorzystywać dane pochodzące z systemu monitoringu, pamiętając jednakże, że samo projek-towanie tego systemu musi być ściśle powiązane z projektowaniem ewaluacji, tak aby system ten dostarczał danych użytecznych z punktu widzenia osób zarządza-jących programem czy projektem. Podczas oceny wpływu danego przedsięwzię-cia na szersze otoczenie przydatne są dane ze źródeł wtórnych, tzw. wskaźniki społeczne, pochodzące z danych GUS, urzędów pracy itp. Jeśli natomiast dane pochodzące z monitoringu czy ze źródeł wtórnych nie pozwalają odpowiedzieć na stawiane przez nas pytania badawcze, konieczne jest zebranie dodatkowych danych: ilościowych lub jakościowych. Aby wykorzystywane dane były wiarygod-ne i użyteczne, przy ich zbieraniu i przetwarzaniu należy przestrzegać podstawo-wych zaleceń metodologicznych, uwzględniać ich specyfi kę, zastosowanie, zalety i ograniczenia. Na tych właśnie kwestiach skupimy się w niniejszym rozdziale, omawiając problemy związane z pozyskiwaniem i wykorzystaniem różnego ro-dzaju danych w procesie ewaluacji.

Najpierw przedstawimy fundamentalne dla każdych badań ewaluacyjnych zagadnienie wskaźników, ich istoty, roli w pomiarze efektów działań oraz zasad stosowania. Pomiar efektów jest bowiem punktem wyjścia każdej ewaluacji, choć dalece nie wyczerpuje jej zadań. Ustalenie wartości wskaźników wymaga zgroma-dzenia danych z różnych źródeł. Samo ustalenie wskaźników wymaga zaś często badań jakościowych, które dobrze pozwalają zrozumieć istotne aspekty rozwiązy-wanych przez programy problemów. Następnie przejdziemy do omówienia zna-

72 J. Górniak, M. Jelonek, K. Keler, S. Krupnik, J. Wachnicki, B. Worek

czenia, jakie w procesie ewaluacji pełnią dane pochodzące ze źródeł wtórnych, potem zaś omówimy zasady pozyskiwania danych jakościowych i ilościowych w badaniach reaktywnych, to znaczy opartych na kontakcie z respondentem, przedstawiając najważniejsze zalecenia metodologiczne oraz wybrane techniki, które mogą być szczególnie przydatne w procesie ewaluacji.

Ewaluacja może mieć różne cele. Jedną z istotniejszych decyzji w procesie jej przeprowadzania jest wybranie metody badawczej, która będzie najlepiej służyć realizacji raz wybranego celu. Wiedza na temat różnych metod badawczych po-dobna jest więc do znajomości zawartości skrzynki z narzędziami. Zależnie od problemu, z którym mamy się zmierzyć, powinniśmy być w stanie wybrać odpo-wiednie narzędzie. Im bogatsza i większa jest znajomość różnych metod i technik badawczych, tym większe prawdopodobieństwo osiągnięcia postawionego celu.

W polskim kontekście zarówno uwarunkowania formalno-prawne, jak i brak doświadczeń z zamawianiem badań ewaluacyjnych sprawiają, że wybrany ich wykonawca nie zawsze zapewnia wysoką jakość (choć może zapewnić najniższą cenę). Dlatego też znajomość różnych metod jest istotna nie tylko dla samych badaczy, ale także dla osób czy też instytucji zamawiających badanie.

Już na wstępie silnie podkreślamy konieczność wykorzystywania wszystkich omawianych metod badań. Ich mocne i słabe strony są wzajemnie znoszone przez jednoczesne wykorzystanie, wzmacniając podstawę formułowanych wnio-sków. Spór o wyższość takiego czy innego podejścia nie ma sensu. Wszystkie mają swoje miejsce w procesie badania ewaluacyjnego. Dlatego ewaluator powinien być dobrze przygotowany do profesjonalnego korzystania z pełnego repertuaru metodologii badań.

ILOŚCIOWY POMIAR EFEKTÓW – WSKAŹNIKI W EWALUACJI

W ewaluacji dane zbiera się po to, by ocenić efekty programu czy projek-tu, lub po to, by lepiej zrozumieć sam proces wdrożenia i realizowane działa-nia. Wszystkie te zjawiska opisuje się z perspektywy zbioru wyróżnionych cech. Każda z takich cech przybiera operacyjnie postać wskaźnika , choć w kontekście ewaluacji przywykliśmy traktować wskaźniki jako miary osiągnięć związane ściśle ze stawianymi przed programem osiągnięciami. Zanim przejdziemy do technik badawczych, które przynoszą określone dane, warto poświęcić uwagę właśnie wskaźnikom, bo to między innymi ich wartości w wyniku badań ewaluacyjnych staramy się ustalić i zinterpretować. Choć z użyciem wskaźników w ewaluacji wiąże się wiele wątpliwości, postaramy się pokazać, że zadanie włączenia ich w proces ewaluacji jest prostsze, niż się wydaje. Warto „odczarować” wskaźniki, gdyż nie wiąże się z ich użyciem żadna wiedza tajemna. Znajomość kilku pod-stawowych kwestii powinna umożliwić dokonanie oceny zestawu wskaźników

Ocena projektów i programów: wybrane techniki badawcze i ich zastosowanie 73

pod kątem ich poprawności i odpowiedniości dla celów ewaluacyjnych. Aby móc skorzystać z dobrodziejstw, jakie przynoszą wskaźniki, trzeba, z jednej strony, rozumieć ich funkcje oraz typowe sposoby wykorzystania, a z drugiej – znać potencjalne zagrożenia i nieporozumienia i ich unikać.

JAK ROZUMIEĆ SŁOWO „WSKAŹNIK”?

Samo pojęcie wskaźnika przysparza kłopotów defi nicyjnych, postaramy się zatem zaprezentować znaczenie tego terminu w niezbyt ortodoksyjny metodo-logicznie sposób, ale za to w taki, aby był on intuicyjnie zrozumiały i by móc wskazać jego najważniejsze charakterystyki, istotne w kontekście pomiaru efek-tów w ewaluacji. Mówiąc najogólniej wskaźnik w ewaluacji zwykle dotyczy okre-ślonych zbiorowości, służy temu, by opisać daną zbiorowość, by uchwycić jakąś jej konkretną charakterystykę, dodajmy – jedną z wielu. Zwykle interesuje nas więcej niż jedna charakterystyka, stąd często posługujemy się więcej niż jednym wskaźnikiem.

Zbiory charakteryzowane przez wskaźniki najczęściej – w omawianym kon-tekście – składają się z ludzi (np. bezrobotni, benefi cjenci programu, mężczyźni), ale mogą się składać z przedsiębiorstw, organizacji czy nawet jednostek admini-stracyjnych (gmin, powiatów itp.). Niezależnie od tego, co składa się na zbioro-wość, wskaźnik ma za zadanie ją opisać pod jakimś względem. Mamy w zakresie dokonania takiego opisu dwie możliwości: (1) możemy bezpośrednio spróbować to zrobić na poziomie zbiorowości lub (2) uzyskać informacje o poszczegól-nych elementach zbiorowości, a następnie w jakiś sposób je zsumować (mówiąc ogólnej: zagregować), by uzyskać wartość dla całej zbiorowości. Np. możemy (1) oszacować „na oko” poziom bezrobocia (np. wysoki, przeciętny, niski) albo (2) zliczyć ilość osób bezrobotnych.

Wskaźniki ujmują cechy badanej zbiorowości. Pozwalają opisać zbiorowość pod jakimś względem

PRZYKŁAD: interesuje nas zbiorowość mieszkańców województwa małopolskiego

pod względem zagrożenia wykluczeniem społecznym.

Zakładamy, że cztery cechy: poziom dochodów, wykształcenia, zadowolenia ze stanu zdrowia, zatrudnienia

są najważniejszymi cechami, które mają wpływ na zagrożenie wykluczeniem społecznym.

Musimy zatem ująć te cztery cechy przy pomocy wskaźników.

(1) W pierwszym przypadku, gdy nie odwołujemy się do zmierzonych cech jednostek składających się na zbiorowość, potrzebujemy „eksperta” (lub grupy ekspertów), który przypisze określoną zbiorowość do danej kategorii jakiejś cechy. Najczęściej zrobi to porównując badaną zbiorowość do innych, np. aby określić


jakość nauczania (zła, przeciętna, dobra) danej szkoły, najpierw spróbuje doko-nać pogrupowania szkół w danym regionie od najgorszej do najlepszej i na tej podstawie oceni, jak scharakteryzować badaną szkołę (czyli np. zespół uczniów, nauczycieli i pomocy dydaktycznych). Jak łatwo się domyślić, takie zadanie nie jest łatwe, można mieć też zastrzeżenia co do słuszności takiego postępowania.

(2) Drugie rozwiązanie jest bardziej popularne, a sama procedura dokonania opisu jest przynajmniej z założenia jawna i może być poddana dyskusji. Pierw-szą możliwość należy traktować raczej jako „deskę ratunku” i warto wymagać od ekspertów wyjaśnienia, na jakiej podstawie dokonali opisu. W tym miejscu sku-pimy się na drugiej z podanych możliwości. W ewaluacji interesują nas działania, które zostały podjęte, by zrealizować dany cel. Działania te mają zmienić sytuację pewnej zbiorowości. Załóżmy, dla przykładu, że chodzi o grupę ludzi, np. osób w wieku 50+. Możemy określić na podstawie badań, czy dana osoba (w wieku 50+) posiada dostęp do Internetu, jak często czyta książki, czy napotyka trudności w wykonywaniu codziennych czynności wynikające ze stanu zdrowia itp. W opar-ciu o posiadaną informację możemy określić, jaki procent osób w wieku 50+ nie posiada dostępu do Internetu i stwierdzić następnie, że np. w danym regionie w roku 2000 było to 90%, a w roku 2008 jest to 73%. Na podstawie agregacji informacji dotyczących jednostek uzyskujemy pewną charakterystykę. Zmiany w zakresie danej charakterystyki dla danej zbiorowości możemy np. interpretować jako efekt wpływu ewaluowanego działania, sprawdzając przy okazji, czy inne czynniki mogły mieć wpływ na tę zmianę. Warto wspomnieć o tym, że agregując dane z poziomu jednostek zbiorowości możemy wykorzystać informacje o jed-nego typu jednostkach, 1) tak jak w powyższym przykładzie, ale możemy też 2) łączyć informacje o różnych zbiorowościach ludzi, np. uczniów i nauczycieli – np. liczyć średnią liczbę uczniów przypadającą na jednego nauczyciela w kra-kowskich szkołach średnich (liceach ogólnokształcących), a 3) także jednocześnie wiązać ze sobą informacje o zbiorowościach ludzi i rzeczy niematerialnych – np. licząc liczbę komputerów na jednego ucznia w danej szkole.

Wspomnieliśmy, że wskaźnik ma opisać zbiorowość pod jakimś względem. Dobrze jest pamiętać, że wskaźnik – jako narzędzie pomiaru, uzyskania informa-cji na temat pewnej cechy zbiorowości, pozwalającej opisać tę zbiorowość – za-wsze dotyczy jakiejś cechy, którą musimy zdefi niować. Musimy wiedzieć, że np. interesuje nas poziom ubóstwa w powiatach, by móc określić wskaźnik ubóstwa. Zawsze powinniśmy sobie zadać pytanie, czym jest to, na co ma wskazać, po-zwolić opisać – wskaźnik. Zwykle po samej nazwie danego wskaźnika łatwo jest określić, czego on dotyczy. Np. wskaźnik rezultatu dotyczy rezultatu, wskaźnik wpływu – wpływu, wskaźnik zatrudnienia – zatrudnienia. Bez zrozumienia czym jest – w tym przypadku – rezultat, wpływ czy zatrudnienie nie możemy ani zro-zumieć defi nicji wskaźnika, ani móc ocenić jego poprawność czy przydatność.


CO CHCEMY MIERZYĆ? WSKAŹNIKI A ZAŁOŻONE CELE I EFEKTY DZIAŁAŃ

Wskaźniki mają umożliwić pomiar (opisanie w kategoriach liczbowych) efektów podejmowanych działań. Logiczne zatem wydaje się omówienie tego, co będzie takim „efektem”. Co chcemy opisać, zmierzyć przy pomocy wskaźni-ków? Efekt to wynik jakiegoś działania czy innego procesu. Ponieważ w ewa-luacji mamy do czynienia z działaniami celowymi, ukierunkowanymi na jakiś cel, w pierwszej kolejności chcemy sprawdzić, czy osiągnięty efekt zgodny jest z tym, co zostało zaplanowane. Zatem koncentrujemy się na pomiarze tego, czy cel został osiągnięty.

Idąc tym tropem, musimy wyjaśnić znaczenie słowa „cel”, skoro wskaź-nik ma zmierzyć to, czy cel został czy nie został osiągnięty. Powiązanie miedzy wskaźnikami a celami można rozumieć w ten sposób, że wskaźnik w ewaluacji – w najprostszym przypadku – przyjmuje dwie wartości, wskazuje na dwie al-ternatywne kategorie: „sukces” (osiągnięcie celu) i „brak sukcesu” (nieosiągnięcie celu). Częściej1 jednak wskaźnik pokazuje, „w jakim stopniu” cel został osiągnięty. Gdyż najpierw zmierzymy stopień realizacji celu, a dopiero później wskażemy granice, przy których możemy mówić o sukcesie – osiągnięciu celu. Takie zadanie jest o wiele trudniejsze niż ujęcie ilościowe poziomu realizacji celu, pokazanie „jak blisko” jesteśmy stanu idealnego (docelowego).

Celem jest określony stan rzeczy, który ma być wynikiem podjętych działań. Jest efektem dokonanej przy pomocy działań zmiany.

Rzeczywistość może przyjmować różne stany w różnych aspektach.

Wskaźnik pozwala nie tylko określić, czy w danym aspekcie cel został osiągnięty czy nie – pozwala też sprawdzić, czy cele zostały sformułowane poprawnie, czy dają się przełożyć na

konkretne aspekty rzeczywistości, które mają być zmieniane.

PRZYKŁAD: chcemy by zmniejszył się poziom bezrobocia w Polsce. Bezrobocie można ująć jako stopę bezrobocia rejestrowanego,

jako stopę bezrobocia deklarowanego, można przyjrzeć się stopie zatrudnienia.

Wybór wskaźnika może mieć znaczący wpływ na dookreślenie celu.

Celem jest – podkreślmy – pewien oczekiwany stan rzeczy, do którego powinny doprowadzić podejmowane działania, a nie samo dążenie, zamiar czy usiłowanie. Oczywiście projektodawcy będą ostatecznie proponować pewne działania, jed-nakże wszystkie osoby zaangażowane w program powinny mieć na uwadze cele tych działań i to te cele należy traktować jako naczelny punkt odniesienia. To stopień osiągnięcia celów jest przedmiotem ewaluacji. Trudności, jakie wiążą się z użyciem wskaźników w ewaluacji, mogą wskazywać na niedociągnięcia związa-ne z planami działań, które są ewaluowane. Jeżeli nie jest jasno określone, co jest celem działania, nie możemy określić tego, jakie charakterystyki rzeczywistości

1 Ponieważ dotyczy zbiorowości i ma zwykle charakter agregatu.


będą odzwierciedlać efekty działań. Nie określimy wskaźnika, gdy nie wiemy, co chcemy przy jego pomocy wskazać, zmierzyć. Prawdą jest, że nierzadko ustale-nie wskaźników do celów, podjęty wysiłek związany z ustaleniem celu w postaci mierzalnej, pozwala dookreślić cele, „zmaterializować” je, ukonkretnić, uczynić jaśniejszymi.

Szerzej o różnych rozumieniach określenia „cel” w obszarze polityk publicz-nych, programów społecznych i ewaluacji piszą Górniak i Keler2, zatem nie bę-dziemy się szerzej zajmować rozróżnieniem celów na: cele ogólne (goals), ope-racyjne cele interwencji (objectives) i planowane do osiągnięcia poziomy wskaź-ników efektów (targets). Cele interwencji dzieli się ponadto na: produkty, które są przejawem realizowanych działań; rezultaty, które są celami bezpośrednimi rozumianymi jako zmiana wywołana przez interwencję w docelowej grupie czy układzie; wreszcie oddziaływania, które są celami ujętymi w kategoriach szer-szych, wtórnych i odłożonych w czasie zmian wywołanych interwencją.

Najważniejsze w tym miejscu jest dla nas odróżnienie wartości celu rozu-mianego jako liczba (target) od wskaźnika, który przyjmuje postać zmiennej. Jak wiadomo, zmienna może przyjmować różne wartości liczbowe. Np. wskaźnik zatrudnienia – zmienna – może przyjąć wartość np. 70% w jednym regionie, 50% w innym. Nie oznacza to, że mamy do czynienia z dwoma wskaźnikami (liczbami), mamy do czynienia z jednym wskaźnikiem (zmienną), która może przyjąć różną wartość w zależności od badanej zbiorowości lub czasu badania. Planując projekty wskazujemy wartości wskaźników, które mają zostać osiągnięte, uzyskując w ten sposób wymierne i konkretne określenie celu.

Wskaźnik to nie liczba, wskaźnik przyjmuje wartości liczbowe dla określonej zbiorowości w określonym czasie – a więc potencjalnie może

przyjąć różne wartości liczbowe.

Dobór i opracowanie wskaźników umożliwiających uchwycenie rezultatów lub wpływu interwencji może wymagać głębokiej wiedzy eksperckiej. Jeśli jednak wskaźniki są dobrze dobrane i skonstruowane, osoby zaangażowane w realiza-cję, a także opinia publiczna, powinny mieć możliwość łatwego wykorzystania ich do oceny efektów swojej aktywności: analogicznie jak mało kto zna zasady konstrukcji licznika energii elektrycznej, a wszyscy bez problemu korzystają ze wskazań tego urządzenia3.

Produkty to zbiory wyników wytworzonych bezpośrednio przez podjęte dzia-łania, są to materialne przejawy działań. Ich wytworzenie nie oznacza jeszcze osiągnięcie celu w kategoriach zmiany na poziomie docelowych benefi cjentów.

2 Górniak J., Keler K. (2007), Wskaźniki w ewaluacji ex-post programów publicznych, w: Ewa-

luacja ex-post. Teoria i praktyka badawcza, pod redakcją Agnieszki Haber, Polska Agencja Rozwoju Przedsiębiorczości, Warszawa, s. 155–182.3 Jak się zdaje, dość podobna sprawa jest choćby z takimi powszechnie stosowanymi wskaźnika-mi, jak stopa bezrobocia lub infl acji.


Przykładem produktu jest liczba zrealizowanych szkoleń, sfi nansowanych inwe-stycji czy dokonanych konsultacji na jednego benefi cjenta. Identyfi kacja tego, co ma być produktem, jest bardzo prosta. Gdy nie jest – powinniśmy spojrzeć po-dejrzliwie na plan działań. Produkty są bowiem dokładnie określone w projekcie działań, bo na nie muszą być przeznaczone pieniądze. Bez rozpisanego budżetu, nie można sobie wyobrazić realizacji projektu. Produkty są też monitorowane standardowo w ramach sprawozdawczości.

Rezultat y są to bezpośrednie efekty, jakie chcemy osiągnąć dla zbiorowości benefi cjentów projektu czy programu, zmiana lub utrzymanie stanu rzeczy pod pewnym względem w tej zbiorowości. Na przykład chcemy, by biorący udział w programie bezrobotni uzyskali stałe zatrudnienie albo by objęte projektem osoby w wieku 50–60 lat pozostały aktywne zawodowo. Rezultaty winny być jasno określone w projekcie. Gdy nie możemy ich zdefi niować, a także ustalić dla nich wskaźników, można podejrzewać, że autorzy danego projektu czy programu nie bardzo wiedzą, co chcą osiągnąć poprzez swoje działania. Możemy mieć w takiej sytuacji podejrzenia, że skupili się na realizacji pewnych działań czy na produktach takich działań, a nie na ich celowości, sensowności.

Wpływ (oddziaływanie ) to efekt wykraczający poza zbiór benefi cjentów, to efekt społeczny naszych działań, dotyczący całej populacji (Komisja Europejska określa mianem wpływu także odłożone w czasie efekty w samej grupie docelo-wej benefi cjentów, co jednak jest dość wątpliwą kwalifi kacją, jednak ze względów formalnych – używaną). Wpływ ujmowany jest przy pomocy tak zwanych wskaź-ników społecznych, defi niowanych jako zmienne opisujące zbiorowość w celu określenia, czy jej kondycja jest dobra czy zła, czy zmiany zachodzą w dobrym czy złym kierunku4. Wskaźniki społeczne i zagadnienie wpływu są uwikłane w po-ważniejszą debatę na temat celów społecznych, wizji społecznego ładu, systemu zabezpieczeń socjalnych i dobrobytu. Dobrym przykładem z tego zakresu jest użycie różnie konstruowanych linii ubóstwa (normatywna, względna) czy przyj-mowanie rozmaitych skal ekwiwalentności przy wyliczaniu dochodu na jednostkę w gospodarstwie domowym. W zależności od tego, w jaki sposób będą mierzone efekty programu, różne kategorie społeczne będą traktowane jako ubodzy.

JAK MOŻNA WYKORZYSTAĆ WSKAŹNIKI? – BENCHMARKING I DEKOMPOZYCJA

Zasadniczo rzecz biorąc, wskaźniki dotyczące pewnych zbiorowości można wykorzystać w ewaluacji na dwa sposoby. W zasadzie – użyć nie tylko w ewaluacji, ale także podczas określania celów działania.

4 Bauer R.A. (red.) (1966), Social Indicators, THE M.I.T. PRESS, Massachusetts Institute of Technology, Cambridge, Massachusetts and London, England.


Benchmarking to porównywanie wartości wskaźnika dla badanej zbiorowości do 1) wartości osiągniętych przez inne konkretne zbiorowości lub

2) do przeciętnej wartości dla pozostałych zbiorowości (np. średniej wartości).

PRZYKŁAD: porównanie stopy zatrudnienia w Polsce 1) do kraju, który osiągnął najwyższą wartość i do kraju o najniższej wartości lub 2) do średniej stopy zatrudnienia w krajach Unii

Europejskiej lub w krajach „bloku wschodniego”.

Dekompozycja oznacza podział badanej zbiorowości na kilka części (na podzbiory) i porównanie wartości wskaźnika dla tych podzbiorowości.

PRZYKŁAD: porównanie stopy zatrudnienia w województwach, w grupach ze względu na płeć, wiek czy poziom wykształcenia.

Z jednej strony porównujemy wartości wskaźników w różnych zbiorowościach lub badanej zbiorowości do przeciętnej wartości w większej liczbie zbiorowości – jest to tzw. benchmarking (porównanie do wartości wzorcowej). Z drugiej strony – możemy podzielić badaną zbiorowość na przynajmniej dwie grupy i porów-nać wartości wskaźnika w obrębie tych podgrup, podzespołów, podzbiorowości – mamy wówczas do czynienia z dekompozycją.

ANALIZA DANYCH ZASTANYCH

W procesie ewaluacji istotne jest nie tylko określenie wskaźników, ale i za-silenie tych wskaźników danymi, czyli innymi słowy pozyskanie danych , które pozwolą nam ustalić poziom danego wskaźnika, np. wielkość stopy bezrobocia w powiecie. Jak wspomnieliśmy we wprowadzeniu, niezbędne w procesie ewa-luacji dane mogą pochodzić ze źródeł wtórnych i pierwotnych. Dane ze źródeł wtórnych, inaczej: dane zastane , to dane, które ktoś inny pozyskał dla innego celu niż nasz, dane pierwotne zaś zostały zebrane ściśle dla zaspokojenia naszych potrzeb informacyjnych. Szczególny rodzaj źródeł stanowią dane gromadzone w komputerowych systemach rejestrujących rozmaite operacje wykonywane w in-stytucjach czy gromadzonych przy okazji kontaktów z klientami tych instytucji (np. benefi cjentami projektów); dane takie będziemy dalej skrótowo określać mia-nem danych operacyjnych.

Analiza danych zastanych stanowi zazwyczaj pierwszy etap prac mających fi nalnie doprowadzić do sformułowania konkluzywnych wniosków odnośnie do ewaluowanego obszaru.

Jest to etap, dzięki któremu z jednej strony zdobywamy informacje potrzebne do odpowiedzi na szereg pytań ewaluacyjnych, z drugiej zaś strony, analiza da-nych zastanych często po raz pierwszy uświadamia nam, jaki jest obszar naszej niewiedzy, tym samym pokazując braki i niedociągnięcia w zaplanowanym sys-temie sprawozdawczości bądź pierwotnej koncepcji ewaluacji. Analiza danych


zastanych dla potrzeb ewaluacji powinna dostarczyć odpowiedzi na szereg pytań, takich jak:

Jakich danych brakuje? Czy na pewno są to informacje istotne? W jaki sposób najlepiej (i najtaniej) je zdobyć? Jakie informacje posiadamy? Na które z pytań ewaluacyjnych uda nam się odpowiedzieć w oparciu o dane zastane? Czy odpowiedź na te pytania jest wyczerpująca?

W niniejszej części skupimy się na pięciu obszarach problemowych, koniecz-nych do uwzględnienia i rozważenia podczas prowadzonej ewaluacji; te obszary to: etapy analizy danych zastanych, typy danych zastanych, zasady stosowane pod-czas analizy danych zastanych, najczęściej napotykane podczas takich analiz pro-blemy oraz zalety danych zastanych. Aby zbytnio nie uciekać w teoretyzowanie na temat kwestii praktycznych, teoria poparta zostanie konkretnymi przykładami zastosowania danych zastanych w potencjalnej ewaluacji działania II PO KL.

ETAPY ANALIZY DANYCH ZASTANYCH

Prowadząc ewaluację w oparciu o dane zastane trzeba przejść przez dwa po-czątkowe etapy5. Pierwszy z nich obejmuje zrozumienie uwarunkowań ewalu-owanego zagadnienia, drugi zaś zrozumienie i ocenę jakości dostępnych danych z perspektyw możliwości ich wykorzystania w ewaluacji, uwzględniające nie tylko techniczne aspekty jakości danych, ale także aspekty trafności i rzetelności danych w odniesieniu do informacji, które mają reprezentować. Wspomniane powyżej dwa etapy są kluczowe z punktu widzenia naniesienia oczekiwań (etap pierwszy) na możliwość ich realizacji w oparciu o istniejące dane (etap drugi).

W sytuacji pozytywnej weryfi kacji możliwości wykorzystania danych opera-cyjnych konieczne jest ich przygotowanie do postaci umożliwiającej ich wykorzy-stanie do pomiaru i monitorowania analizowanego zagadnienia. Przygotowanie takie poprzedza przejście do etapu ich analizy. Analiza ma celu pomiar i wery-fi kację, czy nastąpiły oczekiwane w ramach projektu zmiany i może wykorzy-stywać zarówno proste techniki analizy danych i raportowania, jak i korzystać z zaawansowanych technik modelowania analitycznego. Celem prowadzonych analiz może być nie tylko odpowiedź na pytania „jak jest”, ale też odpowiedź na pytanie „jak będzie”, czyli w jakim kierunku będą podążać zmiany wywołane przez projekt.

Wyniki prowadzonych analiz przed ich przekazaniem podlegają ocenie w oparciu o kryteria formalne i merytoryczne. Do pierwszych można zaliczyć np. zgodność z przyjętymi założeniami (czy analizie poddane zostały wszystkie

5 Poniższe etapy nawiązują do metodyki realizacji projektów data mining CRISP-DM.


planowane zagadnienia), do drugich – np. interpretowalność wyników (czy wy-niki analiz są klarowne, czy dostarczają istotnych informacji).

TYPY DANYCH ZASTANYCH NAJCZĘŚCIEJ ANALIZOWANE PODCZAS EWALUACJI PROJEKTÓW

Specyfi ka danych analizowanych podczas ewaluacji polityk publicznych po-zwala na względnie spójną kategoryzację tych danych na cztery typy ujęte w dwie klasy danych. Są to z jednej strony różnego rodzaju dokumenty i dane instytucji zaangażowanych w przedsięwzięcie (dokumentacja projektowa, system sprawoz-dawczości), jak i szereg danych zewnętrznych (raporty z wcześniejszych ewaluacji i wyniki innych badań prowadzonych w ewaluowanym obszarze, dostępne staty-styki publiczne). Podział ten przedstawiono na rysunku nr 1.

Rysunek 1. Typy danych zastanych najczęściej analizowane podczas ewaluacji projektów

Źródło: opracowanie własne

Zazwyczaj pierwszy krok ewaluatora, zwłaszcza w momencie oceny spójności i trafności programu, sprowadza się do analizy szeregu dokumentów i danych jed-nostek zarządzających przedsięwzięciem. W zależności od postawionych pytań ewaluacyjnych dokumenty te powinny obejmować: dokumenty opisujące priorytety i charakter programu (jak np. Szczegółowy Opis Priorytetów Programu Operacyjnego Kapitał Ludzki 2007–20136)

6 Szczegółowy Opis Priorytetów Programu Operacyjnego Kapitał Ludzki 2007–2013, Minister-stwo Rozwoju Regionalnego, Warszawa 2007.


dokumenty określające sposób realizacji programu (jak np. System Realizacji Programu Operacyjnego Kapitał Ludzki 2007–20137) dokumenty określające plan działania na poszczególne lata (jak np. Plan Dzia-łania na lata 2007–2008 dla Priorytetu: Rozwój zasobów ludzkich i potencja-łu adaptacyjnego przedsiębiorstw oraz poprawa stanu zdrowia osób pracują-cych8) dokumenty warunkujące budowany system sprawozdawczości (jak np. Zasady systemu sprawozdawczości Programu Operacyjnego Kapitał Ludzki 2007––20139).

Do omawianej kategorii zaliczyć ponadto należy wszelkie dokumenty powią-zane w sposób pośredni z analizowanym programem/priorytetem. Przykładowo jednym z częściej zadawanych pytań ewaluacyjnych jest pytanie o spójność ce-lów danego działania z szerszymi politykami i działaniami rządowymi/unijnymi w tej dziedzinie. Jeśli pozostaniemy w obszarze omawianego przykładu ewalu-acji działania II PO KL, to zasadna wydaje się analiza takich dokumentów jak: Strategia Lizbońska, Strategia Rozwoju Kraju czy Narodowa Strategia Spójności 2007–2013.

Oprócz analizy dokumentów programowych na tym pierwszym etapie na-leży dokonać przeglądu systemu sprawozdawczości danego programu. System ten analizowany jest zarówno z poziomu centralnego, jak i instytucji wdrażającej (o ile te dwa elementy nie są tożsame i zintegrowane). Dane te, wydawać by się mogło potencjalnie najbardziej spójne, przysparzają zazwyczaj zespołom badaw-czym sporych problemów natury analitycznej. Zarówno jakość, a czasem nawet sama dostępność pozostawiają wiele do życzenia, będąc uzależnionymi w wielu przypadkach od doświadczenia i rzetelności instytucji wdrażających, które zazwy-czaj przejmują odpowiedzialność za ich gromadzenie.

Równolegle z analizą danych pochodzących od jednostek zaangażowanych w przedsięwzięcie przebiega analiza danych zewnętrznych względem instytucji. Z jednej strony są to raporty z wcześniejszych ewaluacji (w szczególności ex-ante, choć prowadzonych nie tylko w analogicznym obszarze tematycznym), z drugiej wyniki badań, które mogłyby posłużyć potencjalnie jako podpora dla odpowiedzi na dane pytanie ewaluacyjne.

7 System Realizacji Programu Operacyjnego Kapitał Ludzki 2007–2013, Ministerstwo Rozwoju Regionalnego, Warszawa 2007. 8 Plan Działania na lata 2007–2008 dla Priorytetu: Rozwój zasobów ludzkich i potencjału ada-

ptacyjnego przedsiębiorstw oraz poprawa stanu zdrowia osób pracujących, Departament Wdrażania Europejskiego Funduszu Społecznego Ministerstwo Pracy i Polityki Społecznej, Warszawa 2007. 9 Zasady systemu sprawozdawczości Programu Operacyjnego Kapitał Ludzki 2007–2013, Minister-stwo Rozwoju Regionalnego, Warszawa 2007.


Kluczowym źródłem pozwalającym na uzyskanie informacji niezbędnych w procesie ewaluacji programów zawsze powinny być statystyki publiczne 10. Statystyki te pochodzą z urzędów statystycznych, urzędów pracy, administra-cji centralnej i lokalnej, stowarzyszeń branżowych. Statystyki te, pomimo swojej pozornej dostępności, niejednokrotnie nie spełniają kluczowego kryterium dla danych ewaluacyjnych – aktualności, gdyż są nieraz udostępniane dopiero po dwóch latach od zebrania danych. Specyfi ka funkcjonowania instytucji odpo-wiedzialnych za dostarczanie tych danych powinna być kolejnym elementem uwzględnianym podczas planowania systemu ewaluacji.

ZASADY, JAKIE NALEŻY STOSOWAĆ PODCZAS ANALIZY DANYCH ZASTANYCH

W niniejszym opracowaniu ograniczyliśmy się do uwzględnienia zaledwie trzech, jednak kluczowych zasad analizy danych zastanych, aby maksymalnie ograniczyć często skomplikowane i mało praktyczne wywody na ten temat.

Problemowe podejście do analizowanych danychPodstawową zasadą, która powinna rządzić naszym podejściem do procesu

zbierania i segregowania danych, jest zasada problemowego podejścia do analizy. W każdym przypadku to pytanie ewaluacyjne kieruje naszym działaniem i to ono jest głównym kryterium doboru takich a nie innych informacji. Niejednokrotnie, w celu lepszego uporządkowania materiału empirycznego, sporządza się w formie zestawienia tabelarycznego pytania postawione przez ewaluatora wraz z odnośni-kami do dokumentów, dostępnych danych czy raportów, w których znajduje się przynajmniej częściowe rozwiązanie nurtującego nas problemu.

Perspektywa porównawcza w analizie danych zastanychCzęstym błędem mniej wprawnych badaczy, porywających się na trudne za-

danie polegające na odpowiedzi na szereg, zazwyczaj skomplikowanych pytań ewaluacyjnych, jest wybiórczość w podejściu do dostępnych danych zastanych, warunkowana zapewne przez naturalną dla człowieka skłonność do potwierdza-nia własnych oczekiwań. Niejednokrotnie odnajdując odpowiedź na dane pytanie ewaluacyjne, przerywamy proces poszukiwania danych, zapominając o koniecz-ności weryfi kacji owej odpowiedzi przy użyciu danych alternatywnych.

Krytyczna ocena zgromadzonych danychDane zebrane dla potrzeb ewaluacji zanim wykorzystane zostaną jako infor-

macje, na których oprzeć można odpowiedź na konkretne pytanie ewaluacyjne, przejść powinny przez gruntowny proces weryfi kacji i oceny. Ocenie poddana

10 Za przykład posłużyć mogą badania takie jak: Badanie Aktywności Ekonomicznej Ludności (realizowane przez GUS, Badanie Budżetów Gospodarstw Domowych (GUS), Badanie Aktyw-ności Edukacyjnej Dorosłych (GUS).


powinna zostać dostępność, jakość, aktualność, a także adekwatność i skuteczność informacji jako potencjalnego źródła odpowiedzi na postawione pytanie.

Najczęściej napotykane problemyOmawiając zasady pracy z danymi zastanymi nie możemy zapomnieć o ele-

mentach zewnętrznych, problemowych, które z dużym prawdopodobieństwem napotkamy podczas gromadzenia i przetwarzania informacji. Problemy te naj-częściej pojawiają się w momencie porównywania informacji zawartych w wielu źródłach, podczas podejmowania prób ewaluacji naszych wyników w oparciu o inne dostępne dane.

Sytuacje, w których spotykamy się z barierą informacyjną, podzielić możemy na trzy główne typy: problemy związane z formą danych, dostępem do danych, a także ich brakiem.

Rysunek 2. Najczęściej napotykane problemy w procesie analizy danych zastanych


Bariery związane z formą danych łączą się zazwyczaj ze sposobem ich prze-tworzenia. Problemy z przekształceniem wskaźników z danych monitoringowych dla potrzeb wskaźnikowania celów danego działania niejednokrotnie wynikają właśnie z niedostępności danych o charakterze jednostkowym, które pojawić po-winny się w miejscu zagregowanych, niewiele mówiących nam wartości.

Dostępność danych (niejednokrotnie niechętnie udostępnianych ewaluato-rom) związana jest nie tylko z prosto rozumianym fi zycznym dostępem, ale też z dostępem do opisów metodologii badania niezbędnych do rzetelnej oceny da-nych.

Brak danych, uniemożliwiający jakąkolwiek próbę odpowiedzi na pytania ewaluacyjne, to nie tylko fi zyczny brak informacji, ale częściej charakterystyczny dla polskich realiów brak danych aktualnych, skazujący analityka na wykorzysta-nie danych, które – zwłaszcza w kontekście szybko zmieniającej się rzeczywistości – są w najlepszym wypadku niepewne.


ZALETY DANYCH ZASTANYCH

Zaletą korzystania z danych zastanych jest brak kosztów ich pozyskania. W praktyce koszt pozyskanie istnieje, jest on jednak poniesiony gdzie indziej lub rozkłada się na wielu odbiorców danych. W przypadku danych operacyjnych istnieje natomiast koszt dostosowania danych operacyjnych do potrzeb anali-tycznych.

Wskaźniki wyprowadzone w oparciu o dane zastane są zazwyczaj już ustabi-lizowane defi nicyjnie. Zazwyczaj ich defi nicje były już wielokrotnie walidowane i są już mocno zakorzenione w danej instytucji. O ile konieczne będzie budowanie nowych wskaźników, to ich składowe mogą już istnieć i stanowić dobrze ugrun-towany element praktyki analitycznej. Na przykład jeśli jakiś wskaźnik będzie wymagał użycia informacji o przychodach danej instytucji czy kosztach pewnych działań, to może się okazać, iż informacje są już od lat gromadzone, sposób ich wyliczenia jest znany i powszechnie akceptowany. Może się też okazać, że konieczna będzie redefi nicja danej składowej. Niemniej nawet w tym wypadku mamy od czego rozpocząć pracę, zaczynając np. od rozważań, co w ramach da-nego wskaźnika lub jego składowej funkcjonuje źle.

Analiza danych gromadzonych przez instytucje publiczne i używanych przez nie wskaźników może stać się inspiracją do uruchomienia projektów dwojakiego rodzaju. Pierwszy rodzaj projektów wynika z problemów dostrzeżonych za po-średnictwem analizy problemów, np. niepokojącego trendu w rozwoju zjawiska takiego jak stopa zatrudnienia, stopa bezrobocia lub proporcja szkolonych uzy-skujących certyfi katy kwalifi kacji. Celem projektu może być dokonanie istotnej zmiany dostrzeżonej tendencji. Sukces projektu będzie mierzony przy pomocy tych samych wskaźników, które pozwoliły zidentyfi kować problem. Mogą być one uzupełnione w razie potrzeby o dodatkowe wskaźniki, zwłaszcza jeśli dotychczas stosowane wskaźniki są zbyt ogólne lub nieprecyzyjne. Dostrzeżenie problemu w samej defi nicji, konstrukcji i wartości stosowanych wskaźników staje się in-spiracją do drugiego rodzaju projektów – mających za zadanie przebudowanie sposobu przetwarzania, analizy i wykorzystania danych w instytucji.

ZASTOSOWANIE METOD JAKOŚCIOWYCH W BADANIACH EWALUACYJNYCH

Mimo wielu zalet dane wtórne nie zawsze są wystarczające do uzyskania odpowiedzi na pytania, jakie postawiono w badaniach ewaluacyjnych. Czasem są potrzebne dane bardziej szczegółowe, czasem – głębsze zrozumienie jakichś procesów. Dane pochodzące z monitoringu mogą nam przykładowo wskazywać, że występują problemy z realizacją harmonogramu, jednak nie przynoszą żadnych informacji na temat przyczyn tych problemów. W takiej sytuacji i w sytuacjach


podobnych musimy zebrać dodatkowe dane, które umożliwią nam pełniejszy wgląd w zachodzące zjawiska. Potrzebne dane musimy więc wywołać, czyli wła-śnie zebrać, a następnie zanalizować i zinterpretować. Takie dane wywołane, czy inaczej – pierwotne , możemy pozyskiwać za pomocą wielu metod i technik ba-dawczych. Nie zamierzamy ich tutaj szczegółowo opisywać, bowiem czytelnik może je bez trudu znaleźć w którymś z dobrych podręczników do metod badań socjologicznych11, wskażemy tylko ich podstawowe typy i cele wykorzystania.

Jakim celom mogą służyć w ewaluacji badania jakościowe ? Aby odpowie-dzieć na to pytanie, trzeba najpierw zwrócić uwagę na wyróżniki tego podejścia. W porównaniu z badaniami ilościowymi – badania jakościowe dostarczają wiedzy w postaci tekstu, a nie liczb. Pozwalają nam uzyskać odpowiedź na pytania: „co”, „jak” i „dlaczego”, a nie „ile” – jak w przypadku badań ilościowych. Dlatego też wiążą się z dotarciem „bliżej” do badanych ludzi i zagadnień w ich otoczeniu i głębszym ich zrozumieniem.

Ta przewaga podejścia jakościowego wiąże się jednak także z negatywnymi konsekwencjami. Dane przyjmujące postać wieloznacznych i wielowymiarowych pojęć są bardziej subiektywne, w mniejszym stopniu wystandaryzowane niż dane liczbowe. Ponadto wniosków wyciągniętych z takich badań nie można uogólniać na całą populację wykorzystując wnioskowanie statystyczne, jak to ma miejsce w przypadku badania ilościowego z losowym doborem próby; czyniąc tak nara-żamy się na niekontrolowane popełnienie błędów nieuzasadnionego uogólnie-nia. Warto także odnotować, że badania jakościowe realizowane są na znaczne mniejszych próbach (kilkadziesiąt osób) niż ilościowe (od kilkuset do kilku ty-sięcy). Wszystko to sprawia, że dane jakościowe są niekiedy błędnie postrzegane jako mniej wiarygodne, mniej użyteczne i mniej wartościowe dla decydentów12. W istocie jednak dane te są w procesie ewaluacji niezastąpione, konieczna jednak jest znajomość ich specyfi ki i umiejętność wykorzystania ich do odpowiadających tej specyfi ce celów.

Podejście jakościowe będzie użyteczne w ewaluacji wówczas, gdy chcemy pewne kwestie uszczegółowić, głębiej poznać badaną rzeczywistość, gdy chcemy dokonać wstępnego rozpoznania nowych obszarów przygotowując się do bardziej standaryzowanego, ilościowego pomiaru i wreszcie, gdy zależy nam na tym, by w większym stopniu pozostawać otwartym na zawiły nieraz charakter badanych zjawisk i lepiej je interpretować, nawet wtedy gdy dysponujemy bogatym ze-stawem danych ilościowych. Poniższe zestawienie przedstawia najczęstsze cele jakościowych badań ewaluacyjnych.

11 Por. np. Babbie E., Badania społeczne w praktyce, PWN, Warszawa 2003, Frankfort-Nachmias Ch., Nachmias, D., Metody badawcze w naukach społecznych, Zysk i S-ka, Poznań 2001.12 Czytelnikom zainteresowanym dokładniejszym porównaniem tych dwóch podejść polecamy pozycję: Jasiński M., Kowalski M. Fałszywa sprzeczność: metodologia jakościowa czy ilościowa? [w:] Haber A. (red.) Ewaluacja ex-post. Teoria i praktyka badawcza. Polska Agencja Rozwoju Przedsię-biorczości, Warszawa, 2007.


CELE JAKOŚCIOWYCH BADAŃ EWALUACYJNYCH

• wsparcie informacyjne dla projektowania i realizacji badań ilościowych• doprecyzowanie pytań ewaluacyjnych, celów prowadzonej ewaluacji• szczegółowe zbadanie, jak faktycznie przebiegała interwencja oraz poznanie

mechanizmów decydujących o przebiegu jej implementacji i czynników wpły-wających na ten proces

• zidentyfi kowanie niezamierzonych skutków podjętych działań• formatywny, służący lepszemu projektowaniu działań• uwzględnienie subiektywnych perspektyw uczestników przedsięwzięcia• wypracowanie kryteriów oceny programu

Źródło: Górniak J., Worek B., Krupnik S. Zastosowanie podejścia badań jakościowych w ewaluacji ex-

post [w:] Haber A. (red.) Ewaluacja ex – post. Teoria i praktyka badawcza. Polska Agencja Rozwoju

Przedsiębiorczości, Warszawa, 2007.

Wyróżnijmy na wstępie dwa sposoby wykorzystania metod jakościowych: ba-dania jakościowe realizowane jako wspomagające badania ilościowe oraz badania jakościowe przeprowadzane niezależnie13. Przykład wspomagania badań ilościo-wych został dokładnie opisany w rozdziale pt. Badania społeczne jako narzędzie

oceny percepcji realizowanej polityki w niniejszym tomie. W ramach projektu, któ-rego celem było stworzenie narzędzia badawczego badającego opinie różnych grup społecznych Małopolski na temat kluczowych obszarów Strategii Rozwoju Województwa Małopolskiego na lata 2007–2013, przeprowadzono wywiady eks-perckie i wywiady grupowe z przedstawicielami tych grup. Zastosowanie meto-dy jakościowej umożliwiło stworzenie kwestionariusza do badania sondażowego, który był dostosowany do percepcji potencjalnych respondentów.

Przykładem niezależnego wykorzystania metod jakościowych mogą być ba-dania, których celem jest rekonstrukcja tzw. teorii programu. Dokonuje się jej w ramach – popularnej od lat dziewięćdziesiątych ubiegłego stulecia – ewaluacji opartej na teorii programu. Jest to podejście zakładające, że zanim zaczniemy przeprowadzać badania, które mają oszacować wartość danej interwencji, powin-niśmy bardzo szczegółowo poznać koncepcję działania tego programu. Podejście to zakłada nieco głębsze podejście do ewaluacji, ściśle więc opiera się na meto-dach jakościowych. Tę strategię badań stosuje się zwłaszcza w przypadku, gdy a) w dany program zaangażowanych jest dużo zasobów, b) jego wpływ postrze-

13 W literaturze można spotkać rozróżnienie na model wspierania lub uzupełniania oraz model różnicy, por. Górniak J., Worek B., Krupnik S. Zastosowanie podejścia badań jakościowych w ewaluacji

ex-post [w:] Haber A. (red.) Ewaluacja ex-post. Teoria i praktyka badawcza. Polska Agencja Rozwoju Przedsiębiorczości, Warszawa, 2007.


gany jest jako potencjalnie silny, c) istnieje niepewność co do wpływu programu i efektów ubocznych14.

EWALUACJA OPARTA NA TEORII PROGRAMU

Teoria każdego programu składa się z następujących elementów (przy każdym zagadnieniu podano przykładowe, związane z danym elementem pytanie szcze-gółowe i przykład możliwej odpowiedzi na nie):• problem, który ma być rozwiązany za pomocą interwencji (np. niedopasowane

do potrzeb pracodawców i zbyt niskie kompetencje pracowników) Co jest przyczyną problemu? (np. brak odpowiedniej oferty szkoleniowej)• zasoby, które są potrzebne do jego zrealizowania (np. środki fi nansowe, kompe-

tentni trenerzy) W jaki sposób zasoby mają być przekazane benefi cjentom? (np. instytucje szko-

leniowe diagnozują potrzeby pracodawców i oferują odpowiednie, dofi nansowane

kursy)• oczekiwane efekty (rezultaty i wpływ) (np. bardziej odpowiednie kompetencje

pracowników, bardziej konkurencyjna gospodarka) Jakie jest umiejscowienie efektów w czasie? (np. wyższe, dopasowane do potrzeb

pracodawców kompetencje bezpośrednio po zakończeniu szkoleń)• procesy pośredniczące, za pomocą których zasoby doprowadzą do oczekiwa-

nych efektów Jakie są powiązania pomiędzy realizowanymi w ramach programu działaniami

a efektami? (np. dofi nansowanie szkoleń spowoduje, że oferta będzie szersza, dia-

gnoza potrzeb szkoleniowych pracodawców sprawi, że szkolenia będą dopasowane

do ich potrzeb, im wyższe będą kompetencje pracowników i bardziej dopasowane

do potrzeb pracodawcy, tym wyższa będzie produktywność przedsiębiorstw i całej

gospodarki)• czynniki zewnętrzne, które mogą mieć wpływ na program (np. brak zain-

teresowania pracodawców, pracowników, fi rm szkoleniowych, brak odpowiednich

trenerów) Jakie cechy benefi cjentów będą sprzyjały osiągnięciu celów programu? (np.

wysoka motywacja do rozwoju zawodowego, uznanie szkoleń za przydatne, wyż-

sze wykształcenie)• sposób wdrożenia programu Jakie są niezbędne umiejętności pracowników instytucji odpowiedzialnej za

realizację programu? (np. doświadczenia w zarządzaniu, umiejętności organiza-

cyjne, zdolność negocjacji i nawiązywania kontaktów, kompetentni trenerzy)

Źródło: opracowanie własne na podstawie Sidani Souraya Putting Program Th eory into Operation

[w:] American Journal of Evaluation, vol. 20, No. 2, 1999

14 Leeuw F.L. Reconstructing program theories: methods available and problems to be solved. Ameri-can Journal of Evaluation 2003, vol. 24, nr 1, s. 5–20.


Innym przykładem niezależnego wykorzystania metod jakościowych, w którym to ilościowe metody analityczne pełnią funkcję wspomagającą analizę wyników badań jakościowych, jest technika concept mapping , która może być wykorzysty-wana zarówno w ewaluacji, jak i w planowaniu przedsięwzięć z dziedziny polityk publicznych. W ewaluacji technika ta może być zastosowana przede wszystkim w fazie strukturyzacji, czyli planowania ewaluacji, gdzie pomaga sprecyzować cel przeprowadzanej ewaluacji, sformułować hipotezy, wskazać kluczowe zagadnie-nia i zmienne, które powinny zostać uwzględnione w procesie oceny. Szczególnie użyteczna jest jednak wówczas, gdy planowanie przedsięwzięcia łączy się z plano-waniem ewaluacji: stanowi wtedy znakomite narzędzie wspierające defi niowanie celów przedsięwzięcia, pozwalając zarazem wskazać główne kryteria jego oceny15. W technice tej na proces konceptualizacji, czyli określenia i sprecyzowania celów i kierunków działań składają się z trzy zasadnicze etapy:1. generowanie: zarysowanie obszaru działania i celów działania (możliwych kie-

runków działań, sposobów działań, oczekiwań, kryteriów oceny)2. strukturyzowanie: określanie relacji pomiędzy możliwymi celami działań, spo-

sobami działań, oczekiwaniami3. reprezentacja: obrazowe, słowne lub matematyczne przedstawienie wygenero-

wanych wcześniej obiektów i ich wzajemnych relacji.

W pierwszym etapie, gdy celem jest zebranie wielu możliwych opinii, wy-generowanie wielu możliwych celów czy kierunków działań, wykorzystuje się różne techniki jakościowe, takie jak indywidualny wywiad pogłębiony, wywiad grupowy, technika burzy mózgów. W drugim etapie, gdy wygenerowane obiekty podlegają ocenie, wykorzystuje się proste skale ocen, po to, aby obiekty te upo-rządkować, wskazując ich wagę czy znaczenie. Z kolei w trzecim etapie, bazując na wynikach uzyskanych w etapach pierwszym i drugim i stosując odpowiednie techniki analityczne (skalowanie wielowymiarowe i analizę skupień), przystępuje się do grafi cznej prezentacji analizowanej problematyki. W wyniku otrzymujemy mapę uporządkowanych celów, możliwych sposobów działań, możliwych kryte-riów oceny przedsięwzięcia itp. Tak wygenerowana mapa poddana jest następnie interpretacji i ocenie osób, które brały udział w jej tworzeniu, co pozwala jeszcze lepiej sprecyzować cele przedsięwzięcia i możliwe problemy związane z jego re-alizacją (np. wykluczające się cele, sprzeczne interesy itp.)16.

Poniżej zamieszczono przykładową mapę wynikową, jaką można otrzymać w wyniku analizy czynników decydujących o trafności i skuteczności podejmo-wanych interwencji (np. wsparcia dla osób wykluczonych czy budowy spalarni

15 Por. Trochim W.K., Linton R., Conceptualization for planning and evaluation, Evaluation and Program Planning, Vol. 9, 1986 16 Por. Trochim W.K, An Introduction to concept mapping for planning and evaluation, [w:] W.K. Trochim (red.) A Special Issue of Evaluation and Program Planning, Vol. 12, 1989, http://www.socialresearchmethods.net/mapping/mapping.htm.


odpadów). Członkowie zespołu decydentów, wykonawców i ewaluatorów wska-zują najpierw, jakie działania są niezbędne, aby osiągnąć założone cele (np. posia-danie precyzyjnego planu i odpowiednich zasobów fi nansowych oraz ludzkich), jakie czynniki mogą utrudniać osiąganie tych celów (np. brak współpracy między instytucjami, niechęć mieszkańców do budowy spalarni na terenie ich miejscowo-ści), następnie analizowano, jakie efekty zamierza się osiągnąć i jak mierzyć ich osiągnięcie (zwiększenie integracji społecznej, mniejsze zanieczyszczenie środo-wiska), a wreszcie zastanawiano się, jaką rolę w tym przedsięwzięciu ma odegrać ewaluacja (m.in. ma nam pomóc znaleźć odpowiedź na pytanie, czy osiągnęliśmy zamierzone cele i czy sposób ich osiągnięcia można poprawić). Podczas burzy mózgów generuje się zazwyczaj blisko 100 stwierdzeń, które następnie są podda-wane ocenie i grupowane. W wyniku zastosowania tych procedur otrzymujemy mapę, która może być zbliżona do zamieszczonej poniżej.

Rysunek 3. Mapa pojęciowa: rola planowania, wdrożenia i ewaluacji w procesie realizacji przed-

sięwzięć


Na schemacie wyodrębniono grupy zagadnień. Po lewej stronie są cztery zagadnienia związane

z planowaniem przedsięwzięcia i wyborem strategii działania, po prawej na górze – cztery zagad-

nienia związane z efektami przedsięwzięcia, a po prawej na dole – kwestie związane z ewaluacją.

Wśród jakościowych technik zbierania danych do najpopularniejszych zarów-no w badaniach ewaluacyjnych, jak i marketingowych należą wywiady pogłębio-ne (IDI) oraz grupowe (FGI). Podczas gdy pierwsze oznaczają wywiad z jedną


osobą, w drugiej badacz ma za zadanie moderować dyskusję między badanymi. Najważniejszym kryterium wyboru odpowiedniej techniki raz jeszcze powinien być cel badania. Czy łatwiej będzie uzyskać interesujące nas dane w bezpośrednim kontakcie z badanym, czy też stymulując rozmowę zaproszonych osób? O ile w ramach IDI uzyskujemy mniej informacji w określonym czasie niż w przy-padku FGI, to w zamian jesteśmy w stanie uzyskać głębszy wgląd w badaną problematykę. Warto także pamiętać, że FGI wymaga znalezienia się wielu osób w tym samym miejscu i o tym samym czasie, co w przypadku niektórych bada-nych jest dość utrudnione17.

TECHNIKI SONDAŻOWE W BADANIACH EWALUACYJNYCH

Jak wielokrotnie wspomniano, w badaniach ewaluacyjnych musimy się nie-rzadko uciekać do tzw. badań reaktywnych, czyli polegających na zbieraniu danych przez zadawanie pytań respondentom. Ze względu na popularność tej metody warto poświęcić jej więcej uwagi, zwłaszcza szczególnie popularnym technikom sondażowym, dostarczającym wyników ilościowych. Użytkownicy technik son-dażowych często nie zwracają uwagi na to, że badania te mogą być obciążone dużymi błędami, zarówno losowymi, jak – szczególnie dotkliwymi – błędami systematycznymi. Wynikają one z naturalnych uwarunkowań tego rodzaju badań i występują zawsze; kompetentni badacze wiedzą, jak można ograniczać ich kon-sekwencje i wprowadzać konieczne korekty przy pomocy technik analitycznych. Jednak bardzo często skala błędów jest pogłębiana na skutek metodologicznej beztroski i, co gorsza, błędy te popełniane są w nieświadomości, co grozi podję-ciem błędnych decyzji.

Badania ilościowe, oparte o standaryzowany kwestionariusz ankiety lub wy-wiadu, pozwalają na ocenę zasięgu występowania rozmaitych opinii i postaw, ich związek z różnymi segmentami społecznymi wyodrębnionymi w oparciu o kryteria demografi czne, społeczne, ekonomiczne lub polityczne oraz wzajem-ny związek różnych postaw i opinii tworzących różnego rodzaju syndromy i/lub stereotypy. Przy prowadzeniu badań ilościowych dąży się do reprezentatywności badań dla danej zbiorowości, a więc do tego, by wyniki badania przeprowadzone-go na stosunkowo niedużej grupie osób (np. 500 lub 1000), czyli na próbie, można było uogólnić na określoną populację, np. na wszystkich dorosłych mieszkańców gminy czy powiatu. Taką możliwość stwarza prowadzenie badań metodą repre-zentacyjną, tzn. na losowo dobranej próbie zbiorowości, którą się interesujemy.

Badania sondażowe wymagają odpowiedniego przygotowania osób, które nimi kierują. Profesjonalizmu wymaga zarówno przygotowanie kwestionariusza

17 Por. Maison D. Zogniskowane wywiady grupowe. Jakościowa technika badań marketin-gowych, Wydawnictwo Naukowe PWN, Warszawa 2001.


(tylko pozornie łatwe), jak i prowadzenie badań, opracowanie wyników i analiza danych. Do prowadzenia badań sondażowych można się przygotować nie tylko kończąc studia socjologiczne lub psychologiczne, lecz także poprzez specjali-styczne kursy, studia podyplomowe oraz współpracując przy pierwszych projek-tach z profesjonalnymi konsultantami. Należy zawsze rozważyć, na ile należy się uciekać do pomocy sił zewnętrznych – profesjonalnych agencji badawczych, a w jakim stopniu i które z zadań będzie można zrealizować własnymi siłami przy stosunkowo niedużych nakładach.

KROKI WSTĘPNE PRZY PODEJMOWANIU BADAŃ

Badania sondażowe – to tylko jedna z możliwych technik pozyskiwania in-formacji, często dość droga. Trzeba rozważyć, czy dla uzyskania informacji dla potrzeb ewaluacji konieczne są takie właśnie badania. Czy inne źródła informa-cji: sprawozdania, dane monitoringowe, publikacje, archiwa, dokumenty, dane instytucji publicznych itp., nie wystarczą dla osiągnięcia celów ewaluacji. Zanim sięgniemy do tej techniki badawczej, podobnie jak w przypadku każdego innego badania, należy zacząć od ustaleń dotyczących: istoty problemu, który wymaga zbadania celów, które ma spełnić badanie motywacji tych, którzy badanie zlecają i mają korzystać z jego wyników (ewa-luacja powinna być użyteczna) potrzeb informacyjnych wynikających z powyższych ustaleń.Zawsze należy starannie przygotować projekt swoich badań, który powinien

zawierać plan realizacji wszystkich elementów składających się na proces badań sondażowych. Po ustaleniu istoty problemu należy sporządzić szczegółową listę hipotez i pytań, na które chcemy uzyskać odpowiedź w badaniach.

Podstawowe etapy badania sondażowego można ująć w następujący sposób:1. Inicjacja sondażu

a. określenie potrzeb informacyjnychb. opracowanie sposobu podejścia do problemu (teoria, modele analityczne,

pytania badawcze, hipotezy, czynniki wpływające na kształt badań)c. przygotowanie koncepcji projektud. opracowanie budżetu i harmonogramu

2. Dobór próby a. określenie populacji badanej i konstrukcja operatub. konstrukcja planu losowaniac. dobór jednostek do próby

3. Konstrukcja narzędzi badawczycha. konstrukcja wstępnego projektu kwestionariusza (w razie potrzeby poprze-

dzona badaniami jakościowymi)b. testy kwestionariusza (w razie potrzeby więcej niż jeden) i badanie pilota-

żowe c. produkcja kwestionariusza


d. przygotowanie materiałów pomocniczych (karty dla respondentów, in-strukcje dla ankieterów)

4. Przygotowanie planu analizy danych i planu raportu oraz sprawdzenie pod tym kątem kompletności kwestionariusza i sposobu sformułowania pytań (ten etap powinien być zintegrowany z pracą nad kwestionariuszem).

5. Gromadzenie danych przy pomocy wybranej techniki (w tym: szkolenie ankieterów i koordynatorów w przypadku wywiadów, wysłanie listów zapo-wiadających badanie, a w przypadku ankiety pocztowej dodatkowo monitów, i ponowna wysyłka ankiet).

6. Wprowadzanie danych i przygotowanie danych do analizy7. Analiza danych8. Przygotowanie raportu i prezentacja wyników.

KOGO BĘDZIEMY BADAĆ

Przed skonstruowaniem kwestionariusza trzeba rozstrzygnąć, kto ma być ob-jęty badaniami, jakiej zbiorowości mają dotyczyć wnioski i obserwacje zebra-ne w sondażu. Niekiedy naprawdę interesują nas tylko benefi cjenci ostateczni projektu czy programu, innym razem tylko pracownicy sektora publicznego lub jedynie pacjenci prywatnych gabinetów lekarskich i dentystycznych, tylko eme-ryci i renciści lub dzieci ze szkół podstawowych. Wreszcie przedmiotem naszego zainteresowania mogą być nie osoby, lecz np. gospodarstwa domowe lub miesz-kania. W zależności od tego, jaka jest nasza docelowa populacja, którą chcemy zbadać, będziemy musieli: sporządzić operat losowania, czyli spis wszystkich jednostek badanych, które spełniają przyjęte przez nas kryterium kwalifi kujące do badań (uwaga: są tech-niki doboru prób, które pozwalają zredukować ten wysiłek, choć nie oznacza to, że są proste) dobrać próbę losową z tej zbiorowości (można do tego celu wykorzystać spe-cjalne programy komputerowe, jak np. moduł Complex Samples pakietu sta-tystycznego SPSS lub skorzystać z bardziej tradycyjnych technik) dostosować sposób zadawania pytań, który musi brać pod uwagę stan poin-formowania i język, którym posługują się badane osoby dostosować czas trwania wywiadu (np. osoba załatwiająca sprawę w urzędzie rzadko będzie chciała poświęcić więcej niż 10 minut na ocenę jakości usług i ujawnienie swych preferencji) dostosować technikę zbierania informacji (np. menedżerowie mogą być osią-galni przy pomocy faksu i telefonu, co często jest trudne w przypadku tzw. „szarego obywatela”).Następny krok to określenie liczebności próby. Wielkość próby wynika

z dwóch głównych czynników: pożądanej precyzji wyników i budżetu badania. Powiedzmy od razu: jeśli mamy zbyt mało środków, by zrealizować próbę o roz-


miarach niezbędnych dla uzyskania satysfakcjonującej precyzji wyników, trzeba rozważyć sensowność realizacji badań sondażowych. Być może za środki, które są do dyspozycji, uda się pozyskać wystarczające informacje z innych źródeł? W przypadku mniejszych gmin sondażem można objąć wszystkich mieszkańców lub np. głowy wszystkich gospodarstw domowych, zwłaszcza jeśli doręczanie lub rozsyłanie ankiety może zostać połączone z dostarczaniem innych pism z urzędu. A oto kilka praktycznych uwag co do wielkości próby: O precyzji wnioskowania statystycznego zasadniczo decyduje liczebność pró-by, a nie to, jaki procent populacji został objęty badaniem; zatem nie warto pytać, jaki procent mieszkańców został zbadany, tylko – ilu mieszkańców zo-stało zbadanych i czy próba byłą losowa. Rzadko potrzebne są badania na próbach liczniejszych niż 1000–1500 osób, niezależnie od liczebności populacji, z której losujemy. Punktem wyjścia dla ustalenia liczebności próby może też być wskazanie wszystkich grup, które są dla nas przedmiotem odrębnego zainteresowania i założenie minimalnej liczby reprezentantów takich grup w ogólnej próbie – dobrze by każda taka grupa liczyła przynajmniej ok. 100 osób. Jeśli wiemy, jaki odsetek badanej populacji stanowi każda z tych grup, to łatwo wyliczymy wielkość próby gwarantującą założone minimum reprezentacji. Przyjmując 95% poziom ufności18 i zakładając określony margines błędu, możemy wyli-czyć minimalną liczebność próby wg przybliżonego wzoru:

21

błądyakceptowanN

Tak więc przy maksymalnym dopuszczalnym błędzie statystycznym wy-noszącym ±3% (0,03), minimalna wielkość próby wyniesie w przybliżeniu 1/0,0009 = 1111. Taki maksymalny błąd ±3% (a ściślej: 95% przedział ufności) wystąpi w tak licznej próbie dla frakcji 0,5; dla mniejszych/większych frakcji ten bezwzględny błąd oszacowania jest mniejszy. Zauważmy, że zmniejszenie naszych wymogów co do dopuszczalnego błędu o 1 punkt procentowy (czyli do maksy-malnego błędu ±4%) pozwala nam zmniejszyć próbę do 625 osób. Gdy chcemy zmniejszyć maksymalny błąd badania o 1 punkt (czyli do ±2%), musimy zwięk-szyć próbę aż do 2500 osób. Tak więc rozsądny wydaje się kompromis pomiędzy kosztami i precyzją właśnie na poziomie próby 1000–1500 osób (maksymalny błąd statystyczny ok. ±3%–2,5%)19.

18 Poziom ufności mówi nam, jakie jest prawdopodobieństwo, że obliczony przedział wartości, zwany przedziałem ufności, pokryje prawdziwą wartość danej statystyki w populacji generalnej.19 Abstrahujemy tutaj od komplikacji takich obliczeń błędu losowego w sytuacji rozmaitych stosowanych w sondażach schematów losowania. Takie złożone zagadnienia zdecydowanie prze-kraczają ramy niniejszego artykułu, choć stanowią element wykształcenia studentów socjologii specjalizujących się w metodologii badań (przynajmniej na UJ).


Do wyliczonej docelowej liczebności próby trzeba dodać odpowiednią liczbę wynikającą z przewidywanego poziomu realizacji próby, a więc odsetka osób, które udzielą odpowiedzi. Jeśli np. przewidujemy realizację próby na pozio-mie 50%, a docelowo chcemy przebadać 1000 osób, to musimy wylosować 1000/0,5 = 2000 osób z naszego operatu. Oczywiście poziom realizacji próby nie pozostaje bez wpływu na jakość wnio-sków z naszych badań, zwłaszcza że osoby nie udzielające wywiadów zwykle nie mają takich samych cech jak osoby, które ich udzieliły. W badaniach na-leży więc duży nacisk kłaść na uzyskanie jak najlepszego poziomu realizacji próby. Realistycznie: trudno jest obecnie osiągnąć poziom przekraczający 70%, a w niektórych dużych miastach poziom realizacji spadł w ostatnich latach dramatycznie. Trzeba jednak starać się, by poziom realizacji nie spadł poni-żej 50%, gdyż wówczas reprezentatywność naszych badań staje się bardzo wątpliwa. Stosowanym remedium na zniekształcenia wyników spowodowane niezrealizowanymi ankietami czy wywiadami jest odpowiednie ważenie próby. Ważenie prób jest zagadnieniem specjalistycznym, wykraczającym poza za-kres niniejszego opracowania, ale należy oczekiwać znajomości rzeczy w tym zakresie od tych, którzy wykonują lub wspomagają wykonanie badań sonda-żowych. W przypadku badań wyczerpujących, którymi objęci są wszyscy członkowie pewnej zbiorowości (np. wszyscy benefi cjenci ostateczni projektu), bezprzed-miotowe jest szacowanie błędu statystycznego badania. Należy dokonać po prostu statystycznego opisu wyników.Przedstawione wyżej wyliczenia liczebności próby przy pomocy wzoru za-

kładały tzw. losowy dobór próby. Jest to jedna z dwóch ogólnych możliwości doboru próby w badaniach. Drugą jest oczywiście dobór nielosowy, który jed-nak zalecany jest raczej w przypadku badań jakościowych lub wstępnych badań rozpoznawczych, a nie w takich, które mają dostarczyć ilościowej podstawy do formułowania ocen projektu.

Wśród metod losowego doboru prób wyróżniamy m.in.: dobór losowy prosty (z wykorzystaniem generatora lub tablicy liczb loso-wych) dobór systematyczny: losowanie co k-tej osoby z listy osób (operatu), gdzie k – czyli to, co którą osobę włączamy do próby – wyznaczamy dzieląc liczebność populacji przez pożądaną liczebność próby (pierwszą osobę wybieramy losowo spośród k pierwszych osób na liście); lista (operat) może być uporządkowany losowo lub wg istotnej cechy respondentów, np. daty urodzenia dobór losowy warstwowy, w którym najpierw dzielimy badaną zbiorowość na warstwy wg pewnego kryterium, a następnie w obrębie każdej warstwy losujemy stosowną liczbę osób; w przypadku gdy w próbie udział osób pocho-dzących z każdej z warstw odpowiada udziałowi danej warstwy w populacji


mamy do czynienia z losowaniem warstwowym proporcjonalnym, gdy zaś od tej proporcji odbiega – z losowaniem warstwowym nieproporcjonalnym losowanie dwustopniowe, w którym np. najpierw losujemy miejscowości, a na-stępnie w wylosowanych miejscowościach losujemy osoby (zarówno miejsco-wości na pierwszym etapie, jak i osoby na drugim etapie możemy przed loso-waniem podzielić na warstwy i losować w obrębie warstw, co owocuje lepszą jakością próby).Każda metoda doboru losowego pociąga za sobą pewne konsekwencje dla

wielkości błędu statystycznego badania. Są one opisane w stosownych specjali-stycznych podręcznikach dotyczących metody reprezentacyjnej. Niekiedy prak-tycy sugerują mnożenie błędu przez 2 ≈ 1,4 ze względu na wpływ skompliko-wanych schematów doboru próby i obciążeń wynikających z niepełnej realizacji próby, które trudno jest precyzyjnie wyliczyć. Przy przygotowaniu pierwszej próby dla potrzeb określonego rodzaju badań warto więc zasięgnąć opinii specjalisty.

Wśród nielosowych metod doboru próby wyróżniamy m.in.: dobór kwotowy, w którym ustala się z góry, ile osób o określonej kombinacji cech powinno znaleźć się w próbie; liczba ta najczęściej wynika z udziału danego segmentu w populacji generalnej lub z założonego minimum przypa-dającego na każdy segment dobór celowy, w którym wskazujemy kandydatów do badania na podstawie uprzedniej wiedzy o jednostkach i komponujemy próbę tak, by znalazły się w niej jednostki posiadające cechy istotne z punktu widzenia badania metodę kuli śniegowej, w której zaczynamy od pierwszej grupy osób z badanej zbiorowości, a one wskazują nam następne osoby należące do interesującej nas grupy (metodę tę stosuje się np. przy badaniu grup subkulturowych, sieci towarzyskich, elit fi nansowych itp.) próbę dogodnościową lub inaczej – pójście na łatwiznę; jest to najgorszy rodzaj próby, w której łatwość kontaktu z respondentem decyduje o przeprowadzeniu z nim wywiadu (często są to znajomi ankieterów, a więc ich środowisko spo-łeczne, lub mili ludzie mający sporo czasu, których uda się skłonić do wywiadu na ulicy); próby kwotowe mają tendencję do staczania się w kierunku prób dogodnościowych na skutek funkcjonowania zasady ekonomii wysiłku wśród ankieterów.

Tylko próba losowa pozwala na stosowanie metod wnioskowania statystycz-nego o populacji. Próby kwotowe są często stosowane wówczas, gdy interesują nas przede wszystkim zależności między zmiennymi i gdy chcemy uzyskać określoną reprezentację pewnych segmentów w próbie. Trzeba jednak pamiętać, że nie są to próby losowe. Występuje w nim na ogół efekt dogodnościowy, czyli kwalifi kowa-nie do badania osób, które najłatwiej przebadać, co zniekształca obraz populacji uzyskiwany w wyniku takich badań. Niestety podobny efekt może wystąpić także


w próbie losowej, jeśli nie podejmie się wysiłku uzyskania odpowiedzi od osób, które są trudniej dostępne i poprzestanie na niskim wskaźniku realizacji próby. To dlatego w dobrych badaniach zakłada się przynajmniej 3–4-krotne podejmowa-nie prób skontaktowania się z wylosowanymi osobami w okresie trwania badań.

JAK BĘDZIEMY BADAĆ

Kolejna decyzja związana jest z wyborem techniki zbierania materiału. Ogól-nie można je podzielić na: wywiady, w których ankieter zadaje pytania badanemu i notuje odpowiedzi; główne ich formy to:– wywiad osobisty– wywiad telefoniczny ankiety wypełniane samodzielnie, w których respondent zaznacza bez udziału ankietera odpowiedzi w kwestionariuszu; główne formy ankiet to:– ankieta pocztowa– ankieta faksowa– ankieta przez e-mail, Internet lub wypełniana na komputerze badacza– ankieta audytoryjna, rozdawana respondentom zgromadzonym w jednym

miejscu i samodzielnie przez nich wypełniana.

Techniki prowadzenia sondaży różnią się: Kosztem realizacji. Wywiady telefoniczne mogą się okazać droższe od innych, jeśli trwają zbyt długo i są prowadzone w systemie rozmów zamiejscowych; ankiety pocztowe są najtańsze, ale niekoniecznie najefektywniejsze, bo mały jest w nich poziom zwrotu, a osiągnięcie wyższego jest kosztowne, okres trwa-nia badań jest długi, a poziom realizacji próby jest niższy; wywiady w domu respondenta są drogie, bo wymagają opłacenia ankieterów, ale często są naj-skuteczniejsze. Szybkością realizacji. Wywiady telefoniczne są najszybszą metodą groma-dzenia informacji. Ciągle są jednak grupy społeczne, które nie mają dostępu do telefonów stacjonarnych, za pośrednictwem których prowadzi się badania, a poza tym część osób korzysta wyłącznie z telefonów komórkowych, które są drogim kanałem komunikacyjnym i skomplikowanym w zakresie losowa-nia prób. Ponieważ niekorzystanie z telefonii stacjonarnej jest systematycz-nie związane z cechami społecznymi respondentów, uzyskane w ten sposób wyniki badań mogą być obciążone systematycznym błędem (częściowo jest to korygowane ważeniem prób, ale nie usuwa ono wszystkich konsekwencji zniekształceń). Nie ma tu miejsca na omawianie szczegółów doboru prób w badaniach telefonicznych, ale warto sformułować ostrzeżenie, że często re-guły metody reprezentatywnej nie są w ich przypadku przestrzegane. Jest to niewątpliwie użyteczna technika w przypadku badania reprezentantów insty-tucji i przedsiębiorstw, a także w sytuacji badania benefi cjentów projektów,


z którymi mamy ustalony kontakt telefoniczny. Badania przy pomocy ankiet pocztowych wymagają najwięcej czasu na realizację. Wywiady w domu respon-denta mogą być zrealizowane w krótkim czasie, ale zapewnienie odpowied-niego poziomu realizacji próby w przypadku tej techniki wymaga dłuższego czasu realizacji badań, umożliwiającego podjęcie kilkukrotnej próby kontaktu z trudniej dostępnymi respondentami. Możliwością zastosowania obszerniejszych kwestionariuszy. Z dłuższym kwestionariuszem najlepiej wysłać ankietera na wywiad osobisty. Jeśli nie mo-żemy sobie na to pozwolić – stosujemy ankietę pocztową. Wg badań ame-rykańskich wywiad telefoniczny przekraczający 15–20 minut daje mniejszy poziom realizacji niż ankieta pocztowa (istnieje tam obowiązek uprzedzania respondenta o czasie trwania wywiadu). W przypadku ankiet o skompliko-wanym układzie i wielu warunkowych blokach pytań dobrym rozwiązaniem są wywiady z wykorzystaniem komputera (tzw. CAPI), choć wymagają one dysponowania odpowiednią technologią, co podraża koszty badań. Ogólnie biorąc:– wywiady telefoniczne nie powinny trwać dłużej niż 20 minut– wywiady osobiste mogą trwać nawet godzinę i dłużej, jeśli mamy dobrych

ankieterów i dobry kwestionariusz– ankiety wszelkiego rodzaju, które respondenci mają wypełniać sami, nie

powinny zawierać więcej niż 100 pytań (to jest nawet dość optymistyczna granica).

Możliwością zastosowania w przypadku problematyki drażliwej lub wyma-gającej namysłu. W sytuacji, gdy trzeba zachować szczególny poziom anoni-mowości (kwestie osobiste) lub odpowiedzi wymagają zastanowienia – dobrze sprawują się ankiety pocztowe, internetowe i inne samodzielnie wypełniane ankiety.Ze względu na ograniczenia niniejszego opracowania musimy poprzestać

na takim przybliżeniu sondażu społecznego jako techniki gromadzenia danych w badaniach ewaluacyjnych (i nie tylko). Pomijamy między innymi fundamen-talną kwestię zasad konstrukcji kwestionariuszy, w tym formułowania pytań. Amatorski zapał może prowadzić do rozmaitych problemów i błędów w tym zakresie, dlatego warto kwestionariusze konsultować ze specjalistami. Niestety w praktyce dużo łatwiej jest natrafi ć na źle przygotowane narzędzia niż na dobre wzory w tym zakresie. Nie mówimy też nic o ważnej sprawie, jaką jest organi-zacja i nadzór pracy ankieterów, kodowanie, czyszczenie i przygotowanie danych do analizy, wreszcie o samej analizie danych i opracowaniu raportów. Pewnym wsparciem w tym zakresie mogą służyć przywoływane już wcześniej podręczniki metod badań społecznych lub inne specjalistyczne opracowania.


ZAKOŃCZENIE

W procesie badań ewaluacyjnych kapitalne znaczenie ma wykorzystanie wszystkich dostępnych informacji do tego, by ustalić:• czy i w jakim stopniu osiągnęliśmy zaplanowane cele • jakie inne efekty, także niezaplanowane, wystąpiły w efekcie naszych działań• w jaki sposób podjęte działania przyczyniły się do uzyskanych efektów• jakie czynniki utrudniały skuteczną realizację przedsięwzięcia• czy to, co uzyskaliśmy, warte było wydanych pieniędzy i czy nie dało się tego

samego osiągnąć taniej i sprawniej.Pokazaliśmy miejsce różnych metod badań w procesie ewaluacji programów

i projektów. Każda z nich wymaga profesjonalnego przygotowania. Tutaj mogli-śmy wskazać tylko najogólniej ważne kwestie, na które należy zwrócić uwagę. Odrębnej uwagi wymagałoby zapewne zaprezentowanie różnych podejść do pla-nowania samych badań, w tym takich układów badań, które pozwalają oszacować rzeczywisty, przyczynowy wpływ interwencji na interesujące nas zjawisko, czyli tzw. efekt netto20. Szczególną rolę w analizie efektów interwencji publicznych odgrywają też rozmaite techniki modelowania statystycznego danych, w tym np. analiza szeregów czasowych z interwencją. Nie możemy się nimi wszystkimi tutaj zająć. Staraliśmy się przedstawić uwagi dotyczące zagadnień o najszerszym zakresie zastosowania w taki sposób, by osoby kierujące projektami i planujące ewaluację uzyskały podstawę do planowania działań, zlecania i nadzoru badań oraz krytycznej analizy ofert. W zakresie omawianych tu metod i znacznie szer-szym można też zdobyć wykształcenie, np. kończąc studia z zakresu socjologii ze specjalnością dotyczącą badań społecznych i analizy danych, przygotowujące ab-solwentów w zakresie ilościowych i jakościowych metod badań i analizy danych.

BIBLIOGRAFIA

ATKINSON T., CANTILLON BEA, MARLIER ERIC, NOLAN BRIAN (2002), Social In-

dicators. Th e EU Social Inclusion, Oxford University Press, New York

BABBIE E., Badania społeczne w praktyce, PWN, Warszawa 2003,

BAUER R. A. (red., 1966), Social Indicators, THE M.I.T. PRESS, Massachusetts Institute of

Technology, Cambridge, Massachusetts and London, England

FRANKFORTNACHMIAS CH., NACHMIAS, D., Metody badawcze w naukach społecznych,

Zysk i S-ka, Poznań 2001,

GÓRNIAK J., KELER K. (2007), Wskaźniki w ewaluacji ex-post programów publicznych [w:]

Ewaluacja ex-post. Teoria i praktyka badawcza, pod redakcją Agnieszki Haber, Polska Agencja

Rozwoju Przedsiębiorczości, Warszawa, s. 155–182

20 Zainteresowani czytelnicy mogą sięgnąć np. do artykułu R. Konarskiego i M. Kotnarowskiego: „Zastosowanie metody propensity score matching w ewaluacji ex-post” w książce pod red. A. Haber (2007), choć i on nie wyczerpuje całości tego zagadnienia.


KONARSKI, R., KOTNAROWSKI, M., Zastosowanie metody propensity score matching w ewalu-

acji ex-post [w:] Ewaluacja ex-post. Teoria i praktyka badawcza, pod redakcją Agnieszki Haber,

Polska Agencja Rozwoju Przedsiębiorczości, Warszawa, s. 183–207.

LEEUW F.L. Reconstructing program theories: methods available and problems to be solved. American

Journal of Evaluation 2003, vol. 24, nr 1, s. 5 – 20.

MAISON D., Zogniskowane wywiady grupowe. Jakościowa technika badań marketingowych, Wydaw-

nictwo Naukowe PWN, Warszawa 2001

Plan Działania na lata 2007–2008 dla Priorytetu: Rozwój zasobów ludzkich i potencjału adaptacyjnego

przedsiębiorstw oraz poprawa stanu zdrowia osób pracujących, Departament Wdrażania Europej-

skiego Funduszu Społecznego Ministerstwo Pracy i Polityki Społecznej, Warszawa 2007.

System Realizacji Programu Operacyjnego Kapitał Ludzki 2007–2013, Ministerstwo Rozwoju Re-

gionalnego, Warszawa 2007.

Szczegółowy Opis Priorytetów Programu Operacyjnego Kapitał Ludzki 2007–2013, Ministerstwo

Rozwoju Regionalnego, Warszawa 2007.

TROCHIM W.K, An Introduction to concept mapping for planning and evaluation, [w;] W.K. Tro-

chim (ed.) A Special Issue of Evaluation and Program Planning, Vol. 12, 1989, http://www.

socialresearchmethods.net/mapping/mapping.htm.

TROCHIM W.K., LINTON R., Conceptualization for planning and evaluation, Evaluation and

Program Planning, Vol. 9, 1986

Zasady systemu sprawozdawczości Programu Operacyjnego Kapitał Ludzki 2007–2013, Ministerstwo

Rozwoju Regionalnego, Warszawa 2007.

Seweryn Rudnicki

Zastosowanie społecznych danych zastanych w ewaluacji programów regionalnych

WPROWADZENIE

Regionalne programy i polityki społeczne mogą być rozumiane jako działa-nia nakierowane na przeprowadzenie określonych zmian społecznych. Celami programów i polityk są przy takim rozumieniu pewne stany rzeczy, do których mają doprowadzić podjęte działania. Ewaluacja programów i polityk jest zatem w znacznej mierze oparta na pomiarze parametrów wywołanej zmiany i zastoso-waniu wyników tego pomiaru w ocenie jakości i wartości danego programu.

Przy założeniu, że programy i polityki są nakierowane na wywoływanie zmiany społecznej, ocenie powinny podlegać społeczne efekty programu, w szczególno-ści (zgodnie z pięcioma klasycznymi kryteriami ewaluacyjnymi) jego: skuteczność – na ile zakładane cele (na poziomie produktu, rezultatu i oddziaływania) zostały osiągnięte lub są osiągane w procesie realizacji programu; efektywność (wydajność) – jaki jest stopień wykorzystania zasobów w porównaniu z osiągniętymi efektami; odpowiedniość – w jakim stopniu cele programu są adekwatne do potrzeb i pro-blemów występujących w danym regionie; użyteczność – na ile efekty programu są zgodne z potrzebami regionu; długotrwałoś ć – czy efekty programu są trwałe w perspektywie średnio- i długookresowej1. Tak rozumiana ewaluacja może być przydatnym narzędziem w procesie analizy sytuacji i podejmowania decyzji do-tyczących nie tylko konkretnych programów, ale prowadzenia polityki w ogóle.

Niezależnie od rozmaitości formułowanych defi nicji ewaluacji można założyć, że w przypadku programów i polityk społecznych ma ona w dużej bądź nawet

1 K. Ekiert (oprac.), Ewaluacja w administracji publicznej. Funkcje, standardy i warunki stosowania, Departament Spraw Społecznych i Ustrojowych, 2006, s. 11–12, Wyszukane na: http://www.pte.org.pl/repository/fi les/PTE/Ewaluacja_w_administracji_publicznej.pdf.

102 Seweryn Rudnicki

w głównej mierze charakter badania społecznego2. Prawidłowe jej przeprowadze-nie wiąże się zatem z procesem pozyskania i wykorzystania danych socjologicz-nych. W konsekwencji jakość ewaluacji jest w znacznym stopniu uzależniona od jakości pozyskanych danych oraz umiejętności ich analizy. Posłużenie się danymi wątpliwej jakości uniemożliwia w zasadzie poprawne przeprowadzenie ewaluacji – wysoka jakość danych jest warunkiem koniecznym, choć niewystarczającym właściwej ewaluacji.

Niniejszy tekst będzie poświęcony prezentacji możliwości wykorzystania społecznych danych zastanych w procesie ewaluacji polityk i programów regio-nalnych. Zakres wykorzystania danych zastanych w badaniach socjologicznych (naukowych i marketingowych) jest coraz szerszy, głównie z racji niskiej ceny takich danych oraz – przynajmniej w części – ich wysokiej jakości. Wydaje się, że wykorzystanie danych zastanych również w dziedzinie ewaluacji jest interesującą propozycją. Najpierw jednak kilka uwag na temat kryteriów ewaluacji i reguł dokonywania pomiaru w dziedzinie badań społecznych i ewaluacyjnych.

CELE I WSKAŹNIKI

Ewaluacja nie jest możliwa bez określenia jej kryteriów, te zaś wynikają z przyjętych celów programów i polityk. Określenie, czy program doprowadził do wywołania pożądanej zmiany, jest możliwe tylko o tyle, o ile cele interwencji zostały wcześniej określone. Zdefi niowanie celów programów jest zatem fun-damentalnym warunkiem możliwości przeprowadzenia ewaluacji w ogóle. Co więcej cele powinny być określone w sposób, który umożliwia wymierną ocenę stopnia ich osiągnięcia. Cenną wskazówkę stanowi w tym wypadku popular-na reguła SMART , zgodnie z którą cele powinny być: ściśle określone (specifi c) – określające konkretnie, jaki jest pożądany efekt; mierzalne (measurable) – opi-sujące efekt przy użyciu wymiernych kryteriów; osiągalne (achievable) – możliwe do osiągnięcia; realistyczne (realistic) – w odniesieniu do posiadanych zasobów i możliwości; określone w czasie (time-oriented) – realizowane według określo-nego harmonogramu3.

Defi niowanie celów zgodnie z takimi regułami sprawia, że przestają one być rozumiane w kategoriach ogólnych, jakościowych wizji (ang. goals), lecz są poj-

2 Zob. tamże, s. 8; K. Olejniczak, „Teoretyczne podstawy ewaluacji ex-post”, [w:] Ewaluacja ex-

post. Teoria i praktyka badawcza, A. Haber (red.), Polska Agencja Rozwoju Przedsiębiorczości, War-szawa 2007, s. 16.3 Zob. J. Górniak, K. Keler, „Wskaźniki w ewaluacji ex-post programów publicznych”, [w:] Ewa-

luacja ex-post. Teoria i praktyka badawcza, A. Haber (red.), Polska Agencja Rozwoju Przedsiębior-czości, Warszawa 2007, s. 165; S. Prentice, Zapanować nad czasem. Jak efektywnie pracować, by mieć

czas na wszystko, Wydawnictwo ONE Press, 2006, s. 127–128.

Zastosowanie społecznych danych zastanych w ewaluacji programów regionalnych 103

mowane jako wymierne i konkretne cele-zadania (ang. objectives)4. W przypadku zaniedbania powyższych reguł i pozostania na etapie formułowania celu w kate-goriach ogólnych (np. zwiększenie innowacyjności małych i średnich przedsię-biorstw, poprawa funkcjonowania instytucji ochrony zdrowia itd.) trudno po (lub w trakcie trwania procesu) zdecydować, czy i na ile dany efekt został osiągnięty. Wynika stąd logicznie, że cele powinny być defi niowane już na etapie projekto-wania oddziaływania, a następnie weryfi kowane w procesie ewaluacji ex-ante, tj. przed rozpoczęciem działania5.

Dodatkową trudnością w przypadku ewaluacji programów i projektów fi -nansowanych ze środków europejskich jest konieczność określania celów na poziomie: produktów , które mają być dostarczone w toku interwencji (np. szko-leń); rezultatów , czyli zmian w sytuacji benefi cjentów osiągniętych bezpośrednio w wyniku działań (np. zmniejszenia bezrobocia w grupie benefi cjentów); wpływu

lokalnego, czyli trwałego efektu oddziaływania dla benefi cjentów bezpośrednich (np. trwałości zmiany ich sytuacji na rynku pracy) oraz wpływu globalnego, czy-li rozwiązania problemu w szerszym kontekście społecznym (np. zmniejszenie bezrobocia w danym regionie)6. Z punktu widzenia celów programu ważne jest zwłaszcza osiągnięcie celów w kategoriach wpływu – zazwyczaj nie podejmuje się przecież interwencji po to, by zmienić sytuację jedynie ograniczonej grupy benefi cjentów bezpośrednio objętych oddziaływaniem, ale by przeprowadzić lub zainicjować zmianę społeczną w szerszym wymiarze. Rozróżnienie celów według tych kategorii odpowiada także logice oddziaływania – może się bowiem oka-zać, że osiągnięcie celów na poziomie rezultatów może nie mieć wpływu (bądź nawet oddziaływać w sposób niepożądany) na cele z poziomu wpływu lokalnego i globalnego7.

Wiadomo jednak, że poziom złożoności celów i ogólności stosowanych pojęć (np. aktywizacja, zwiększenie konkurencyjności, podwyższenie jako-ści itd.) utrudnia zdefi niowanie ich według przyjętych reguł. Jest to zresztą sytuacja typowa dla badań społecznych, w których zazwyczaj badane zjawi-ska opisywane są przy użyciu złożonych i abstrakcyjnych pojęć, często róż-niących się znaczeniem w zależności od przyjętego modelu teoretyczne-go. Jak radzić sobie w takiej sytuacji? Powszechnie przyjętym rozwiązaniem – zarówno na gruncie badań socjologicznych, jak i w procesie ewaluacji progra-mów i polityk – jest przełożenie celów na precyzyjnie zdefi niowane i mierzalne wskaźniki . Wskaźnikami w naukach społecznych nazywa się takie zjawiska, cechy

4 J. Górniak, K. Keler, „Wskaźniki w ewaluacji ex-post programów publicznych”, [w:] Ewaluacja

ex-post. Teoria i praktyka badawcza, A. Haber (red.), Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2007, s. 160–161.5 Tamże, s. 156.6 Tamże, s. 162.7 Tamże, s. 166–167.


czy zachowania, które można względnie łatwo obserwować i mierzyć, a na tej podstawie wnioskować o innych, często nieobserwowalnych lub trudno obser-wowalnych zjawiskach, cechach czy zachowaniach. Przykładowo określony strój może być wskaźnikiem statusu społecznego, drżenie rąk wskaźnikiem zdenerwo-wania, zostawianie drzwi do domu niezamkniętych na klucz wskaźnikiem poczu-cia bezpieczeństwa (lub lekkomyślności), ból głowy wskaźnikiem migreny, a od-powiedzi na pytania w teście inteligencji wskaźnikiem rzeczywistego jej pozio-mu. Dobór wskaźników jest zadaniem zarówno ważnym, jak i skomplikowanym. Jednym z podstawowych kryteriów jest w tym wypadku stopień, w jakim zakres wskaźnika i zjawiska, do którego odnosi się wskaźnik (indicatum), się pokrywają8. Migrena jest w sposób ścisły powiązana z bólem głowy, ale zakres tego wskaźnika jest znacznie szerszy (ból głowy nie musi oznaczać migreny). Z drugiej strony ból głowy nie pokrywa w całości zakresu migreny, ponieważ do stwierdzenia tej przypadłości wymagane jest wystąpienie także innych objawów. W tym wypadku konieczne byłoby dokładniejsze zdefi niowanie wskaźnika (np. określenie czasu trwania i natężenia bólu) i/bądź dodanie jeszcze innych wskaźników (np. świa-tłowstrętu). Poziom trudności w doborze wskaźników rośnie wraz ze wzrostem złożoności i abstrakcyjności pojęć, które chcemy zmierzyć (np. konkurencyjność, optymizm, zaufanie społeczne), a poważny błąd na tym etapie decyduje o niepo-wodzeniu całego pomiaru – powszechną praktyką jest dobieranie całego zestawu wskaźników, by proces pomiaru był mniej podatny na błąd. Wskaźnikowanie po-zostaje jednak najlepszym sposobem pozwalającym na pomiar skomplikowanych pojęć i w naszym przypadku na ewaluację programów i polityk.

DANE ZASTANE

Badania socjologiczne zazwyczaj kojarzone są z badaniami sondażowymi wy-konywanymi na dużych próbach techniką ankietową, wywiadem osobistym lub telefonicznym. Jest to tylko częściowa prawda, ponieważ socjologowie dyspo-nują całym zestawem metod i technik badawczych. Co więcej realizacja badań sondażowych na dużą skalę wiąże się z koniecznością uporania się z wieloma problemami. Wymieńmy tylko niektóre z nich:1. Wysoki koszt – w szczególności związany z doborem próby i realizacją bada-

nia w terenie (w tym wynagrodzeniem dla ankieterów) oraz zapisem uzyska-nych danych.

2. Czasochłonność i pracochłonność badania – prowadzenie badań sondażowych na dużą skalę oznacza zaangażowanie znacznych zasobów organizacji; nawet w przypadku zlecenia badań zewnętrznemu ośrodkowi nieunikniona jest ko-

8 Objętość tekstu nie pozwala na rozwinięcie tego tematu. Więcej o wskaźnikach w naukach społecznych i sposobach ich doboru można znaleźć np. w klasycznej pracy S. Nowaka, Metodologia

badań społecznych, wyd. II, Wydawnictwo Naukowe PWN, Warszawa 2007.


nieczność poświęcenia niemałej ilości czasu na przygotowanie i sam proces badania.

3. Wiarygodność – przygotowanie i realizacja badania wymaga specjalistycznej wiedzy i doświadczenia. Wbrew czasami spotykanym opiniom badanie sonda-żowe nie sprowadza się do „napisania ankiety” i zebrania za jej pomocą wyni-ków, lecz jest skomplikowanym procesem, w którym łatwo o błąd. W praktyce niezmiernie trudne jest poprawne przeprowadzenie badań przez pracowników danej instytucji lub zespół nieprofesjonalistów, natomiast korzystanie z oferty ośrodków badawczych wiąże się ze znacznymi kosztami i niestety nie zawsze z gwarancją wysokiej jakości.

Wiele z tych trudności dotyczy nie tylko badań sondażowych, ale badań spo-łecznych w ogóle. Można powiedzieć, że dla socjologów „własnoręczne” przepro-wadzanie badań wiąże się przede wszystkim ze znacznymi kosztami i trudnościa-mi organizacyjnymi; w przypadku nieprofesjonalistów istotne są również trudno-ści metodologiczne. Wymienione problemy sprawiają, że zarówno w dziedzinie badań naukowych, jak i badań wykonywanych na potrzeby praktyki społecznej coraz szerzej wykorzystywane są dane zastane (wtórne)9, czyli dane zebrane przez innych badaczy (zazwyczaj w innym celu) i udostępnione (odpłatnie lub darmo-wo). Do tego rodzaju danych można zaliczyć m.in.:– dane urzędów statystycznych (Eurostat, GUS – np. roczniki statystyczne, Bank

Danych Regionalnych) i instytucji publicznych– udostępniane dane z badań wykonywanych przez ośrodki badawcze (np. Cen-

trum Badania Opinii Społecznej)– dane ze spisów ludności (np. Narodowy Spis Powszechny 2002)– dane zbierane w ramach tematycznych projektów badawczych i udostępniane

do szerokiego wykorzystania (np. „Diagnoza społeczna”, „Polski Generalny Sondaż Społeczny”, „Budżety Gospodarstw Domowych”, „World Value Su-rvey”, „European Value Survey”)

– dane z badań naukowych i publikacji branżowych publikowane i dostępne w Internecie

– wszelkie dane wewnętrzne organizacji (np. dane sprzedażowe)– dane archiwalne.

Warto zaznaczyć, że dane wtórne mogą być dostępne zarówno w formie opracowanych wyników (raportów, tabeli, wykresów, zestawień), jak i w postaci surowej – jako zbiory danych przeznaczone do samodzielnej analizy przez osobę, która chce i ma odpowiednie kompetencje, by z nich skorzystać (niniejszy roz-dział dotyczy wykorzystania głównie tego rodzaju danych z sondażowych badań społecznych).

9 Danymi wywołanymi (pierwotnymi) określa się dane zebrane w wyniku badania przeprowa-dzonego specjalnie na potrzeby uzyskania odpowiedzi na dane pytanie badawcze.


Tradycja wykorzystania danych zastanych w analizach socjologicznych jest bardzo długa i sięga początków tej dyscypliny. Są one często wykorzystywane, ponieważ:• pozwalają na znalezienie odpowiedzi na niektóre pytania i przetestowanie

części hipotez• służą jako dane pomocnicze, wspomagające proces wstępnego rozeznania pro-

blemu, lepszego określenia obszarów niewiedzy, właściwego postawienia pytań badawczych i zaprojektowania badania

• pomagają rozszerzyć podejście do problemu oraz zwiększają trafność uzyski-wanych wyników, ponieważ są dodatkowym, zewnętrznym źródłem informa-cji

• pozwalają często na porównywanie zebranych wyników (np. między krajami, regionami)

• służą jako dane dodatkowe, pozwalające uzupełnić wyniki przeprowadzonych we własnym zakresie badań

• są zdecydowanie tańsze i mniej pracochłonne do uzyskania niż dane pierwot-ne (wywołane)10.Warto wspomnieć także o jeszcze jednej zalecie związanej z używaniem da-

nych zastanych – wiele (choć nie wszystkie!) z dostępnych zbiorów, to dane po-chodzące z badań przygotowanych i realizowanych przez renomowane ośrodki. Korzystając z nich opieramy się na wysokiej jakości materiale uzyskanym dzięki wiedzy i umiejętności profesjonalistów. Podobny poziom jakości jest trudny do osiągnięcia przy okazji wąsko zakrojonych projektów badawczych czy badań pro-wadzonych przez mniejsze ośrodki.

Ze stosowaniem danych zastanych wiążą się jednak również rozmaite ogra-niczenia. Bodaj najistotniejszy jest fakt, że z defi nicji dane wtórne pochodzą z badań realizowanych w innym celu niż nasz projekt badawczy. Co za tym idzie, w zbiorach danych zastanych odnajdziemy nie tylko informacje, które są zupełnie nieistotne punktu widzenia naszych pytań, ale przede wszystkim częsta jest sytuacja, w której w istniejących danych brak odpowiedzi na niektóre z waż-nych dla nas problemów decyzyjnych. Dodatkowo ponieważ nie uczestniczymy w projektowaniu i realizacji badania, nie mamy również możliwości wpływu na zastosowaną metodologię (np. sposób rozumienia problemu badawczego, dobór próby, treść kwestionariusza itd.) ani kontroli nad przebiegiem badań. Fakt ten skłania do szczególnej ostrożności w wyborze danych zastanych i do dokładnego zapoznania się ze stosowaną przez badaczy metodologią.

Ten problem ilustruje przykład wyników sondaży publikowanych w prasie z krótką i najczęściej enigmatyczną wzmianką na temat zastosowanej techniki

10 Zob. E. Babbie, Badania społeczne w praktyce, przeł. zespół, Wydawnictwo Naukowe PWN, Warszawa 2005, s. 321–324; N. K. Malhotra, Marketing Research. An Applied Orientation, Prentice-Hall International Inc., New Jersey 1993, s. 117–119.


zbierania danych i sposobu doboru próby. Z pewnością są to łatwo dostępne dane zastane, jednak możliwość ich wykorzystania stoi pod dużym znakiem zapytania, o ile nie mamy szczegółowych informacji na temat metodologii badań (nawet jeśli przeprowadziły je renomowane ośrodki). Do ostrożności skłania także dostęp-ność wielu informacji wątpliwej jakości w internecie – na bezwzględne odrzucenie zasługują w szczególności publikowane przez nieujawnionych lub niegodnych zaufania badaczy, uzyskane w wyniku rozmaitych „sondaży” na stronach inter-netowych bądź zbierane z wyraźną intencją wsparcia takiej czy innej idei (np. publikowane przez partie polityczne na swoich stronach).

Dodatkowe ograniczenia w korzystaniu z danych wtórnych wiążą się z ich aktualnością. Zazwyczaj dane dostępne są z pewnym opóźnieniem, co powoduje, że w momencie wykorzystania mogą być w mniejszym lub większym stopniu nieaktualne z punktu widzenia naszych potrzeb. Za przykład mogą tu posłużyć dane z Narodowego Spisu Powszechnego pochodzące z 2002 roku – trudno by-łoby posługiwać zawartymi tam informacjami na temat bezrobocia w opisie tego zjawiska nawet pół roku po badaniu.

Z powyższych ograniczeń wynika zalecenie szczególnej ostrożności w wybo-rze i korzystaniu z danych zastanych. Podsumowując można jednak stwierdzić, że przy rozsądnym wyborze źródeł informacji korzyści związane z wykorzystaniem danych wtórnych są nieocenione (a bodaj największą z nich jest niski koszt). Z pewnością dane zastane mogą być wykorzystane także w procesie specyfi cz-nych badań społecznych, jakim jest ewaluacja programów i polityk regionalnych – w szczególności na etapie oceny ex-ante (a więc defi niowania potrzeb i pro-blemów regionu), ale także w przypadku długookresowych programów, także w ewaluacji mid-term i ex-post . Zwraca jednak uwagę stosunkowo niewielka świa-domość istniejącego bogactwa źródeł wiarygodnych danych wśród osób dokonu-jących ewaluacji (najczęściej wykorzystywane są prawdopodobnie dane GUS-u i urzędów publicznych, np. stosownych wydziałów urzędów miast).

Ilość dostępnych danych wydatnie zwiększa się, jeśli posiadamy umiejętności samodzielnego korzystania ze zbiorów danych surowych, a więc choćby pod-stawowe umiejętności analizy danych. Dzieje się tak, ponieważ wyniki części wartościowych badań ogólnopolskich publikowane są w formie zbiorczych rapor-tów przedstawiających zazwyczaj wyniki analizy dla całego kraju. Wyodrębnienie danych dla regionu wymaga choćby podstawowych umiejętności analitycznych i odpowiedniego oprogramowania.

Poniżej przedstawiono możliwości wykorzystania w procesie ewaluacji pro-

gramów regionalnych danych z największego w Polsce badania panelowego „Diagnoza społeczna ”, dostępnych bezpłatnie dla wszystkich zainteresowanych. Najpierw jednak kilka słów na temat samego badania.


DIAGNOZA SPOŁECZNA

„Diagnoza społeczna. Warunki i jakość życia Polaków”11 to największe re-alizowane obecnie w Polsce badanie panelowe (tj. badanie na w przybliżeniu tej samej próbie w odstępach mniej więcej 2 lat przy użyciu mniej więcej tego samego zestawu pytań). Dotychczas zrealizowano 4 fale badania: w latach 2000, 2003, 2005 i 2007. W ostatniej fali badania wzięły udział 5532 gospodarstwa domowe i 12641 ich mieszkańców (jeden zestaw pytań dotyczących całego go-spodarstwa domowego wypełniany jest w czasie wywiadu prowadzonego przez ankietera przez głowę gospodarstwa, a drugi wypełniają samodzielnie wszyscy dostępni członkowie gospodarstwa w wieku 16 i więcej lat). Autorami projektu i metodologii badania są głównie wykładowcy warszawskich uczelni (głównie Uniwersytetu Warszawskiego i Szkoły Głównej Handlowej) tworzący Radę Mo-nitoringu Społecznego. Głównym sponsorem badań jest Commercial Union oraz Ministerstwo Pracy i Polityki Społecznej; projekt wspiera także kilka innych instytucji. Dostęp do wyników badania w postaci tak obszernego raportu, jak i zestawów tabel i baz danych do samodzielnego wykorzystania jest bezpłatny.

„Diagnoza społeczna” jest projektem badającym warunki i jakość życia Pola-ków w ich własnej subiektywnej opinii (dane opisują zatem poglądy, deklaracje i opinie respondentów, a nie obiektywny stan rzeczy – ma to oczywiście swoje wady i zalety). Badanie obejmuje bardzo wiele aspektów związanych z codzien-nym funkcjonowaniem i różnymi sferami życia, m.in.:a. strukturą społeczno-demografi czną gospodarstw domowychb. warunkami życia w gospodarstwach domowych – sytuacją dochodową, wyży-

wieniem, zasobnością materialną, wyposażeniem w nowoczesne technologie, warunkami mieszkaniowymi, kształceniem dzieci, korzystaniem w pomocy społecznej i opieki zdrowotnej, uczestnictwem w kulturze, sytuacją na rynku pracy, niepełnosprawnością, zabezpieczeniami emerytalnymi, ubóstwem, bez-robociem

c. jakością i stylem życia indywidualnych respondentów – ogólnym dobrostanem psychicznym, zadowoleniem z poszczególnych aspektów życia, oceną material-nego poziomu życia, rodzajami doświadczanego stresu życiowego, objawami psychosomatycznymi i somatycznymi, strategiami radzenia sobie ze stresem, systemem wartości, skłonnością do ryzyka, wsparciem społecznym, nałogami, praktykami religijnymi, postawami i zachowaniami społecznymi, wsparciem społecznym, oceną procesu transformacji, sytuacją na rynku pracy i karierą, fi nansami osobistymi, korzystaniem z nowoczesnych technologii12.

11 Diagnoza społeczna. Warunki i jakość życia Polaków. Raport, J. Czapiński, T. Panek (red.), Rada Monitoringu Społecznego, Warszawa 2007.12 J. Czapiński, „Wstęp”, [w:] Diagnoza społeczna. Warunki i jakość życia Polaków. Raport, J. Cza-piński, T. Panek (red.), Rada Monitoringu Społecznego, Warszawa 2007, Wyszukane na: http://www.diagnoza.com/fi les/diagnoza2007/raport_11.11.2007.pdf.


W konsekwencji „Diagnoza…” jest aktualnym kompendium wiedzy na temat naszego społeczeństwa. Co istotne, sposób doboru próby sprawia, że wyniki ba-dania są reprezentatywne nie tylko dla całego kraju, ale także dla poszczególnych województw, co przesądza o – jak się wydaje wciąż niedocenianej – użyteczności tego zbioru danych w analizach regionalnych. Dodatkowo na możliwość wykony-wania prawidłowych analiz wpływa bardzo duża, rzadko spotykana w typowych badaniach sondażowych liczebność całej próby badawczej (12641 respondentów indywidualnych w 2007 roku), co powoduje, że liczba wywiadów przeprowadzo-nych w poszczególnych województwach pozwala na dokonywanie wiarygodnych analiz statystycznych, zwłaszcza w przypadku respondentów indywidualnych (przykładowo w województwie małopolskim w 2007 roku w badaniu wzięło udział 1057 respondentów). Panelowy sposób realizacji badania (powtarzanie tych samych pytań co 2 lata w tych samych – mniej więcej – gospodarstwach domowych) pozwala dodatkowo na interesujące analizy zachodzących zmian13.

Co jest potrzebne do korzystania z „Diagnozy społecznej”? Dostęp do danych jest bezpłatny poprzez stronę internetową (http://www.diagnoza.com), możliwe jest także korzystanie z gotowych tabel zawierających rozkłady różnic w odpowie-dziach na część pytań w różnych województwach. Już ten poziom analizy pozwala – podkreślmy to – znacznie pogłębić wiedzę o regionie. Jednak poszukiwanie wyników zgodnych z własnymi potrzebami informacyjnymi w znacznej części wypadków wymaga wyjścia poza gotowe tabele i skorzystania z plików danych do samodzielnej analizy. To zaś wiąże się z wymogiem posiadania umiejętności wykonywania przynajmniej prostych operacji statystycznych oraz z dostępem do specjalnych programów do statystycznej analizy danych (np. SPSS) – zwykłe arkusze kalkulacyjne nie będą tutaj przydatne. Rozmiary tego rozdziału nie po-zwalają na poruszenie podstawowych zagadnień związanych z analizą danych ani z korzystaniem z pakietów statystycznych14. Warto jednak zaznaczyć, że przy-datne i niebanalne analizy mogą być wykonywane nawet przy użyciu najbardziej podstawowych operacji na danych, tj. obliczenia udziałów procentowych, średnich czy podstawowych wykresów. Jako że artykuł ten ma charakter poglądowy i nie jest kierowany do specjalistów w dziedzinie analizy danych, poniższe przykłady zostały wykonane w większości przy użyciu właśnie tych podstawowych operacji. Specjaliści będą oczywiście w stanie dokonać znacznie subtelniejszych i bogat-szych w informacje analiz.

13 W przypadku analiz dla poszczególnych województw możliwość ta bywa ograniczona – na część pytań ważne odpowiedzi uzyskiwane są tylko od niektórych badanych, co wyraźnie zmniej-sza próbę (zwłaszcza w przypadku pierwszych mniej licznych fali badania np. z 2000 roku) i nie pozwala na wiarygodne wnioskowanie na temat całej populacji. 14 Zainteresowanemu czytelnikowi można polecić zwięzły podręcznik J. Górniaka i J. Wachnic-kiego, Pierwsze kroki w analizie danych, SPSS Polska, Kraków 2000.


Dla porządku uprzedźmy tylko, że rozmiary plików danych są bardzo duże i korzystanie z nich jest dość niewygodne (oczywiście możemy wyodrębnić dane tylko z określonego województwa, redukując liczbę obserwacji do ok. 1000, jed-nak liczba zmiennych w zbiorze danych z wszystkich fal badania pozostanie na poziomie prawie 3000!). Mniej doświadczonym użytkownikom trzeba także przypomnieć, że wykonywanie obliczeń musi być poprzedzone włączeniem od-powiednich wag znajdujących się w pierwszych kolumnach pliku danych i opi-sanych we wstępie do raportu z badania.

PRZYKŁADY ZASTOSOWANIA15

Problem możliwości i umiejętności korzystania z technologii informatycznych jest jednym z bardziej popularnych obszarów oddziaływania w zakresie polityki i programów regionalnych. Przyjrzyjmy się, w jaki sposób można wykorzystać dane z badania „Diagnoza społeczna” w analizie specyfi ki korzystania z internetu w województwie małopolskim i zarazem zidentyfi kowania potrzeb interwencji lub oceny działań już podjętych.

Ze zbioru danych dotyczących gospodarstw domowych z badania w 2007 roku wyodrębniamy dane dotyczące województwa małopolskiego. W tym wypadku możemy się posłużyć kodem terytorialnym GUS, zgodnie z którym kodowane są dane dla poszczególnych województw (w badaniach z 2007 roku wzięło udział 418 gospodarstw domowych z Małopolski).

Zacznijmy od podstawowych informacji – jaki odsetek mieszkańców Mało-polski ma komputer i dostęp do internetu? W 2007 roku w Małopolsce z prze-badanych gospodarstw domowych 50,5% posiadało co najmniej 1 komputer w domu, a 43,4% miało dostęp do internetu. Jeżeli porównamy te liczby z wyni-kami dla całego kraju, okaże się, że odsetek gospodarstw posiadających komputer był w całej Polsce nieco wyższy (53,8%), lecz procent gospodarstw z dostępem do internetu nieco niższy (39,2%)16. Nieco gorsze wyposażenie małopolskich gospodarstw w komputery rekompensuje jednak po części, korespondujący z po-wyższymi wynikami fakt, że jeżeli w gospodarstwie znajduje się już komputer, to jest on częściej wyposażony w dostęp do internetu – 82,1% gospodarstw mało-polskich posiadających komputer ma także dostęp do sieci, w porównaniu z 73% dla całego kraju.

15 Wszystkie poniższe przykłady analizy zostały wykonane na danych zebranych w ramach pro-jektu „Diagnoza społeczna” realizowanego przez Radę Monitoringu Społecznego w latach 2000––2007 (http://www.diagnoza.com/). 16 D. Batorski, „Uwarunkowania i konsekwencje korzystania z technologii informacyjno-komunika-cyjnych”, [w:] Diagnoza społeczna. Warunki i jakość życia Polaków. Raport, J. Czapiński, T. Panek (red.), Rada Monitoringu Społecznego, Warszawa 2007, s. 274. Wyszukane na: http://www.diagnoza.com/fi les/diagnoza2007/raport_11.11.2007.pdf.


Planując interwencję w kierunku poprawienia informatyzacji małopolskich gospodarstw domowych warto wiedzieć, jakie są przyczyny nieposiadania dostępu do internetu. Czy rzeczywiście podstawową przyczyną jest bariera fi nansowa? Z deklaracji uzyskanych w przebadanych gospodarstwach (Wykres 1) wynika, że najczęściej podawanym uzasadnieniem nie są koszty, lecz brak potrzeby korzysta-nia z internetu (43,6%). Dopiero na drugim miejscu są zbyt wysokie koszty do-stępu (37,1%), a na trzecim brak odpowiedniego sprzętu (35,6%). W znikomym odsetku gospodarstw podawaną przyczyną jest przekonanie, że internet nie ma nic ciekawego do zaoferowania (2,5%) czy postrzegana potencjalna szkodliwość internetu (0,5%); nigdzie nie wskazano natomiast, by przyczyną nieposiadania internetu były względy prywatności lub bezpieczeństwa.

Wykres 1. Rozkład odpowiedzi na pytanie: Który z tych powodów najlepiej opisuje, dlaczego Pana(-i)

gospodarstwo domowe nie ma dostępu do internetu? (województwo małopolskie, 2007).

Jakie stąd wnioski dla planowanych oddziaływań? Przykładowo, interwencja w formie kampanii społecznej, której głównym celem byłoby zmniejszenie lęku przed potencjalnymi zagrożeniami związanymi z internetem (np. jego szkodliwo-ścią dla dzieci, internetową przestępczością, zagrożeniem ze strony wirusów czy hakerów) i poprzez kształtowanie bardziej pozytywnej postawy wobec internetu nie jest potrzebna – przebadani mieszkańcy Małopolski najwyraźniej nie z tych powodów nie posiadają internetu. Podobnie, najwyraźniej nie trzeba ich przeko-nywać do tego, że internet ma wiele interesujących możliwości do zaoferowania. Bardziej wskazane natomiast byłoby oddziaływanie w kierunku zmniejszania ba-riery fi nansowej w dostępie do sieci oraz kształtowanie samej potrzeby posiadania dostępu do sieci.

Dalsza analiza tego zagadnienia mogłaby przebiegać w stronę dokładniejszego scharakteryzowania gospodarstw domowych, w których podstawową trudność w dostępie do internetu stanowią jego koszty (Tabela 1). I tak spośród gospo-

� � ��

��

��

��

��

� ��

� ��

� ��

��

��

� ��

��

��

��

� ��

��


darstw, które podały tę właśnie barierę, zdecydowanie najwięcej jest rodzin nie-pełnych (23%). Mniej więcej w podobnym stopniu ten problem był najważniejszy w małżeństwach z 2 lub 3 i więcej dziećmi oraz w gospodarstwach wielorodzin-nych; wyraźnie mniej dolegliwe są kwestie fi nansowe w małżeństwach z 1 dziec-kiem17. Uzasadniona mogłaby być zatem forma interwencji, która wspierałaby właśnie rodziny niepełne.

Tabela 1. Struktura rodzinna gospodarstw domowych podających zbyt wysokie koszty dostępu jako

główną przyczynę braku dostępu do internetu (województwo małopolskie, 2007).

Ilość

obserwacji

Procent

ważnych

małżeństwa bez dzieci 10 12,8

małżeństwa z 1 dzieckiem 7 9,7

małżeństwa z 2 dzieci 10 13,6

małżeństwa z 3 i więcej dzieci 11 13,8

rodziny niepełne 18 23,0

wielorodzinne 10 13,3

nierodzinne jednoosobowe 9 12,3

nierodzinne wieloosobowe 1 1,5

Ogółem 76 100,0

W rozważaniu sposobu usprawnienia funkcjonowania urzędów i jednocze-snego ułatwienia czynności urzędowych mieszkańców pojawia się często pomysł wykorzystania w tym celu internetu. Korzystając z danych z „Diagnozy…” moż-na ustalić, które sprawy mieszkańcy Małopolski załatwialiby przez internet naj-chętniej. I tak najbardziej potrzebna zdaniem przebadanych mieszkańców byłaby możliwość skorzystania od początku do końca (razem z opłatami) z takich spraw jak:– usługi związane z ochroną zdrowia (np. informacje o czasie oczekiwania na

wizytę u lekarza, przyjęcia do szpitala, terminach i miejscach świadczenia usług zdrowotnych), które wskazano w 29,7% gospodarstw domowych

– zamawianie i otrzymywanie zaświadczeń lub odpisów aktów stanu cywilnego (np. urodzenia, małżeństwa) – 29,1% gospodarstw

– rejestracja pojazdu – 27,2%– sprawy dotyczące dokumentów osobistych – 25,8%– dostęp do bibliotek publicznych – 25,5%– deklaracje podatkowe – 22,7%.

Jak widać, nawet tak prosta analiza doprowadziła do niebanalnego spostrzeże-nia, że największe zainteresowanie korzystaniem z internetu w sprawach urzędo-wych wiąże się z usługami związanymi z ochroną zdrowia, czyli w sferze, w której dostępność takich ułatwień jest stosunkowo niska.

17 Z racji niewielkiej ilość obserwacji spostrzeżenia te należy potraktować raczej jako hipotezy.


A jak mieszkańcy Małopolski wykorzystują internet? Jednym z typowych za-stosowań, które może istotnie zwiększać szanse życiowe jego użytkowników, jest wykorzystanie go do poszukiwania pracy. Na pytanie o korzystanie kiedykolwiek z internetu w tym celu (szukanie pracy, wysyłanie ofert dotyczących zatrudnie-nia) twierdząco odpowiedziało 27,5% przebadanych mieszkańców Małopolski. Przyjrzyjmy się, jak używanie internetu w tym celu kształtowało się w różnych grupach ze względu na wykształcenie (Tabela 2). Okazuje się, że spośród osób po-siadających wyższe wykształcenie z internetu korzystało w tym celu 38,5% osób; nieco mniej zainteresowanych pracą użytkowników miał internet wśród osób z wykształceniem podstawowym i niższym oraz średnim, a najmniej wśród osób z ukończonym gimnazjum i zasadniczą szkołą zawodową (15,7%)18. Nasuwają-cym się wnioskiem jest potrzeba promocji tego rodzaju wykorzystania internetu – zwłaszcza wśród osób z wykształceniem zasadniczym zawodowym.

Tabela 2. Wykorzystanie internetu do poszukiwania pracy w zależności od poziomu wykształcenia

(województwo małopolskie, 2007)

Poziom wykształcenia

Ogółempodstawowe

i niższe

zasadnicze

/gimnazjumśrednie

wyższe

i policealne

szukanie pracy, wysyłanie

ofert dotyczących zatrud-

nienia (kiedykolwiek)

TAK 28,6% 15,7% 25,2% 38,5% 27,3%

NIE 71,4% 84,3% 74,8% 61,5% 72,7%

Ogółem 100,0% 100,0% 100,0% 100,0% 100,0%

Powyższe przykłady służyły w głównej mierze wskazaniu, jak dane z „Dia-gnozy społecznej” mogą służyć identyfi kacji potrzeb i planowaniu oddziaływań w sferze informatycznej, a więc w ewaluacji ex-ante. Zauważmy, że w powyż-szych (i poniższych) przykładach pytania kwestionariuszowe zostały arbitralnie potraktowane jako wskaźniki (w tym wypadku planowanych celów ewaluacji) – wyborowi wskaźników do oceny rzeczywistych programów powinien towarzy-szyć oczywiście staranniejszy namysł. Pamiętając o tym zastrzeżeniu spróbujmy teraz sprawdzić, czy dane tego rodzaju mogą służyć również w analizie ex-post. Oczywiście naturalną trudnością wynikającą ze specyfi ki danych zastanych jest fakt, że czas zbierania danych, jak i treść pytań badawczych, na które badanie mia-ło odpowiadać, jest poza kontrolą osoby dokonującej ewaluacji. Wynikają z tego rozmaite konsekwencje. Oto najważniejsze z nich:1. Ewaluacja, szczególnie ex-post , przy użyciu tego rodzaju danych będzie naj-

częściej jedynie cząstkowa, tj. do uzyskania będą możliwe odpowiedzi jedynie na niektóre pytania; co więcej, czas zbierania będzie narzucony z góry i często nie odpowiadający idealnie potrzebom ewaluacji.

18 Dane obejmują w tym wypadku osoby uczące się, jednak możliwe jest ich wyłącznie z analizy.


2. Zazwyczaj jedyną możliwą formą oceny skuteczności działań i osiągnięcia zakładanych celów będzie globalna ocena na poziomie wpływu społecznego (a więc efektów działań w szerokim kontekście). W konsekwencji realna oce-na będzie mogła być dokonana po upływie względnie długiego czasu (np. po kilku latach od oddziaływania – tyle może trwać zmiana na tym poziomie). Co więcej, analizując dane należy w tym wypadku koncentrować się nie na pojedynczych wartościach wskaźników, lecz na analizie trendów i szukać wy-jaśnienia ich kształtu i ewentualnych zmian kierunku.

3. Z oceną na poziomie wpływu społecznego wiąże się (często spotykana w na-ukach społecznych) trudność w jednoznacznym określeniu przyczyn obser-wowanych zmian. Jest tak dlatego, że zmiany społeczne rzadko uwarunkowane są jedną tylko przyczyną. Co więcej często wpływ jednego czynnika jest za-pośredniczony przez wpływ innych czynników. Przykładowo zwiększenie od-setka wiejskich gospodarstw domowych wyposażonych w dostęp do internetu w danym regionie może być spowodowane nie tylko postępującą informatyza-cją kraju, zwiększeniem stopy życia mieszkańców wskutek spadku bezrobocia i wzrostu płac, ale kluczowym czynnikiem może być w tym wypadku wejście na rynek pozamiejski dużego dostawcy internetu bądź zwiększenie dostęp-ności urządzeń do satysfakcjonującej transmisji danych. Cennym zaleceniem jest – przy poszukiwaniu wpływu przyczynowego – korzystanie z możliwie wielu źródeł informacji19. W przykładzie ilustrującym trudności w wykorzystaniu społecznych danych

zastanych w analizie ex-post odniesiemy się do „Małopolskiego Programu Po-wszechnej Edukacji na rzecz Społeczeństwa Informacyjnego”20, będącego jednym z elementów szerszej polityki wspierania społeczeństwa informacyjnego w woje-wództwie małopolskim. Zgodnie z misją programu („Lepiej wykształceni miesz-kańcy regionu, aktywnie wykorzystujący zasoby informacji oraz usługi świadczo-ne on-line”) jednym z jego celów na lata 2005–2006 było rozwijanie umiejętności stosowania technologii informacyjnej. Zaplanowanymi działaniami miały być w tym obszarze szkolenia informatyczne dla osób bezrobotnych, zagrożonych bezrobociem, niepełnosprawnych i starszych oraz absolwentów, a także dla osób upowszechniających wiedzę (np. nauczycieli, bibliotekarzy, doradców zawodo-wych). Czy korzystając z danych zastanych możemy stwierdzić, na ile podjęte działania zakończyły się sukcesem w wymiarze globalnego wpływu społecznego?

Porównanie odpowiedzi na pytanie dotyczące korzystania kiedykolwiek z internetu w formie uczestniczenia w kursach lub szkoleniach przez internet wskazuje, że w 2005 r. 3,4%, a w 2007 r. 6,4% respondentów indywidualnych odpowiadało twierdząco. Jednak o ile wzrost popularności e-learningu jest nie-zaprzeczalny, o tyle trudno ocenić, na ile stało się tak wskutek upowszechnienia

19 Zob. http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_techniques/obtaining_data/secondary_data/strengths_limitations_en.htm. 20 http://www.malopolskie.pl/Pliki/2005/ESI_Malopolska.pdf


go w wyniku samego programu, a na ile zadziałało w tym wypadku wiele innych czynników (np. wzrost popularności e-learningu w wielu branżach). Trudno za-tem jednoznacznie ocenić szerokie i długotrwałe efekty programu.

Diagnoza społeczna zawiera także informacje o innych sferach życia inte-resujących z punktu widzenia prowadzenia polityki regionalnej i projektowa-nia oddziaływań. Jedną z nich jest palenie papierosów. W kraju obserwujemy w latach 2000–2007 nieprzerwany spadek odsetka osób przyznających się do palenia papierosów, w Małopolsce spadek ten ma mniejszą dynamikę (Tabela 3). W szczególności charakterystyczne jest, że procent osób palących zmniejszał się do 2005 roku, lecz wyraźnie wzrósł w latach 2005–2007. W porównaniu z krajem szybciej malała jednak średnia ilość wypalanych – z 17,7 do 15,8 w Małopolsce i z 16,5 do 16 w całym kraju. Znacznym ograniczeniem w wypadku powyższych obliczeń jest niewielka liczba osób przebadanych w roku 2000 (a także osób, które odpowiadały na pytanie o liczbę wypalanych papierosów). Wnioskowanie na temat całej populacji mieszkańców Małopolski na podstawie tak niewielkiej próby może być obarczone istotnym błędem.

Powyższa analiza może nie tylko posłużyć do diagnozy obszaru problemo-wego – w tym wypadku byłby to obserwowany wzrost odsetka osób palących w ostatnich latach, ale także może być składnikiem ewaluacji ex-post . „Małopol-ski Program Profi laktyki i Przeciwdziałania Uzależnieniom na lata 2004–2007”21 jako jeden z celów operacyjnych przyjmował ograniczenie używania alkoholu, narkotyków i nikotyny oraz związanych z nimi problemów (zwłaszcza wśród dzieci i młodzieży). Jakkolwiek wybranymi w programie wskaźnikami osiągnięcia celu były głównie liczby otwartych placówek i przeprowadzonych działań edu-kacyjno-profi laktycznych, najbardziej bezpośrednim wskaźnikiem skuteczności programu (wybranym, co trzeba zaznaczyć, arbitralnie i post factum) na poziomie szerokiego wpływu społecznego, jest po prostu odsetek osób palących papiero-sy. Mimo, że przyjęcie tego wskaźnika pokazuje raczej skutek odwrotny od za-mierzonego (odsetek osób palących wzrósł od 2003 roku), należy podkreślić, że najprawdopodobniej dowodzi to nie przeciwskuteczności programu, co działania innych, nieuwzględnionych w badaniu czynników.

Tabela 3. Odsetek osób palących i średnie liczby wypalanych papierosów w Małopolsce i w całym

kraju w latach 2000–2007

Czy pali Pan(i) papierosy? 2000 2003 2005 2007

Małopolska 29,2 27 24 28

Polska 32,9 31,4 29,7 30,1

Średnia liczba wypalanych dziennie papierosów

Małopolska 17,7 16 15,1 15,8

Polska 16,5 16,4 16 16

21 http://uzaleznienia-malopolska.home.pl/pzwm/images/stories/documents/program_profi lak-tyki_przeciwdzialania_uzaleznieniom.pdf.


Jak sprawdzić, w których kategoriach społecznych odsetek palących jest naj-większy – a więc do kogo przede wszystkim warto adresować programy eduka-cyjne i profi laktyczne? Tabela 4 przedstawia zależność między paleniem papie-rosów a wiekiem. Wiersze oznaczone jako „liczebność” mówią o ilości badanych przypadających na daną komórkę tabeli, a wartości procentowe informują, jaki odsetek osób z danej grupy wiekowej przyznaje się lub nie do palenia papierosów. Jak widać, największy odsetek palaczy jest grupie osób w wieku średnim 35–59 lat, niemało palaczy jest także wśród młodych dorosłych (19–24 lat).

Tabela 4. Zależność palenia papierosów od wieku (województwo małopolskie, 2007)a

Wiek Ogó-

łem16–18 19–24 25–34 35–44 45–59 60–64 65+

Czy pali

Pan(i)

papiero-

sy?

TAKliczebność 7 29 44 51 89 9 19 248

% z wiek 11,5% 30,2% 27,7% 36,2% 37,1% 22,5% 12,8% 28,0%

NIE liczebność 54 67 115 90 151 31 130 638

%z z wiek 88,5% 69,8% 72,3% 63,8% 62,9% 77,5% 87,2% 72,0%

Ogółemliczebność 61 96 159 141 240 40 149 886

% z wiek 100,0%

a chi-kwadrat = 40,79, p < 0,0005

Analizę można pogłębić dodając kolejną zmienną – płeć (Wykres 2). Okazuje się, że w prawie wszystkich grupach wiekowych większy odsetek palących jest wśród mężczyzn, ale przewaga ta jest najmniejsza w grupie wiekowej 35–44 lata. Co może wydawać się zaskakujące, zebrane dane pokazują, że większy odsetek palących jest wśród młodych (16–18 lat) kobiet niż mężczyzn w tym samym wieku (interpretując ten wynik należy jednak zachować ostrożność z uwagi na małą liczebność tej kategorii – obserwowana różnica niekonieczne musi wystę-pować w całej populacji). Zaobserwowane prawidłowości są zgodne z trendami widocznymi w całym kraju: w ostatnich latach widoczne staje się tzw. żeńskie tsunami (zwane też „efektem pokolenia T”)22, czyli zmniejszanie dystansu mię-dzy kobietami a mężczyznami w częstości zachowań autodestrukcyjnych (pa-lenia papierosów, picia alkoholu i zażywania środków odurzających), zwłaszcza w młodszych grupach wiekowych.

22 J. Czapiński, „Cechy osobowości i styl życia”, [w:] Diagnoza społeczna. Warunki i jakość życia

Polaków. Raport, J. Czapiński, T. Panek (red.), Rada Monitoringu Społecznego, Warszawa 2007, s. 211, Wyszukane na: http://www.diagnoza.com/fi les/diagnoza2007/raport_11.11.2007.pdf.


Wykres 2. Odsetek palących wśród kobiet i mężczyzn w różnych grupach wiekowych (wojewódz-

two małopolskie, 2007)

Dane z „Diagnozy społecznej” pozwalają także na analizę bardziej subtelnych, trudniejszych do uchwycenia wprost, zjawisk. Możliwy jest pomiar m.in. takich zmiennych jak poziom egalitaryzmu w społeczeństwie, system wartości, poziom kapitału ludzkiego, ogólny dobrostan psychiczny czy typy wykluczenia społeczne-go. Wiele z tego rodzaju zmiennych mierzonych jest na specjalnie skonstruowa-nych, posiadających odpowiednie właściwości psychometryczne skalach. Jedną z takich „miękkich”, ale ważnych w analizie szerokiego kontekstu społecznego zmiennych są postawy wobec dobra wspólnego . Dotyczą one sytuacji, w których połączony wysiłek członków społeczności może doprowadzić do powstania ja-kiegoś wspólnego dobra (np. zbudowania parkingu pod blokiem mieszkalnym), ale cała społeczność (lub przynajmniej duża jej część) musi partycypować w jego kosztach. Dobra wspólne naturalnie rodzą pokusę do używania ich w sposób niedozwolony, np. korzystania z parkingu, nawet jeśli nie złożyliśmy się na niego razem z innymi sąsiadami (brak kooperacji ze strony niewielkiej części członków grupy nie przeszkodzi w wytworzeniu wspólnego dobra, ale jeśli poziom braku współpracy będzie wysoki, dobro nie powstanie i straci na tym cała społeczność)23. Z punktu widzenia polityki regionalnej postawa wobec dóbr wspólnych jest istotna nie tylko w kontekście rozwoju demokracji i wolnego rynku, ale przede wszystkim w kontekście tworzenia społeczeństwa obywatelskiego, gotowego do aktywnego działania na rzecz regionu i stanowiącego oddolny impuls zmian.

W „Diagnozie społecznej” postawy wobec dobra wspólnego zmierzono przy użyciu skali składającej się z 6 pytań dotyczących poziomu akceptacji zachowań związanych z naruszeniem dobra publicznego. Tabela 5 przedstawia procentowy rozkład odpowiedzi na te pytania w Małopolsce i w całym kraju.

23 Takie problemy noszą nazwę barier społecznych lub dylematów dóbr publicznych. W sytuacji gdy dobro jest nadużywane dla partykularnego interesu kosztem interesu społeczności – dotyczy to m.in. zasobów naturalnych – mówimy o pułapkach społecznych (por. także J. Grzelak, „Postawy wobec dobra wspólnego” [w:] Diagnoza społeczna. Warunki i jakość życia Polaków. Raport, J. Cza-piński, T. Panek (red.), Rada Monitoringu Społecznego, Warszawa 2007, s. 241–244, Wyszukane na: http://www.diagnoza.com/fi les/diagnoza2007/raport_11.11.2007.pdf ).

�

��

��

��

��

��

��

��

��

��

��

��


Tabela 5. Wrażliwość na dobro wspólne w 2007 roku w Małopolsce (n = 1048) i w całym kraju

w ogóle

mnie to nie

obchodzi

mało mnie

to obcho-

dzi

trochę

mnie to

obchodzi

bardzo

mnie to

obchodzi

trudno

powie-

dzieć

ktoś płaci podatki

mniejsze niż powinien

Małopolska 25,9 27,9 24,0 16,6 5,6

kraj 27,4 28,7 24,2 13,7 6,3

ktoś unika płacenia za

korzystanie z transportu

publicznego (np. auto-

busów, pociągów)

Małopolska 26,0 29,1 23,5 17,2 4,1

kraj 26,3 32,3 22,7 13,4 5,3

komuś udaje się nie

płacić za światło

Małopolska 23,2 24,7 24,4 22,9 4,7

kraj 23,1 28,9 23,4 18,9 5,6

ktoś pobiera niesłusznie

zasiłek dla bezrobotnych

Małopolska 21,9 20,4 25,8 28,1 3,9

kraj 21 25,1 24,3 23,6 5,9

ktoś nie płaci (choć

może) czynszu

za mieszkanie

Małopolska 22,4 21,5 21,9 28,1 6,2

kraj 22,2 25 21,5 24,2 6,9

ktoś sprowadza towary

z zagranicy i nie płaci cła

Małopolska 29,2 27,9 18,5 17,6 6,9

kraj 29,8 29,2 17,6 14 9,4

Mieszkańcy Małopolski podobnie jak wszyscy Polacy są najbardziej obojęt-ni wobec niepłacenia cła, jeżdżenia na gapę i płacenia zaniżonych podatków. Największy sprzeciw w obu grupach budzi niepłacenie czynszu za mieszkanie i niesłuszne pobieranie zasiłku dla bezrobotnych. Poziom wrażliwości na do-bro wspólne w kraju jest uznawany z niski (dodatkowo nieznacznie zmalał od roku 2005 do 2007), mimo dynamicznego rozwoju organizacji pozarządowych i wolontariatu czy zaangażowania w akcje charytatywne. Na tym tle Małopolska wypada jednak wyraźnie lepiej niż cały kraj, jeżeli pod uwagę weźmiemy liczbę osób odpowiadających na pytania „bardzo mnie to obchodzi” i „mało mnie to obchodzi” (w pierwszym wypadku odsetek takich osób jest wyższy, w drugim niższy). Można te informacje potraktować jako wskaźniki świadczące o względnie dużym na tle kraju potencjale aktywności obywatelskiej.

Jak wspomniano wyżej, analizy prezentowane w niniejszym artykule mają charakter ilustracyjny i skierowane są do odbiorcy, który nie dysponuje zaawanso-waną wiedzą z zakresy statystycznej analizy danych, dlatego stosowane są jedynie najprostsze statystyki i wykresy. Naturalnie zastosowanie zaawansowanych me-tod pozwoli na wyciągnięcie dodatkowych, często bardziej subtelnych wniosków. Przykładowo, badając postawy mieszkańców Małopolski wobec dobra wspólnego, możemy być zainteresowani czynnikami, które wpływają na poziom wrażliwości. Najprostszym rozwiązaniem będzie naturalnie utworzenie kilku tabel (podob-nych do Tabeli 4), w których krzyżować będziemy poziom postawy wobec dóbr


wspólnych mierzony naszą skalą z poszczególnymi zmiennymi, których wpływ chcemy uwzględnić (najczęściej stosowane są w tym wypadku podstawowe zmien-ne socjodemografi czne – płeć, wiek, dochód itd.) Tabela 6 pokazuje widoczną zależność wrażliwości na dobro wspólne od miejsca zamieszkania – wyraźnie większy odsetek osób o pozytywnej postawie wobec dobra wspólnego jest wśród mieszkańców miast (powyżej 20 tys. mieszkańców) niż w małych miasteczkach i na wsi. Dokładnie odwrotnie jest w przypadku osób najbardziej obojętnych wobec dobra wspólnego. Wniosek ten może być jednak słuszny tylko częściowo – obserwowana zależność istnieje, ale prawdziwy czynnikiem leżącym u pod-staw wrażliwości na dobro wspólne może wcale nie być miejsce zamieszkania. W ustaleniu rzeczywistej przyczyny pomoże nam w tym wypadku zastosowanie regresji wielokrotnej.

Tabela 6. Zależność wrażliwości na dobro wspólne od miejsca zamieszkania (województwo ma-

łopolskie, 2007)

wrażli-

wość na

dobro

wspólne

Miejsce zamieszkania

Ogółemmiasta o liczbie

mieszkańców

500 tys. i więcej

miasta o liczbie

mieszkańców

100–200 tys.

miasta o liczbie

mieszkańców

20–100 tys.

miasta o liczbie

mieszkańców

poniżej 20 tys.

wieś

1 17,5% 17,9% 20,4% 26,6% 23,1% 21,3%

2 25,2% 17,9% 13,1% 26,6% 21,8% 21,9%

3 16,4% 17,9% 20,4% 8,5% 20,2% 18,1%

4 21,3% 10,3% 21,9% 25,5% 19,4% 20,5%

5 19,6% 35,9% 24,1% 12,8% 15,5% 18,3%

Ogółem 100,0% 100,0% 100,0% 100,0% 100,0% 100,0%

Do analizy włączymy takie zmienne jak: dochód w gospodarstwie domowym na osobę w ostatnim miesiącu, płeć, wiek (zakodowany w 6 kategorii wiekowych, jak na Wykresie 2), miejsce zamieszkania oraz poziom wykształcenia (podstawo-we i niższe, zasadnicze/gimnazjum, średnie, wyższe i policealne) – będziemy pró-bowali ustalić, jak te czynniki wpływają na poziom wrażliwości na dobro wspólne (mierzonej na skali od 1 do 5, gdzie 5 jest oceną najwyższą). Ponieważ nie ma tu miejsca na dokładne omówienie techniki regresji wielokrotnej, czytelnik mniej obeznany ze statystyczną analizą danych musi niestety zadowolić się podaną interpretacją parametrów modelu przedstawionych w Tabeli 7. Okazuje się, że jedynymi zmiennymi spośród uwzględnionych przez nas i mającymi rzeczywisty wpływ na poziom wrażliwości na dobro wspólne są poziom wykształcenia i wiek (im osoba starsza i lepiej wykształcona, tym bardziej – średnio – jest wrażliwa na dobro wspólne). Wcześniejszy wniosek o różnicy w postawie wobec dobra wspólnego między mieszkańcami miast oraz miasteczek i wsi jest prawdziwy, tyle że przyczyną tej zależności jest najprawdopodobniej fakt, że w średnich i dużych miastach mieszka więcej osób z wyższym i policealnym wykształceniem.


Tabela 7. Model regresji – zmienna zależna: wrażliwość na dobro wspólne; zmienne niezależne:

poziom wykształcenia, wiek, płeć, miejsce zamieszkania, miesięczny dochód na osobę (wojewódz-

two małopolskie, 2007)a.

Beta t Istotność

Korelacja

rzędu

zerowego

Korelacja

cząstkowa

Korelacja

semicząst-

kowa

(Stała) 7,944 ,000

Poziom wykształcenia ,232 6,331 ,000 ,203 ,201 ,200

Wiek ,110 3,298 ,001 ,060 ,106 ,104

Płeć –,028 –,876 ,381 –,008 –,028 –,028

Miejsce zamieszkania ,032 ,929 ,353 –,047 ,030 ,029

Miesięczny dochód na

osobę,025 ,717 ,473 ,112 ,023 ,023

a R-kwadrat = 0,055

PODSUMOWANIE

Celem artykułu było pokazanie możliwości zastosowania społecznych danych zastanych (w szczególności danych sondażowych) w ewaluacji programów re-gionalnych. Jak się wydaje, tego rodzaju źródła mogą być z powodzeniem wy-korzystane do ewaluacji na poziomie wpływu społecznego i diagnozy szerszego kontekstu społecznego (zwłaszcza na etapie ewaluacji ex ante). Naturalne ograni-czenia tego rodzaju danych sprawiają, że najczęściej nie mogą one posłużyć jako jedyne czy główne źródło informacji. Dodatkowym ograniczeniem jest koniecz-ność korzystania z dużych zbiorów danych – tak by ilość obserwacji przypadają-cych na dany region była wystarczająca do wyciągania wiarygodnych statystycznie wniosków. Z drugiej jednak strony zdecydowanie warto raz jeszcze podkreślić łatwość dostępu i korzystania z tego typu danych, o czym dawno przekonali się zarówno naukowcy, jak i badacze rynku. Wreszcie istotne jest, że jakkolwiek już proste (takie jak powyższe) analizy dostarczają wartościowych informacji, zakres możliwości rośnie wraz ze wzrostem umiejętności analizy danych.

Na koniec warto zauważyć, że – jak wynika już choćby z analizy powyższych przykładów – warunkiem sensownego wykorzystania danych zastanych w ana-lizie jest uprzednie zdefi niowanie celów programów czy polityk . W innym wy-padku ewaluator skazany będzie (jak powyżej) na ich odtwarzanie i dobieranie „wstecznie” wskaźników. Trafność takiego pomiaru zawsze będzie wtedy stała pod mniejszym lub większym znakiem zapytania.


BIBLIOGRAFIA

BABBIE E., Badania społeczne w praktyce, przeł. zespół, Wydawnictwo Naukowe PWN, Warszawa

2005.

BATORSKI D., „Uwarunkowania i konsekwencje korzystania z technologii informacyjno-ko-

munikacyjnych”, [w:] Diagnoza społeczna. Warunki i jakość życia Polaków. Raport, J. Czapiński,

T. Panek (red.), Rada Monitoringu Społecznego, Warszawa 2007, s. 274–295, Wyszukane na:

http://www.diagnoza.com/fi les/diagnoza2007/raport_11.11.2007.pdf.

CZAPIŃSKI J. , „Cechy osobowości i styl życia”, [w:] Diagnoza społeczna. Warunki i jakość życia

Polaków. Raport, J. Czapiński, T. Panek (red.), Rada Monitoringu Społecznego, Warszawa 2007,

s. 196–223, Wyszukane na: http://www.diagnoza.com/fi les/diagnoza2007/raport_11.11.2007.

pdf.

CZAPIŃSKI J., „Wstęp”, [w:] Diagnoza społeczna. Warunki i jakość życia Polaków. Raport, J. Cza-

piński, T. Panek (red.), Rada Monitoringu Społecznego, Warszawa 2007, s. 13–15, Wyszukane

na: http://www.diagnoza.com/fi les/diagnoza2007/raport_11.11.2007.pdf.

Diagnoza społeczna. Warunki i jakość życia Polaków. Raport, J. Czapiński, T. Panek (red.), Rada Monitorin-

gu Społecznego, Warszawa 2007, Wyszukane na: http://www.diagnoza.com/fi les/diagnoza2007/

raport_11.11.2007.pdf.

EKIERT K. (oprac.), Ewaluacja w administracji publicznej. Funkcje, standardy i warunki stosowania,

Departament Spraw Społecznych i Ustrojowych, 2006, Wyszukane na: http://www.pte.org.

pl/repository/fi les/PTE/Ewaluacja_w_administracji_publicznej.pdf.

GÓRNIAK J., KELER K., „Wskaźniki w ewaluacji ex-post programów publicznych”, [w:] Ewa-

luacja ex-post. Teoria i praktyka badawcza, A. Haber (red.), Polska Agencja Rozwoju Przedsię-

biorczości, Warszawa 2007, s. 155–181.

GÓRNIAK J., WACHNICKI J., Pierwsze kroki w analizie danych, SPSS Polska, Kraków 2000.

GRZELAK J., „Postawy wobec dobra wspólnego” [w:] Diagnoza społeczna. Warunki i jakość życia

Polaków. Raport, J. Czapiński, T. Panek (red.), Rada Monitoringu Społecznego, Warszawa 2007,

s. 241–244, Wyszukane na: http://www.diagnoza.com/fi les/diagnoza2007/raport_11.11.2007.

pdf.

MALHOTRA N. K., Marketing Research. An Applied Orientation, Prentice-Hall International

Inc., New Jersey 1993.

NOWAK S., Metodologia badań społecznych, wyd. II, Wydawnictwo Naukowe PWN, Warszawa

2007.

OLEJNICZAK K., „Teoretyczne podstawy ewaluacji ex-post”, [w:] Ewaluacja ex-post. Teoria

i praktyka badawcza, A. Haber (red.), Polska Agencja Rozwoju Przedsiębiorczości, Warszawa

2007, s. 15–42.

PRENTICE S., Zapanować nad czasem. Jak efektywnie pracować, by mieć czas na wszystko, Wydaw-

nictwo ONE Press, 2006.

Strony internetowehttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_

techniques/obtaining_data/secondary_data/strengths_limitations_en.htm.

http://www.malopolskie.pl/Pliki/2005/ESI_Malopolska.pdf

http://uzaleznienia-malopolska.home.pl/pzwm/images/stories/documents/program_profi lakty-

ki_przeciwdzialania_uzaleznieniom.pdf

Wojciech Dziemianowicz

Analiza gospodarek gmin i regionów – element planowania oraz oceny wpływu gospodarczego działań samorządów

WSTĘP

Ewaluacja działań publicznych stosowana jest w Polsce głównie na poziomie krajowym. Jednakże znacząca grupa strategii i programów rozwoju wdrażana jest także przez regiony i gminy i można się spodziewać, że również ich działania – obok krajowych programów czy ram regulacyjnych – mogą mieć nierzadko bezpośredni wpływ na kierunki lokalnego rozwoju gospodarczego. Dziś ewaluacje regionalnych czy lokalnych strategii i programów rozwoju są rzadkością (poza wymaganymi przez UE), a jeśli już podejmuje się takie próby, mają one raczej charakter cząstkowy lub sprawozdawczy.

Wydaje się, że przyczyną takiego stanu rzeczy są przynajmniej po części pro-blemy i wątpliwości, na które napotykamy próbując ocenić wpływ działań samo-rządu na lokalny czy regionalny rozwój gospodarczy. Praktyka wykazuje, że są to przede wszystkim:1) ograniczona dostępność danych do analizy w odpowiednim czasie 2) kontekst polityczno-administracyjny3) skala interwencji na tyle niewielka, że może budzić wątpliwości, co do rzeczy-

wistego wpływu na historycznie ukształtowane i – wydaje się – ugruntowane zróżnicowania w poziomie rozwoju

4) przyjmowana perspektywa rozwojowa – pogląd na kluczowe czynniki roz-woju.Prezentowany artykuł jest próbą naszkicowania najważniejszych zagadnień

z tym związanych.

124 Wojciech Dziemianowicz

CZYNNIKI ROZWOJU LOKALNEGO

Liczne koncepcje rozwoju regionalnego i lokalnego są coraz częściej podda-wane analizie i krytyce. Pojawiają się nowe podejścia, które według ich autorów trafniej wpisują się w obecne uwarunkowania społeczno-gospodarcze niż ich poprzedniczki. Dlatego spotykamy w literaturze przedmiotu takie pojęcia, jak: diament konkurencyjności, święta trójca rozwoju regionalnego, regiony uczące się, grona (klastry), łańcuch wartości gminy. Przyjmowana w tym zakresie perspekty-wa ma podstawowe znaczenie zarówno dla sposobu formułowania celów lokalnej polityki, jak i późniejszej ewaluacji jej efektów. Dobra, poprawna diagnoza jest fundamentem trafnej strategii postępowania i de facto determinuje kierunek jej przyszłej ewaluacji.

Zarówno koncepcje czysto ekonomiczne, jak i stojące na pograniczu różnych nauk (np. gospodarka przestrzenna) coraz częściej i coraz silniej eksponują rolę człowieka w rozwoju. Sama koncentracja na człowieku również nie jest czymś nowym, jednak stopień zainteresowania oraz głębia analiz powodują, że człowiek nie jest już rozpatrywany jako koszt siły roboczej czy zwykły (lub nie) innowator. W kontekście czynników rozwoju regionalnego i lokalnego istotne są takie cechy jak: kwalifi kacje, cechy psychologiczne, kontakty zawodowe, cechy przywódcze, doświadczenie, relacje z innymi podmiotami itp. Jednocześnie to człowiek – przed-siębiorca dokonuje wyborów lokalizacyjnych i podejmuje decyzje o stosowaniu określonych strategii. Dlatego próby opisania sytuacji gospodarczej w regionie lub gminie jedynie przy pomocy prostych analiz danych statystycznych, choć wciąż obecne, są poddawane coraz częstszej i słusznej krytyce. Niniejszy artykuł wpisuje się w ten nurt, wskazując jednocześnie propozycje rozwiązań, które mogą być brane pod uwagę, gdy chcemy rzetelnie naszkicować obraz gospodarki danej jednostki administracyjnej.

Zgodnie z koncepcją czterech sił konkurencyjności , rozwój społeczno-gospo-darczy gminy można omawiać jako mieszankę procesów polegających na wspie-raniu i wykorzystywaniu:• zasobów wewnętrznych• popytu zewnętrznego• dominacji oraz• sieci1.

Z każdym z tych wymiarów można połączyć w większym lub mniejszym stop-niu najważniejsze teorie rozwoju regionalnego i lokalnego. Szczegółowe omawia-nie każdej z nich mijałoby się z celem niniejszego opracowania, jednak z punktu widzenia diagnozy gospodarki oraz późniejszej ewaluacji można wyróżnić kilka

1 Koncepcja czterech sił konkurencyjności jest szeroko omówiona w książce W. Dziemianowicza (2008), Konkurencyjność gmin w świetle relacji władze lokalne – inwestorzy zagraniczni, Wydawnic-twa Uniwersytetu Warszawskiego, Warszawa.

Analiza gospodarek gmin i regionów – element planowania oraz oceny... 125

czynników rozwoju, które przynajmniej powinny być brane pod uwagę. Warto więc koncentrować się np. na odpowiedzi na następujące pytania:• Czy nasze wewnętrzne zasoby są wystarczające, byśmy skutecznie konkuro-

wali o nowych mieszkańców, turystów, inwestorów, a w końcu i o fundusze strukturalne? Istotą zasobów wewnętrznych jest nie sama ich ilość i dostęp-ność, ale przede wszystkim jakość. Podkreślenia wymaga fakt zmieniającego się znaczenia różnych czynników lokalizacji, a także wzrostu znaczenia takich cech lokalnej gospodarki, jak umiejętność współpracy, zaufanie.

• Czy potrafi my skutecznie wykorzystywać przewagi gospodarcze, którymi dys-ponujemy w konkurencji z innymi gminami? Jest to również pytanie o cha-rakter tych przewag. Teorie zwracające uwagę na innowacyjność regionów wyraźnie dzielą obszary na „lepsze” i „gorsze”2. Jeżeli za naszą przewagę uzna-my wolne tereny inwestycyjne lub niskie koszty siły roboczej, to konieczna jest refl eksja w pierwszym przypadku nad jakością i trwałością tej przewagi, w drugim zaś nad oczekiwaniami wobec inwestorów. Inwestorzy zagraniczni wybierają dobrze przygotowane grunty z olbrzymiej puli ofert, a ponadto tere-ny inwestycyjne mają to do siebie, że ich zasoby są wyczerpywalne. W drugim przypadku konkurowanie o inwestorów kosztami siły roboczej wyraźnie i ne-gatywnie może utrwalać strukturę naszej gospodarki odmienną od tej, która obecnie wyznacza kierunki rozwoju (innowacje, nowoczesne technologie itp.).

• Czy przedsiębiorcy zlokalizowani w naszej gminie znajdują zbyt swoich to-warów i usług w innych gminach, regionach, państwach? Konkurencyjność eksporterów, szczególnie tych, którzy potrafi ą sobie radzić na wymagających rynkach, świadczy nie tylko dobrze o samych fi rmach, ale pośrednio o gmi-nach, w których te fi rmy działają (np. nie każda siła robocza jest w stanie wykazać się odpowiednią produktywnością, na co zwraca uwagę m.in. M.E. Porter, 2003).

• Czy można uznać, że nasza gmina funkcjonuje w wartościowych sieciach gospodarczych? Wykorzystanie powiązań instytucjonalnych i umiejętność uczenia się poprzez współpracę sieciową są przejawem nie tylko sprawno-ści instytucjonalnej władz samorządowych, ale przede wszystkim mogą silnie wspierać lokalną gospodarkę.

KONSEKWENCJE POWSZECHNEJ KONKURENCJI

Już nie tylko fi rmy i kraje, ale również regiony i gminy konkurują – chcą czy nie – w skali międzynarodowej. Zabiegi o czynniki rozwojowe obejmują prawie wszystkich i oprócz podnoszenia poziomu rozwoju społeczno-gospodarczego konstatujemy często dość przykrą dla wielu prawdę: niezmiernie trudno jest do-

2 Np. teoria cyklu życia produktu, teoria międzynarodowego podziału pracy.


konać takiego postępu, który pozwoli gminie znacząco awansować w rankingu jednostek terytorialnych. Najbardziej konkurencyjne obecnie obszary to (rys. 1):• duże aglomeracje i gminy położone w ich najbliższym sąsiedztwie (por. Dzie-

mianowicz 2005, Domański, Jarczewski 2006)• gminy położone wzdłuż najważniejszych ciągów komunikacyjnych• gminy turystyczne• gminy, na których terenie zlokalizowane są przejścia graniczne• gminy znane z obecności konkurencyjnych branż (często pojedynczych

fi rm).Tak jak zamożność wydaje się bardzo rozproszona, tak charakterystyczne roz-

łożenie gmin najbiedniejszych w kraju wskazuje na wręcz wiekowe trudności w pokonywaniu barier rozwojowych.

Rysunki 1 i 2 pozwalają sformułować tezę, iż poziom rozwoju społeczno-gospodarczego zależy od:• potencjału ludnościowego• położenia geografi cznego (względem granic, ale i względem największych

aglomeracji)• dostępności komunikacyjnej• walorów naturalnych atrakcyjnych dla turystów oraz• położenia historycznego.

Czy jednak rzeczywiście jest tak, że władze lokalne nie mają wpływu na sytu-ację gospodarczą, w jakiej się znajdują? Czy tylko jakość wymienionych tu czyn-ników jest odpowiedzialna za rozwój gminy? Czy gminy położone w historycznej Galicji, oddalone od głównych szlaków komunikacyjnych, ze słabymi walorami turystycznymi nie mają szans rozwojowych?

Odpowiedzi na tak postawione pytania nie są jednoznaczne, ale wyniki badań nad postawą władz lokalnych są bardzo obiecujące i można je streścić do nastę-pujących stwierdzeń (Dziemianowicz 2008):• Gminy konkurencyjne charakteryzują się szczególną postawą władz lokalnych

wobec inwestorów zagranicznych, którą można nazwać postawą proaktywną. Oznacza to, że zarówno władze lokalne, jak i przedsiębiorcy dążą do tworzenia jak najlepszych relacji ze sobą. Na drugim biegunie znajdują się gminy „reak-tywne”, w których przedsiębiorcy ograniczają kontakty z władzami lokalnymi do określonego prawem minimum, władze lokalne traktują zaś fi rmy jedynie jako źródło dochodów własnych.

• Gminy konkurencyjne to również gminy, w których władze starają się aktyw-nie uczestniczyć w różnorodnych sieciach współpracy.

• Najsilniejszy związek między konkurencyjnością a postawą władz lokalnych zauważany jest w przypadku oczekiwań od inwestorów wzmocnienia techno-logicznego gminy. Ten przykład pokazuje, że postawa, iż „każdy inwestor jest dobry”, wciąż dominuje, ale coraz większe znacznie ma selektywne podejście do inwestorów. Okazuje się, że jasno sprecyzowane oczekiwania wcale nie


muszą przeszkadzać, a wręcz pomagają w nawiązywaniu korzystnych relacji z inwestorami zagranicznymi.

• Pasywność samorządów lokalnych widoczna w postawie wobec konkurowania o środki z UE towarzyszy pasywności w zabieganiu o inwestorów zagranicz-nych (Dziemianowicz 2007). Pozwala to sformułować tezę, że bierny samo-rząd jest raczej nieszczęściem wielopłaszczyznowym.

GOSPODARKA GMINY PRZED OKREŚLENIEM KIERUNKÓW ROZWOJU

Koncentrując się na diagnozie gospodarki z punktu widzenia potrzeb formu-łowania przyszłej polityki i instrumentów rozwoju popełniamy kilka fundamen-talnych błędów, które później wpływają negatywnie na możliwości interpretacji wyników oraz sam wybór obszarów problemowych. Błędy te sprawiają również sporo trudności w momencie oceny efektów (np. ewaluacja strategii).

Do najważniejszych błędów zaliczyć należy:1. Zbyt słabe odnoszenie się do konkurencyjności i innowacyjności gospodarki.

Wyjątek stanowią oczywiście regionalne strategie innowacji. Wprawdzie były one przedmiotem często nietrafnej krytyki, m.in. za ich warstwę diagnostycz-ną (Gorzelak, Bąkowski, Kozak, Olechnicka 2006), to należy przyznać, że poznanie nie samych dokumentów, ale udział w procesie budowy i możli-wość obserwacji prac diagnostycznych „od kuchni” pozwalają również wobec RIS-ów zgłaszać pewne zastrzeżenia, które łatwo jest wyeliminować np. w ich aktualizacjach3. Jednak w ogólnych dokumentach regionalnych i lokalnych innowacyjność i konkurencyjność pojawiają się, raczej jako pewne procesy zewnętrzne, które wytyczają nam kierunki działań, niż przedmiot rzeczowej i dogłębnej analizy.

2. Szeroki opis wszystkiego, co możemy wydobyć z ogólnodostępnych źródeł. Najchętniej korzystamy z Głównego Urzędu Statystycznego (ew. miejscowego Urzędu Statystycznego), a w tym niezastąpiony wydaje się być rocznik staty-styczny województw. Na poziomie gmin bardzo często główną część diagnozy stanowią szczegółowe opisy sytuacji na rynku pracy, ale niestety głównie od strony danych udostępnianych przez urzędy powiatowe. Wykorzystanie tych danych wzbogaca oczywiście wiedzę na temat bezrobocia, ale bardzo często brakuje powiązań między tym, co tak szeroko opisujemy, a tym, co planujemy w celach strategicznych.

3. Opieranie się wyłącznie na informacjach statystycznych. Tak jak selektywnie powinniśmy podchodzić do ogólnych zasobów informacyjnych, tak bardzo

3 Autor jest współtwórcą Regionalnej Strategii Innowacyjności Warmii i Mazur oraz współ-autorem uchwalonej ostatnio Regionalnej Strategii Innowacji dla Mazowsza.


skrupulatnie powinniśmy dążyć do zrozumienia informacji, które pozyskujemy z różnych źródeł. Najbardziej oczywistym błędem jest bezkrytyczne wykorzy-stywanie danych z systemu REGON . W jego zasobach jest bowiem mnóstwo podmiotów, które już nie działają. Podobnie z ostrożnością należy traktować dane o inwestycjach w województwach – zbierane są metodą przedsiębiorstw, co powoduje, że cały wysiłek inwestycyjny przypisany jest do województwa, w którym zarejestrowany jest podmiot. Istotne jest również to, by analizować dane nie tylko czysto statystycznie, ale również, by wyniki poddawane były możliwie szerokiej ocenie eksperckiej. Ciekawym przykładem mogą być wy-niki na temat podmiotów gospodarczych zarejestrowanych w jednym z miast południowej Polski. Okazało się, że dość stabilny obraz zakłócony jest jednym rokiem, gdy nastąpił znaczny spadek działających podmiotów. Wydawało się, że wnioski mogły iść w kierunku zwiastunów pogarszania się sytuacji, ale dodatkowe wywiady pozwoliły uzyskać jasny obraz. Otóż w tym krytycznym roku miało miejsce jedno zdarzenie – najważniejszy pracodawca w mieście zapowiedział, że przygotowuje się do restrukturyzacji i w pierwszej kolejności będą zwalniane osoby, które mają zarejestrowaną działalność gospodarczą. Na drugi dzień po ogłoszeniu tej informacji liczba zarejestrowanych podmiotów spadła o ok. 150. Dodatkowym problemem pojawiającym się w wykorzystaniu danych statystycznych jest ich analiza. Głównie w strategiach lokalnych zapo-mina się o porównaniach ze średnią wojewódzką, krajową czy z wybranymi podobnymi jednostkami, w tym w ujęciu dynamicznym. Pomija się kwestię konkurencyjności, czyli miejsca danej jednostki w strukturze podmiotów samo-rządowych.

4. Problemy ze wskaźnikami złożonymi. Problem ten zobrazuję na przykładzie rankingu atrakcyjności inwestycyjnej miast Polski (Swianiewicz, Dziemiano-wicz 1999, Dziemianowicz 2005). Liczne zapytania ze strony samorządów dotyczyły zmiany pozycji danego miasta w rankingu w porównaniu z po-przednią edycją. Niestety czasem o tej zmianie decydują nie tylko np. lepsze wyniki innych miast, ale wzięcie pod uwagę dodatkowej zmiennej, która nie była składową wskaźnika poprzedniego. Mimo że za każdym razem docho-wano poprawności metodologicznej (formalnie ograniczano liczbę zmiennych tworzących wskaźniki subsyntetyczne), to ogólny wynik jest często trudno zrozumiały dla postronnych obserwatorów sytuacji w mieście. Z drugiej strony posługiwanie się tylko jedną zmienną i wyciąganie z jej wartości zbyt szerokich wniosków również nie powinno być traktowane jako rozwiązanie dobre.

5. Brak diagnozy i opisu relacji zachodzących w regionie i gminie. Łatwość pozyskania wielu informacji statystycznych w zestawieniu z trudnościami, jakie wynikają z badań jakościowych, powoduje, że tych drugich w trakcie przygotowywania dokumentów strategicznych wykonuje się niewiele. Tylko pozornie łatwiej jest wykonać tego typu badania z budżetu przewidzianego na strategię regionu niż na strategię gminy. Dlaczego tak nie jest? Pierwszym


powodem jest to, że w jednym i drugim przypadku należy dotrzeć do źródła informacji (przedsiębiorca, przedstawiciel instytucji otoczenia biznesu), ale liczba kontaktów koniecznych dla rzetelnego rozeznania problemu jest zde-cydowanie mniejsza w przypadku gminy. Jeśli np. analizujemy skuteczność instytucji otoczenia biznesu we wspieraniu przedsiębiorców, w przypadku regionu powinniśmy przeprowadzić nawet kilkadziesiąt wywiadów w insty-tucjach i dodatkowo pytanie to powinno się pojawić w ankiecie skierowanej do przedsiębiorców, podczas gdy w gminie wystarczy czasem jedna–dwie roz-mowy w instytucjach i organizacjach zrzeszających przedsiębiorców. W innym przypadku może dojść do sytuacji, w której wyniki od razu mogą budzić wątpliwości ze względu na bardzo małą próbę badawczą, jak to miało ostat-nio miejsce w diagnozach realizowanych w ramach projektu „RIS Mazovia”. Ocena jakościowa nie powinna być traktowana jako dodatek, który powinno się wykonać. Powinna ona być głównym narzędziem poznania rzeczywistych problemów, z jakimi spotykamy się w regionie i gminie.

6. „Urząd statystyczny bis”. W jednym z miast usłyszałem kiedyś, że pracownicy biura promocji chcą przeprowadzić badania wśród wszystkich przedsiębior-ców, by dowiedzieć się, jak duże były wszystkie inwestycje fi rm w danym roku. W mojej ocenie podejście takie jest błędem i starałem się odwieść zaangażo-wane w ten pomysł osoby od jego realizacji. Nie chodzi tu tylko i wyłącznie o problem kosztów. Zasadnicze pytanie brzmi: W jakim celu chcemy zdobyć daną informację i czy nie możemy jej zastąpić inną? Konieczne jest ponadto wyjaśnienie, że inwestycje wszystkich fi rm w mieście miały służyć działaniom promocyjnym. Musimy zadać zatem dodatkowe pytania:a. Czy z punktu widzenia inwestorów zagranicznych ważniejsze są dokładne

informacje o wszystkich poniesionych inwestycjach w roku ubiegłym, czy też wystarczy, że podamy przykłady najważniejszych inwestorów w mie-ście?

b. Czy mamy gwarancję, że wszyscy przedsiębiorcy będą rozmawiali z ankie-terem wysłanym z urzędu miasta?

c. Czy można zakupić dane w Urzędzie Statystycznym, wprawdzie starsze o półtora roku, które w dużym przybliżeniu odpowiedzą nam na postawio-ny problem?

Okazuje się, że rzetelna odpowiedź na te pytania odwodzi nas od chęci wyko-nywania niepotrzebnych nakładów pracy. Znamy ograniczenia ustawy o statysty-ce publicznej, ale w wielu przypadkach dotarcie do wiedzy wymaga rzeczowych rozmów z urzędem statystycznym i ustalenia, które informacje można zakupić na zamówienie i nie będą one wykraczały poza ustawowe ograniczenia.

Z jednej strony bardzo chętnie wykorzystujemy statystyki, ale z drugiej, gdy powinniśmy na etapie budowania strategii przygotować wskaźniki, dochodzimy do problemu „uciekania” od twardych danych. Najlepszą ilustracją tego problemu jest prawdopodobnie problem kwantyfi kacji celu strategii regionu. W licznych


przypadkach cele 4 są na tyle ogólnie określane, by ich treść zadowalała każdego z mieszkańców gminy lub regionu. Oprócz już trochę „zużytych” zapisów typu: „rozwój społeczno-gospodarczy”, „wzrost poziomu rozwoju społeczno-gospodar-czego” pojawiają coraz częściej odniesienia do wymagań, jakie stawia przed nami Unia Europejska. Dlatego często cele odnoszą się bezpośrednio do ogólniejszych zapisów w konkretnych dokumentach krajowych lub nawet unijnych. Należy oce-niać to pozytywnie, ponieważ takie podejście ułatwia używanie dokumentów w celach aplikacyjnych. Jednak cele powinny być również możliwie łatwo mie-rzalne. To tworzy podstawę dla przyszłej ewaluacji przyjmowanej strategii.

Zespoły opracowujące dokumenty strategiczne, wspierane często wiedzą eks-pertów, mogą bez problemu – jak się wydaje – zdefi niować takie mierzalne cele. Najprostszym przykładem może być zapis celu głównego „Dynamiczny wzrost poziomu rozwoju społeczno-gospodarczego regionu”, opisany wskaźnikiem „śred-nia dynamika PKB per capita regionu względem średniej dynamiki PKB w kraju”. Wydaje się, że merytorycznie i statystycznie taki zapis wspaniale broni się przed słowami krytyki. Gdybyśmy jeszcze zamiast średniej krajowej wprowadzili śred-nią UE liczoną parytetem siły nabywczej, wówczas nie tylko pokazalibyśmy, że jesteśmy otwarci na konkurencję zewnętrzną, ale również staramy się stosować możliwie najlepsze dostępne dane. Jednak ten – moim zdaniem – bliski ideału zapis nigdy nie wytrzyma presji politycznej i presji czasu.

Polityka nie uzna tego wskaźnika z prostych względów. Nikt z polityków nie wyobraża sobie w przyszłości sytuacji, w której tłumaczy się z faktu, iż dynamika wzrostu, jaką zapisał w dokumencie strategicznym, była średnio o 15–20% niższa od rzeczywistej. Polityk wie, że nie liczą się fakty obiektywne, jak: zależność po-ziomu rozwoju społeczno-gospodarczego od wielu czynników, z których polityka regionalna i środki unijne to tylko część (złośliwi mówią, że niewielka część). Polityk wie również, że żaden z ekspertów-analityków nie da stuprocentowej gwarancji, że jego prognoza zmian PKB per capita dla regionu się sprawdzi. Prognoza jest tylko prognozą, zatem zarówno prognozy optymistyczne, jak i pe-symistyczne mogą zawieść. Ponadto w czasie opracowywania wskaźników, nawet jeśli przyjmiemy, że ktoś mógłby się zgodzić, iż omawiany wskaźnik zostanie przyjęty, to wpisane wartości oczekiwane tego wskaźnika również mogą być silnie krytykowane – że są zbyt optymistyczne lub wskazują na to, że władze nic nie będą robiły w kwestii rozwoju.

Presja czasu, która również ogranicza możliwości zastosowania tego wskaź-nika polega na tym, że jego wartości pojawiają się w ofi cjalnych statystykach najszybciej z półtorarocznym opóźnieniem. Zatem planując określone wartości mamy twarde dane sprzed ok. dwóch lat, nasze obserwacje i odczucia sytuacji w chwili obecnej, co w sumie daje niepewność co do zastosowania konkretnych wskaźników.

4 W tej części pod hasłem „cele” rozumiem zarówno cele strategii, jak i cele programów.


GOSPODARKA GMINY JAKO EFEKT POLITYKI I ZASTOSOWANIA INSTRUMENTÓW ROZWOJU

Kilka lat temu, gdy były prowadzone pierwsze prace nad monitoringiem stra-tegii rozwoju regionów, miałem przyjemność uczestniczyć w posiedzeniu grona osób, które debatowały nad realizacją strategii jednego z województw. W trakcie spotkania udostępniono nam raport z realizacji strategii. To, co ujrzeliśmy, było bardzo grubym tomiskiem, w którym znalazło się – w mojej opinii – wszystko, co wydarzyło się w danym okresie w województwie. Udało mi się porozmawiać z jedną z osób odpowiedzialnych za przygotowanie tego raportu i usłyszałem to, czego się spodziewałem: „każdy z departamentów „wrzucał do worka” wszystko, co uważał za stosowne”. Tym workiem był oczywiście raport z realizacji stra-tegii. Kilka lat później w trakcie szkoleń w zakresie planowania strategicznego zostałem dość twardo zaatakowany za złe przygotowanie wskaźników realizacji strategii województwa, ponieważ osoby, które są odpowiedzialne za wkład do raportu z monitoringu, nie wiedzą, skąd mają wziąć takie dane jak cena metra kwadratowego mieszkania, cena cegły i cementu itp. itd. Zapytałem, dlaczego po-szukują takich zmiennych, a w odpowiedzi usłyszałem, że przecież jeden z celów operacyjnych rozwoju regionu dotyczy właśnie działań urzędu marszałkowskiego w zakresie wspierania rozwoju mieszkalnictwa.

Opisane tu sytuacje z dwóch województw są dość powszechne również na poziomie lokalnym, ale przytoczyłem je, ponieważ trafnie obrazują część kłopo-tów, z jakimi borykamy się, gdy mamy zamiar dokonać oceny wpływu realizacji naszych działań na rozwój regionu czy gminy. Kłopoty te można nazwać poli-tyczno-administracyjnymi. Tak się składa, że są one dość podobne do tych opisa-nych w poprzednim punkcie. Co bowiem skłania pracowników departamentu do opisywania niemal wszystkiego, co się zdarzyło w departamencie w danym roku sprawozdawczym, co skłania również do poszukiwania wszelkich dodatkowych informacji, by wykazać coś, co nie musiało wcale zajść? Jestem głęboko przeko-nany, że za tymi działaniami stoi szeroko rozumiana niewiedza, czym powinien być raport z realizacji strategii, ale również często przekłada się ona na pyta-nie, czym powinna być ocena wpływu jakiegoś instrumentu na rozwój regionu. Z jednej strony żaden z pracowników nie chce być posłańcem przynoszącym złe wieści, tym bardziej że w komitetach monitorujących zasiadają politycy opozy-cyjni, którzy zwykle domagają się nie oceny realizacji strategii, a oceny sytuacji społeczno-gospodarczej regionu. Dodatkowo, nikt nie wie, jak zareaguje zarząd województwa, gdy z rzetelnego monitoringu wyniknie, że w danym roku nie podjęto działań, które realizowałyby konkretny cel strategii. A przecież tak mogło się zdarzyć.

Inny przykład problemów z przezwyciężaniem obaw administracji pokazuje zdarzenie z województwa warmińsko-mazurskiego: w 2000 r. w województwie tym żadna z zaangażowanych w ocenę śródokresową grup problemowych nie


potrafi ła wskazać (wybrać) tych działań, które w ramach strategii byłyby reali-zowane w drugiej części planowanego okresu. Wszystko było ważne i musiało być zapisane, że będzie realizowane od zaraz, nawet gdy ci, którzy tak twierdzili, nie wierzyli, że to nastąpi. Po kilku latach rodzą się problemy, jak napisać, że realizowaliśmy, skoro tego nie robiliśmy. Podobnie można ocenić sprawozdania z realizacji strategii lokalnej. Wpisuje się w nie wszelkie informacje, często bez chwili refl eksji nad ich merytoryczną selekcją.

Warto w tym miejscu podkreślić, że – umyślnie lub nie – ci, którzy dążą do opisywania wszystkiego, przejmują na siebie rolę odpowiedzialnych za cały stan gospodarki regionalnej i lokalnej, niezależnie od czynników zewnętrznych, zda-rzeń obiektywnie poza zasięgiem polityki rozwoju. Najlepszym – moim zdaniem – rozwiązaniem byłoby wyraźne przypomnienie wszystkim malkontentom, czym jest monitoring strategii i czym jest ewaluacja programu.

Druga grupa problemów, jaka wiąże się z oceną realizacji określonych in-strumentów, dotyczy dostępności danych w odpowiednim czasie. Zauważmy, jak wiele programów i strategii odnosi się do wzrostu poziomu rozwoju gospodar-czego. Dążymy do oceny gospodarki dziś, by udało nam się skorygować pewne działania, wytyczyć nowe kierunki, usprawnić to, co wymaga takiej interwencji. Niestety zazwyczaj przegrywamy z czasem. Musimy planować rozwój, gdy nie mamy rzetelnej informacji o kompleksowym oddziaływaniu naszych instrumen-tów. Zdarza się, że ewaluacja ex-post rozpoczyna się, gdy jeszcze nie wszystkie projekty zostały zakończone, a co dopiero mówić o 2–3-letnim okresie zwłoki dla zaistnienia określonych, ale długofalowych efektów.

Stałym problemem ewaluatorów oraz zespołów monitorujących realizację strategii ew. programu są braki danych statystycznych bezpośrednio związa-nych z przedmiotem analizy. Ponadto wykorzystywanie wskaźników zapisanych w strategii lub we wnioskach w ramach danego programu nie musi wcale w prosty sposób przekładać się na wnioski dotyczące danego instrumentu wsparcia. Sy-tuacja taka występuje często, gdy wskaźniki w trakcie sporządzania dokumentu wyjściowego opracowane są z dużą swobodą interpretacji, uczestnicy programu mają dużą dowolność w wyborze wskaźników itp.

W ocenie gospodarki biorą często udział przedstawiciele regionalnych i lo-kalnych elit, a także przedsiębiorców, wyrażających subiektywne oceny. Swoim doświadczeniem wspierają zespoły ekspertów, rzucają nowe światło na zdarzenia zaobserwowane w trakcie prowadzonych badań. Jednak dwie sytuacje wydają się być zagrożeniem dla wykonania rzetelnej oceny gospodarki i relacji między go-spodarką a podejmowanymi działaniami. Pierwsza z nich ma miejsce, gdy źró-dłem wiedzy o np. efektach realizacji projektu jest benefi cjent. Rzadko się zdarza, by osoba bezpośrednio związana z projektem narzekała na zbyt słabe wyniki, raczej narzekania kierowane są na „system”, „układy polityczne” itp.

Drugi moment problemowy ma miejsce, gdy określoną politykę i działania recenzuje np. nowa władza lokalna lub regionalna. W wielu gminach zmiana


wójta, burmistrza pociąga za sobą rozpoczęcie prac nad nowymi dokumenta-mi strategiczno-programowymi, przy ogólnym klimacie krytyki wszystkiego, czego dokonali poprzednicy. W przypadku przedsiębiorców również spotkałem się z opiniami, iż fi rmy związane bezpośrednio z urzędem miasta zdecydowa-nie bardziej pozytywnie oceniają magistrat niż pozostali. Jednak również oce-na merytorycznych efektów określonych działań w otoczeniu, dokonana przez przedsiębiorców, może być pochodną innych zjawisk. Badania nad czynnikami lokalizacji wyraźnie pokazują różnorodność ocen przedsiębiorców w zależności od wielkości fi rmy, jej miejsca w strukturze korporacji transnarodowej, zakresu działalności, ukierunkowania na różne rynki (lokalny, regionalny, krajowy, między-narodowy).

Zawsze ocena gospodarki danej jednostki administracyjnej kończy się pyta-niem, na ile widoczny stan jest efektem stosowanej przez władze polityki i instru-mentów. W udzieleniu klarownej odpowiedzi przeszkadza (oprócz problemów omówionych powyżej) fakt, że relacje między rozwojem gospodarczym a kon-kretnymi działaniami mają charakter pośredni. Najlepszym przykładem są oczy-wiście inwestycje w drogi, po których jeżdżą mieszkańcy, turyści i przedsiębiorcy. Budowa lub modernizacja drogi ma ogólnie poprawić dostępność komunikacyjną, jednak jak wiele podmiotów będzie z tego korzystało i korzysta, nikt nie potrafi odpowiedzieć. Ponadto samo korzystanie z drogi nie oznacza, że ma ona pozy-tywny wpływ na gospodarkę – może bowiem dojść do paradoksu, że zbudujemy most lub obwodnicę, a poziom przedsiębiorczości w danej gminie spadnie (ma to miejsce szczególnie w tych przypadkach, gdy obwodnica staje się celem samym w sobie, bez kompleksowego zadbania o problem spadku obrotów tych fi rm, które zlokalizowały się przy „starej” drodze). Błędem jest również dążenie do ścisłego wiązania ze sobą poszczególnych zjawisk. W latach 90., gdy przeżywaliśmy falę znacznych wzrostów bezpośrednich inwestycji zagranicznych, wykonano pogłę-bione analizy, z których jasno wynikało, że każdy milion dolarów zainwestowany w naszym kraju w formie bezpośredniej prowadzi do zmniejszenia liczby bez-robotnych o X osób. Zależność statystyczna była bardzo duża, ale – jak to ktoś trafnie zauważył – gdyby tak miało być w istocie, to już w 1998 r. w Polsce nie powinno być żadnego bezrobotnego.

Ostania uwaga na temat problemów w analizie gospodarki lokalnej i regio-nalnej dotyczy kwestii komplementarności wielu działań wykonywanych często przez różne podmioty. W mniejszym stopniu problem ten jest widoczny w ocenie strategii, ale z dużą mocą pojawia się w ocenach programów, które swoim zasię-giem mogą dotyczyć całego regionu, ale związane są np. tylko z infrastrukturą techniczną. W tym przypadku nie chodzi już tylko o wykazanie związku między rozbudową różnych rodzajów infrastruktury technicznej a rozwojem gospodar-czym, ale o poszukiwanie związku między naszymi działaniami a działaniami realizowanymi przez inne podmioty lub te same władze regionalne, ale w ramach innych programów (środków fi nansowych). Najbardziej kłopotliwe wydają się


być rozwój i modernizacja sieci dróg, która może się odbywać poprzez zaan-gażowanie różnych szczebli administracji oraz różnych programów. Zauważmy, że koncentracja tylko na jednym programie zawęża często nie tylko możliwości oceny tego, co dzieje się gospodarce (np. wzrost dostępności komunikacyjnej), ale również może prowadzić do dość błędnych wniosków. Ocena realizacji krótkiego odcinka drogi będzie miała inny charakter, gdy chodzi o łatanie dziur na takim odcinku, a inny, gdy okaże się, że jest to kolejny etap poprawy połączeń komu-nikacyjnych danego obszaru, gdy dwa pierwsze etapy były zrealizowane w latach wcześniejszych.

SZKIC GOSPODARKI REGIONALNEJ I LOKALNEJ – WNIOSKI DLA PRAKTYKÓW

Diagnozując gospodarkę można posłużyć się bogatym dorobkiem literatury przedmiotu. Przykładowo Storper (1997) zwraca uwagę na trzy zasadnicze ob-szary badawcze, które koncentrują się wokół zagadnienia produktu i konkuren-cyjności:• obszar przedsiębiorstw – rozpatrywany nie tylko w sposób tradycyjny, ale

przede wszystkim w ujęciu wzajemnych powiązań oraz przez pryzmat we-wnętrznych niezbywalnych zależności (wynikających często z długotrwałych kontaktów opartych na zaufaniu)

• obszar technologii – w tym przypadku kluczowe staje się zagadnienie upo-wszechniania wiedzy tworzonej w różnych ośrodkach akademickich i centrach technologicznych; autor proponuje również zwrócić uwagę na kwestię istoty wiedzy, ponieważ nie każdy rodzaj wiedzy daje się w prosty sposób zastosować w różnych uwarunkowaniach społeczno-gospodarczych, ale także dlatego, że czasem wiedza zdobywane jest tylko poprzez doświadczenie

• obszar cech regionu – obok podaży i jakości zasobów wewnętrznych inte-resujące są zależności między podmiotami wewnątrz regionu oraz podmio-tami zewnętrznymi. „Geografi a zależności” wydaje się być kluczową wiedzą do formułowania trafnych wniosków na temat konkurencyjności gminy czy regionu.Inne podejście prezentuje Vanhove (2000), który gospodarkę regionu omawia

w podziale na sferę wewnętrzną i zewnętrzną. Pierwszą z nich tworzą: rozmiesz-czenie i gęstość zaludnienia; rynek pracy; struktura sektorowa; udogodnienia in-frastrukturalne; warunki edukacyjne i szkoleniowe; położenie gospodarcze oraz fi nansowa struktura przedsiębiorstw. Sfera zewnętrzna omawiana jest z kolei po-przez analizę: rozwoju ekonomicznego sąsiednich regionów; konkurencyjności regionu w porównaniach krajowych i międzynarodowych; trendów makroeko-nomicznych (sektory, transport); integracji gospodarczej; rozwoju handlu zagra-nicznego; rozwoju technologii oraz symptomów delokalizacji.


Lokalną i regionalną gospodarkę można też badać z punktu widzenia polityki wspierania gron przedsiębiorczości (klastrów), wychodząc od pojęcia diamentu konkurencyjności regionu według M.E. Portera (2001). Porter gospodarkę regio-nalną analizuje jako efekt sprzężeń między:• strategiami fi rm i ich konkurencją• warunkami popytu• przemysłami związanymi i pomocniczymi oraz• czynnikami produkcji.

W poszukiwaniu sposobu dogłębnej analizy gospodarki regionalnej i lokalnej można również zastosować koncepcję łańcucha wartości gminy (Dziemianowicz 2007). Podejście to łączy ze sobą kwestie osobowościowe oraz takie zagadnienia jak kapitał społeczny z uwarunkowaniami ekonomicznymi i wpływem otoczenia zewnętrznego. W opisie gospodarki chodzi o zinterpretowanie ról trzech rodza-jów podmiotów, którymi są: lider, otoczenie wewnętrzne i otoczenie zewnętrzne, oraz ich wzajemnych relacji. Ważne dla zrozumienia procesów gospodarczych jest również dynamiczne ujęcie omawianych zagadnień, uwzględniające presję historyczną, teraźniejszą i przyszłą (tab. 1).

Okazuje się, że takie podejście dość dobrze daje się opisać przy pomocy do-stępnych statystyk, jednak – po raz kolejny – dla pełnego obrazu sytuacji koniecz-ne są dodatkowe badania jakościowe.

UWARUNKOWANIA HISTORYCZNE A GOSPODARKA

Funkcję lidera można przypisać w tym przypadku zarówno jednemu faktycz-nemu liderowi (np. charyzmatyczny prezydent, burmistrz, wójt), jak też samo-rządowi wojewódzkiemu lub przedstawicielowi innej instytucji. Podstawowe py-tanie, które należy zadać w kontekście gospodarki regionu, brzmi: jakie są relacje między polityką rozwoju a otoczeniem wewnętrznym w kontekście uwarunko-wań zewnętrznych. Rzetelna analiza dotychczasowych działań na rzecz rozwoju powinna uwzględniać ich relacje z otoczeniem wewnętrznym i zewnętrznym. W pierwszym przypadku należy poszukiwać odpowiedzi, czy polityka rozwoju miała wpływ na wzmacnianie pozytywnych cech kapitału społecznego i likwido-wanie społecznych barier rozwoju. Istotne wydaje się również pytanie o wpływ tych barier na kształt i realizację polityki. Tego typu badanie nie może być oparte jedynie o dane statystyczne i analizę budżetu gminy. Konieczne wydaje się rów-nież zbadanie intencji lidera odpowiedzialnego za rozwój oraz poznanie i zrozu-mienie ścieżki, jaką przyjął dla osiągnięcia wyznaczonych celów.

Ocena historyczna musi odpowiedzieć na pytanie o kluczowe zdarzenia hi-storyczne (niekoniecznie z dalekiej historii), które miały istotny wpływ na roz-wój przedsiębiorczości w gminie zarówno w kontekście postaw ludzkich, jak i możliwości kształtowania określonej polityki. W praktyce spotykamy się często


z opiniami: „zawsze byliśmy daleko od centrum”, „po utracie statusu miasta wo-jewódzkiego nasze szanse rozwojowe znacznie zmalały” itp. Często stereotypowe traktowanie tych zdarzeń i utrwalanie ich w świadomości społecznej może po-głębiać problemy gospodarcze.

UWARUNKOWANIA AKTUALNE A GOSPODARKA

W centrum uwagi analizy aktualnych uwarunkowań gospodarczych powin-na znaleźć się współpraca. To poszukiwanie przykładów korzystnej współpracy powinno przyświecać badaniom otoczenia wewnętrznego w kontekście czterech sił konkurencyjności, a także w określeniu relacji między liderem a otoczeniem wewnętrznym. W przypadku lidera lokalnego konieczne jest określenie stopnia determinacji we wspieraniu sił konkurencyjności oraz wykonanie oceny spraw-ności instytucjonalnej środowiska bliskiego liderowi (np. administracja). Wiedza i umiejętności, jakimi powinien charakteryzować się lider, muszą wykorzystywać potencjał współpracy z otoczeniem wewnętrznym, a także pozwolą rzetelnie określić pozycję konkurencyjną gminy (regionu) względem innych jednostek te-rytorialnych, ponieważ jest ona kluczową siłą presji zewnętrznej.

Rola lidera, opierająca się na jego wiedzy i umiejętnościach, wpływa również z całą mocą na procesy programowania i oceny rozwoju. Wiąże się zatem ściśle z ewaluacją polityki i instrumentów rozwoju. Dlaczego zatem tak trudno jest znaleźć w literaturze przykłady takich rzetelnych i pogłębionych samoocen, poza np. słabymi bilansami otwarcia, których zadaniem jest wyłącznie przekonanie publiczności do zasadności wyrzucenia do kosza wszystkiego, co robił poprzedni zarząd? Odpowiedzi na to pytanie na pewno udziela obserwacja praktyki co-dziennej licznych samorządów lokalnych. Pomińmy przypadki, gdy „liderem” jest słabo uświadomiony swojak, który jedynie administruje działaniem urzędu w biernej gminie, gdzie nikt nie wierzy w możliwości zmian, a każdy, kto sądzi inaczej, traktowany jest jako wichrzyciel. Gdy mamy do czynienia ze światłym liderem, jego niechęć do ewaluacji swoich działań bierze się z przekonania, że jakiekolwiek byłyby wyniki ewaluacji, będą wykorzystane przez przeciwników politycznych, do których w żaden sposób nie przemawiają argumenty, iż rozwój społeczno-gospodarczy gminy (regionu) tylko w pewnym stopniu zależny jest od władz samorządowych. Z drugiej strony przygotowanie rzetelnej ewaluacji musi wiązać się z dość znacznymi nakładami (nawet na poziomie gminy), co również może stać się przyczyną krytyki o marnotrawienie środków budżetowych. Czy można zatem przełamać bariery polityczne, by uzyskać pełny obraz gospodarki? Jednym ze sposobów jest chęć współpracy otoczenia wewnętrznego z liderem (w skrajnym przypadku można również wyobrazić sobie ewaluację gospodarczej polityki rozwoju jako narzędzie zamawiane przez radnych opozycyjnych w celu stoczenia bitwy z liderem). Zauważmy, jak często różne środowiska (twórców,


edukacyjne, artystyczne, samorząd gospodarczy) zwracają się do urzędów ad-ministracji publicznej z różnego rodzaju problemami i zazwyczaj słyszą historię o krótkiej kołdrze. Dzieje się tak dlatego, że niewiele wiemy i w niewielkim stop-niu staramy się budować przewagi konkurencyjne gminy w oparciu o współpracę, z założeniem, że chcemy osiągnąć synergię naszych działań.

W proponowanej analizie znajdują się wskaźniki dość często wykorzystywane dla opisu środowiska lokalnego w podziale na cztery siły konkurencyjności. Ich wykorzystanie musi uwzględniać sytuację w otoczeniu (pozycję konkurencyjną gminy) i podlegać ocenie jakościowej. Przykładowo poprzestanie na analizie licz-by pracujących w usługach rynkowych jest błędem bez oceny jakościowej najważ-niejszych instytucji tego typu. Takich instytucji może być w gminie sporo, ale jeśli jakość świadczonych przez nie usług jest marna i nie mają żadnego doświadczenia we wspieraniu procesów rozwoju, to nie można zaliczyć ich do walorów gminy. Innym przykładem, który powinien intrygować władze lokalne, jest liczba fi rm produkcyjnych. Trudno jest przyjąć, ale jest to konieczne, że kapitał – w tym kra-jowy – jest mobilny i coraz częściej będziemy mieli do czynienia z przenoszeniem działalności gospodarczej do innych państw. Dlatego tak ważne jest, byśmy swojej wizji przyszłości nie budowali na iluzorycznym przeświadczeniu, że nagromadzo-ny potencjał produkcyjny jest czymś stałym. Warto zadać sobie pytanie o poziom technologiczny zlokalizowanych w gminie fi rm i pamiętać o tym, że im prostsze prace, tym bardziej fi rma poszukuje redukcji kosztów, a to może oznaczać więk-szą mobilność. Inne pytanie, które sugeruję, to pytanie o „moc decyzyjną fi lii fi rm zagranicznych”. Władze lokalne słusznie cieszą się z realizowanych na ich terenie inwestycji, jednak okazuje się często, że fi rma ta jest małym trybikiem w strukturze korporacyjnej. W takich sytuacjach fi rma przypomina raczej enkla-wę w gminie, której szef ma swobodę jedynie w zakresie naboru pracowników. Takie fi rmy również najczęściej w pierwszej kolejności są zamykane, gdy centrale zagraniczne np. podejmują decyzję o restrukturyzacji.

Ostatni przykład pokazujący konieczność stosowania pogłębionych analiz jakościowych dotyczy współpracy międzynarodowej. Wiele samorządów wręcz szczyci się podpisanymi umowami partnerskimi z miastami i gminami zagra-nicznymi. Jednak często trudno im jest wskazać praktyczne i wymierne efekty tych umów.

UWARUNKOWANIA PRZYSZŁE A GOSPODARKA

Ocena przyszłych uwarunkowań gospodarczych powinna zaczynać się od odpowiedzi na pytanie o wizję przyszłego charakteru, miejsca i roli procesów gospodarczych w rozwoju danej jednostki. Wizję tę powinien mieć sprecyzowaną lider. Jego otoczenie wewnętrzne powinno charakteryzować się wysokim stop-niem zaufania zarówno do lidera (jego wizji), jak i w relacjach wewnętrznych.


Konieczne w tym wypadku wydają się badania społeczne, których celem będzie określenie poziomu zaufania na tle np. wyników badań ogólnopolskich.

Analiza zewnętrznych uwarunkowań rozwoju, które narzucają pewien model rozwojowy (np. obecnie kładzie się bardzo duży nacisk na innowacje), powinna iść w kierunku nie tylko oceny zbieżności naszych aspiracji z ogólnym modelem rozwoju, ale również powinna odpowiedzieć, czy programując naszą ścieżkę roz-woju, będziemy mogli wykorzystywać w przyszłości instrumenty wsparcia.

Zaprezentowane obok zestawienie rodzajów zagadnień, które należy analizo-wać w opisie gospodarki, ma jedną słabość praktyczną. Realizacja takiego zakresu wymaga dużego wysiłku badawczego, który znacznie wychodzi poza zwykłą ana-lizę danych statystycznych. Jednak wydaje się, że również na tle rozwijającej się ewaluacji można oczekiwać, że już niedługo ten kierunek badań (łączący badania jakościowe i ilościowe) będzie zwiększał swoje znaczenie, również na poziomie lokalnym i regionalnym.

A JEDNAK POZYTYWNE ZAKOŃCZENIE

Powyższy artykuł wskazuje przede wszystkim na problemy, jakie dostrzegam w pracach różnych grup w trakcie przygotowań dokumentów strategicznych i pro-gramowych, jak i późniejszej ich oceny. Pomimo wykazania tak długiego „łańcu-cha niemożności” można się spodziewać, że zainteresowanie ewaluacją będzie się coraz bardziej rozszerzać i przyczyniać się do jej powszechnego stosowania. Już dziś widzimy, że ewaluacja przestaje być tylko „modą”, a staje się poważnym wy-zwaniem. Rozwój stosowania ewaluacji wydaje się analogiczny, jak w przypadku rozwoju instrumentów wspierających grona przedsiębiorczości. Wzrost zaintere-sowania klastrami spowodował, że badacze zaczęli poszukiwać ich wszędzie, ana-lizowano skupiska i następnie oznajmiano świetnie kooperującym fi rmom, że „są klastrem”. Po tych „odkryciach”, których modę Europa przejęła z USA, zaczęto zastanawiać się nad instrumentami polityki regionalnej i sektorowej, które będą wspierały klastry. Niestety nastąpiło również – moim zdaniem – wypaczenie idei grona, ponieważ zaczęto kierować instrumenty wparcia do tych układów koope-racyjnych, które formalizowały swoją współpracę. Sprytniejsi przedsiębiorcy – dla pozyskania środków – zaczęli zakładać inicjatywy klastrowe. Mam nadzieję, że w przypadku ewaluacji do takich wypaczeń nie dojdzie.

Bezsprzecznie zasadniczym motorem wzrostu stosowania ewaluacji są stan-dardy związane z wydatkowaniem funduszy strukturalnych. Warto podkreślić w tym miejscu znaczenie naszego członkostwa w UE, które pośrednio powoduje, że musimy wchodzić na coraz wyższe poziomy zarządzania środkami publicz-nymi. Dotyczy to już nie tylko szczebli centralnego i regionalnego administracji, ale schodzi niżej. Idzie za tym coraz większy wzrost umiejętności pracowników


Tabela 1. Gospodarka lokalna jako łańcuch wartości gminy – propozycja wskaźników

Ogniwa wartości gminy (regionu) i propozycja wskaźników

Pod

mio

ty

LIDER

(OSOBA LUB

WŁADZE

LOKALNE

LUB REGIO-

NALNE)

DOŚWIAD-

CZENIE

• działania podej-

mowane w celu

wspierania rozwo-

ju gospodarczego

WIEDZA

I UMIEJĘTNOŚCI

• wskaźnik determinacji we

wspieraniu czterech sił konku-

rencyjności

• wskaźnik sprawności admi-

nistracji lokalnej/efektywność

oddziaływania lidera na gospo-

darkę

WIZJA

• jasne spre-

cyzowanie

miejsca i roli

gospodarki

w przyszłości

Kon

kure

ncy

jna

gmin

a/re

gion

OTOCZENIE

WE-

WNĘTRZNE

KAPITAŁ

SPOŁECZNY

• stopień rozwoju

kapitału spo-

łecznego (np. w

podziale na mobi-

lizacyjny i stowa-

rzyszeniowy)

• postawy ludzkie

hamujące rozwój

przedsiębiorczości

(w tym prze-

jawy korupcji,

nepotyzmu itp.

w administracji,

społeczna niechęć

do przedsiębior-

ców, inwestorów

zagranicznych)

WSPÓŁPRACA

A. Siła sieci

• usługi rynkowe

• kwalifi kacje siły roboczej

• wskaźnik współpracy we-

wnętrznej

• wskaźnik współpracy mię-

dzynarodowej

B. Siła zasobów wewnętrznych

• ludność

• przedsiębiorczość

• fi rmy z kapitałem zagranicz-

nym

C. Siła popytu zewnętrznego

• fi rmy produkcyjne

• pracujący

• usługi nierynkowe

D. Siła dominacji

• pracujący (*)

• ludność (*)

• fi rmy zagraniczne (*)

ZAUFANIE

• poziom

zaufania na

linii: przedsię-

biorcy–lider

• poziom

zaufania na

linii: przedsię-

biorca–przed-

siębiorca

• poziom

zaufania spo-

łecznego

OTOCZENIE

ZE-

WNĘTRZNE

PRESJA HI-

STORYCZNA

• analiza krytycz-

nych punktów

historycznych

PRESJA TERAŹNIEJSZA

• wskaźnik konkurencyjności

ogólnej

• wskaźnik konkurencyjności

szczegółowej

• benchmarking polityki roz-

wojowej

PRESJA

PRZYSZŁA

• przewidy-

wane kierunki

rozwoju

i instrumenty

wsparcia

Przeszłość Teraźniejszość Przyszłość

* – w porównaniach z otoczeniem

Źródło: na podstawie Dziemianowicz 2007, s. 165.


administracji i/lub wzrost liczby fi rm zajmujących się ewaluacją i oferujących swoje usługi np. samorządom.

Pomimo wielu trudności, jakie napotykamy w trakcie ewaluacji, sama jej po-trzeba musi spowodować wśród zespołów opracowujących dokumenty strategicz-ne i programowe myślenie konstruktywno-praktyczne, a nie życzeniowo-ideali-styczne. Już dziś widzimy odchodzenie od masy różnorodnych wskaźników, które mają w mniejszym lub większym stopniu opisać efekty naszych działań, na rzecz konkretnych i wymiernych wskaźników dotyczących określonego instrumentu. Również aktualizacje strategii lokalnych czy polityka lokalna, jeśli będą określane ze świadomością, że później ktoś dokona rzetelnej oceny jej wpływu na rozwój, muszą odpowiadać na konkretne potrzeby gminy.

Oceny wpływu określonych instrumentów na rozwój różnych jednostek ad-ministracyjnych mają różnorodny poziom ogólności. Wprawdzie do tej pory najczęściej oceniane są układy ponadlokalne, jednak wydaje się, że przyszłość stosowania metod ewaluacyjnych dotyczyć będzie również samorządów lokal-nych. Uważam, że właśnie na tym poziomie oceny mogą być najbardziej rzetelne. Jednak, zgodnie z tym, o czym napisałem wcześniej, potrzebna jest w tym przy-padku zwiększona świadomość liderów lokalnych, którzy różne rodzaje ewalu-acji powinni traktować przede wszystkim jako jeden z ważnych instrumentów skutecznego zarządzania.

LITERATURA

DOMAŃSKI B., JARCZEWSKI W. (2006) (red.), Klimat inwestycyjny w województwie mało-

polskim, Urząd Marszałkowski Województwa Małopolskiego, Kraków.

DZIEMIANOWICZ W. (2005), Ranking atrakcyjności inwestycyjnej miast Polski – refl eksje po czte-

rech edycjach badań, Prace i Studia Geografi czne, t. 35, Warszawa.

DZIEMIANOWICZ W. (2007), Łańcuch aktywności zerowej, w: Dziemianowicz W., Swianiewicz

P. (red.), Gmina pasywna, Studia KPZK PAN, t. CXIVI, Warszawa.

DZIEMIANOWICZ W. (2008), Konkurencyjność gmin w kontekście relacji władze lokalne – inwe-

storzy zagraniczni, Wydawnictwa Uniwersytetu Warszawskiego, Warszawa.

GORZELAK G., BĄKOWSKI A., KOZAK M., OLECHNICKA A. (2006), Polskie regionalne

strategie innowacji: ocena i wnioski dla dalszych badań, Warszawa.

PORTER M.E. (2003), Postawy, wartości i przekonania a makroekonomia dobrobytu [w:] Harri-

son L.E. i Huntington S.P. (red.), Kultura ma znaczenie. Jak wartości wpływają na rozwój spo-

łeczeństw, Zysk i S-ka Wydawnictwo, Poznań (tłum. S.Dymczyk).

STORPER M.E. (1997), Th e Regional World: Territorial Development in a Global Economy, Guil-

ford Pres, New York.

SWIANIEWICZ P., DZIEMIANOWICZ W. (1999), Atrakcyjność inwestycyjna miast – II ran-

king, Instytut Badań nad Gospodarką Rynkową, Seria Polska Regionów, Warszawa.

VANHOVE N. (2000), Regional Policy: A European Approach, Ashgate.


Rysunek 1. Klasy konkurencyjności gmin, 2004

1 – oznacza klasę najwyższą, 7 – klasę najniższą.

Źródło: Dziemianowicz, 2008, s. 91

Rysunek 2. 20% najbiedniejszych gmin w Polsce w 2006 r. (wg dochodów własnych na mieszkańca)

Źródło: opracowanie własne na podstawie danych GUS

Jarosław Górniak, Magdalena Jelonek, Seweryn Krupnik,

Barbara Worek

Badania społeczne jako narzędzie oceny percepcji realizowanej polityki

WPROWADZENIE

Programy są realizowane przez władze publiczne różnych szczebli po to, by osiągać rozmaite cele, które wynikają z rozpoznanych problemów społecznych i wyzwań rozwojowych. Ewaluacja ocenia stopień, w jakim programy te przyczy-niły się do osiągnięcia takich celów. Więcej: ocenia wartość i użyteczność spo-łeczną programów podnosząc problem trafności samych celów, a także analizując niezamierzone efekty podejmowanych działań. Programy publiczne prowadzone są po to, by podnosić jakość życia obywateli. Wprawdzie bywa i tak, ze w krót-kim okresie są niekiedy konieczne wyrzeczenia, jednak koniec końców polityki publiczne realizowane w warunkach demokracji muszą się liczyć z postrzeganiem zmian i płynącą z nich satysfakcją odczuwaną przez społeczeństwo. W ewaluacji ten subiektywny element oceny nie powinien być ignorowany.

Szczególnym, złożonym zestawem projektów polityk publicznych czy ich założeń jest strategia rozwoju – regionalna lub lokalna. Strategia zmierza do osiągnięcia zmian w regionie zgodnych z postawionymi, długofalowymi celami. Nie jest bez znaczenia to, jak zmiany takie są postrzegane przez mieszkańców regionu. Uchwycenie postrzegania zmian w różnych obszarach życia społecznego i ekonomicznego jest możliwe poprzez sondaże opinii, prowadzone systematycz-nie, w określonych odstępach czasu. Celem takiego powtarzanego sondażu jest obiektywne ustalenie wielkości zmian, co implikuje ilościowy charakter badań i oparcie ich na losowej, reprezentatywnej próbie osób z badanej społeczności regionu. Powtarzalny i rozłożony w czasie realizacji pomiar zbliża ten rodzaj przedsięwzięcia do monitoringu; nazwa „monitoring społeczny” bywa zresztą używana w przypadku takich badań. To, że wolimy określać je mianem badań ewaluacyjnych, wynika z silnej koncentracji tego rodzaju badań na oddziaływaniu, często pośrednim, wdrażanych programów.

144 J. Górniak, M. Jelonek, K. Keler, S. Krupnik, B. Worek

Z drugiej strony to oczywiste, że zmiany w sytuacji regionu, czy to uchwycone z perspektywy mieszkańców, czy to ustalone w oparciu o obiektywne dane spra-wozdawcze, nie mogą być po prostu przypisane aktywności władz publicznych. Zaobserwowane zmiany są na ogół efektem złożonego zestawu czynników, a ich obserwacja służy ogólnemu stwierdzeniu, czy „sprawy idą w dobrym kierunku”. Dalszym przybliżeniem do ustalenia związku przyczynowego pomiędzy działa-niami a efektami są bardziej złożone badania efektów netto programów publicz-nych, które pozostają poza zakresem naszych rozważań1. Trzeba jednak jasno powiedzieć, że ewaluacja ma większy potencjał w zakresie ujawniania niepowo-dzeń programów publicznych niż potwierdzania, że obserwowane sukcesy są ich efektem. Władze publiczne mają zwykle tendencję do przypisywania sobie zasług za zmiany pozytywne i wskazywania okoliczności zewnętrznych jako przyczyn zmian niekorzystnych. Odwrotnie jest w przypadku opozycji. Rolą badaczy jest nie tyle rozstrzyganie tych sporów, co budowanie jak najlepszej bazy wiedzy na temat tego, jakie koncepcje programów okazywały się w określonych okoliczno-ściach skuteczne i efektywne, użyteczne i trwałe, a jakie takich walorów nie miały2.

W tym artykule omówione zostaną podstawowe zasady przygotowania ba-dań, które śledzą postrzeganie zmian w regionie, których wywołanie jest intencją władz, w tym wypadku – udokumentowana w strategii rozwoju regionu . Faza konceptualizacji i starannego opracowania narzędzi badawczych (kwestionariu-szy) jest zbyt często ignorowanym etapem prac badawczych, co często nieste-ty przekłada się na fatalną jakość materiału badawczego i niską wiarygodność wniosków. Postaramy się pokazać, w nawiązaniu do konkretnego projektu zre-alizowanego przez nasz zespół, przebieg tej kluczowej fazy badań, funkcje jej poszczególnych elementów składowych i znaczenie wszystkich istotnych stron w defi niowaniu zakresu badań. Zwrócimy uwagę na to, że decydenci powinni być włączeni w proces konceptualizacji badań, gdyż mają one im właśnie służyć w procesie podejmowania decyzji. Badania ewaluacyjne powinny być nie tylko użyteczne, ale też używane, a włączenie decydentów w prace nad ustaleniem zakresu badań wywołuje oczekiwanie na wyniki i sprzyja ich wykorzystaniu.

Artykuł ten oparty jest o wyniki naszych prac zrealizowanych dla potrzeb ma-łopolskiego Urzędu Marszałkowskiego. Nie prezentujemy tu pełnych wersji kwe-stionariuszy, gdyż ich kształt jest wynikiem omówionego dalej procesu badawcze-go. Narzędzia takie nie powinny być wprost, bez namysłu kopiowane. Ich kształt powinien wynikać z lokalnych uwarunkowań. Dlatego koncentrujemy uwagę na drodze dojścia do określonej konstrukcji narzędzi, a nie na samych narzędziach.

1 Por. przegląd metod w: Purdon S., Lessof C., Woodfi eld K., Bryson K., Research Methods

for Policy Evaluation. Department for Work and Pensions Research Working Paper No 2, Her Majesty’s Stationery Offi ce, London 2001. 2 Szerzej na temat funkcji ewaluacji w: J. Górniak, Ewaluacja w cyklu polityk publicznych [w:] „Ewaluacja funduszy strukturalnych. Perspektywa regionalna”, MSAP AE, Kraków 2007 (książka jest dostępna w formie elektronicznej na stronie: http://msap.uek.krakow.pl/doki/efs-pr.pdf ).

Badania społeczne jako narzędzie oceny percepcji realizowanej polityki 145

PODSTAWOWE ZAŁOŻENIA EWALUACJI POLITYK PUBLICZNYCH W TOKU WDROŻENIA

Opisane w tym artykule wykorzystanie badań społecznych w procesie ewalu-acji realizacji polityki regionalnej opierało się na trzech kluczowych założeniach. Po pierwsze założono, że niezbędnym warunkiem przeprowadzania interwencji publicznych jest możliwość oceny efektów tych interwencji. Jeżeli efekty inter-wencji nie podlegają ocenie, nie ma możliwości sprawdzenia, czy odniosła ona skutek, a podjęcie decyzji o kontynuowaniu lub przerwaniu interwencji nie jest oparte na racjonalnych przesłankach3.

Po drugie przyjęto, że aby móc oszacować efekty interwencji, które często nie są bezpośrednio uchwytne, konieczne jest wykorzystanie wskaźników. Wskaź-niki to zmienne poddające się pomiarowi i pozostające w związku z interesującymi

nas cechami analizowanych obiektów czy stanów rzeczy, przez co wykorzystuje się

je do stwierdzenia, czy dany stan rzeczy zachodzi lub … jaki jest jego rozmiar4. Za autorami przywołanej defi nicji warto podkreślić, że wskaźnik jest zmienną, czyli pewną cechą odnoszącą się do interesujących nas obiektów, która może przyjąć przynajmniej dwie wartości. Wskaźniki muszą z jednej strony być dobrze do-pasowane do rzeczywistości, do której się odnoszą, i jednocześnie powinny one dostarczać informacji użytecznej z punktu widzenia związanego z interwencją procesu decyzyjnego. Dlatego też proces konstruowania wskaźników wymaga dbania zarówno o ich wysoką trafność (cechę wskazującą na to, czy mierzymy faktycznie to, co chcemy mierzyć), jak i rzetelność (redukcję błędu pomiaru, która pozwala na porównywanie wyników uzyskiwanych w różnych okresach)5.

Po trzecie wreszcie uznano, że konstruowanie wskaźników będących niezbęd-nym elementem prawidłowo przeprowadzanej interwencji publicznej powinno oprzeć się na metodologii wypracowanej na gruncie badań społecznych. Opra-cowane i przyjęte wskaźniki powinny spełniać wszelkie wymogi, jakie są wskaź-nikom stawiane. Powinny więc przede wszystkim ujmować istotę problemu oraz posiadać jasną i normatywnie akceptowalną interpretację, być odporne na znie-kształcenia i sprawdzone pod względem statystycznym, być wrażliwe na oddzia-ływanie interwencji publicznych, ale nie podlegać łatwej manipulacji politycznej, być aktualne6. Odpowiednio dobrany zestaw wskaźników powinien pozwalać na ocenę stopnia realizacji założonych celów nie tylko na poziomie produktów – co

3 Por. Olejniczak K., Ewaluacja jako narzędzie zarządzania w sektorze publicznym [w:] Gorzelak G., Tucholska A. (red.) Rozwój, Region, Przestrzeń, Ministerstwo Rozwoju Regionalnego, Warsza-wa, 2007. 4 Górniak J. Keler, K. Wskaźniki w ewaluacji ex-post programów publicznych [w:] Haber A. (red.) Ewaluacja ex- post. Teoria i praktyka badawcza, Warszawa 2007 s. 157.5 Por. Baby E. Badania społeczne w praktyce, PWN, 2003, s. 162–1696 Por. Atkinson T., Cantillon B., Marlier E., Nolan B., Social Indicators. Th e EU Social Inclusion, Oxford University Press, New York 2002.


jest stosunkowo proste, lecz także na poziomie rezultatów i wpływu, co stwarza znacznie większe trudności. W takiej sytuacji szczególnie pożądane jest stosowa-nie różnorodnych metod badawczych i oparcie tworzonych wskaźników nie tylko na solidnej wiedzy eksperckiej, ale i wykorzystanie wiedzy i doświadczeń osób, które wprowadzają daną interwencję lub też są jej przedmiotem.

RODZAJE WSKAŹNIKÓW WYKORZYSTYWANYCH W STRA-TEGII ROZWOJU WOJEWÓDZTWA MAŁOPOLSKIEGO

W ramach Strategii Rozwoju Województwa Małopolskiego 7 jako miary sukcesu strategii przyjęto równolegle wskaźniki oparte na danych sprawozdawczych (np. poziom PKB, saldo migracji, frekwencja wyborcza), jak i wskaźniki opinii (m.in. mieszkańców, przedsiębiorców i przedstawicieli organizacji pozarządowych). O ile miary z pierwszej kategorii wydają się być niekwestionowane, o tyle wskaź-niki opinii należą do miar subiektywnych, jednak nie mniej istotnych z punktu widzenia oceny interwencji publicznej. O ile zaletą miar opartych na danych sprawozdawczych jest ich rzetelność, wskaźniki opinii mogą nieraz okazać się trafniejsze.

Poniższa tabela zawiera przykład proponowanego subiektywnego wskaźnika sytuacji na regionalnym rynku pracy. Jak widzimy, wskaźnik ten można potrakto-wać jako komplementarny wobec zmiany stopy bezrobocia. Znajomość zarówno zmiany wartości stopy bezrobocia, jak i zmiany opinii publicznej na ten temat, zwłaszcza w dekompozycji na charakterystyki społeczno-demografi czne miesz-kańców, jest niezbędna dla zrozumienia charakteru przemian w analizowanym obszarze.

Tabela 1. Ocena warunków życia mieszkańców Małopolski

Treść pytania w kwestionariuszu Poziom operacyjny Wskaźnik „obiektywny”

Czy Pana(i) zdaniem w ciągu ostat-

nich dwóch lat sytuacja na rynku

pracy w województwie małopolskim:

poprawiła się, pozostała mniej więcej

taka sama czy pogorszyła się?

% osób odpowiadających

„poprawiła się”

zmiana stopy bezrobocia

Jak zauważono wcześniej, kwestią równie istotną jak precyzja pomiaru jest użyteczność i zrozumiałość uzyskanych dzięki niemu informacji. W tym zakre-sie szczególnie pomocne są doświadczenia badań marketingowych, w ramach których komunikacja z klientem, identyfi kacja jego oczekiwań i dostarczenie mu użytecznych danych są postrzegane jako kluczowe elementy procesu badawczego. W obszarze badań marketingowych wypracowano też wiele narzędzi służących

7 Strategia Rozwoju Województwa Małopolskiego na lata 2007–2013.


badaniu zadowolenia klientów i subiektywnych opinii dotyczących różnych pro-duktów czy usług. Narzędzia te mogą być jednak z powodzeniem stosowane także w celu monitorowania opinii na temat wdrażania polityk publicznych. Z narzędzi tych skorzystaliśmy też w naszym projekcie, stosując, m.in. omówioną w dalszej części artykułu analizę ważności – zadowolenia (Importance – Performance Ana-

lysis). Innym przykładem takiego zapożyczenia było wykorzystanie wskaźników syntetycznych m.in. Małopolskiego Wskaźnika Optymizmu Przedsiębiorców. Składał się on z pytań pochodzących z części poświęconej klimatowi do pro-wadzenia działalności gospodarczej na terenie województwa małopolskiego oraz z pytań o sytuację ekonomiczną przedsiębiorstwa8.

Jak skonstruować narzędzie mierzące zmiany w ocenie realizacji działań sa-morządu?

W tej części opracowania pokażemy w oparciu o przykład praktyczny, w jaki sposób powinien przebiegać właściwie zaplanowany proces badawczy, mający na celu skonstruowanie narzędzi mierzących zmiany w ocenie realizacji dzia-łań samorządu. Jako przykład ilustrujący opisane powyżej zadanie posłuży nam opis procesu badawczego, jaki został zaprojektowany przez zespół z Instytutu Socjologii Uniwersytetu Jagiellońskiego pod kierownictwem profesora Jarosława Górniaka. Zespół ten realizował na zlecenie Urzędu Marszałkowskiego w Kra-kowie projekt mający na celu opracowanie narzędzia do badania opinii kluczo-wych aktorów społecznych na temat obszarów Strategii Rozwoju Województwa Małopolskiego na lata 2007–2013. Podstawowym celem procesu była konstrukcja i przetestowanie narzędzi badawczych służących do oceny zadowolenia miesz-kańców, przedsiębiorców i partnerów społecznych z tych obszarów życia, które obejmuje swym zasięgiem Strategia Rozwoju Województwa Małopolskiego na lata 2007–2013. Badania realizowane za pomocą tych narzędzi posłużyć miały uchwyceniu wpływu działań podejmowanych w ramach Strategii na poziom sa-tysfakcji mieszkańców/przedsiębiorców/partnerów społecznych z obszarów życia ujmowanych w Strategii jako obszary kluczowe.

Założeniem było skonstruowanie narzędzia, które będzie z jednej strony speł-niać podstawowe wymogi metodologiczne, z drugiej zaś będzie dostosowane do realiów Małopolski, obejmując te wymiary, które są kluczowe dla rozwoju regio-nu i których obserwacja powinna stanowić przedmiot stałego zainteresowania zarówno dla twórców Strategii Rozwoju, jak i dla wykonawców poszczególnych działań. Ponadto narzędzie to powinno mieć charakter uniwersalny w tym sen-sie, żeby pozwolić w przyszłości monitorować opinie mieszkańców województwa i oceniać wpływ działań wynikających z założeń Strategii na poziom zadowolenia mieszkańców, a tym samym dostarczać informacji pokazujących, w jaki sposób postrzegane są działania samorządu.

8 Por. K. Chmielewski Charakterystyka warunków prowadzenia działalności gospodarczej [w:] Przedsiębiorcy jako grupa społeczna; publikacja dostępna na stronie www.parp.gov.pl


W wyniku dyskusji i ustaleń ze zleceniodawcą powstały trzy odrębne narzę-dzia badawcze, skierowane do trzech istotnych z punktu widzenia Strategii grup: mieszkańców, przedsiębiorców oraz reprezentantów organizacji pozarządowych. Przygotowane przez zespół badawczy plan analizy oraz schemat doboru pró-by stworzyły koncepcyjną całość pozwalającą na realizację powtarzalnych badań opinii kluczowych aktorów społecznych na temat obszarów Strategii Rozwoju Województwa Małopolskiego na lata 2007–2013.

Poniżej omówione zostaną kolejne etapy badań, przez które należy przejść, aby uzyskać wysoką adekwatność i jakość konstruowanego narzędzia (etapy te zaprezentowano na rysunku nr 1). Opis zostanie uzupełniony praktycznymi ilu-stracjami przebiegu tych etapów, po to by w dalszej części opracowania, zgodnie z zasadą prezentowania dobrych praktyk, pokazać przykłady „właściwych rozwią-zań” w zakresie konstrukcji pytania kwestionariuszowego oraz jego analizy.

Rysunek 1. Główne etapy pracy badawczej


ETAPY PRACY NAD KONSTRUKCJĄ NARZĘDZI

KONCEPTUALIZACJA I DOPRECYZOWANIE PROBLEMATYKI

Indywidualne wywiady pogłębione z decydentami

Grupowe wywiady z: mieszkańcami województwa, przedsiębiorcami i partnerami społecznymi

I WERSJA KWESTIONARIUSZA

TEST KWESTIONARIUSZA

Pretest II wersja kwestionariusza

Pilotaż

OSTATECZNA WERSJA KWESTIONARIUSZA ‐ PLAN ANALIZY DANYCH – PLAN DOBORU PRÓBY

Analiza danych zastanych (strategii, wcześniejszych badań, potencjalnych wskaźników)


KONCEPTUALIZACJA I DOPRECYZOWANIE PROBLEMATYKI

W ramach pierwszej fazy, uznanej za kluczowy etap procesu badawczego, wy-konano szereg działań, których celem podstawowym było doprecyzowanie pro-blematyki badawczej. Proces doprecyzowywania rozpoczął się od analizy danych zastanych, po to by w dalszej kolejności oprzeć się na informacjach jakościowych, płynących zarówno od decydentów (indywidualne wywiady pogłębione), jak i od zainteresowanych realizacją strategii aktorów (wywiady grupowe).

ANALIZA DANYCH ZASTANYCH

Etap ten zgodnie ze swoimi założeniami miał charakter elementu przygo-towującego do dalszej pracy o charakterze badawczym. Z jednej strony duża część energii poświęcona została na analizę materiału źródłowego, czyli Strategii Rozwoju Województwa Małopolskiego na lata 2007–2013, na analizę procesu jej powstawania, a także na wyjaśnianie niektórych, mniej precyzyjnie ujętych, założonych przez nią celów. Dzięki tym działaniom udało się uzyskać względnie klarowny obraz określonych przez decydentów celów działań na najbliższe lata, a także sprecyzować obszary „niepewności” i niewiedzy w zakresie założonych celów strategii, które w dalszej kolejności miały zostać uzupełnione w trakcie rozmów z decydentami.

Analiza danych zastanych nie została ograniczona tylko i wyłącznie do analizy założeń strategicznych. Dokonano także przeglądu kluczowych badań w interesu-jącym nas obszarze, przestudiowano stosowane metodologie, oceny ich efektyw-ności, a także potencjalne źródła wskaźników i potencjalne sposoby konstrukcji wskaźników. Działania te z jednej strony pozwoliły na lepsze dopasowanie kon-struowanego narzędzia do realiów strategii, z drugiej oszczędziły niepotrzebnych, zbędnych i mało efektywnych prac mających na celu próbę zebrania danych czy konstrukcję wskaźników, które dawno zostały już opracowane. Zgodnie z zasadą poszukiwania rozwiązań najbardziej efektywnych, po sprecyzowaniu obszaru nie-wiedzy dokonana została próba wypełnienia luki kognitywnej danymi, które już istnieją, a dopiero w dalszej kolejności danymi, które należy dopiero zebrać.

BADANIE JAKOŚCIOWE – INDYWIDUALNE WYWIADY POGŁĘBIONE

W kolejnym etapie przygotowywania narzędzia do badania opinii kluczowych aktorów społecznych na temat obszarów Strategii Rozwoju Województwa Mało-polskiego na lata 2007–2013 zespół badawczy skoncentrował się na zebraniu istot-nych informacji dotyczących samego przedmiotu badania, jak również oczekiwań informacyjnych zleceniodawcy. W tym celu zostało przeprowadzonych dziesięć wywiadów pogłębionych z ekspertami z Urzędu Marszałkowskiego, członkami


zarządu województwa, dyrektorami oraz wicedyrektorami departamentów oraz z innymi osobami, które współpracowały przy tworzeniu dokumentu Strategii Rozwoju Województwa Małopolskiego na lata 2007–2013. Działanie to mia-ło służyć wstępnemu ustaleniu wewnątrz analizowanych obszarów konkretnych problemów niezbędnych do poruszenia podczas badania opinii. Powstałe w ten sposób pytania dostarczyły odpowiedzi, które z obszarów objętych strategią wy-dają się być kluczowe dla osób odpowiedzialnych za strategię.

Dzięki charakterowi jakościowemu – indywidualne wywiady pogłębione po-zwoliły badaczom na wnikliwe i szczegółowe poznanie opinii ekspertów w zakresie problemowych aspektów wdrażania Strategii Rozwoju Województwa Małopol-skiego na lata 2007–2013. Etap ten obok doprecyzowania założonych w strategii celów, stworzenia hierarchii ich ważności, wypełniał niezwykle ważne zadanie związane z legitymizacją procesu ewaluacji, co miało istotne znaczenie zwłaszcza w kontekście konstrukcji narzędzia pośredniej oceny działania samorządów.

ZOGNISKOWANE WYWIADY GRUPOWE (FGI)

Następnym etapem przygotowywania narzędzia do badania opinii kluczowych aktorów społecznych w obszarach Strategii Rozwoju Województwa Małopol-skiego na lata 2007–2013 było przeprowadzenie wywiadów grupowych z miesz-kańcami, przedsiębiorcami oraz reprezentantami organizacji pozarządowych. Zogniskowane wywiady grupowe pozwoliły badaczom pogłębić i doprecyzować informacje pozyskane w trakcie indywidualnych wywiadów pogłębionych.

Wywiady te miały na celu:• określenie sfer satysfakcji i niezadowolenia w ramach obszarów zdefi niowa-

nych w Strategii Rozwoju Województwa Małopolskiego na lata 2007–2013• zdefi niowanie obszarów opinii, pojawiających się spontanicznie, a nie ujętych

w Strategii Rozwoju Województwa Małopolskiego na lata 2007–2013• przygotowanie kafeterii (listy odpowiedzi) do pytań, wynikających ze ziden-

tyfi kowanych w trakcie wywiadów eksperckich potrzeb informacyjnych.

Przeprowadzonych zostało sześć wywiadów grupowych: trzy z mieszkańcami województwa małopolskiego, dwa – z przedsiębiorcami działającymi na terenie województwa oraz jeden – z reprezentantami organizacji pozarządowych. W wy-niku przeprowadzonych wywiadów zdefi niowano cztery najistotniejsze obszary determinujące zadowolenie lub niezadowolenie z mieszkania w województwie, takie jak: profi laktyka i ochrona zdrowia, poczucie bezpieczeństwa, polityka spo-łeczna oraz transport i komunikacja międzymiastowa.

Podczas wywiadów grupowych z przedsiębiorcami (z branży usługowej oraz z branży produkcyjnej) wyodrębniono najważniejsze elementy wpływające na satysfakcję przedsiębiorców z prowadzenia działalności na terenie województwa małopolskiego. Te elementy to:


• postrzegane wsparcie dla przedsiębiorców chcących rozpocząć działalność go-spodarczą

• promocja małych i średnich przedsiębiorstw• dostępność lokali pod wynajem.

Wywiad z reprezentantami organizacji pozarządowych miał przede wszyst-kim na celu określenie obszarów zadowolenia/niezadowolenia ze współpracy or-ganizacji z Urzędem Marszałkowskim oraz wskazanie kwestii szczegółowych, składających się na poczucie satysfakcji z działania na terenie województwa ma-łopolskiego. Na spotkanie zostały zaproszone zarówno rozbudowane, od dawna działające na terenie województwa organizacje pozarządowe, jak również orga-nizacje nowe, niewielkich rozmiarów, działające w oparciu o wolontariat i jedno-razowe akcje i projekty.

W wyniku dyskusji reprezentanci organizacji pozarządowych zdefi niowali trzy podstawowe oczekiwania wobec Urzędu Marszałkowskiego, a mianowicie:• promowanie działalności organizacji pozarządowych• określenie ram współpracy z organizacjami pozarządowymi• przekazywanie informacji dotyczących możliwości współpracy oraz możliwo-

ści fi nansowania organizacji pozarządowych z innych źródeł.

Dyskusja objęła również inne istotne kwestie, aktualnie dyskutowane w śro-dowisku organizacji pozarządowych, m.in.: rolę i znaczenie organizacji paraso-lowych, spotkania w ramach Małopolskiego Forum Organizacji Pozarządowych oraz konkursową formę przyznawania środków fi nansowych na projekty.

Najistotniejsze obszary współpracy z Urzędem Marszałkowskim, które – we-dług opinii reprezentantów organizacji pozarządowych – nie znalazły odzwier-ciedlenia w Strategii Rozwoju Województwa Małopolskiego na lata 2007–2013 ani w innych dokumentach programowych dotyczących współpracy z Urzędu Marszałkowskiego z trzecim sektorem to: opracowanie narzędzia oceny orga-nizacji pozarządowych oraz przygotowanie długofalowego planu współpracy w konkretnych dziedzinach z organizacjami pozarządowymi.

Oprócz wyboru kluczowych obszarów wpływających na zadowolenie akto-rów, doprecyzowania tematów, wywiady grupowe spełniały zadanie o charakterze promocyjno-informacyjnym. Dzięki zaangażowaniu uczestników w proces two-rzenia narzędzia ewaluacyjnego sama forma spotkania nabrała charakteru kon-sultacji społecznych, zwiększając wśród uczestników spotkania poziom poczucia wpływu na działania, które podejmowane są w ich najbliższym otoczeniu.


PIERWSZA WERSJA KWESTIONARIUSZA. PRETEST

W oparciu o wcześniej opisane działania powstała pierwsza wersja kwestio-nariusza badającego kluczowych aktorów zidentyfi kowanych przez małopolskich decydentów. Z założenia była to wersja wstępna, podlegająca dalszym modyfi ka-cjom na kolejnych etapach prac badawczych.

Wstępna forma narzędzia sprawdzona została w sposób dwuetapowy, naj-pierw w trakcie pretestu, a następnie pilotażu. W ramach pretestu wykonano sześć wywiadów kwestionariuszowych z mieszkańcami, cztery z przedsiębiorcami oraz dwa z organizacjami pozarządowymi. Celem pretestu było sprawdzenie, czy pytania i sformułowania zawarte w kwestionariuszach są zrozumiałe dla ankieto-wanych oraz dla ankieterów. Po pretestach kwestionariusze uległy modyfi kacjom zarówno stylistycznym, jak i merytorycznym – między innymi ze względu na ich objętość, ograniczono po preteście liczbę zawartych w kwestionariuszach pytań oraz zmodyfi kowano kafeterie pytań kwestionariuszowych. Pretest nabrał więc charakteru pierwszego testu kwestionariusza, dzięki któremu zidentyfi kowane zostały wszelkie nieścisłości, niejasności, które mogłyby w trakcie realizacji ba-dania zaburzać trafność i rzetelność wyników.

DRUGA WERSJA KWESTIONARIUSZA. PILOTAŻ

Dzięki poprawie błędów zidentyfi kowanych w preteście skonstruowana zosta-ła druga, nadal testowa wersja kwestionariusza, która zgodnie z zasadami meto-dologii konstruowania narzędzi poddana została pilotażowi. W ramach pilotażu kwestionariuszy przeprowadzono 180 wywiadów z mieszkańcami, 28 z przedsię-biorcami oraz 10 z przedstawicielami organizacji pozarządowych.

Celem pilotażu była w pierwszej kolejności weryfi kacja pytań kwestionariu-szowych w wywiadach ze zróżnicowanymi respondentami. Dodatkowo w wyniku badań pilotażowych ustalono średni czas przeprowadzania wywiadu z miesz-kańcami (50 minut), z reprezentantami organizacji pozarządowych (40 minut) i z przedsiębiorcami (20 minut). Dzięki przeprowadzonemu pilotażowi możliwa okazała się redukcja, a nawet usunięcie niektórych pytań, a także sprawdzenie i ocenienie zastosowanych w kwestionariuszu skal postaw. Pilotaż w opisanej formie dostarczył ponadto wstępnych, niereprezentatywnych wyników badań.

OPRACOWANIE KOŃCOWEJ WERSJI KWESTIONARIUSZA. PLAN ANALIZY DANYCH. PRÓBA BADAWCZA

Po przejściu przez szereg opisanych wyżej etapów powstał produkt fi nalny, będący celem założonym niniejszej operacji – zestaw kwestionariuszy do pomiaru opinii: mieszkańców, przedsiębiorców i aktorów społecznych na temat realizacji Strategii Rozwoju Województwa Małopolskiego na lata 2007–2013. W oparciu o powstałe narzędzie, jako nieodłączny element planu każdego badania skon-


struowany został plan analizy danych, zakładający podstawowe operacje, jakie powinny zostać dokonane w celu właściwego opracowania i prezentacji wyników powstałych w oparciu o zebrany materiał empiryczny. W celu maksymalizacji wiarygodności przyszłych badań zespół badawczy dostarczył ponadto schemat doboru próby badawczej, pozwalający na wiarygodne wnioskowanie statystyczne na temat cech populacji.

Podsumowując – pakiet końcowy: kwestionariusz, schemat doboru próby i plan analizy danych w dalszej kolejności stanowić miał element niezbędny do kontroli przeprowadzanych w ramach zlecenia badań, decydujący o ich rzetelno-ści i wysokiej jakości, a równocześnie nie angażujący nadmiernie urzędu w proces kontroli nad fi rmą realizującą badania.

DOBRE PRAKTYKI. PRZYKŁADY PYTAŃ KWESTIONARIUSZOWYCH

Poniżej przedstawimy wybrane przykłady pytań kwestionariuszowych , które zostały opracowane w wyniku opisanego wcześniej procesu badawczego. Wy-braliśmy przykłady pytań z różnych obszarów i przybierających różne formy: przedstawione zostaną pytania dotyczące ogólnej oceny sytuacji w Małopolsce, skierowane do przedsiębiorców pytania dotyczące warunków do prowadzenia działalności gospodarczej w regionie oraz jedno pytanie otwarte, pokazujące, w jaki sposób została skonstruowana ostateczna kafeteria do badań właściwych.

OGÓLNA OCENA SYTUACJI W MAŁOPOLSCE: PYTANIA WSPÓLNE W RÓŻNYCH WER-SJACH KWESTIONARIUSZA

Na początku każdej wersji kwestionariusza, niezależnie od tego, czy był on skierowany do mieszkańców, przedsiębiorców czy przedstawicieli organizacji po-zarządowych, umieszczono blok pytań, które dotyczyły ogólnej oceny sytuacji w Małopolsce. Pytania te odpowiadają wykorzystywanym zazwyczaj w badaniach satysfakcji pytaniom dotyczącym ogólnego zadowolenia z produktu czy usług i mogą być analizowane niezależnie, w dekompozycji dla różnych grup miesz-kańców, mogą też posłużyć do skonstruowania ogólnego wskaźnika oceny sytuacji w regionie . Zmiany poziomu tego wskaźnika, obserwowane w kolejnych etapach badań trendów, pozwalałyby monitorować ogólny poziom zadowolenia miesz-kańców z życia w Małopolsce. Ponadto obserwacja powiązania tego wskaźnika z oceną różnych aspektów działań realizowanych w ramach polityk publicznych pozwalałaby na identyfi kację tych czynników, które mocno lub słabo wpływają na satysfakcję mieszkańców.


Poniżej zamieszczono wybrane pytania służące takiej ogólnej ocenie:

A1.

Czy Pan(i) zdaniem w porównaniu do

przeciętnej sytuacji w Polsce obecny poziom

życia mieszkańców w [ Ankieter: podaj

nazw miejscowoci w której mieszka

respondent] jest obecnie: lepszy, mniej

więcej taki sam czy gorszy?

1. Lepszy

2. Mniej więcej taki sam

3. Gorszy

4. Trudno powiedzieć

1

2

3

4

A2.

A jeśli pomyślimy o przeszłości, czy Pana-

(i) zdaniem, w ciągu ostatnich 2 lat poziom

życia mieszkańców [ Ankieter: podaj

nazw miejscowoci w której mieszka

respondent]: poprawił się, pozostał mniej

więcej taki sam czy się pogorszył?

1. Poprawił

2. Pozostał mniej więcej taki sam

3. Pogorszył się


1

2

3

4

A3.

Jakich zmian w poziomie życia mieszkań-

ców [ Ankieter: podaj nazw miejsco-

woci w której mieszka respondent]

spodziewa się Pan(i) w ciągu najbliższych 2

lat? Czy uważa Pan(i), że będzie on: wyższy,

pozostanie mniej więcej taki sam czy będzie

niższy?

1. Będzie wyższy

2. Pozostanie mniej więcej taki sam

3. Będzie niższy


1

2

3

4

A4.

A teraz przejdźmy do poziomu życia Pa-

na(i)/Pana(i) rodziny. Czy obecnie Panu-

(i)/Pana(i) rodzinie żyje się pod względem

fi nansowym: dobrze, ani dobrze ani źle, czy

źle?

1. Dobrze

2. Ani dobrze ani źle

3. Źle


1

2

3

4

KRYTERIA OCENY WARUNKÓW DO PROWADZENIA DZIAŁALNOŚCI GOSPODARCZEJ

Jednym z celów strategii była poprawa warunków do prowadzenia działalno-ści gospodarczej. Dlatego też w kwestionariuszu poświęcono wiele miejsca oce-nie przez przedsiębiorców warunków do prowadzenia działalności. W strategii ziden tyfi kowano pięć elementów otoczenia przedsiębiorstw, na które realizowane działania miały mieć wpływ. Były to:• dostęp do nowoczesnych technologii • możliwość podnoszenia kwalifi kacji pracowników • możliwość znalezienia na rynku pracy odpowiednich pracowników • pomoc w prowadzeniu działalności eksportowej • jakość obsługi przez małopolskie instytucje władzy samorządowej i rzą-

dowej.


Rysunek 2. Elementy otoczenia przedsiębiorstw, na które powinny wpływać działania przewidzia-

ne w Strategii


Wywiady grupowe z przedsiębiorcami generalnie potwierdziły istotność więk-szości tych zagadnień dla samych przedsiębiorców. Dodatkowo wywiady poka-zały, że bardzo ważnym kryterium oceny warunków do prowadzenia działalności gospodarczej jest przejrzystość regulacji prawnych, którą ponadto w badaniach jakościowych przedsiębiorcy oceniali bardzo nisko. Dlatego też w końcowej wer-sji kwestionariusza obok pięciu wcześniej opisanych pozycji umieszczono także, w celach porównawczych, pytanie dotyczące znaczenia i oceny przejrzystości re-gulacji prawnych.

Stosując opisane w dalszej części artykułu podejście – IPA9, w kwestionariuszu zapytano zarówno o ważność, jak i o zadowolenie z każdego z tych elementów. W efekcie respondenci byli poproszeni o ocenę sześciu zagadnień na dwóch wymiarach. Dodatkowo zapytano o ogólną ocenę warunków do prowadzenia działalności gospodarczej. Kompleksowe podejście do oceny warunków umożliwi lepsze zrozumienie zarówno regionalnego otoczenia działalności gospodarczej, jak i porównanie wpływu działań realizowanych w ramach strategii na poszcze-gólne aspekty otoczenia.

9 Importance Performance Analysis


PYTANIA OTWARTE

W badaniach sondażowych zaleca się stosowanie jak najmniejszej liczby py-tań otwartych , gdyż są one trudne w analizie, odpowiedzi na nie bywają bardzo rozproszone, często zdarzają się odpowiedzi o niskiej wartości informacyjnej. Problemem są jednak sytuacje, w których przed rozpoczęciem badań nie jeste-śmy w stanie przewidzieć wszystkich możliwych odpowiedzi, jakich mogą udzie-lić respondenci. W takich sytuacjach zaleca się umieszczenie pytań otwartych w kwestionariuszu pretestowym i pilotażowym, a następnie skategoryzowanie uzyskanych odpowiedzi i na podstawie tej kategoryzacji skonstruowanie pyta-nia zamkniętego (lub półotwartego), które zostanie wykorzystane w badaniach właściwych. Taką procedurę zastosowano w opisywanym w tym opracowaniu procesie.

Dla przykładu przedstawimy niżej jedno z pytań otwartych, znajdujących się w kwestionariuszu pilotażowym, wraz z odpowiedziami uzyskanymi na to py-tanie i propozycją pozycji do kafeterii pytania zamkniętego, jaką przygotowano w oparciu o kategoryzację udzielonych odpowiedzi.

Jedno z postawionych w badaniach pilotażowych pytań otwartych dotyczyło opinii mieszkańców na temat kluczowych czynników decydujących o szansach rozwoju województwa małopolskiego. Pytanie w pilotażu rozumiane było przez respondentów w wieloznaczny sposób. Respondenci, pytani o czynniki decydu-jące o szansach rozwoju województwa, wymieniali:

1. Atuty Małopolski, takie jak: Wykształceni mieszkańcy (20) Zaplecze akademickie (14) Tradycja i historia, zabytki (11) Położenie geografi czne, dobra lokalizacja (9) Przyroda, krajobrazy, środowisko naturalne (8) Kultura (6) Przedsiębiorczość mieszkańców (5)

2. Działania, jakie należałoby podjąć, aby rozwój ten przebiegał w sposób wła-ściwy:Rozwój turystyki (48)Rozwój infrastruktury, komunikacji i dróg (33)Zwiększenie inwestycji w Małopolsce (26)Rozwój obszarów wiejskich (rolnictwo, agroturystyka) (17)Dobre zarządzanie (14)Rozwój przedsiębiorczości (12)


Wykorzystanie funduszy UE i innych dotacji (11)Rozbudowa portu lotniczego w Balicach (5)Reklama i promocja Małopolski (4)Pomysł i przemyślany plan działania (4)

Pojawił się też szereg mniej znaczących odpowiedzi, takich jak: mniej kłót-ni, więcej pracy, punktualność MPK, dobry klimat, sądownictwo, wykształcenie mieszkańców, elastyczność fi nansowa banków, poparcie rządu, kanalizacja, dobra gospodarka, brak korupcji, uzdrowiska, brak utrudnień administracyjnych, biuro-kracji, hotele, dostęp do informacji, poziom edukacji społecznej, zaplecze teleko-munikacyjne, atrakcje w regionie, uwolnienie od elit w kwestiach decydenckich, sport, działania samorządów, rozrywka, Urząd Marszałkowski, poszanowanie wartości przyrodniczych, wzrost zatrudnienia, znajomości, układy, budownictwo mieszkaniowe, chęć do pracy i nauki.

W związku z takim układem odpowiedzi zdecydowano się na rozbicie pierw-szej wersji pytania na dwa odrębne:

1. Pierwsze, dotyczące atutów Małopolski, w którym zostanie zastosowana na-stępująca kafeteria:

Wykształceni mieszkańcy, Wyższe uczelnie, Tradycja, historia i zabytki, Położenie geografi czne, Przyroda, jakość środowiska naturalnego, Kultura, Przedsiębiorczość mieszkańców, inne, jakie?

2. Drugie, dotyczące działań sprzyjających rozwojowi Małopolski, z kafeterią:

Rozwój turystyki, Rozwój infrastruktury (drogowej i kolejowej), Rozwój po-łączeń lotniczych, Zwiększenie inwestycji w Małopolsce, Rozwój obszarów wiejskich (rolnictwo, agroturystyka), Dobre zarządzanie województwem, Rozwój przedsiębiorczości, Wykorzystanie funduszy UE i innych dotacji, Reklama i promocja Małopolski, Pomysł i przemyślany plan działania, inne, jakie?

Ze względu na różnorodność odpowiedzi postanowiono pozostawić kategorię „inne, jakie?”.


DOBRE PRAKTYKI. PRZYKŁADY ANALIZY PYTAŃ KWESTIONARIUSZOWYCH

W tej części opracowania zaprezentujemy dwa wybrane przykłady analizy py-tań pochodzących z kwestionariusza do oceny opinii na temat Strategii Rozwoju Województwa Małopolskiego. Przykłady te przybliżają wartość informacyjną da-nych zebranych dzięki zastosowaniu tego narzędzia.

PRZYKŁAD NR 1: WAŻNOŚĆ A ZADOWOLENIE Z DZIAŁAŃ ADMINISTRACJI

Do porównania badanych dwóch wymiarów: ważności obszarów i zadowole-nia z działań administracji w obrębie każdego z obszarów posłużyliśmy się tech-niką wzorowaną na technice IPA (Importance – Performance Analysis). Celem było wyznaczenie mocnych i słabych stron świadczonych przez administrację usług, pokazanie obszarów priorytetowych dla mieszkańców i zaprezentowanie uzyskanych wyników w przestrzeni dwuwymiarowej na wykresie rozrzutu.

Spójrzmy na grafi czne porównanie ważności i oceny poszczególnych obszarów objętych strategią. Na poniższym wykresie osie reprezentują przeciętną ocenę działania samorządu w danym obszarze oraz średnią rangę (wagę), jaką badani przypisują danemu obszarowi. W ten oto sposób na wykresie wyznaczyć możemy cztery obszary:1. o dużym znaczeniu dla mieszkańców i niskiej ocenie działań samorządu (lewy

górny róg)2. o relatywnie mniejszym znaczeniu dla mieszkańców i niskiej ocenie działań

samorządu (lewy dolny róg)3. o dużym znaczeniu dla mieszkańców i względnie wysokiej ocenie działań

samorządu (prawy górny róg)4. o relatywnie mniejszym znaczeniu dla mieszkańców i względnie wysokiej oce-

nie działań samorządu (prawy dolny róg)10.

W celu porównania poziomu zadowolenia z poziomem istotności poszczegól-nych obszarów skonstruowane zostały poniżej zamieszczone wykresy:1. Z zaznaczeniem punktów średnich dla badanej grupy i linii referencyjnych na

przecięciu ich średnich empirycznych.2. Z zaznaczeniem punktów średnich dla badanej grupy i linii referencyjnych na

przecięciu ich średnich teoretycznych.3. Z zaznaczeniem median dla badanej grupy i linii referencyjnych na przecięciu

ich średnich empirycznych.

10 W teorii badań marketingowych pola te nazywane są: polem koncentracji (duża ważność, niski poziom realizacji), polem podtrzymywania dobrej pracy (duża ważność, wysoki poziom realizacji), polem „błahostek” (mała ważność, niski poziom realizacji), polem przesadnej dbałości (mała waż-ność, wysoki poziom realizacji).


Wykres 1. Ocena a ważność poszczególnych obszarów objętych Strategią (punkty na wykresie

oznaczają średnią dla badanej grupy, osie ważności i oceny umieszczone na przecięciu ich średnich

empirycznych).


Powyższy wykres prezentuje relatywne zależności pomiędzy obszarami. Jak widzimy, mieszkańcy wskazywali głównie drogi jako obszar ważny, jednak nie wzbudzający ogólnego zadowolenia. Względnie wysoko oceniane były: służba zdrowia i profi laktyka oraz bezpieczeństwo mieszkańców, oba będące elemen-tami ważnymi dla Małopolan. Mniej ważne, ale też i nisko oceniane elementy to rozwój zawodowy mieszkańców i rozwój przedsiębiorczości, natomiast kwe-stie mniej ważne i wysoko oceniane to: środowisko, jakość obsługi w urzędach i – klasyfi kowana jako najmniej ważna dla mieszkańców – kultura.

Relatywna ważność poszczególnych obszarów nie oddaje jednak pełni in-formacji o skali preferencji respondentów. Wiemy już, w jakim układzie waż-ność–zadowolenie sytuują się interesujące nas obszary, nie wiemy jednak, jak duże jest to zadowolenie bądź niezadowolenie i jak bardzo znacząca jest opisywana ich ważność.

3,403,203,002,802,602,402,20

ocena ( rednia)

8,00

6,00

4,00

wa

no (

redn

ia)

kultura

jako obs ugi w urz dachrozwój zawodowy mieszka ców

rozwój przedsi biorczo ci

rodowiskopomoc spo eczna

bezpiecze stwodrogi

s u ba zdrowia i profilaktyka


3,403,203,002,802,602,402,20

ocena ( rednia)

8,00

6,00

4,00

wa

no (

redn

ia)

kultura

jako obs ugi w urz dachrozwój zawodowy mieszka ców


rodowiskopomoc spo eczna

bezpiecze stwodrogi



oznaczają średnią dla badanej grupy, osie ważności i oceny umieszczone na przecięciu ich średnich

teoretycznych).


Powyższy wykres pokazuje rzeczywistą skalę zjawiska. W zasadzie każdy z obszarów znajduje się ponad poziomą linią referencyjną oznaczającą przeciętne znaczenie dla mieszkańców (jedynie obszar kultura położony jest nieco poniżej). Innymi słowy wszystkie elementy są ważne dla Małopolan, co najwyżej możemy mówić o ich relatywnej większej bądź mniejszej ważności. Ponadto dzięki wy-kresowi z liniami referencyjnymi w miejscu średnich teoretycznych wyznaczyć możemy obszary z których mieszkańcy są szczególnie niezadowoleni, takie jak:• rozwój zawodowy mieszkańców• rozwój przedsiębiorczości• pomoc społeczna.

oraz obszary zadowolenia:• kultura• jakość obsługi w urzędach• środowisko naturalne.

Ostatni etap analiz poziomu ważności–zadowolenia polegał na porównaniu miary rozproszenia dla poszczególnych obszarów, jaką jest odchylenie standar-dowe. Położenie linii referencyjnych wybrane zostało w sposób arbitralny na po-ziomie średniego odchylenia standardowego.


1,151,101,051,000,950,900,850,80

ocena (odchylenie standardowe)

2,60

2,40

2,20

2,00

wa

no (o

dchy

leni

e st

anda

rdow

e)

kultura

jako obs ugi w urz dach

rozwój zawodowy mieszka ców


rodowisko

pomoc spo eczna

bezpiecze stwo

drogi



oznaczają odchylenia standardowe dla badanej grupy, osie ważności i oceny umieszczone na prze-

cięciu ich średnich empirycznych).


Wykres pokazuje obszary, w stosunku do których nie ma ukształtowanej względnie jednorodnej opinii, oraz obszary, w stosunku do których mieszkańcy są jednomyślni. W naszym przypadku podczas oceny zadowolenia Małopolanie różnili się w opiniach dotyczących dróg oraz kultury. Jeśli idzie o ważność ob-szarów, to zdania były bardziej zróżnicowane niż w przypadku skali ocen. Naj-większe rozbieżności pojawiały się w wypadku rozwoju przedsiębiorczości oraz środowiska naturalnego.

Technika porównywania ważności–zadowolenia, mimo że najczęściej stoso-wana w badaniach marketingowych, w dobry sposób odzwierciedla zadowolenie aktorów z realizacji działań w poszczególnych obszarach. Metoda ta, czytelna i prosta w interpretacji, ułatwia rozumienie wyników nawet osobom czującym awersję do danych statystycznych. Z drugiej strony, korzystając z jej walorów, pa-miętać musimy o zagrożeniach płynących z jej użycia, z których najgroźniejszym jest chyba łatwość manipulacji jej grafi czną prezentacją.


PRZYKŁAD NR 2: MAŁOPOLSKI WSKAŹNIK OPTYMIZMU PRZEDSIĘBIORCÓW

Małopolski Wskaźnik Optymizmu Przedsiębiorców został stworzony na podstawie Wskaźnika Optymizmu Przedsiębiorców wzorowanego z kolei na Wskaźniku Optymizmu Konsumentów11. Składa się on z dwóch komponentów: zewnętrznego, poświęconego klimatowi do prowadzenia działalności gospodar-czej na terenie województwa małopolskiego, oraz wewnętrznego – dotyczącego sytuacji ekonomicznej przedsiębiorstwa. Przykładowo jedno z pytań brzmiało następująco: Czy Pana(i) zdaniem sytuacja gospodarcza w Małopolsce jest teraz w po-

równaniu z jej stanem sprzed dwóch lat ... lepsza / taka sama / czy gorsza”? Zgodnie z metodologią wykorzystania tego wskaźnika, każdej z kategorii od-

powiedzi przypisano punkty: 200 za odpowiedź pozytywną, 100 za neutralną i 0 na negatywną. W efekcie po obliczeniu średniej wartości dla wszystkich pytań otrzymujemy syntetyczną miarę optymizmu małopolskich przedsiębiorców. Co ważne, taka konstrukcja wskaźnika umożliwia łatwe porównanie między różnymi grupami przedsiębiorstw. Na przykład wartość 140 dla przedsiębiorstw dużych i 100 dla mikroprzedsiębiorstw oznaczałaby, że przedsiębiorstwa duże wykazują się większym optymizmem niż mikroprzedsiębiorstwa. Podobne analizy mogą być przeprowadzone dla przedsiębiorstw różniących się ze względu na inne ce-chy, jak np. kategorię działalności czy powiat, w którym przedsiębiorstwa mają swoją siedzibę.

ZAKOŃCZENIE

Przedstawione w tym opracowaniu podejście do konstruowania narzędzia słu-żącego monitoringowi wdrażania polityk regionalnych oraz wybrane przykłady pytań kwestionariuszowych i sposobów analizy informacji, jakie dzięki ich zadaniu można uzyskać, stanowi w całości wzór dobrej praktyki w zakresie projektowania takiego monitoringu. Chodzi tutaj przy tym nie tylko o bezpośrednie produkty tego przedsięwzięcia, a więc w pełni wystandaryzowane, przetestowane narzę-dzia badawcze dla mieszkańców, przedsiębiorców i organizacji pozarządowych wraz z opisanym schematem doboru próby i planem analizy danych, lecz także o „miększe” jego rezultaty. Takie podejście do konstrukcji narzędzia badawczego służy bowiem nie tylko zwiększeniu jego trafności i rzetelności, lecz stwarza także szansę na zainteresowanie decydentów i różnych grup interesariuszy procesem monitoringu i ewaluacji, podnosząc tym samym poziom kultury ewaluacyjnej w regionie. Podkreślić jednak należy, że samo stworzenie narzędzi, nawet jeśli są one skonstruowane zarówno w zgodzie ze standardami metodologicznym, jak

11 Por. K. Chmielewski Charakterystyka warunków prowadzenia działalności gospodarczej [w:] Jaź-wińska E., Żuk-Iwanowska A. Przedsiębiorcy jako grupa społeczna; publikacja dostępna na stronie www.parp.gov.pl


i ze standardami postępowania ewaluacyjnego, jest zaledwie pierwszym krokiem w kierunku prowadzenia systematycznego monitoringu postępów we wdrażaniu strategii. Następnym krokiem powinno być zaprojektowanie systematycznych badań trendów, w których zostaną wykorzystane opracowane narzędzia, potem zaś powinien mieć miejsce krok kolejny i najważniejszy: uzyskane wyniki badań powinny stać się podstawą do oceny realizacji polityk publicznych w podda-nych monitoringowi obszarach i zostać wykorzystane przy planowaniu działań ko lejnych.

Bożena Pietras-Goc, Beata Płoskonka, Lidia Żurawicka

Ewaluacja a społeczeństwo obywatelskie – utopia, postulat czy standard nowoczesnego rządzenia?

Dynamiczny rozwój państw demokratycznych niesie wciąż nowe wyzwania zarówno dla obywateli, jak i obieranych przez nich rządzących. Wśród założeń współczesnej demokracji jednym z kluczowych pojęć jest społeczeństwo oby-watelskie . Jak podaje Larry Diamond, amerykański politolog z Uniwersytetu Stanforda, w którego polu głównych zainteresowań są tematy dotyczące demo-kracji, rządzenia i zarządzania, „we wzorcowym społeczeństwie obywatelskim – występuje obfi tość kapitału społecznego, czyli zaufania, zasad postępowania i woli współpracy. Stosunki między ludźmi są przede wszystkim poziome: każdy człowiek ma taką samą godność, takie same obowiązki, takie same uprawnienia i równość ta jest zapisana w prawie. Jednostki są prawdziwymi obywatelami, to znaczy interesują się sprawami publicznymi i zależy im na pomyślności całej wspólnoty. W swoim postępowaniu do pewnego stopnia kierują się duchem pu-blicznym. Podobnie jak kapitalizm nie jest utopią, lecz systemem zgodnym z ego-istycznymi elementami ludzkiej natury. Ludzie biorą pod uwagę interesy innych między innymi ze względu na wiarę w to, że większość innych obywateli będzie się zachowywała podobnie. Wiara ta nie wynika wyłącznie z zaufania do kultury obywatelskiej, ale także z istnienia silnych i skutecznych instytucji publicznych, które nagradzają postawy obywatelskie i zachęcają do nich”1.

Na początku XXI w., w dobie nowych reform sektora publicznego, mówiąc o obywatelu, przestaje się traktować go jako klienta polityk i usług publicznych, a staje się on interesariuszem, czyli tym, który wpływa lub jest bezpośrednio dotknięty przez rozstrzygnięcia władzy (pozostaje pod ich bezpośrednim wpły-wem). Takie podejście do obywatela zakłada otwarcie na jego opinię, a przede wszystkim zorientowanie podejmowanych działań na konkretne rezultaty i za-spokajanie potrzeb społeczności (Olejniczak 2008).

1 Za: Larry Diamond, „Szanse demokracji”, Tygodnik Europa, luty 2008.

166 Bożena Pietras-Goc, Beata Płoskonka, Lidia Żurawicka

TRANSFORMACJA TRWA

Zaangażowany obywatel, przejrzysta polityka. Oto wyzwania stojące dziś przed nami, zarówno rządzącymi, jak rządzonymi. Polskie społeczeństwo wciąż podlega procesom transformacji. Udało się nam już wiele: inwestycji, rozwiązań prawnych, reform administracyjnych, szkół i uczelni wyższych czy innowacyjnych inicjatyw. Chociaż od przemian ustrojowych minęło już sporo czasu, nasze społe-czeństwo podlega jeszcze przemianom „mentalnym”. Obywatele oraz decydenci „uczą się” wspólnie korzystać i doceniać aktywny udział społeczeństwa w spra-wowaniu władzy. Obserwujemy rosnące oczekiwanie, ale i pojawianie się nowej jakości życia społecznego, w którym obywatel zaczyna czuć się odpowiedzialny za swoją wspólnotę (najczęściej lokalną), a zdecentralizowana władza uczy się postępować zgodnie z zasadami samorządności i pomocniczości i w takim duchu prowadzi politykę rozwoju.

Dlatego właśnie transformacja nie może obejmować tylko zmian admini-stracyjno-prawnych, a istotnym przejawem wzmacniania i dojrzewania systemu politycznego jest funkcjonowanie społeczeństwa obywatelskiego i jego organiza-cji oraz sposób ich traktowania przez sektor publiczny. Innymi słowy – z jednej strony stopień angażowania się obywateli i organizacji społeczeństwa obywatel-skiego w „sprawy wspólne”, a z drugiej strony – ich umiejscowienie (lub nie) na różnych polach „zarządzania dobrami wspólnymi”.

Jednym z takich ważnych pól jest właśnie ewaluacja działań sektora publicz-nego.

W zmieniającej rzeczywistości, przy wdrażaniu wciąż nowych polityk – ewa-luacja jest sposobem weryfi kacji przyjmowanych założeń lub podejmowanych zobowiązań w stosunku do otrzymywanych efektów w rzeczywistości. Wycią-gając wnioski z niepowodzeń eliminuje się błędy w strukturze organizacyjnej, czy też doborze metod i działań. „Proces uczenia następuje w drodze działania, w ten sposób system podejmowania decyzji ewoluuje, jest inny niż był w punkcie startowym”. Trafnie zauważa Robert Picciotto2 (2006), że „w ten sposób społe-czeństwa maksymalizują swoje wysiłki w odkrywaniu alternatywnych sposobów rozwiązywania problemów”.

2 Ekspert Banku Światowego, m.in. w latach 90. dyrektor generalny ds. ewaluacji w tej między-narodowej instytucji rozwojowej

Ewaluacja a społeczeństwo obywatelskie – utopia, postulat czy standard... 167

UDZIAŁ OBYWATELI W EWALUACJI DZIAŁAŃ PUBLICZNYCH

Zaangażowanie obywatelskie rozumieć można – najprościej rzecz ujmując – jako udział (uczestnictwo) prywatnych osób w działaniach sfery publicznej. Może on mieć formę mniej lub bardziej sformalizowaną, może być realizowane bezpo-średnio przez indywidualnych obywateli (np. dzięki lawinowemu upowszechnia-niu technologii telefonicznych czy internetowych) lub przez ich mniej lub bar-dziej reprezentatywne organizacje, może polegać – dla przykładu w dziedzinach powiązanych z ewaluacją – na udziale w debacie nt. diagnozy i celów polityki, monitorowaniu jakości dostarczanych usług publicznych, monitorowaniu sposo-bu wydatkowania funduszy publicznych i zarządzania dobrami publicznymi lub też ewaluacji zamierzonych czy dodatkowych efektów realizowanych projektów, programów czy strategii.

Dzięki podmiotowemu uczestnictwu obywatele zyskują możliwość, a w naj-gorszym razie przynajmniej poczucie wpływu na rozstrzygnięcia i zmiany, które ich żywotnie dotyczą, a co za tym idzie – budują swoje poczucie tożsamości, czy też integracji ze wspólnotą. W dzisiejszej, dość chaotycznej i szybko zmieniającej się rzeczywistości mniej lub bardziej bezpośredni wpływ obywateli na decyzje podejmowane przez przedstawicieli sektora publicznego jest z pewnością jednym z kluczowych czynników jakości demokracji. Kształtuje poczucie podmiotowości, uczestnictwa i współodpowiedzialności za użytkowane dobra wspólne i integruje wokół perspektywicznego interesu wspólnoty.

W tym kontekście niestety niekorzystny dla jakości polskiego systemu spra-wowania władzy, a i siły społeczeństwa obywatelskiego, jest fakt, że system wdra-żania funduszy unijnych przyjęty dla obecnej perspektywy fi nansowej, tj. na lata 2007–2013, właściwie nie zawiera zachęt do wzmacniania udziału obywateli i organizacji społeczeństwa obywatelskiego w zarządzaniu funduszami – na którymkolwiek etapie, z ewaluacją włącznie. I faktycznie budowany w Polsce od kilku lat system ewaluacji działań publicznych oraz potencjał ewaluacyjny (jak na razie w części dotyczącej wykorzystania funduszy unijnych) idą zdecydowanie w rzetelnym merytorycznie, lecz bynajmniej nie pro-obywatelskim kierunku3.

Wydaje się, że dość arbitralnie jako powszechnie obowiązujący przyjęto w na-szym kraju naukowy, rzec można w pewnym uproszczeniu – pozytywistyczny pa-radygmat ewaluacji. Patrzymy na nią jako na złożony, raczej hermetyczny proces badawczy, podejmowany i realizowany przez wysoce wykwalifi kowanych, wyspe-

3 Dość drastyczną ilustracją tej tezy może być określenie użyte w jednym z ważniejszych ra-portów ewaluacyjnych przygotowanych na zlecenie Ministerstwa Rozwoju Regionalnego w 2007 roku – w którym benefi cjentów i projektodawców w ramach programów operacyjnych funduszy strukturalnych traktuje się jako „zewnętrznych użytkowników systemu”. [W:] Identyfi kacja i ocena

barier w wykorzystaniu środków strukturalnych. PSDB Sp. z o.o. Warszawa, październik 2007.


cjalizowanych badaczy-ekspertów, często z akademickim zapleczem. Podejście to opiera się na trzech, powiązanych ze sobą, dominujących założeniach:1) uznaniu, że „obiektywna” naukowa perspektywa i refl eksja badacza jest nad-

rzędna w stosunku do subiektywnego odczuwania, opinii i oceny interesa-riuszy danej publicznej interwencji (a więc: „obiektywne” wnioski z badania mają większą wartość niż subiektywna opinia uczestnika, w tym także bene-fi cjenta)

2) założeniu, że ewaluator – jako badacz – powinien być ‘poza’ zjawiskiem czy procesem badanym, winien występować z dystansu, a pozostawanie poza pro-cesem interwencji przyczynia się do lepszej jakości ewaluacji

3) przekonaniu o możliwości dokonywania ewaluacji neutralnej, wolnej od war-tościowania.Obserwacja i nieliczne4 systematyczne badania wydają się potwierdzać tę

tezę. W badaniach pt. „Kondycja społeczeństwa obywatelskiego w Polsce 2007”, których wyniki opublikowano niedawno5, podjęto próbę oszacowania wpływu społeczeństwa obywatelskiego w naszym kraju na różne sfery życia publicznego. W skali od –3 do 3 średnia wymiaru wyniosła 1,7, a zdaniem uczestniczących w badaniu panelistów najmniejszy wpływ wykazuje społeczeństwo obywatelskie w zakresie monitoringu działań fi nansowych instytucji państwa i biznesu (wymiar 1,1; dla porównania wpływ na politykę społeczną oceniono na poziomie 1,9, a odpowiadanie na potrzeby społeczne na poziomie dwukrotnie wyższym, bo 2,2).

Tymczasem jakość i efekty monitorowania i ewaluacji działań sektora publicz-nego mogą być znacząco wzbogacone dzięki otwarciu tych procesów na udział szerszego grona interesariuszy, począwszy od bezpośrednich benefi cjentów, skoń-czywszy na opinii niezwiązanych bezpośrednio z daną interwencją obywateli, którzy – ostatecznie – są końcowymi adresatami i odbiorcami tych działań.

Zaangażowanie obywateli, jako ostatecznych interesariuszy interwencji, może przyjmować różnorodne formy. Od najprostszych i stosunkowo łatwych do zaakceptowania przez nawet konserwatywne administracje – jak ewaluacja partycypacyjna, po bardzo zaawansowane i wymagające znaczących koncesji ze strony decydentów, zalecane wprawdzie w niektórych podręcznikach i promo-

4 Wprawdzie jednym z wiodących tematów ewaluacji planowanych przez administrację w naszym kraju do 2013 r. jest „realizacja zasady good governance”, ale w zakresie tej zasady nie uwzględnia się – przynajmniej jak dotąd – udziału czy też badania udziału obywateli jako ostatecznych interesa-riuszy w cyklu zarządzania programami operacyjnymi, a szczególnie monitorowaniu czy ewaluacji na różnych etapach ich przygotowania i realizacji. Por. np. Proces ewaluacji polityki spójności w Polsce.

Podsumowanie dotychczasowych doświadczeń. Plany i wyzwania na przyszłość. Krajowa Jednostka Oceny, Departament Koordynacji Polityki Strukturalnej, Ministerstwo Rozwoju Regional nego, kwiecień 2008; Plan ewaluacji kwestii horyzontalnych w ramach 16 RPO na lata 2007–2013 oraz Plan ewaluacji NSRO na lata 2007–2013, KJO, DKPS, MRR, wrzesień 2007. Źródło: http://www.funduszestrukturalne.gov.pl/EWALUACJA+funduszy+w+Polsce/Krajowa+Jednostka+Oceny/.5 Indeks Społeczeństwa Obywatelskiego. Stowarzyszenie Kon/Jawor. Warszawa 2008. s. 61.


wane przez międzynarodowe organizacje rozwojowe (np. Bank Światowy), po-zostające jednakże wciąż w sferze przecierania szlaków i zbierania doświadczeń.

Najbardziej oczywistą i stosunkowo najczęściej spotykaną formą angażowania (choć w ograniczonym zakresie) interesariuszy w procesy ewaluacji jest stosowa-nie wspomnianej we wcześniejszych rozdziałach (por. K. Olejniczak, J. Szulbor-ska) tzw. ewaluacji uczestniczącej (partycypacyjnej). Jest to znana i dość często stosowana metoda prowadzenia badań ewaluacyjnych z bezpośrednim udziałem benefi cjentów i innych interesariuszy danej interwencji – przy czym grono to ogranicza się zazwyczaj do osób bezpośrednio w ten czy inny sposób zaanga-żowanych w realizację danego przedsięwzięcia (projektu, programu, strategii). Zakres i przebieg procesu ewaluacji jest zwykle projektowany i zarządzany gdzie indziej (przez samą administrację lub zewnętrznych ekspertów-ewaluatorów), jednak obywatele-interesariusze-benefi cjenci są, z zastosowaniem różnych metod i technik, pytani o zdanie, opinię czy wręcz ocenę ewaluowanej (zrealizowanej lub planowanej w przypadku oceny ex-ante) interwencji, zazwyczaj jako indy-widualne osoby6.

ORGANIZACJE STRAŻNICZE

Stosunkowo najlepiej rozpoznanym i rozwijającym się obecnie w Polsce spo-sobem angażowania się obywateli w ocenę działań sektora publicznego są tzw. działania strażnicze. W ten sposób określa się inicjatywy organizacji obywatelskich (ang. watchdog organizations) oraz mediów polegające na obserwowaniu działań instytucji i osób publicznych, które mają prowadzić do zwiększenia przejrzystości i praworządności życia publicznego. Termin ten odnosi się również do sektora prywatnego, w zakresie w jakim dotyczy praw konsumentów oraz przestrzegania prawa przez podmioty prywatne7.

Tak więc strażnictwo to działalność polegająca na obserwacji życia publiczne-go, monitorowaniu standardów działania władz publicznych oraz upublicznianiu wykrytych nieprawidłowości (np. działań niezgodnych z prawem lub z przyjęty-mi procedurami). Organizacje obserwujące działania władzy sprawują z założenia pewnego rodzaju kontrolę społeczną, a poprzez pytania i publikowane informa-cje zmuszają decydentów do wyjaśniania prowadzonej polityki, do jawności dzia-łania.

Dziedziny, które cieszą się szczególnym zainteresowaniem organizacji straż-niczych, to: ochrona praw człowieka, poszanowania istniejących praw przez głównych aktorów działających na scenie lokalnej, wydatki publiczne, inwesty-

6 Na temat charakterystyki ewaluacji z udziałem interesariuszy na tle innych form ewaluacji por. np. K. Olejniczak, Mechanizmy wykorzystania ewaluacji. Studium ewaluacji śródokresowych Inter-

reg III. Wydawnictwo Naukowe Scholar, 2008. 7 Źródło: www.watchdog.org.pl


cje publiczne, ochrona środowiska, bezpieczeństwo zdrowotne lub publiczne. Niezależnie od dzie dziny fundamentalną zasadą i ostatecznym efektem jest dbanie o interes publiczny, czyli o interes wszystkich obywateli (w odróżnieniu od reprezentowania punktu widzenia czy przysparzania potencjalnych korzyści dla wąskich zawodowych, społecznych czy biznesowych grup interesu – wów-czas będziemy mówić już o działalności lobbingowej). Poniżej kilka wybranych – szczególnie interesujących w kontekście niniejszego artykułu – przykładów tego typu projektów8:• KAŻDY/ KAŻDA watchdogiem swojej okolicy – „Fix my street” – naprawcie

moją ulicę – jest stroną internetową, która umożliwia raportowanie, prze-glądanie oraz dyskutowanie lokalnych problemów; graffi ti, dzikie wysypiska śmieci, dziury w drogach – tego typu problemy mogą zgłaszać internauci i internautki.

• Mapa Korupcji – projekt, który polegał na zebraniu konkretnych opisanych przypadków korupcji w Polsce w okresie od 1 października 2000 r. do 1 paź-dziernika 2001 r. Transparency International Polska zebrała ok. 6500 wycin-ków prasowych z ok. 100 tytułów prasowych.

• Monitoring procesu planowania i wydatkowania środków fi nansowych pocho-dzących z budżetu państwa na zabezpieczenie stopnia wodnego Włocławek – głównym celem projektu, realizowanego od listopada 2006 do października 2007, był monitoring procesu planowania i wydatkowania środków fi nan-sowych z budżetu państwa na zabezpieczenie stopnia wodnego Włocławek. Elementem tego badania był także monitoring wydatkowania środków z bu-dżetu na działania związane z planami budowy stopnia wodnego Nieszawa (szacunkowy koszt jego budowy to ok. 2 miliardy złotych).

• Monitorowanie praw reprodukcyjnych kobiet w Polsce – celem projektu jest monitoring wywiązywania się przez władze i zakłady opieki zdrowotnej z obo-wiązków nałożonych ustawami w zakresie praw reprodukcyjnych kobiet.

• Pieniądze publiczne dla organizacji pozarządowych na Mazowszu – monito-rowanie procesów planowania i wydatkowania publicznych pieniędzy z bu-dżetu wojewódzkiego ze szczególnym uwzględnieniem środków fi nansowych w ramach Regionalnego Programu Operacyjnego dla Mazowsza oraz kompo-nentu regionalnego Sektorowego Programu Operacyjnego Kapitał Ludzki.

• Kampania kontrolowana – specjaliści przez cały okres kampanii wyborczej w 2005 roku analizowali wypowiedzi polityków, hasła wyborcze, dokumenty programowe itd. Wyniki były systematycznie publikowane na stronach inter-netowych czołowych mediów w Polsce. Akcja miała prowadzić do ogranicze-nia populizmu w dawaniu obietnic wyborczych.

• Przejrzysty Samorząd – projekt ten realizowany był w ramach programu Dzia-łania Strażnicze, fi nansowanego przez Fundację im. Stefana Batorego. Jego

8 Przykłady wybrane z obszernego katalogu projektów prezentowanego na stronie www.watch-dog.org.pl.


celem jest zwiększenie kontroli społecznej nad planowaniem, wydatkowaniem i rozliczaniem pieniędzy publicznych na poziomie samorządów lokalnych.Podstawowym zadaniem organizacji typu watchdog jest gromadzenie infor-

macji dotyczących pewnej dziedziny i działań pewnych szczebli administracji publicznej, opracowywanie tych danych oraz ich upublicznianie, a tam gdzie trze-ba stosowanie różnych form nacisku, aby doprowadzić do zmiany rzeczywisto-ści tam, gdzie funkcje publiczne nie są realizowane w najwyższych standardach. Ważna jest też funkcja edukacyjna – uczenie społeczeństwa aktywnej i świadomej postawy monitorowania działań administracji każdego szczebla.

Jak łatwo zauważyć, działania strażnicze – w odróżnieniu od „właściwiej” ewa-luacji – są bardziej ukierunkowane na wykrywanie i upowszechnianie informacji o negatywnych zjawiskach niż identyfi kowanie problemów i proponowanie kon-struktywnych rozwiązań, niemniej ich rola w systemie angażowania obywateli w ewaluacje działań publicznych może być również bardzo istotna.

Po pierwsze przez samo gromadzenie informacji już rozpoczyna się proces przemian – upublicznienie wyników jest pierwszym elementem wpływu na ad-ministrację. W przypadku braku reakcji na upublicznione dane organizacja straż-nicza może wejść na drogę formalną czy sądową celem doprowadzenie do pre-cedensowej decyzji, która po nagłośnieniu może wymusić pożądane działania ze strony władz publicznych. Po drugie działania strażnicze są dobrym wstępem do rozwinięcia działalności właśnie w kierunku ewaluacji obywatelskiej, a przy tym są znakomitym narzędziem podnoszenia świadomości zagadnień i budowania potencjału ewaluacyjnego w społeczeństwie obywatelskim.

EWALUACJA OBYWATELSKA

Bardziej zaawansowaną formą jest podjęcie i prowadzenie nie tylko monito-ringu, ale i ewaluacji przez niezależną organizację społeczeństwa obywatelskiego, najczęściej przez organizację pozarządową9. Metody, techniki badawcze, formy prowadzenia ewaluacji pozostają podobne jak w przypadku ewaluacji – nazwij-my to – tradycyjnej, opartej na naukowym paradygmacie, niemniej w lite raturze przedmiotu i wśród praktyków obecne jest przekonanie, że usytuowanie procesu ewaluacji poza bezpośrednio zainteresowanym, a więc sektorem publicznym, daje szansę na dodatkowe korzyści, na swoistą wartość dodaną zarówno w procedu-rze, jak i w efektach ewaluacji – w postaci szerszego spojrzenia, również z innej niż publiczna perspektywy, większej swobody interpretacji uzyskanych wyników i – być może – większej swobody w formułowaniu rekomendacji. Wartość tego rodzaju ewaluacji rośnie wraz z zasięgiem upowszechnienia jej wyników i ewen-

9 Teoretycznie można sobie wyobrazić również powierzenie, przez jednostkę administracji pu-blicznej, prowadzenia ewaluacji w wybranym zakresie tematycznym niezależnej organizacji spo-łeczeństwa obywatelskiego, niemniej nie jesteśmy w stanie wskazać żadnego krajowego przykładu tego rodzaju postępowania


tualnych formułowanych rekomendacji. Ważnym zagadnieniem (i barierą) jest kwestia wiarygodnych i pełnych źródeł informacji, na których można się oprzeć podejmując się niezależnej ewaluacji obywatelskiej – i oczywiście z zagadnieniem tym wiążą się różnorodne bariery, począwszy od niechęci instytucji publicznych do udostępniania informacji szerszej publiczności.

Dobrym przykładem ewaluacji obywatelskiej jest projekt zrealizowany przez Instytut na rzecz Ekorozwoju, niezależną organizację ekspercką zajmującą się zagadnieniami środowiskowymi, dotyczący oceny krajowych i regionalnych pro-gramów operacyjnych na lata 2007–2013 pod kątem ich potencjalnego wpły-wu na ochronę klimatu (co jest jednym z głównych pól zainteresowania InE). W badaniu próbowano odpowiedzieć na pytanie „w jakim zakresie fundusze UE, z których Polska będzie korzystała w najbliższych latach, mogą przyczyniać się do realizacji celów krajowej i wspólnotowej polityki klimatycznej oraz wzmac-niania pozytywnych trendów w redukcji gazów cieplarnianych do atmosfery”10. W ramach badania grupa ekspertów Instytutu dokonała analizy i oceny wszyst-kich krajowych i regionalnych programów operacyjnych, przy czym nad każdym programem pracowało niezależnie dwóch ekspertów. Następnie dokonana zo-stała synteza uzyskanych wyników, które pogrupowano i przedstawiono w czte-rech grupach tematycznych: inwestycje sprzyjające ochronie klimatu, inwestycje wspierające działania adaptacyjne, działania edukacyjne i szkoleniowe, które moż-na potencjalnie wykorzystać dla zwiększania świadomości „klimatycznej” oraz projekty potencjalnie niebezpieczne dla klimatu.

Badanie to uznać można za w pewnym sensie wzorcowe. Po pierwsze: temat nie był przedmiotem głębszej analizy w przeprowadzanych na zlecenie admi-nistracji obowiązkowych ocenach oddziaływania na środowisko poszczególnych programów operacyjnych, a więc InE wypełnił istotną lukę w spojrzeniu na po-tencjalne oddziaływanie funduszy strukturalnych w Polsce. Po drugie: badanie i raport mają charakter ekspercki, a analizę i ocenę programów osadza się w rze-telnym kontekście wiedzy nt. uwarunkowań danej dziedziny rozwoju. Po trze-cie: pomimo niezależnego charakteru (a może dzięki temu?) zawarte w raporcie z ba dania wnioski i rekomendacje uznać trzeba za bardzo wyważone. Wpraw-dzie ogólny wydźwięk nie jest „optymistyczny”, niemniej raport nie poddaje się pokusie pryncypialnej negacji, zauważa pozytywy i wskazuje konkretne możliwe i, jak się wydaje, realistyczne sposoby przezwyciężenia słabości. Potwierdza to intencje autorów raportu, którzy deklarują we wstępie, że jednym z jego głównych celów było „dostarczenie wiedzy i umiejętności, które mogłyby pobudzić myślenie i działania służące ochronie klimatu”. Po czwarte: badanie dotyczy zagadnienia, którego oddziaływanie jest coraz bardziej powszechne i masowe, dotyczy wszyst-

10 Zbigniew Karaczun, Andrzej Kassenberg, Mirosław Sobolewski. Fundusze Unii Europejskiej

na lata 2007–2013 a ochrona klimatu. Instytut na rzecz Ekorozwoju. Warszawa, kwiecień 2008. Publikacja przygotowana w ramach projektu „Eko-Herkules. Program aktywnej edukacji na rzecz zrównoważonego rozwoju”, s. 5.


kich obywateli – nie tylko w sferze zasad i wartości, ale jak najbardziej realnych zmian w sposobach życia i kosztach koniecznych dostosowań. Badanie i raport sfi nansowane zostały z trzech różnych źródeł – dwóch fundacji (amerykańska Oak Foundation oraz niemiecka fundacja H. Bolla) oraz polskiego Narodowego Funduszu Ochrony Środowiska i Gospodarki Wodnej. Ponieważ NFOŚiGW jest, jak wiemy, bezpośrednio zaangażowany we wdrażanie kilku działań z Pro-gramu Operacyjnego Infrastruktura i Środowisko – jego udział w sfi nansowaniu prac można uznać za pewną słabość projektu w tej części, choć oczywiście nie przesądza to bezpośredniego wpływu Funduszu na przedstawione wyniki czy przebieg prac.

Innym interesującym przykładem próby niezależnego monitoringu (obserwa-cji) oraz ewaluacji prowadzonych przez organizacje społeczeństwa obywatelskie-go jest projekt „Billions for sustaiability” – podjęty w 2000 roku przez organizacje pro-ekologiczne i działające na rzecz zrównoważonego rozwoju Friends of the Earth oraz sieć CEE Bankwatch Network, w celu monitorowania sposobu wyko-rzystania funduszy przedakcesyjnych w krajach Europy Środkowo-Wschodniej, głównie pod kątem zgodności z zasadami zrównoważonego rozwoju11; niestety projekt mało nagłośniony i – o ile autorkom wiadomo – niekontynuowany. Obie-cujące próby w tym kierunku podejmuje również ogólnopolska sieć organizacji pozarządowych „Polska Zielona Sieć” (www.zielonasiec.pl) – np. na rzecz bardziej zrównoważonego wykorzystania (inwestowania) publicznych funduszy środowi-ska oraz funduszy strukturalnych – można mieć nadzieję, że przyjmą one formę trwałych i szeroko upowszechnianych działań.

STANDARDY DZIAŁANIA

Niezwykle istotne jest określenie standardów działań prowadzonych w ra-mach ewaluacji obywatelskiej, gdyż przyjmowane założenia muszą jednoznacznie wskazywać na rzetelność i dbałość o interes publiczny. Kluczową kwestią jest pozytywna logika podejścia ewaluatorów społecznych i rozumienie jej przez de-cydentów czy przedstawicieli instytucji, której działania są monitorowane i ewa-luowane. Jej punktem wyjścia nie jest poszukiwanie ujścia dla krytyki, lecz na-stawienie na rozpoznawanie i poszukiwanie twórczych rozwiązań rzeczywistych problemów społecznych, m.in. poprzez obserwowanie i analizowanie działań podejmowanych przez instytucje publiczne.

Ewaluacja obywatelska stawia w naszym kraju dopiero pierwsze kroki i nie dopracowała się autonomicznych standardów postępowania. Niemniej wzorcem, być może po niewielkich modyfi kacjach, mogą być rozwiązania wypracowane już dla działań i organizacji strażniczych. Jako zasady podstawowe uznaje się tu

11 Billions for sustaiability? Lessons learned from the use of pre-accession funds. FoE Europe and CEE Bankwatch Network. November 2002.


obiektywność, działanie na rzecz dobra wspólnego i jawność. Rozwijając kwestie standardów pracy, należy powiedzieć o podstawach etycznych, znajomości prawa, niezależności fi nansowej.

ETYKA

Jeśli zasadą działania w ewaluacji obywatelskiej jest zwiększenie skuteczności i przejrzystości prowadzonej polityki, to szczególnie istotne wydaje się określenie podstawowych wymagań stawianych osobom zaangażowanym w tego typu działa-nia. Dobrym przykładem może być Kodeks etyczny Stowarzyszenia Liderów Lo-kalnych Grup Obywatelskich (SLLGO), jednej z największych w kraju organizacji strażniczych. Stowarzyszenie działa sieciowo i skupia 28 Lokalnych Grup Obywa-telskich z całej Polski, które realizują wspólnie projekty, mające na celu poprawę funkcjonowania samorządów, przede wszystkim w kontaktach z mieszkańcami.

Kodeks, oprócz szczegółowego określenia celu, zawiera podstawowe zasady – czyli tzw. Dekalog Stowarzyszenia. „Tworzymy społeczną organizację, która reprezentuje interesy społeczeństwa obywatelskiego i zobowiązujemy się prze-strzegać następujących zasad:

1. Traktujemy członkostwo w Stowarzyszeniu jako służbę publiczną i będziemy działać tak, aby nasza postawa mogła być wzorem dla innych.

2. Będziemy dbać o rozwój naszych kompetencji, rozwijać wiedzę, stale się do-skonalić, by jak najlepiej wykonywać swą pracę w służbie publicznej.

3. Będziemy współpracować ze wszystkimi instytucjami oraz osobami indywi-dualnymi, którym przyświeca idea przeciwdziałania korupcji.

4. Będziemy otwarci i odpowiedzialni w naszych relacjach ze wszystkimi, z któ-rymi będziemy współpracować.

5. W podejmowanych działaniach będziemy postępować bezstronnie, pozostając wolnymi od wszelkich wpływów i nacisków, które mogłyby prowadzić do działań lub ocen stronniczych.

6. Nasze opinie będziemy budować na obiektywnych, rzetelnie prowadzonych analizach i badaniach.

7. Będziemy przyjmować wsparcie fi nansowe służące realizacji naszych celów tylko od takich podmiotów i osób, które nie ograniczą naszej możliwości do wypowiadania opinii w sposób wolny, zgodny z prawdą, rzetelny i obiektywny i co do których jesteśmy pewni, że nie pochodzą z przestępstwa lub nie służą przestępstwu.

8. Zapewniamy szczegółowe i publikowane na czas raporty dotyczące naszej działalności wszystkim zainteresowanym osobom i instytucjom.

9. Swym prawym, uczciwym i godnym postępowaniem i nienaganną postawą etyczną będziemy budować pozytywny wizerunek i prestiż Stowarzyszania.

10. Każde z postanowień kodeksu etycznego będzie interpretowane zgodnie z za-pisami Konwencji o Ochronie Praw Człowieka i Podstawowych Wolności”.


Warto zauważyć, że kodeks etyki dotyka także kwestii konfl iktu interesów – czyli szczególnie istotne są zasady etyczne członków i pracowników SLLGO, którzy stanowią o wiarygodności organizacji. Natomiast w kwestii korzyści fi -nansowych i rzeczowych w sposób jednoznaczny zabrania się ich przyjmowania i oferowania, jeśli mogą być postrzegane jako próba ograniczenia niezależno-ści Stowarzyszenia lub w sytuacjach, które mogłyby być postrzegane jako próba przekupstwa.

Interesująca jest także kwestia związana „podjęciem przez członka lub też pracownika Stowarzyszenia pracy w administracji publicznej bądź funkcji we władzach partii politycznej, a także kandydowanie do pełnienia funkcji publicz-nych”, co zobowiązuje do złożenia wniosku o rezygnację z członkostwa bądź rozwiązanie stosunku pracy12. Tak określone wymagania mają zapewnić obiek-tywność działań podejmowanych dla dobra wspólnego, a w tym celu upublicz-nianych, czyli jawnych.

ZNAJOMOŚĆ PRAWA I KOMPETENCJE MERYTORYCZNE

Rzetelne podejście wymaga znajomości ram prawnych, w których przyjdzie się poruszać. Wszak trudno ocenić prawidłowość czy rzetelność działań bez zna-jomości wytycznych zawartych w przepisach oraz znajomości swoich praw do informacji publicznej. Należy oczywiście zacząć od poznania tych fundamental-nych, jakie określa Konstytucja RP, a przechodząc dalej – Kodeks postępowania administracyjnego i przepisy związane z prawem do informacji, ustawę o dostępie do informacji publicznej.

Kolejnym etapem jest zdobycie wiedzy nt. dziedziny, w której ramach podej-muje się działania strażnicze, np. ochrona praw człowieka, zarządzanie środowi-skiem, bioróżnorodność czy zrównoważona turystyka.

Nieodzowne wydaje się także poznanie procedur czy struktury organizacyjnej monitorowanej instytucji, zwłaszcza w kontekście badanego problemu.

FINANSOWANIE

Organizacje strażnicze powinny być niezależne od władz publicznych, któ-re monitorują. Powiązania fi nansowe, otrzymanie grantów czy dofi nansowania na swoją działalność czy jakiekolwiek powiązanie personalne z badaną instytucją może spowodować spadek wiarygodności tych organizacji oraz rzetelności zebra-nych lub opublikowanych danych.

12 Źródło: http://www.lgo.pl/onas/kodeks.php


PRZYSZŁOŚĆ EWALUACJI OBYWATELSKIEJ

Niezależnie od planów ewaluacyjnych administracji czy dominującego w pol-skim życiu publicznym wciąż ostrożnego podejścia do angażowania obywa teli w sprawy publiczne, można się spodziewać, że wraz ze wzmacnianiem się społe-czeństwa obywatelskiego (o ile proces ten będzie postępował), rozwojem i upo-wszechnianiem dostępu do nowoczesnych technologii wymiany informacji i za-rządzania wiedzą, rosnącą presją na jakość rządzenia (good governance), wreszcie – najogólniej – wraz z dojrzewaniem naszej demokracji, będzie rosła skala i jakość niezależnych ewaluacji obywatelskich.

Można sobie wyobrazić różnorodne formy użytecznego angażowania się oby-wateli w ewaluacje działań publicznych, niemniej opierając się na dotychczaso-wych doświadczeniach wydaje się, że największy potencjał tworzenia wartości dodanej tkwi w takich działaniach, jak: • niezależna ewaluacja dotychczasowych efektów i – m.in. na tej podstawie

– udział w formułowaniu czy przeformułowaniu polityk publicznych w róż-nych sferach

• ocena ex-ante planowanej polityki, strategii, programu czy porojektu i udział w wyborze alternatyw

• konsultacje projektowanych rozwiązań regulacyjnych (projektów aktów praw-nych)

• funkcje strażnicze szeroko rozumiane – monitorowanie nie tylko w kontekście przeciwdziałania korupcji i działaniom nielegalnym, lecz także w kontekście bieżącego realizowania przyjętych strategii, programów i założeń polityki

• obserwacja i ewaluacja ukierunkowane pod kątem wybranych, szczególnych zasad czy wartości – w terminologii unijnej powiedzielibyśmy „zasad hory-zontalnych” – np. równość szans, równość dostępu do danego dobra publicz-nego, ochrona środowiska przyrodniczego, ochrona zdrowia, ochrona klimatu, traktowanie dzieci, polityka prorodzinna itp.

Oczywiście zastosowanie ich na większą, znaczącą skalę nie jest możliwe bez rzeczywistego otwarcia się na takie działania sektora publicznego – nie jest, w na-szym przekonaniu, możliwie niejako „obok” niego. Wydaje się, że aby ewaluacja obywatelska miała szanse rozwinąć się w istotny ruch i czynnik wspierający ko-rzystne modyfi kacje w polityce rozwoju, zaistnieć muszą na większą skalę dodat-kowe sprzyjające okoliczności, a mianowicie:• zainteresowanie, motywacja i wystarczający potencjał (zasoby – informacja,

wiedza i know-how, niezależne źródła fi nansowania) po stronie obywateli, aby być równorzędnie wiarygodnym partnerem do dyskusji z administracją

• zainteresowanie, umiejętności i narzędzia po stronie administracji, które po-zwolą i zachęcą ją do tego, aby współpracować z obywatelami i organizacjami społeczeństwa obywatelskiego w systematyczny, rzetelny sposób (współpraca


międzysektorowa to umiejętność jak każda inna – wymaga motywacji, do-świadczenia i oprzyrządowania)

• skłonność do uznania wiedzy i kwalifi kacji jako zasobów obecnych również w sektorze pozarządowym (ewaluacja, aby była wpływowa, musi pochodzić ze źródła uważanego za wiarygodne, obiektywne i kompetentne, a także – nie-zależne)

• rzeczywisty i łatwy dostęp do informacji publicznej oraz – co się z tym wiąże – większa skłonność administracji do dzielenia się wiedzą i informacją, a tym samym skłonność do rezygnacji z wyłącznej kontroli nad reprezentowanymi dziedzinami

• nowe wzory postępowania, zmieniająca się kultura urzędnicza i kultura poli-tyczna, które zaczną sprzyjać otwartej i niepatologicznej współpracy między-sektorowej.Pomimo tej „trudnej” listy warunków wydaje się (przyjmijmy to optymistycz-

ne założenie), że możliwe jest wypracowanie takich modeli postępowania, które stworzą dodatkową wartość dla wszystkich: i przedstawicieli władz i administra-cji (decydentów), i obywateli. A to dlatego, że być może największą wartością ewaluacji obywatelskiej jest fakt, że – z racji swojego usytuowania – nie musi się koncentrować na rejestrowaniu i mierzeniu zmian, wykazywaniu (a w skrajnych przypadkach – udowadnianiu), że zostały osiągnięte założone cele i w jakim stopniu, lecz może się skoncentrować na spojrzeniu „alternatywnym”, waloryzują-cym – na poszukiwaniu odpowiedzi na pytanie, czy i co można by zrobić jeszcze lepiej, lub też – co można za kolejnym razem zrobić lepiej13. W tym więc sensie może mieć charakter mniej menedżerski, zarządczy, a znacznie bardziej twórczy, innowacyjny. A inne spojrzenie, niekonwencjonalne myślenie i nowe pomysły są wszak złotem dzisiejszych czasów…

Z pewnością obydwie te perspektywy – i podnoszenie jakości zarządzania działaniami publicznymi, i poszukiwanie twórczych rozwiązań i innowacji – są prawomocne i obydwie – z różnych względów – głęboko uzasadnione potrzebami społeczeństwa i państwa w dobie globalizacji. I dopiero oparcie ewaluacji działań publicznych na tych dwóch fundamentach stworzy szansę na maksymalne spo-żytkowanie jej efektów w realnej społeczno-gospodarczej rzeczywistości.

13 W ciekawy sposób taką właśnie perspektywę przedstawia podręcznik ewaluacji projektów przygotowany przez jedną z dużych amerykańskich prywatnych fundacji: Evaluation Handbook, Kellog Foundation, źrodło: www.wkkf.org/pubs/Tools/Evaluation.

Joanna Szulborska-Łukaszewicz

Monitoring i ewaluacja jako podstawowe narzędzia skutecznego zarządzania w sektorze publicznym.Zadania z obszaru kultury na przykładzie Gminy Miejskiej Kraków

Nikogo nie trzeba przekonywać, że monitoring i ewaluacja to ogromnie istotne elementy zarządzania wszelkiego rodzaju zadaniami, projektami, także zadaniami publicznymi w sektorze kultury. Są one znakomitymi, jeśli nie jedy-nymi, narzędziami służącymi badaniu skuteczności podejmowanych działań oraz podnoszeniu jakości usług, co – w sektorze usług publicznych – ma szczególne znaczenie.

Ewaluacja to termin wywodzący się z języka francuskiego, oznacza ustalenie

wartości i ceny czegoś, ocenianie, oszacowanie1. W administracji publicznej ewaluacja jest najczęściej rozumiana jako badanie zorientowane na ocenę polityk i programów

podejmowanych przez władze publiczne pod kątem osiągniętych wyników, [badanie]

które może być wykorzystywane przez decydentów na różnych poziomach zarządzania

do weryfi kowania efektywności działania sektora publicznego2.

EWALUACJA W ZARZĄDZANIU KULTURĄ

Obszerne kompendium wiedzy na temat infrastruktury badawczej oraz in-formacyjnej w obszarze polityki kulturalnej i zarządzania kulturą opracował J.M. Schuster, amerykański naukowiec, członek kilku organizacji badawczych3. Począt-kowo funkcje ewaluacyjne w kulturze pełniły działy ministerstw i rad do spraw kultury, decydenci wychodzili wówczas z założenia, że aby działać racjonalnie

1 Słownik języka polskiego PWN ewaluacja – Słownik języka polskiego pod red. Mieczysława Szymczaka, Państwowe Wydawnictwo Naukowe, Warszawa 1978, tom I, s. 562.2 Katarzyna Ekiert, Ewaluacja w administracji publicznej, Rządowe Centrum Studiów Strate-gicznych, sierpień 2004, s. 6, http://www.pte.org.pl/repository/fi les/PTE/Ewaluacja_w_admini-stracji_publicznej.pdf3 J.M. Schuster, Informacja w polityce kulturalnej, Kraków 2007.

180 Joanna Szulborska-Łukaszewicz

trzeba wiedzieć, które programy cieszą się popularnością, a które nie i dlaczego. Szybko pojawił się argument, iż nie ma sensu wydawać publicznych pieniędzy „na to, aby ktoś nas krytykował”4. Stąd na rynku zaczęło pojawiać się coraz więcej prywatnych fi rm specjalizujących się w badaniach ewaluacyjnych i coraz szersza grupa niezależnych badaczy.

J.M. Schuster dzieli podmioty zajmujące się badaniem informacji z zakresu kultury i badaniami nad polityką kulturalną na trzy kategorie: • modele oparte na instytucjach• sieci (w latach 70. XX w. ewaluacja zaczęła rozprzestrzeniać się poprzez sieci,

otwarte na trendy międzynarodowe, szczególnie te dotyczące badań i rozwoju) • modele programowe, w tym czasopisma i wydawnictwa periodyczne.

Wśród modeli opartych na instytucjach wyróżnia:a) działy badawcze agencji rządowej fi nansujących kulturęb) krajowe urzędy statystycznec) niezależne instytuty badawcze typu non profi td) desygnowane przez rząd uniwersyteckie ośrodki badawczee) prywatne fi rmy consultingowef ) obserwatoria kultury5.

W każdej z wymienionych wyżej kategorii funkcjonuje wiele instytucji o bar-dzo zróżnicowanym zakresie działania. Niektóre zajmują się wyłącznie moni-torowaniem rozwoju sektora kultury, inne – we własnym zakresie – dokonują ewaluacji, jeszcze inne regularnie zlecają badania zewnętrznym fi rmom (np. de-partament przy francuskim Ministerstwie Kultury i Komunikacji)6. Obserwatoria kultury J.M. Schuster postrzega wyłącznie jako instytucje pośredniczące w pro-cesie dostarczania informacji innym podmiotom działającym w tym obszarze, dokonującym w oparciu o te dane ewaluacji7.

Idei obserwatorium kultury jako ośrodka zarządzania wiedzą poświęciła swo-ją publikację Małgorzata Kisilowska. Prezentuje i omawia szczegółowo zakresy działania powstających począwszy od lat 90. XX wieku w różnych krajach ob-serwatoriów kultury, nie ograniczając się do instytucji wyłącznie monitorujących, dostarczających danych, ale i przetwarzających je, szeroko uzasadniając potrzebę utworzenia takiej instytucji w naszym kraju8.

4 J.M. Schuster, jw. s. 26.5 Jw. s. 5–12.6 Europejskie sieci oraz instytucje, nie tylko te powołane z inicjatywy i przy udziale UE, przy-czyniły się do powstania wielu cennych raportów i publikacji zarówno na temat wartości kultury i sztuki, wskaźników rozwoju kultury, ewaluacji w kulturze, w odniesieniu do różnych jej obszarów (instytucji, projektów, twórców kultury – artystów, przemysłów kultury, zatrudnienia w sektorze kultury itp.), a także analiz porównawczych w zakresie modeli współczesnych polityk kulturalnych w Europie i na świecie. 7 Jw. 29–30.8 Małgorzata Kisilowska, Obserwatorim kultury jako ośrodek zarządzania wiedzą”, Narodowe Centrum Kultury, Warszawa, 2005.

Monitoring i ewaluacja jako podstawowe narzędzia skutecznego zarządzania... 181

Popularność i zapotrzebowanie na badania ewaluacyjne rosną m.in. w wy-niku obserwowanej w Europie tendencji do decentralizacji zarządzania środka-mi publicznymi, coraz popularniejszej idei społeczeństwa obywatelskiego, ściśle związanej z nią koncepcji włączania lokalnej społeczności w procesy decyzyjne. Współczesne tendencje w zakresie zarządzania, New Public Management i New Public Service9, kładą nacisk na poprawę jakości zarządzania w sektorze publicz-nym. Oba modele podkreślają rangę decentralizacji procesów decyzyjnych oraz rolę lokalnej społeczności w procesie zarządzania zadaniami publicznymi, w tym zadaniami kultury.

Ewaluacja może być w różnoraki sposób wykorzystywana w zarządzaniu za-daniami kultury w sektorze publicznym. Może odnosić się do całości polityki kulturalnej10, strategii rozwoju kultury, do poszczególnych celów operacyjnych strategii rozwoju kultury czy całokształtu działań w zakresie zarządzania za-daniami kultury w sektorze publicznym, ale też do pojedynczych programów i projektów realizowanych ze środków publicznych.

Systematyczny monitoring11 procesu wdrażania strategii czy programu oraz określanie wartości osiąganych na poszczególnych etapach wdrażania (tj. ewalu-acja) – to podstawowe techniki, które pozwalają ocenić, czy podążamy w wyzna-czonym kierunku. W wyniku ewaluacji, opartej zarówno na danych pozyskanych w drodze monitoringu, jak i na informacjach zebranych za pośrednictwem ankiet i wywiadów, najlepiej można zweryfi kować kierunek zmian, a w przypadku ja-kichkolwiek niepożądanych odchyleń czy negatywnych skutków – dokonać ko-rekty lub modyfi kacji programu.

Jednakże ewaluacja to specyfi czna ocena. Ma ona służyć dialogowi, nego-cjacjom i wzajemnemu doskonaleniu się12, nie zaś ocenie ex cathedra, nie pod-legającej w żadnym wypadku dyskusji. Trzeba ją też odróżnić od monitoringu – o ile bowiem monitoring prowadzi się w trakcie realizacji projektu, jego celem

9 W przedmiotowej literaturze wyróżnia się kilka modeli zarządzania publicznego: stare i nowe zarządzanie publiczne oraz nową służbę publiczną. W terminologii anglojęzycznej określane jako: Old Public Management, New Public Management oraz New Public Service. Jacek Czaputowicz, wyróżniając trzy modele zarządzania w administracji publicznej, mówi o modelu biurokratycznym, nowym zarządzaniu publicznym oraz – w miejscu terminu „nowa służba publiczna” stosuje pojęcie „dobre zarządzanie”. (Zob.: Jacek Czaputowicz, Zarządzanie w administracji publicznej w dobie

globalizacji, www.usc.gov.pl , s. 25).10 Na ewaluacji całości polityk skupiają się Francuzi, o czym pisze J.M. Schuster, Informacja

w polityce kulturalnej, jw. 11 Odwołuję się do defi nicji przyjętej przez Katarzynę Sekułowicz: monitoring to proces systematycz-

nego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażania projektów i całego

programu w aspekcie fi nansowym i rzeczowym, mający na celu zapewnienie zgodności realizacji projektów

i programu z wcześniej zatwierdzonymi założeniami i celami, Angielsko-polski słownik terminologiczny programów rozwoju regionalnego, Warszawa, Polska Agencja Rozwoju Przedsiębiorczości, 2002, cyt. za K. Sekułowicz, Monitorowanie i ewaluacja, www.fi lantropia.org.pl/wiedza/teoria/m2/katarzyna_sekuto-wicz_monitorowanie_i_ewaluacja.pdf, s. 60.12 Jw. s. 8.


jest przede wszystkim bieżące sprawdzenie postępów w realizacji założonego planu, ewentualne korygowanie odchyleń, poprawa jakości wdrażania, to celem ewaluacji jest weryfi kacja przydatności i skuteczności podejmowanych działań, troska o podniesienie ich jakości i efektywności – z myślą o efektach długoter-minowych, szacowanie oddziaływania (zarówno w odniesieniu do założonych celów, jak i tego co nieplanowane). Ewaluacja ma więc na celu nie tylko ustalenie poziomu realizacji działań, ale także badanie, czy odpowiadają one oczekiwaniom realizatorów i bezpośrednich odbiorów, z naciskiem na kontekst i efekty społecz-ne, co ma szczególne znaczenie w obliczu zapisów Ustawy o działalności pożytku

publicznego i o wolontariacie, dotyczących różnorodności form współpracy władz samorządowych z lokalną społecznością13.

Dlatego też podstawowym kryterium jakości badań ewaluacyjnych jest ich przydatność (użyteczność ), co podkreślił w swojej defi nicji ewaluacji Michael Quinn Patton14. Według Pattona ewaluacja to proces systematycznego gromadzenia

informacji na temat działania, właściwości i rezultatów programów, personelu oraz

produktów, które są wykorzystywane przez specjalistów do redukowania niepewności

wokół programu i poprawienia jego efektywności, a także służą podejmowaniu decyzji

z uwagi na to, co owe programy, personel lub produkty robią oraz czego dotyczą15. Ewaluacja jest, więc efektywna tylko wtedy, gdy jej wyniki są przez decydentów w konstruktywny sposób spożytkowane16 w procesie zarządzania. Ewaluacja po-winna zatem stanowić część procesu decyzyjnego w administracji publicznej.

13 Zarówno Ustawa z dnia 24 kwietnia 2003 r. o działalności pożytku publicznego i o wolonta-riacie, DzU z 29 maja 2003 r., nr 96 poz. 873, jak i liczne obszerne wytyczne i komentarze do tej ustawy (Zasady tworzenia programu współpracy jednostek samorządu terytorialnego z organizacjami

pozarządowymi oraz podmiotami, o których mowa w art. 3 ust. 3 ustawy z 24 kwietnia 2003 roku

o działalności pożytku publicznego i wolontariacie. Metodologia i zalecenia, Ministerstwo Gospodarki, Pracy i Polityki Społecznej, Warszawa, luty 2004. www.pozytek.gov.pl/editor/fi les/pozytek/pro-gramwspolpracy.doc, czy Huberta Izdebskiego, Ustawa o działalności pożytku publicznego i o wolon-

tariacie. Komentarz (Warszawa 2003), www.frdl.org.pl/login/biblioteka.htm, Michała Gucia, Usta-

wa o działalności pożytku publicznego i o wolontariacie. Poradnik dla samorządów, FRDL, Warszawa 2004, czy Radosława Skiby, Ustawa o działalności pożytku publicznego i o wolontariacie. Poradnik

dla organizacji pozarządowych, FRDL, Warszawa 2004), a także Strategia wspierania rozwoju spo-

łeczeństwa obywatelskiego na lata 2007–2013, Ministerstwo Polityki Społecznej, Warszawa 2005, podkreślają konieczność współpracy samorządów lokalnych z organizacjami pozarządowymi jako reprezentantami lokalnej społeczności, wskazują mnogość form współpracy i jej wagę w rozwoju demokratycznego społeczeństwa obywatelskiego, opartego na dialogu. 14 Michael Quinn Patton socjolog, konsultant z zakresu ewaluacji, były wieloletni prezes Amery-kańskiego Towarzystwa Ewaluacyjnego. Laureat nagrody Alva and Gunner Myrdal Award przy-znawanej przez Evaluation Research Society za wyjątkowy wkład w praktyczne wykorzystanie ewaluacji i Nagrody Paula F. Lazarsfelda za wkład w rozwój teorii ewaluacji przyznawanej przez American Evaluation Association. Związany przez wiele lat z Uniwersytetem w Minesocie (1973––1991). Zob. także: Egon G. Guba, Yvonne S. Lincoln, Fourth Generation Evaluation, jw. s. 10.15 Michael Quinn Patton, Colin Robson, Projektowanie ewaluacji [w:] Ewaluacja w edukacji, red. L. Korporowicz, Ofi cyna Naukowa, Warszawa 1997, s. 152.16 Zob.: K. Ekiert, jw. s. 6–7.


Generalnie mówi się o trzech podstawowych podejściach do ewaluacji, czy też trzech poziomach jej wykorzystania, także w administracji publicznej. Każdy wydaje się być istotny z punktu widzenia zarządzania zadaniami publicznymi sektora kultury. W każdym przypadku, na każdym z wymienionych poziomów (choć w różnym wymiarze) pozyskane w drodze ewaluacji opinie i dane mogą być wykorzystywane w celu lobbowania na rzecz kultury i jej rozwoju17, mogą służyć wymianie informacji w celu uzyskania wieloaspektowego wizerunku pro-jektu czy programu:1) ewaluacja jako technika prowadzenia obligatoryjnej kontroli instytucji oraz

badanie efektywności realizowanych programów (określanie czynników, które wpływając na poziom realizacji sformułowanych dla danego programu celów oraz formułowanie zaleceń w celu efektywniejszego wykorzystania zasobów)

2) ewaluacja jako technika wspomagająca kadrę zarządzającą w projektowaniu i realizacji działań (tzw. poziom menedżerski)

3) ewaluacja jako istotny element procesu decyzyjnego (poziom najwyższy, po-ziom decyzji politycznych, kiedy społeczeństwo uczestniczy w ewaluacji, jest systematycznie informowane o wynikach ewaluacji wydatkowania publicz-nych funduszy i staje się uznanym narzędziem demokracji)18.

Warto w tym miejscu podkreślić ściśle związany z przedstawionym wyżej trzecim poziomem wymiar ewaluacji, a mianowicie może ona służyć tworzeniu pozytywnego klimatu społecznego, wpływając na komunikację pomiędzy osoba-mi i podmiotami zaangażowanymi w tworzenie programów i ich benefi cjentami. Ewaluacja bowiem to jeden z istotnych sposobów włączania lokalnej społeczno-ści w procesy decyzyjne. W kontekście rozwoju społeczeństwa obywatelskiego , szczególnego znaczenia nabierają dwie koncepcje: ewaluacji demokratycznej19 i ewaluacji opartej na dialogu (responsive evaluation)20. Ewaluacja demokratyczna to proces, w którym oceny wartościującej dokonują nie eksperci, a responden-ci, to oni wytyczają, co jest uznawane za wartość. Ten rodzaj ewaluacji umoż-

17 O zależności pomiędzy badaniami a lobbingiem pisze J.M.Schuster, Informacja w polityce kul-

turalnej, jw. s. 27–28.18 Por.: K.Ekiert, jw., s. 10–11.19 Koncepcja Barry Mac Donalda, sformułowana w pierwszej połowie lat 70. XX w. Demokratycz-

ne studia ewaluacyjne to służba na rzecz społeczności, którą informuje się o właściwościach programu (…). Uwzględnia się tu pluralizm wartości podzielanych przez członków społeczności, a w toku formułowania

podstawowych pytań badawczych bierze się pod uwagę możliwie szeroki zakres ich interesów. Podstawo-

wą wartością dla ewaluatora jest poinformowana opinia publiczna, a jego rola polega przede wszystkim

na pośredniczeniu w wymianie informacji. W tym kontekście koncepcja ewaluacji demokratycznej może

być uznana za przełomową. Zob. K. Ekiert, jw. s. 25–27.20 Koncepcja ewaluacji opartej na dialogu za podstawę przyjmuje zasadę interaktywności i ne-gocjacji w procesie badawczym. Uznaje się z jednej strony, że negocjacyjny charakter badań ewa-luacyjnych jest gwarantem ich wysokiej wartości etycznej. Termin został po raz pierwszy użyty w 1975 r. przez Roberta Stake’a, K. Ekiert tłumaczy go jako „ewaluację dialogiczną”. Więcej na ten temat: K. Ekiert, Ewaluacja w administracji publicznej, jw.


liwia stwierdzenie tego, czy mierzone cechy, właściwości, zjawiska lub procesy są rzeczywistymi wartościami uznawanymi przez większość. Społeczny proces ewaluacji ma większą rangę niż opiniowanie autorytarne. Dlatego zarządzający zadaniami publicznymi w kulturze powinni z ewaluacji korzystać, tymczasem najczęściej ograniczają się do walidacji, tj. zatwierdzania decyzji na podstawie indywidualnych przesłanek.

Koncepcja ewaluacji opartej na dialogu dominuje w teorii ewaluacji w Stanach Zjednoczonych i w Wielkiej Brytanii od początku lat 70. XX w. Zgodnie z tą teorią, jedynie badania prowadzone z odpowiednią wrażliwością na społeczny kon-

tekst projektowania, realizacji badania oraz prezentacji jego wyników umożliwiają

dokonanie dokładnego pomiaru i dopiero tak prowadzone badania zbliżają badacza

do obiektywności21. Dialog to zarówno źródło danych, niezbędnych do dokonania oceny badanego obszaru, ale także proces, w którym pod wpływem wzajemnych konfrontacji zmienia się postrzeganie realizowanego programu przez samych jego realizatorów i benefi cjentów, co może prowadzić do modyfi kacji programu.

W Polsce, w publicznym sektorze kultury, wciąż trudno o dialog. Tymczasem nie tylko elita traci legitymację orzekania, co jest „dobre dla ludu”, nie powinni de-cydować o tym także samodzielnie urzędnicy, żeby nie doprowadzić do sytuacji, którą opisała Th atcher: (…) Nie można dopuścić do powstania ogromnej biurokracji,

związanej z życiem artystycznym, z czasem stałaby się ona bowiem instrumentem

cenzury politycznej oraz zaczęłaby być rządzona przez klikę, narzucającą własne gu-

sta artystyczne22. To kolejny argument za prowadzeniem ewaluacji w kulturze, w obszarze sektora publicznego.

Tworzone w drodze ewaluacji analizy powinny wspierać proces zarządzania strategicznego w sektorze kultury, winny być podstawą tworzenia i aktualiza-cji strategii rozwoju kultury na każdym szczeblu administracyjnym, a przez to w zdecydowany sposób wspomagać procesy decyzyjne w zakresie zarządzania zadaniami publicznymi w sektorze kultury23. Pozyskana w wyniku procesu ewa-luacji wiedza powinna być wykorzystana w procesie decyzyjnym dla podnoszenia jakości i efektywności.

Państwa europejskie w różny sposób korzystają z ewaluacji, niejednakowy jest też jej wpływ na procesy decyzyjne. Szwecja, Holandia, Dania, Irlandia i Wielka Brytania to kraje, w których kultura ewaluacji jest najbardziej zakorzeniona, osią-gnęła wysoki poziom dojrzałości, ewaluacja funkcjonuje tam na poziomie decyzji

21 Jw.22 Cyt. za: Bożena Gierat-Bieroń, Marcin Galent, Wielka Brytania, [w:] Europejskie modele za-

rządzania kulturą, red. Bożena Gierat-Bieroń, Krzysztof Kowalski, Kraków 2005, s. 16; zob. także: Chełmińska Maria: Rola UNESCO w kształtowaniu norm polityki kulturalnej [w:] Czesław Le-wandowski red. Międzynarodowe stosunki kulturalne. Wybór dokumentów i literatury. Wydawnictwo Uniwersytetu Wrocławskiego, Wrocław 2001, s. 15123 Zob. K. Ekiert, s. 10.


politycznych. Duńczycy jako pierwsi włączyli społeczeństwo w proces ewaluacji, w tym państwie to społeczeństwo defi niuje, co jest dla niego wartością. Krajami, w których ewaluacja stanowi głównie formę obowiązkowej kontroli, a więc ma tylko doraźny wpływ na jakość zarządzania funduszami publicznymi, są połu-dniowe regiony Włoch, Grecja, terytoria zamorskie Francji, Hiszpania, Portugalia oraz wschodnie landy Niemiec24.

W wielu krajach europejskich jednak – obawiam się, że Polsce również – w przypadku zadań realizowanych przez administrację publiczną w sektorze kultury licznie zbierane dane sprawozdawcze nie służą demokratycznemu zarzą-dzaniu, ale – jak to trafnie ujął Toulemonde, są tylko biurokratycznym ćwicze-niem25. Z tym problemem borykają się i polskie samorządy. Obserwując działania decydentów w zakresie zarządzania zadaniami publicznymi w sektorze kultury w naszym kraju, trzeba stwierdzić, że narzędzia te nie są efektywnie wykorzy-stywane.

KONTEKST POLSKI

W ostatnich latach, wraz z wejściem Polski do Unii Europejskiej, wzrosło znaczenie ewaluacji w polskiej administracji publicznej i jest ona szeroko rozwi-nięta oraz systematycznie stosowana w odniesieniu do projektów fi nansowanych z funduszy europejskich26, ale wydaje się, że tylko ze względu na wymogi Unii Europejskiej. Każdy projekt, także z obszaru kultury, podlega w tym przypad-ku ewaluacji, z uwzględnieniem jasno, już u progu zdefi niowanych wskaźników. Powstały i powstają liczne instrukcje objaśniające szczegółowo proces, cele oraz istotę ewaluacji27.

Niemniej do sektora usług publicznych obszaru kultury w polskiej admini-stracji ewaluacja wkracza bardzo małymi krokami. W regionalnych i lokalnych programach realizowanych przez samorządy w obszarze kultury wciąż jest trakto-wana marginalnie lub pomijana. Wyjątek w sektorze kultury stanowią programy

24 Jw.25 Toulemonde Jacques, Evaluation culture(s) in Europe: diff erences and convergence between natio-

nal practices, http://www.danskevalueringsselskab.dk/pdf/Toulemonde_paper.pdf26 Obowiązek ewaluacji programów przez nie współfi nansowanych stał się od 1999 roku obliga-toryjny (Rozporządzenie Rady nr 1260 z 21 czerwca 1999 r.), a różne formy badań ewaluacyjnych stały się istotnym elementem cyklu zarządzania funduszami europejskimi.27 Na przykład: Nowy okres programowania 2007–2013. Przewodnik po metodach ewaluacji: Wskaź-

niki monitoringu i ewaluacji, Dokument roboczy nr 2 Komisji Europejskiej, Dyrekcji Generalnej ds. Polityki Regionalnej, sierpień 2006, czy Plan ewaluacji Małopolskiego Regionalnego Programu Opera-

cyjnego na lata 2007–2013, Zarząd Województwa Małopolskiego, Kraków, grudzień, 2007, stano-wiący załącznik nr 1 do Uchwały Nr 1019/07 Zarządu Województwa Małopolskiego z 20 grudnia 2007 r.


operacyjne realizowane w ramach mecenatu Ministerstwa Kultury i Dziedzictwa Narodowego, będące elementami Narodowej Strategii Rozwoju Kultury28. Karty wskaźników stanowią tu już dziś integralną część tych programów. Czy jednak po zamknięciu każdej kolejnej edycji programu dokonywane są ich analizy? Mam nadzieję, że tak.

Ewaluacja jest pomijana lub traktowana marginalnie w nielicznych istnieją-cych dziś sektorowych strategiach rozwoju kultury29. Zresztą samo formułowanie sektorowych strategii rozwoju kultury, mimo istnienia już od 2004 roku wspo-mnianej wyżej Narodowej Strategii Rozwoju Kultury30, wciąż jeszcze pozostaje wyjątkiem, nie regułą.

Pierwszą w Polsce regionalną strategią dla sektora kultury jest Strategia Roz-

woju Kultury w Województwie Śląskim na lata 2006–202031, która oparta jest na rzetelnie przeprowadzonej diagnozie oraz analizie SWOT. Co istotne, analizę tę wypracowano wspólnie ze środowiskami twórczymi w trakcie specjalnie zorga-nizowanych warsztatów, a punktem wyjściowym dla dyskusji była przygotowana już uprzednio diagnoza. Strategia precyzuje wskaźniki monitoringu w realizacji strategii32. Są to wskaźniki ilościowe, podporządkowane osobno każdemu z czte-rech wyznaczonych celów strategicznych. Brak jakichkolwiek wskaźników jako-ściowych. W zamykającym rozdział Wskaźniki monitoringu w realizacji strategii33 krótkim akapicie, zatytułowanym 1.4 Raportowanie34, znajdujemy informację, że ocena uzyskanych wyników będzie dokonywana raz na dwa lata na podstawie raportów monitorujących strategię, które będą zawierać wszelkie dane statystyczne

pozyskane i zagregowane przez organy monitorujące strategię oraz analizy statystycz-

ne z wnioskowaniem35. Ocena ma służyć skorygowaniu ewentualnych rozbieżności i odchyleń od planu zawartego w strategii na etapie jej wdrażania.

28 Narodowa Strategia Rozwoju Kultury na lata 2004–2013, oraz Uzupełnienie Narodowej Strategii Roz-

woju Kultury na lata 2004–2020, Warszawa 2005; www.mk.gov.pl.29 Oprócz Narodowej Strategii Rozwoju Kultury na lata 2006–2013 powstała Strategia Rozwo-ju Kultury Województwa Śląskiego, Strategia Rozwoju Kultury dla miasta Wałbrzycha, Strategia

Muzeum Historycznego Miasta Krakowa na lata 2006–2014, Muzeum Historyczne Miasta Krakowa, MISTiA, Kraków 2006. W Małopolsce obecnie kilka instytucji kultury pracuje nad opracowaniem strategii (np. Muzeum Okręgowe w Nowym Sączu).30 Narodowa Strategia Rozwoju Kultury na lata 2004–2013 oraz Uzupełnienie Narodowej Strategii Roz-

woju Kultury na lata 2004–2020, jw.31 Strategia Rozwoju Kultury w Województwie Śląskim na lata 2006–2020, przyjęta przez Sejmik Województwa Śląskiego 28 sierpnia 2006. Dokument zawiera wizje, pola i cele strategiczne oraz kierunki działań w obszarze kultury w województwie śląskim. http://bip.silesia-region.pl/doku-menty/2006/09/05/1157451302.pdf 32 s. 80.33 Jw.34 Jw. s. 81.35 Jw.


W Krakowie, podobnie jak w wielu polskich miastach, strategii rozwoju kul-tury dotychczas nie sformułowano36. Jednak to Kraków, w odróżnieniu od innych polskich miast, uważany jest za kolebkę kultury narodowej. Brak strategii nie jest oczywiście równoznaczny z brakiem programów na rzecz konkretnych działań lub środowisk w obszarze kultury. Są one realizowane i w Krakowie, i w innych polskich miastach. Jednak w przypadku tych programów brakuje zdefi niowa-nych nowoczesnych wskaźników, budowanych w oparciu o ujednolicone mier-niki, skutecznie oddających specyfi kę sektora kultury. W oparciu o tradycyjnie gromadzone dane i konstruowane na ich podstawie wskaźniki samorządy rzadko podejmują, a jeszcze rzadziej zlecają, rzetelne, fachowe analizy dotyczące stanu kultury w sektorze publicznym37. Nie posługują się więc tego typu analizami

36 Jednakże prezentowana na stronach Biuletynu Informacji Publicznej Gminy Miejskiej Kraków, www.bip.krakow.pl, w dziale: POLITYKI i PROGRAMY, Strategia Rozwoju Krakowa (przyjęta przez Radę Miasta Uchwałą Nr LXXV/742/05 z 13 kwietnia 2005 r.), uwzględnia sprawy kultury. Wśród wyznaczonych trzech równorzędnych celów strategicznych, trzeci właśnie, odnosi się do obszaru kultury: Kraków europejską metropolią o ważnych funkcjach nauki, kultury i sportu. Podpo-rządkowano mu 6 celów operacyjnych: 1) Poprawa warunków funkcjonowania krakowskiego ośrodka

naukowego. 2) Wspieranie instytucji współpracy nauki z gospodarką. 3) Zachowanie dziedzictwa kultu-

rowego, w tym rewitalizacja zespołów zabytkowych Miasta. 4) Tworzenie materialnych i instytucjonal-

nych warunków dla rozwoju kultury. 5) Tworzenie warunków dla lokalizacji central i przedstawicielstw

organizacji krajowych i międzynarodowych. 6) Tworzenie warunków dla rozwoju sportu, kultury fi zycz-

nej i rekreacji. Celom operacyjnym z kolei podporządkowano programy sektorowe. Wśród dzie-więciu programów przyporządkowanych pierwszym pięciu celom operacyjnym (szósty cel dotyczy sportu i kultury fi zycznej) pięć ma status „przygotowywany”, jeden pozostaje w sferze planów. Trzy programy funkcjonują, w tym Polityka zagraniczna samorządu Miasta Krakowa przyjęty Uchwałą Nr LXX/466/93 Rady Miasta Krakowa z 1993 roku, tj. 13 lat przed sformułowaniem omawianego dokumentu, oraz dwa znowelizowane programy: Program mecenatu artystycznego i usług publicznych

w zakresie kultury – I część (sprawy lokalowe – galerie sztuki) przyjęty Uchwałą nr CXV/1187/06 RMK, Program mecenatu artystycznego i usług publicznych w zakresie kultury – I część (sprawy loka-

lowe – pracownie twórcze) przyjęty Uchwałą nr CXVIII/1249/06 RMK. Poniżej, w tym samym dziale (POLITYKI i PROGRAMY), pod hasłem POLITYKI, na podstronie KULTURA, znaj-dziemy informację o wpisaniu Krakowa (starego miasta i dzielnicy Kazimierz) na pierwszą listę światowego dziedzictwa kultury UNESCO (1978), wykaz miejskich instytucji kultury oraz lin-ki do szczegółowych informacji o zdaniach realizowanych przez Wydział Kultury i Dziedzictwa Narodowego począwszy od informacji ogólnych po szczegółowe procedury. Materiał ten nie ma znamion zwartego dokumentu. 37 Dobrym przykładem w tym zakresie jest stolica. W 1999 roku, jeszcze z inicjatywy Zarządu Miasta Stołecznego Warszawy, rozpoczęto prace przygotowawcze, badania i analizy, mające służyć następnie opracowaniu strategii rozwoju kulturalnego Warszawy. W efekcie powstały cenne eksper-tyzy dotyczące różnych obszarów i problemów dotykających sektor kultury, odbyło się seminarium, w trakcie którego dyskutowano o dziedzictwie kulturowym tego miasta. Zob.: Kultura w Warszawie.

Ekspertyzy. Strategia rozwoju kulturalnego Warszawy. Prace przygotowawcze., (red.) Jerzy Gmu-rek, Warszawa 2000, Warszawa w kulturze. Kultura w Warszawie. Rozmowy z ludźmi Warszawy,

Strategia rozwoju kulturalnego Warszawy. Prace przygotowawcze., (red. nauk.) Andrzej Siciński, (red.) Jerzy Gmurek, Warszawa 2000, oraz Dziedzictwo kulturowe Warszawy. Seminarium „okrągłego

stołu”, (red.) Dorota Ilczuk i Andrzej Tomaszewski, Strategia rozwoju kulturalnego Warszawy. Prace

przygotowawcze., Zarząd Miasta Stołecznego warszawy, Instytut Kultury, Warszawa 2000.


przy konstruowaniu kolejnych budżetów dla kultury i realizowanych przez sie-bie programów w celu weryfi kacji ich zasadności czy podniesienia efektywności wydatkowania środków publicznych.

W krakowskim magistracie wskaźniki efektywności pojawiły się już w 1993 roku wraz nowym sposobem konstruowania budżetu, tzw. budżetem zadaniowym. Wprowadzono go według wzoru funkcjonującego w zaprzyjaźnionym mieście Rochester, N.Y.38 Dla lepszej przejrzystości budżetu przy jego konstruowaniu, od 1996 r. wprowadzono dodatkowo tzw. Charakterystyki zadania (F1) i Plany

fi nansowe działania dla zadania budżetowego (F2). W odniesieniu do planu fi nan-sowego każdego zadania dwa razy w roku sporządzane są, również indywidual-nie dla każdego zadania, materiały sprawozdawcze, tzw. Karty zadań. Pierwsze sprawozdanie obejmuje pierwsze półrocze, drugie – całoroczne sporządza się po zamknięciu roku budżetowego39.

Już wówczas w Charakterystyce zadania i Karcie zadania – pojawiły się pierw-sze wskaźniki efektywności. Analizując Karty zadań dowiadujemy się, w jakim terminie będzie zadanie realizowane, kto jest za nie odpowiedzialny oraz jakie są przewidywane wskaźniki efektywności jego wykonania, które z kolei pozwalają ocenić, czy koszt realizacji nie jest zbyt wysoki w stosunku do efektów, a tak-że procentowy udział środków Gminy w kosztach całkowitych. Oczywiście w przypadku kultury nie jest łatwo przedstawić wskaźniki, najczęściej podaje się koszt przyznania jednej statuetki, 1 nagrody, 1 stypendium czy 1 dofi nansowania. Dokumentacja w postaci kart zadań jest przygotowywana przez osoby bezpośred-nio czuwające nad przebiegiem realizacji zadania. W Kartach zadań znajduje się także informacja o procencie wykorzystania zaplanowanych uprzednio na ten cel środków fi nansowych, a także – w przypadku jakichkolwiek zmian zakresu realizacji zadania w stosunku do zatwierdzonego planu – informacja o zakre-sie i przyczynach zaistniałych zmian. Opracowywane przez wydział zajmujący się sprawami kultury Karty zadań mogą zawierać szereg użytecznych infor-macji liczbowych, obrazujących obciążenie wydziału, np. szacunkowe liczby klientów, partnerów, zrealizowanych projektów, wydanych opinii, zawartych

38 Mając na uwadze efektywność wydatkowania środków, a także aby budżet był czytelny dla podatni-

ka, który nie jest fachowcem, przyjęto nową metodę formułowania budżetu: budżet zadaniowy. Wzorem

była metodologia funkcjonująca w zaprzyjaźnionym z Krakowem miastem amerykańskim Rochester, N.Y. (Budżet programów i zadań [w:] Rocznik zarządu miasta Krakowa 1993, s. 22). Przygotowany w 1993 roku w oparciu o nowy system planowania budżet realizowano w roku 1994. Był to pierw-szy w historii krakowskiego samorządu rok pracy na podstawie nowego budżetu – skoncentro-wanego na programach i zadaniach, a nie wyłącznie na klasyfi kacji według działów, rozdziałów i paragrafów. W budżecie zadaniowym działy i paragrafy przestały być „workami” zgrupowanych na podstawie ubiegłorocznych doświadczeń wirtualnych pieniędzy, ale każdy grosz zaczęto wiązać z konkretnym, realizowanym przez konkretną jednostkę urzędu zadaniem, które miało jasno spre-cyzowane cele i oszacowane koszty.39 Od 2007 r. instytucje kultury sporządzają sprawozdania w systemie kwartalnym, tak jak to było w latach 90. XX w., kiedy wszystkie komórki UMK także sporządzały sprawozdania kwartalne.


i zrealizowanych umów i zleceń, przygotowanych odpowiedzi na interpelacje i wnioski radnych itp. W przypadku instytucji kultury oprócz danych doty-czących ich działalności i wskaźników efektywności działania i kart zadań przygotowywane są także sprawozdania dotyczące ilości przeprowadzonych przetargów i rodzaju zastosowanych procedur przetargowych.

Karty zadań to niewątpliwe użyteczne narzędzie, o ile jednak nie dziwiło w pierwszych budżetach szacowanie potrzeb środowiska wyłącznie na podsta-wie liczby pism i wniosków napływających corocznie do urzędu w konkretnej sprawie (np. liczba wniosków w sprawie stypendiów twórczych czy nagród jako wyznacznik zapotrzebowania w tym zakresie, analogicznie – kwestie dotacji czy pracowni twórczych), o tyle dziś zastanawia brak innych źródeł informacji w tym zakresie40.

W 2006 roku Urząd Miasta Krakowa wprowadził System Zarządzania Jakością zgodny z normą ISO 9001/2000, we wrześniu 2006 UMK uzyskał Certyfi kat ISO, w 2007 roku wprowadzono obowiązek przygotowywania dla każdego za-dania Karty Mierników i Wskaźników, zawierającej ich defi nicje i źródła danych, a pracownicy Urzędu Miasta Krakowa raportują swoją pracę w systemie moni-torowania pracy. Mimo to prezentowane w Raportach o stanie miasta za kolejne lata wskaźniki dotyczące kultury są od lat takie same, nie ulegają modyfi kacjom, nie dokonuje się ani nie zleca ich analiz41. Publikowane na stronach Biuletynu

Informacji Publicznej oraz we wspomnianych wyżej raportach dane i wskaźniki ilościowe są rozproszone, nie dają pełni informacji na temat wydatkowania środ-ków publicznych, a co za tym idzie, po zestawieniu i porównaniu z podobnymi danymi z lat ubiegłych, nie ukazują prawdziwego obrazu42.

Dla poparcia tej tezy przeanalizujmy przykład . W latach 1994–2003 do kon-kursu o dotacje do projektów z obszaru kultury i sztuki wpływało rocznie ok. 500–900 wniosków, a w 2008 zaledwie 13743. Czy to znaczy, że zmniejszyły się potrzeby środowisk? Nie. Część wniosków rozpatrywanych wówczas w trybie konkursowym dziś uzyskuje wsparcie poza tą procedurą, jako zamówienie pu-bliczne z wolnej ręki. Ani na stronach BIP, ani w Raportach nie znajdujemy żad-nych danych na temat liczby wspieranych w tym trybie projektów ani wielkości

40 Komórki urzędu, budując wskaźniki, prawdopodobnie częściej myślą o zaspokojeniu komórki nadrzędnej, wnioskującej o sformułowanie wskaźników niż zbadanie rzeczywistego stanu zaspo-kojenia potrzeb lokalnej społeczności. 41 Tylko zestawienia podstawowych wskaźników ilościowych (np. liczba imprez, spektakli, wy-staw, koncertów, uczestnicy, widzowie, dopłata do 1 czytelnika) w najprostszej formie, bez komen-tarzy, bez ewaluacji (czasem tylko przedstawiane w kontekście poprzedniego roku) są publikowane w corocznych raportach sporządzanych przez Urząd Miasta Krakowa.42 Prezentowane w raportach dane zawierają błędy i nieścisłości, które mogłyby być wyelimino-wane w przypadku rzetelnej analizy danych lub zlecenia ewaluacji. 43 Spadek liczby wniosków o dotacje oraz wielokrotny spadek liczby dofi nansowanych w drodze konkursu projektów obserwuje się począwszy od 2005 roku. Jeszcze w 2003 roku dofi nansowano w tym trybie 410 projektów, w 2004 roku – 256 projektów, w 2005 – tylko 76 projektów.


rozdysponowywanych tą drogą środków (są one zresztą ulokowane w dwóch różnych zadaniach wydziału ds. kultury).

WARTOŚĆ KULTURY

Zgodnie z zapisami Ustawy o samorządzie gminnym, polityka kulturalna gmi-ny jest, a w każdym razie winna być ukierunkowana na zaspokajanie potrzeb zbiorowych społeczności lokalnej. Do zakresu działania gminy należą – bowiem – wszystkie sprawy publiczne o znaczeniu lokalnym, niezastrzeżone ustawami na

rzecz innych podmiotów44. Co należy rozumieć przez sprawy publiczne i czym są publiczne dobra (usługi publiczne), wyjaśnia szczegółowo Grażyna Prawelska--Skrzypek45. Przytacza opinię Guya Petersa, który defi niuje dobra publiczne jako te, z których jedni korzystając nie pomniejszając możliwości korzystania z nich przez innych. Przywołuje także stanowisko A.P. Samuelsona, twórcy teorii dóbr publicznych, który w swej defi nicji położył nacisk nie tylko na możliwość ko-rzystania z dóbr publicznych przez wszystkich członków danej społeczności, ale przede wszystkim na fakt, że nikogo nie można pozbawić możliwości korzystania z nich46. Ustawa o samorządzie gminnym dość szczegółowo wylicza obszary spraw uznanych przez ustawodawcę za publiczne, w zakresie których zaspokajanie zbio-

rowych potrzeb wspólnoty należy do zadań własnych gminy47. Wśród tych obszarów m.in.: edukacja publiczna i kultura, w tym sprawy bibliotek gminnych i innych instytucji kultury oraz ochrony zabytków i opieki nad zabytkami, kwestie utrzy-mania gminnych obiektów i urządzeń użyteczności publicznej oraz obiektów administracyjnych, wspieranie i upowszechnianie idei samorządowej, współpraca z organizacjami pozarządowymi, współpraca ze społecznością lokalną i regional-ną innych państw.

Polityka kulturalna każdej gminy, jako integralna część polityki publicznej władz lokalnych, winna być więc ukierunkowana na pomnażanie dóbr publicz-nych zarówno w postaci wartości materialnych, jak i duchowych48.

Nie sposób zaspokajać czyjekolwiek potrzeby, nie rozpoznawszy ich uprzednio. Nie sposób pomnażać bez rozważenia i konsultacji, co pomnażać. A ponieważ wartości w sferze kultury nie zawsze, a nawet rzadko są oczywiste i jednakowe dla większości, tym bardziej zarządzanie zadaniami publicznymi w sektorze kul-

44 Art. 6.1 Ustawy z dnia 8 marca 1990 r. o samorządzie gminnym (tekst jednolity: DzU z 2001 r. nr 142, poz. 1591 z późn. zm.)45 Grażyna Prawelska-Skrzypek, Polityka kulturalna polskich samorządów. Wybrane zagadnienia, Wy-dawnictwo UJ, Kraków 2003, 13–18.46 Defi nicję A.S. Samuelsona cytuje G. Prawelska-Skrzypek, jw. s. 16. 47 Art. 7.1 Ustawy z dnia 8 marca 1990 r. o samorządzie gminnym (tekst jednolity: DzU z 2001 r. nr 142, poz. 1591 z późn. zm.). 48 Kazimierz Krzysztofek, Ewolucja założeń i programów polityki kulturalnej w Polsce [w:] Kultura

polska w dekadzie przemian, (red.) Teresa Kostyrko, Marcin Czerwiński, Instytut Kultury, Warsza-wa 1999, s. 279.


tury powinno polegać na rozpoznaniu potrzeb, sformułowaniu diagnozy stanu kultury w jej rozmaitych aspektach i obszarach uwzględniających specyfi kę da-nej gminy, wreszcie na określeniu priorytetów polityki kulturalnej przez władze lokalne i zbudowaniu strategii rozwoju kultury, wpisanej w szersze regionalne i krajowe strategie. Strategia winna być opatrzona konkretnymi wskaźnikami, służącymi bieżącemu monitorowaniu wynikających z niej procesów i programów, jak również ewaluacji programów po konkretnym wyraźnie sprecyzowanym okre-sie realizacji.

Dobra i usługi kultury mają zróżnicowany charakter, tak jak zróżnicowane są

potrzeby ludzi49, jednak różnorodność tych dóbr i usług w obszarze kultury, jest tak ogromna, że trudno ustalić jednoznacznie hierarchię ważności50. W przeci-wieństwie do innych dziedzin życia publicznego, gdzie łatwiej zmierzyć i wykazać wartość rezultatów, wartości kultury nie da się bowiem zamknąć w bezwzględ-nych liczbach. Dlatego też ewaluacja w kulturze ma szczególne znaczenie.

Wiem, że sztuka i kultura mają swój udział w zdrowiu, edukacji, ograniczeniu

przestępczości, tworzeniu silnych społeczności, dobrobycie narodu, ale nie wiem, jak

to ocenić czy opisać. Musimy znaleźć język i sposób, żeby opisać ich wartość. To dla

nas jedyna droga do pozyskania potrzebnego nam znaczniejszego wsparcia51 – w ten sposób Estelle Morris52, była minister sztuki w Wielkiej Brytanii, podjęła pro-blem niedoboru mierników i wskaźników w procesie ewaluacji zadań publicznych sektora kultury.

Nad metodami i kryteriami analizy efektywności rozwoju kultury, efektywno-ści działalności kulturalnej, zastanawiali się wielokrotnie badacze specjalizujący się w ekonomice kultury, dochodząc do wniosku, że w kulturze nie jest możliwa standaryzacja kosztów. Postęp ekonomiczny nie wpływa na obniżenie kosztów wytwarzania usług, a czasem nawet przyczynia się do ich wzrostu, chcąc zaś doko-nać pomiaru efektywności w kulturze, można jedynie przeprowadzić przybliżony rachunek nakładów i efektów, uwzględniając wiele barier stojących na drodze do ustalenia zarówno kosztów, jak i rezultatów53. Kultura jest długoterminową inwestycją w człowieka i społeczeństwo, co często było powodem nieporozumień pomiędzy decydującymi o wielkości środków na kulturę politykami a benefi cjan-tami tych środków.

49 Prawelska-Skrzypek, jw. s. 1750 Kietlińska Krystyna, Finansowanie kultury. Dylematy teorii i praktyki, Wydawnictwo Uniwersy-tetu Łódzkiego, Łódź 1995, s. 16–17.51 John Holden, Cenić kulturę, [w:] Zarządzanie w kulturze, tom 6, (red.) Gaweł Łukasz, Orzechowski Emil, Wydawnictwo UJ, Prace Wydziału Zarządzania i Komunikacji Społecznej, zeszyt 8, Kraków 2005, s. 132.52 Minister ds. sztuki w departamencie kultury, mediów i sportu w Wielkiej Brytanii w latach 2003–2005.53 Kietlińska K. s. 18–19.


Wiele miejsca temu problemowi poświęcił w swoich pracach John Holden, odpowiedzialny za sprawy kultury dyrektor jednej z brytyjskich organizacji, DE-MOS, instytutu zajmującego się m. in. kwestią przestrzeni publicznej, służb pu-blicznych i współczesnych społeczeństw54. Jak przekonać polityków-decydentów o konieczności inwestowania w kulturę i sztukę, skoro osiąganych w tych obsza-rach wartości i dóbr publicznych nie można ująć, ani w prosty sposób odwzorować za pomocą cyfr? Wyobraźmy sobie, że chcecie wykazać, że warsztaty teatralne popra-

wiają wyniki egzaminów szkolnych. Prawdopodobnie tak jest, ale jak to udowodnić?

Efekty warsztatu są zbyt odległe w czasie i przestrzeni, aby wykazać prostą relację

przyczynowo-skutkową, a warsztaty są przecież tylko jednym z setek bodźców, jakie

zostaną odebrane przez dzieci55 – pisze Holden. Brak wymiernych wskaźników już wcześniej w wielu krajach europejskich

doprowadził do okrojenia środków publicznych sygnowanych na kulturę. Wywo-łało to także szereg dyskusji, czy potrzebny jest państwowy mecenat nad kulturą i sztuką.

W Polsce z chwilą rozpoczęcia procesu urynkowienia także próbowano pod-porządkować kulturę i sztukę bezwzględnym prawom rynku56. Szybko jednak zaczęły pojawiać się głosy, iż kultura i sztuka odgrywają zbyt ważną rolę w pro-cesie kształtowania i rozwoju społeczeństwa, aby pozostawić ją bez wsparcia ze środków publicznych. Dla ekonomistów jednak, podobnie jak i dla radnych miej-skich, kwestie wpływów kultury na rozwój społeczeństwa w bliżej nieokreślonej przyszłości rzadko są wystarczającym argumentem.

Jak pisze Ann James w jednym ze swoich opracowań, jeśli nie mierzysz rezul-tatów – nie możesz odróżnić błędów od sukcesów, jeśli nie widzisz sukcesów – nie możesz ich nagradzać, jeśli nie widzisz osiągnięć – nie możesz się niczego z tego nauczyć, a jeśli możesz przedstawić osiągnięcia – zyskasz poparcie publiczne57. Jednak problem w sztuce i kulturze polega na tym, że to, co dla jednego czło-wieka stanowi wartość, dla innego wartością być nie musi. Liczba uczestników imprezy kulturalnej nie zawsze odwzorowuje poziom zadowolenia uczestników, podobnie jak liczba imprez nie idzie w parze z ich jakością. Nie należy wobec tego przeceniać wskaźników liczbowych.

54 Zarządzanie w kulturze, tom 6, (red.) Gaweł Łukasz, Orzechowski Emil, Wydawnictwo UJ, Prace Wydziału Zarządzania i Komunikacji Społecznej, zeszyt 8, Kraków 2005, s. 330.55 John Holden, Cenić kulturę, jw. s. 131.56 W dobie socjalizmu nikt nie wątpił w sprawczą moc sztuki i kultury, wartość kultury i sztuki obliczaną w jej służbie nadrzędnej ideologii, odwołując się do wymiernych liczb, ilości przed-sięwzięć i liczby uczestników-odbiorców. Wykorzystując dobra kultury manipulowano narodem, narzucając lub próbując narzucić mu poglądy i sposób widzenia świata.57 Ann James, Inside Quality Assurance, Community Care, 27 May 1993, cyt. za: Francois Mata-rasso, Defi ning values. Evaluating arts programmes, Th e social impact of the art. Working paper 1, Comedia, 1996, s. 2.


Ciekawe badania nad wartością kultury , jako jedni z pierwszych, podjęli w 1983 roku Glenn Withers i David Th rosby58. Mając świadomość, że wartość kultury jest wielowymiarowa, zawiera elementy, których nie można łatwo wyrazić w od-niesieniu do skali jakościowej czy ilościowej, przedsięwzięli oni pierwszą aplika-cję metod oceny wartości sztuki. Badaniem objęto grupę ok. 825 respondentów, przedstawicieli społeczności Sydney. David Th rosby i Glenn Withers wierzyli, że są w stanie oddać jej ekonomiczną wartość w liczbach, tj. w pieniądzach, badając wartość dóbr, których konsumenci byliby skłonni zrzec się w zamian za dobra nierynkowe – z kręgu kultury i sztuki (mierzyli wolę społeczeństwa do wnoszenia opłat za otrzymywane dobra publiczne z zakresu kultury i sztuki). Przekonani byli, że konsumenci mają doskonale zdefi niowane preferencje i wiedzą, co jest dla nich dobrem publicznym. Sztuka ma swoją wartość dla tych, którzy ją produkują, dla tych, którzy konsumują, dla tych, którzy dobrowolnie ją wspierają, oraz tych, którzy domagają się jej wsparcia z publicznych podatków. Wiedząc, że konkretne dobro kultury ma dla konkretnego człowieka wartość, nie może on go sprzedać ani wymienić za inne dobra, nie może go określić w sensie monetarnym. Może jedynie – jako istota ludzka – doświadczyć przyjemności jego odbioru. Człowiek może także rozpoznać wartość dobra, wówczas, kiedy wartość ta jest zewnętrzna wobec niego. Wówczas pozostają dwie możliwości:A) wartość dobra może wzrastać dla innych indywidualnych osóbB) rozpoznanie wartości dobra może nie wzrastać dla innych jako jednostek, ale

jako grup społecznych lub dla całego ludzkiego rodzaju. Przykładem takiego przypadku pozostaje choćby muzyka J.S. Bacha; jej wartość jest istotna nie ze względu na konsumpcję jednostki, ale z powodu tego, co wnosi do ludzkiego oświecenia, ważna jest tu uniwersalność dobra59.

Tu dochodzimy do punktu wyjścia. Kultura to dobro publiczne. Ważne jest zatem, aby dbać o to dobro z rozmysłem. A wobec niemożności oddania wartości kultury w liczbach trzeba podkreślić walory techniki ewaluacji, opartej na trian-gulacji60 (z wykorzystaniem m.in. danych z monitoringu, ankiet i wywiadów), jako metodzie najskuteczniejszej w ustalaniu tego, co jest dobre i pożądane przez ogół, najlepiej pozwala zadbać o publiczne dobro, a także zbadać poziom efektywności wykorzystania środków publicznych wydatkowanych na rzecz osiągnięcia okre-ślonego dobra publicznego.

58 David Th rosby (ur. 1939), australijski ekonomista, światowej sławy autorytet w zakresie eko-nomiki kultury. Profesor Uniwersytetu Macquarie w Sydney (od 1974 roku). Autor wielu cennych publikacji w tym zakresie. 59 Więcej na ten temat zob.: David Th rosby, Determining the value of cultural goods: How much (or

how little) does contingent valuation tell us? www.culturescope.ca 60 Badanie danego obszaru z zastosowaniem różnych technik lub podział badanego obszaru na mniejsze jednostki, np. według kryterium problematyki.


Znakomitą techniką demokratycznej ewaluacji, będącej jednocześnie ewalu-acją dialogu, służącą kreowaniu wspólnego dobra lokalnej społeczności, są z pew-nością badania opinii publicznej. Napływające do urzędu pisma i wnioski mogą być źródłem wiedzy na temat potrzeb lokalnej społeczności. Jeśli jednak są to pisma o dofi nansowanie projektów w zakresie kultury i sztuki, to na ich podsta-wie oszacować możemy wyłącznie poziom kreatywności lokalnych stowarzyszeń twórczych, instytucji kultury czy indywidualnych twórców oraz rozmiar oczeki-wanych środków, pod warunkiem że kalkulacje nie są przygotowane na wyrost, zaokrąglane w górę, aby otrzymać wyższe wsparcie. Nie są to jednak oczekiwania mieszkańców-odbiorców i uczestników wydarzeń kulturalnych. Potrzeby spo-łeczeństwa jako odbiorców i widzów, ich zadowolenie z dotychczasowej oferty, można szacować właśnie poprzez badania opinii publicznej.

Tymczasem badania te podejmuje się stosunkowo rzadko. Pouczający jest tu przykład krakowski. Wprawdzie na przestrzeni ostatnich 18 lat w Krakowie zrealizowano badania kilkakrotnie, najczęściej jednak w wąskim wymiarze, nie zawsze z inicjatywy gminy, nie zawsze z jej udziałem. Przedstawiam je krótko poniżej :• W 1992 roku przeprowadzono badania uczestnictwa w kulturze podczas Eu-

ropejskiego Miesiąca Kultury. Ankietowanych proszono o opinie zarówno na temat oferty programowej, jak i jej realizacji, a także o ocenę Krakowa jako miasta kultury. Badaniem objęto 762 respondentów, wśród których 25% sta-nowili mieszkańcy Krakowa61.

• Na przełomie czerwca i lipca 1994 r. na zlecenie Wydziału Kultury UMK zre-alizowano badania wśród uczestników Festiwalu Krakowskiego ‘94. Badaniem objęto 1090 uczestników imprez festiwalowych. 80% spośród ankietowanych stanowili krakowianie62.

• Jesienią 1994 r. na zlecenie Urzędu Miasta Krakowa zrealizowano grupowe wywiady zogniskowane dotyczące preferencji mieszkańców Krakowa w za-kresie kultury i ich uczestnictwa w kulturze63. W związku z przygotowania-mi pierwszego samorządowego (i zdaje się jedynego obszernie poświęconego wyłącznie sektorowi kultury) Raportu o stanie kultury Krakowa w 1994 roku, przebadano 4 grupy mieszkańców w różnym wieku, o różnym wykształceniu, o zróżnicowanej sytuacji materialnej.

61 Piotr Wolski, Reinterpretacja badań potrzeb i konsumpcji kulturalnej Krakowian [w:] Uczestnic-two w kulturze. Turyści i mieszkańcy. Część czwarta „Raportu o stanie kultury Miasta Krakowa”. VRG Strategy Co. Ltd Kraków 1994, s. 3–10.62 Tadeusz Borkowski, Wyniki badań nad uczestnictwem w wybranych imprezach Festiwalu Kra-

kowskiego ‘94, jw. s. 11.63 Cezary Ulasiński, Romualda Ulasińska, Grupowe wywiady zogniskowane nt. „Preferencje kul-turalne i uczestnictwo w kulturze mieszkańców Krakowa” [w:] Uczestnictwo w kulturze. Turyści i mieszkańcy. Część czwarta „Raportu o stanie kultury Miasta Krakowa”. VRG Strategy Co. Ltd Kraków 1994, s. 20–33.


• W 1995 roku (VI–VII) przeprowadzono monitoring Festiwalu Krakowskiego. Badania zrealizowano w okresie 8–25 VI 1995. Wśród 809 respondentów 81,5% stanowili mieszkańcy Krakowa.

• W 1998 roku na zlecenie Związku Miast Polskich przeprowadzono bada-nia w zakresie efektywności funkcjonowania miejskich domów i ośrodków kultury w Krakowie. Celem badań było pilotażowe wdrożenie i sprawdzenie narzędzia służącego analizie, monitorowaniu i porównywaniu efektywności działania podobnego typu instytucji kultury64.

• W tym samym roku, również na zlecenie Urzędu Miasta Krakowa, przepro-wadzono badania pod nazwą Mieszkańcy o problemach Krakowa, zrealizowane na losowo wybranej grupie 1000 osób, przedstawicieli każdej z krakowskich dzielnic. Posłużono się formą wywiadu kwestionariuszowego w mieszkaniu respondenta. Niestety badanie obejmowało zróżnicowaną problematykę i tyl-ko 2 ostatnie pytania kwestionariusza dotyczyły spraw kultury65.

• W listopadzie 1999 roku na zlecenie ówczesnego Wydziału Edukacji i Kultury UMK techniką zogniskowanego wywiadu grupowego przeprowadzono bada-nia pt. Monitoring wydatków Gminy Kraków w dziedzinie kultury – traktowa-ne jako wstępne, na wąskiej grupie respondentów66 (29 mieszkańców Krako-wa, wśród nich 9 osób to przedstawiciele środowisk twórczych). W oparciu o wyniki tego wstępnego badania zakładano przygotowanie na rok następny szerszych badań, na większej próbie respondentów. Na badanie składała się dyskusja i gra symulacyjna. Respondenci dokonali szczegółowych ocen wydat-ków miasta w odniesieniu do poszczególnych rodzajów instytucji oraz imprez dofi nansowywanych przez miasto ze środków publicznych.

• W 2002 roku na zlecenie i z udziałem ówczesnego Wydziału Edukacji i Kul-tury Urzędu Miasta Krakowa przygotowano kwestionariusz ankiety, której celem było zbadanie opinii publicznej na temat oczekiwań społeczności Kra-kowa w zakresie kultury i sztuki. Badanie przeprowadzono na pilotażowej grupie 49 respondentów67. Pytania dotyczyły zarówno najchętniej odwiedza-

64 Zob.: Grażyna Prawelska-Skrzypek, Pogłębiona analiza efektywności funkcjonowania jednostek

i instytucji kultury w Krakowie, [w:] Zarządzanie w kulturze, (red.) Robert Kardzis, Emil Orze-chowski, Kraków 2000, s. 163–188, oraz Grażyna Prawelska-Skrzypek, Analiza efektywności funk-

cjonowania wybranych muzeów, instytucji teatralnych, muzycznych i wystawienniczych w Krakowie, (w:) Zarządzanie w kulturze, tom 2, (red.) Katarzyna Barańska, Katarzyna Plebańczyk, Emil Orze-chowski, Kraków 2001, s. 197–218.65 Mieszkańcy o problemach Krakowa. Sreszczenie – synopis, Instytut Badań Marketingowych i Spo-łecznych VRG STRATEGIA, Kraków 1998. Materiał powielony, s. 6 oraz s. 40–43.66 Monitoring wydatków Gminy Kraków w dziedzinie kultury. Raport z badań wstępnych opinii

mieszkańców i przedstawicieli środowisk twórczych, Instytut Badań Marketingowych i Społecznych VRG STRATEGIA, Kraków 1999. Materiał powielony.67 Katarzyna Plebańczyk, Badanie opinii publicznej na temat oczekiwań społeczności Krakowa w za-

kresie kultury i sztuki – budowa narzędzia badawczego i badanie pilotażowe, Kraków 2002. Niepubli-kowany raport.


nych miejsc, jak i imprez oraz oceny poziomu zadowolenia z usług. Wyniki badania pilotażowego nie mogły być uznane za reprezentatywne, ponieważ większość respondentów stanowiły osoby odwiedzające Wydział Edukacji i Kultury, a więc w różny sposób zaangażowane w sprawy kultury. Ze względu na zmiany władz i kwestie fi nansowe nie zrealizowano wówczas badań wła-ściwych, choć dystrybucja ankiet miała odbyć się za pośrednictwem stanowisk podawczych UMK, miejskich i zaprzyjaźnionych z miastem instytucji kultury i organizacji pozarządowych.

• W 2005 roku badania oferty kulturalnej na grupie 401 osób (76,6% respon-dentów stanowili mieszkańcy Krakowa) przeprowadził Instytut Spraw Pu-blicznych Wydziału Zarządzania i Komunikacji Społecznej UJ68. Mimo że badania przeprowadzono na dość dużej grupie respondentów, to jednak nie mogą one być uznane za reprezentatywne dla żadnej z omówionych w nich dziedzin kultury z wyjątkiem oferty kin (badania zrealizowano w trzech kom-pleksach kinowych Krakowa).

Mimo że w kosztach badania partycypowała gmina miasta Krakowa, autorzy skoncentrowali się właśnie na badaniu oferty kin, podczas gdy na te ostatnie stosunkowo niewielki wpływ mają władze miejskie. Równolegle badanie ob-jęło respondentów z zaledwie dwóch krakowskich domów kultury, tymczasem w Krakowie funkcjonuje 7 miejskich domów kultury, 13 pozarządowych (pro-wadzonych m.in. przez organizacje pozarządowe, spółdzielnie mieszkaniowe, inne podmioty), wreszcie 11 miejskich młodzieżowych domów kultury (pla-cówki oświatowo-wychowawcze).

• 2006 rok. Badania ankietowe, przeprowadzone przez autorkę w I kwartale, dotyczące opinii krakowskich środowisk twórczych i przedstawicieli instytu-cji kultury na temat współpracy lokalnych samorządów z instytucjami kul-tury i organizacjami pozarządowymi w zakresie tworzenia i realizacji zadań z zakresu kultury, w obliczu wejścia w życie ustawy o pożytku publicznym i o wolontariacie. Badaniem objęto 62 podmioty, w tym najaktywniej działa-jące na terenie Krakowa organizacje pozarządowe, związki i stowarzyszenia twórcze, instytucje kultury69.

Przywołany wyżej kalendarz badań może świadczyć, że o ile w latach 90. ubiegłego wieku Kraków starał się zasięgać opinii publicznej i rozpoznawać po-trzeby mieszkańców w obszarze kultury70, to obecnie w Gminie Miejskiej Kra-

68 Katarzyna Plebańczyk, Piotr Górski Oferta kulturalna Krakowa 2005 w opinii jej odbiorców, Kraków, 2005, Tabela nr 50, s. 167.69 Badania zostały szczegółowo omówione w niepublikowanej dotychczas, obronionej na UJ roz-prawie doktorskiej: Joanna Szulborska-Łukaszewicz Polityka kulturalna w Krakowie na tle zmian

zachodzących w ostatniej dekadzie XX wieku, Kraków 2007.70 W latach 1992, 1994 i 1995 zrealizowano 3 duże badania opinii publicznej w sektorze kultury na reprezentatywnej grupie respondentów. Przygotowanych w listopadzie 1999 r. badań, z uwagi na zmianę władz samorządowych, nie udało się przeprowadzić na reprezentatywnej grupie.


ków nie przywiązuje się wagi do dialogu społecznego w obszarze kultury. Jedyne powiązane badania, jakie są regularnie prowadzone w mieście, dotyczą ruchu turystycznego71, w tym m. in. potrzeb turystów w obszarze kultury. Z pewnością ruch turystyczny ma ogromny wpływ na rozwój gospodarczy miasta i regionu. Niemniej zważywszy, że mandat władz miasta pochodzi od lokalnej społeczności, należy mieć nadzieję, że władze miejskie w równym stopniu będą się interesować potrzebami lokalnej społeczności.

INSTYTUCJE KULTURY

Spójrzmy teraz na instytucje prowadzące działalność w dziedzinie kultury. Miejskie instytucje, których założycielem jest Gmina Miejska Kraków, dostar-czają organizatorowi wielu danych. Każda instytucja jest zobligowana do wypeł-niania dziesiątek mniej lub bardziej skomplikowanych formularzy dotyczących planowania, sprawozdawczości, spraw kadrowych, fi nansowych i merytorycznych – w systemie miesięcznym, kwartalnym, półrocznym i rocznym, oraz na żądanie. Jednak nie zawsze są to dane jednorodne w dłuższym okresie i w różnych rejo-nach kraju (a co dopiero UE72), stąd trudno je porównywać.

Ciekawą analizę efektywności funkcjonowania miejskich domów i ośrodków kultury w Krakowie w 1998 roku przeprowadził Małopolski Instytut Samorządu Terytorialnego i Administracji na zlecenie Związku Miast Polskich. Celem dzia-łania było pilotażowe wdrożenie i sprawdzenie narzędzia służącego do analizy, monitorowania i porównania efektywności działania podobnego typu instytu-cji kultury. Badaniem objęto 7 miejskich domów kultury, 4 miejskie biblioteki73, 5 instytucji teatralnych i muzycznych (w tym dwie miejskie wówczas instytucje, jedna współorganizowana i współprowadzona przez miasto i wojewodę74), 3 mu-zea (w tym 1 miejskie) i jedną galerię miejską. Z punktu widzenia niniejszego artykułu, najciekawsze wydają się wyniki dotyczące miejskich domów kultury i bibliotek, ze względu na wspólny punkt odniesienia: ten sam organizator (Gmi-

71 Krzysztof Borkowski, Ruch turystyczny w Krakowie w 2006 roku, Kraków listopad 2006. 72 Na konferencji miast zrzeszonych w Eurocities, jesienią 2007 r. w Dublinie, na jednych z warsz-tatów debatowano na temat takiego doprecyzowania wskaźników, aby możliwe było porównanie danych budżetów kultury różnych miast Eurocities. Z kolei na konferencji poświęconej Regio-nalnym Funduszom Filmowym, która miała miejsce w Krakowie w styczniu 2008 roku, w dysku-sji o udziale sektora fi lmowego w PKB w krajach europejskich zwrócono uwagę na niemożność rzetelnego porównania danych z różnych krajów ze względu na brak wyznaczonych jednolitych standardów. Wskaźniki, aby były porównywalne we wszystkich krajach, muszą być jednakowo zde-fi niowane i w jednakowy sposób obliczane. 73 Grażyna Prawelska-Skrzypek, Pogłębiona analiza efektywności funkcjonowania jednostek i insty-

tucji kultury w Krakowie, [w:] Zarządzanie w kulturze, (red.) Robert Kardzis, Emil Orzechowski, Kraków 2000, s. 163–188.74 Grażyna Prawelska-Skrzypek, Analiza efektywności funkcjonowania wybranych muzeów, insty-

tucji teatralnych, muzycznych i wystawienniczych w Krakowie, [w:] Zarządzanie w kulturze tom 2, (red.) Katarzyna Barańska, Katarzyna Plebańczyk, Emil Orzechowski, Kraków 2001, s. 197–218.


na Miejska Kraków). Kryterium oceny efektywności działania instytucji była nie tylko liczba zrealizowanych imprez i zainteresowanie uczestników, ale liczba imprez i form stałych w przeliczeniu na jednego pracownika danej instytucji w stosunku rocznym. Pozwoliło to stwierdzić, że najefektywniej wykorzystuje po-siadane środki fi nansowe Dom Kultury „Podgórze”, gdzie na jednego pracownika przypadło w 1998 roku 27,1 imprez, 8,3 zajęć, 0,46 zespołu, 0,52 kursów i 0,58 kół stałych zainteresowań, stąd instytucja ta może być wzorcem do porównań dla

oceny efektywności działalności tego typu jednostek kultury w Krakowie75. Na drugim miejscu znalazł się Śródmiejski Ośrodek Kultury (26,6 imprez, 4,5 zajęć, 0,65 kół, 0,45 kursów i 0,23 zespołów na 1 pracownika). Na trzeciej pozycji znalazł się Ośrodek Kultury im. C.K. Norwida.

Nazwa instytucji

Liczba imprez na 1 zatrud-nionego

Liczba zajęć na

1 zatrud-nionego

Liczba zespołów na

1 zatrud-nionego

Liczba kół na

1 zatrud-nionego

Liczba kursów na 1 zatrud-nionego

Dom Kultury „Podgórze” 27,1 8,3 0,46 0,58 0,52

Śródmiejski Ośrodek Kultury

26,6 4,5 0,23 0,65 0,45

Ośrodek Kultury im. C.K. Norwida

21,3 2 0,25 0,34 1,75

Centrum Kultury „Dworek Białoprądnicki”

12,7 0 0,36 0,46 0,38

Ośrodek Kultury – Nowa Huta

12 0 0,21 0,95 0,16

Nowohuckie Centrum Kultury

10,3 0,1 0,16 0,28 2,47

Ośrodek Kultury Zespół Pieśni i Tańca „Krako-

wiacy”3,27 0,3 0,36 0,09 0,18

Tabela. Opracowano na podstawie diagramów Grażyny Prawelskiej–Skrzypek, zamieszczonych

w artykule: Pogłębiona analiza efektywności funkcjonowania jednostek i instytucji kultury w Krakowie,

[w:] Zarządzanie w kulturze, (red.) Robert Kardzis, Emil Orzechowski, Kraków 2000.

Dla osiągnięcia bardziej wiarygodnych wyników warto byłoby wydzielić im-prezy pod względem liczby odbiorców. Z doświadczenia wiadomo bowiem, że domy i ośrodki kultury robią wiele imprez kameralnych (do 100 odbiorców), ale też dużo imprez większych, nawet plenerowych. Ich przygotowanie wymaga zupełnie innego nakładu pracy. Wśród szczegółowych analiz znajdziemy w tym opracowaniu także np. strukturę kosztów utrzymania 1 m² powierzchni dla po-szczególnych badanych instytucji (z uwzględnieniem czynszu, podatku i ubezpie-czenia, mediów, sprzątania i dozoru).

75 G. Prawelska-Skrzypek, Pogłębiona analiza efektywności funkcjonowania jednostek i instytucji

kultury w Krakowie, [w:] tamże, s. 175.


Niestety Miasto Kraków nie wykorzystało zaproponowanego narzędzia. Nie powtórzono później tego typu badań, choć – po upływie dziesięciu lat – niezwy-kle ciekawe byłoby badanie porównawcze. Ważne także w kontekście trendów zmierzających do poszukiwania nowych wymiernych wskaźników dla obszaru działań w sektorze kultury76.

Inne narzędzie służące do pomiaru efektywności zarządzania instytucją kul-tury zaproponowali Robert S. Kaplan i David P. Norton77. O jego zaletach pisze w swoim artykule Mateusz Lewandowski78. Strategiczna Karta Wyników umoż-liwia stosowanie pozafi nansowych wskaźników efektywności79, które równoważą wskaźniki fi nansowe (ilościowe). Polega ona na ukazaniu wpływu strategii na

działalność organizacji w czterech kluczowych perspektywach: fi nansowej, klienta, pro-

cesów wewnętrznych oraz innowacji80. Wykorzystuje się wskaźniki, które odzwier-ciedlają na przykład poziom zadowolenia odbiorców (klientów) lub odnoszą się do procesów tworzących wartość dla klienta, co przy specyfi ce kultury w sektorze usług publicznych ma szczególne znaczenie. Wyniki fi nansowe nie przesądzają tu o sukcesie, ponieważ nie stanowią końcowego efektu działań. Oczywiście istotne jest, ile projektów zrealizowano i jakim nakładem środków, ale liczby te nie de-cydują o sukcesie instytucji kultury.

Podobne stanowisko zajmuje także Tadeusz Markowski81. Uważa, że koniecz-ne jest odejście od tradycyjnie stosowanych metod oceny efektywności działalno-ści instytucji kultury, bowiem stopień wykorzystania zaplanowanych środków bu-dżetowych nie przesądza o efektach. Podobnego zdania są Dorota Ilczuk i Piotr Górski: Za istotniejsze od tego, ile i jakich przedsięwzięć kulturalnych sfi nansowano

z budżetu miasta, powinno się uznać rezultat tych działań. Czyli jako priorytet na-

leży uznać nie samo fi nansowanie kultury przez miasto, ale efekty rozwojowe, które

fi nansowaniu kultury zawdzięczamy82.

76 Wiele miejsca wskaźnikom ilościowym w kulturze poświęcił m. in. Christopher Madden, In-

dicators for Arts and Cultural Policy: A Global Perspective, „Cultural Trends”, vol. 14(3) Nr 55, Sep-tember 2005, s. 217–247. 77 Robert S. Kaplan i David P. Norton, Strategiczna Krata Wyników, Warszawa 2001.78 Mateusz Lewandowski, Zmiany w sposobach zarządzania a pomiar efektywności zarządzania

w instytucjach kultury [w:] Zarządzanie w kulturze, tom 7, pod red. Łukasza Gawła i Emila Orzechow-skiego, Wydawnictwo UJ, Prace Wydziału Zarządzania i Komunikacji Społecznej Zeszyt 9, Kraków 2006, s. 107–112.79 Jak to ujął Christopher Madden, pozafi nansowe, jakościowe wskaźniki, bazując na języku, stanowią opisy fenomenu kultury. Christopher Madden, Indicators for Arts and Cultural Policy:

A Global Perspective, jw., s. 220.80 M. Lewandowski, jw. s. 111–112.81 Tadeusz Markowski, Zarządzanie rozwojem miast, Wydawnictwo Naukowe PWN, Warszawa 1999.82 Dorota Ilczuk, Robert Górski, Finansowanie kultury w Warszawie [w:] Kultura w Warszawie.

Ekspertyzy, Strategia Rozwoju Kulturalnego Warszawy. Prace przygotowawcze. Zarząd Miasta Stołecznego Warszawy, Warszawa 2000, s. 182.


Jednak, o czym już wspominałam, efekty rozwojowe są trudne do oszacowania, a w kulturze odczuwa się ewidentny niedobór skutecznych metod ewaluacji dzia-łań i projektów, których efektem fi nalnym nie jest produkt materialny, a dobro ulotne, usługa, której skutkiem jest wyłącznie trudny do opomiarowania efekt i wpływ na ludzkie życie.

Odwzorowaniem wartości powstałej w wyniku realizacji koncertu muzycz-nego nie może być liczba słuchaczy. Liczba słuchaczy jest raczej wypadkową wielkości sali (liczby miejsc), atrakcyjności programu i wykonawców oraz efek-tywności działań promocyjno-marketingowych, a w przypadku, gdy impreza jest biletowana, ceny wstępu. W przypadku przedstawień teatralnych, powtarzanych wielokrotnie w pewnym odstępie czasowym, miarą sukcesu może być liczba za-granych przedstawień (częstotliwość powtórzeń). W przypadku wydarzeń reali-zowanych z założenia jednokrotnie liczba uczestników nie jest miarą sukcesu, nie znamy bowiem poziomu zadowolenia czy rozczarowania odbiorców. Trudne do przeprowadzenia byłyby badania, w jaki sposób dany koncert czy spektakl wpłynął na rozwój wrażliwości słuchacza czy odbiorcy w jego dalszym życiu, bo-wiem uczestniczymy codziennie w jakimś wydarzeniu z obszaru kultury i trudno oddzielić wpływy pojedynczych doświadczeń83.

WSKAŹNIKI

Podczas ewaluacji projektów z zakresu kultury wychodzimy od wstępnie zde-fi niowanych celów, a następnie pokazujemy, w jaki sposób zostały one zrealizo-wane. O końcowej ocenie wcale nie musi przesądzać ani wartość artystyczna projektu, ani wzrost wskaźników sprzedaży. Ocena musi odnosić się do specyfi ki konkretnego projektu i jego uczestników. Wystarczy więc dobrze wskazać i zde-fi niować cele, mierniki i wskaźniki .

Choć wskaźników liczbowych nie należy przeceniać, ale warto z nich korzy-stać. Tymczasem w polskiej administracji publicznej brak praktyki w defi niowa-niu nowoczesnych wskaźników, budowanych w oparciu o ujednolicone mierniki, oddających specyfi kę sektora kultury w Polsce, nie wspominając już o możliwości porównania sektora kultury w różnych krajach europejskich.

Monitorowaniem usług publicznych w miastach w kilku sektorach, w tym kultury, od 1997 roku zajmuje się Związek Miast Polskich w ramach Systemu

83 Być może wpływ pojedynczych oddziaływań dóbr kultury na jednostkę nie jest duży, jednak wpływy te kumulują się w ciągu życia, i wpływ ten jest ogromnie istotny dla rozwoju społe-czeństwa. Warto tu przywołać publikację Dicka Stanleya, dyrektora jednego z departamentów Canadian Heritage, instytucji zajmującej się badaniami z zakresu rozwoju kultury, który uważa powstające w ten sposób dobra społeczne za przestrzeń wymagającą specjalnej uwagi. Dick Stanley, Beyond the economics: Developing indicators of the social eff ects of culture, Quebec, Kanada, czerwiec 2001.


Analiz Samorządowych (SAS )84, jednak system ten nie jest należycie wypromo-wany i mało kto – oprócz bezpośrednio zainteresowanych – wie o jego istnieniu. Wśród szeregu wskaźników dotyczących różnych sektorów życia publicznego sformułowano, zdefi niowano i zewidencjonowano ok. 160 wskaźników służących monitorowaniu rozwoju w sektorze kultury. Podporządkowano je 9 kategoriom: 1) wydatki miejskie na kulturę, 2) centra kultury, 3) biblioteki, 4) teatry, 5) insty-tucje muzyczne, 6) muzea, 7) centra sztuki, galerie, BWA, 8) programy dofi nan-sowań, 9) programy stałych dofi nansowań obcych instytucji kultury.

Przykładowo w odniesieniu do muzeów System SAS proponuje 19 następu-jących wskaźników ilościowych:

601 Liczba wystaw w przeliczeniu na 1000 mieszkańców

602 Liczba użytkowników ogółem w przeliczeniu na 1000 mieszkańców

603 Liczba mieszkańców przypadających na 1 placówkę muzealną

604 Liczba wystaw przypadających na 1 pracownika (etat przeliczeniowy)

605 Liczba lekcji muzealnych przypadających na 1 pracownika (etat przeliczeniowy)

606 Liczba użytkowników ogółem przypadających na 1 pracownika (etat przeliczeniowy)

607 Liczba uczestników 1 lekcji muzealnej

608 Liczba zwiedzających 1 wystawę

609 Koszty bieżącej działalności w przeliczeniu na 1 użytkownika instytucji muzealnych (zł)

610 Koszty działalności statutowej w przeliczeniu na 1 użytkownika instytucji muzealnych (zł)

611 Koszty bieżącej działalności w przeliczeniu na 1 wystawę (zł)

612 Koszty działalności statutowej w przeliczeniu na 1 wystawę (zł)

613 Liczba zatrudnionych (w etatach przeliczeniowych) w 1 placówce

614 Udział wynagrodzeń pracowników (wraz ze świadczeniami na ich rzecz) w kosztach bieżącej działalności instytucji muzealnych (%)

615 Średnie wynagrodzenie 1 zatrudnionego (etat przeliczeniowy) wraz ze świadczeniami na jego rzecz (zł)

616A Struktura źródeł fi nansowania (dla 1 wybranego miasta)

616B Struktura źródeł fi nansowania (dla grupy wybranych miast)

617A Efektywność muzeów w pozyskiwaniu i wypracowywaniu środków (dla 1 wybranego miasta)

617B Efektywność muzeów w pozyskiwaniu i wypracowywaniu środków (dla grupy wybranych miast)

Jednolite, bo oparte na tak samo lub podobnie zdefi niowanych miernikach wskaźniki, pozwalają na dokonywanie wiarygodnych porównań w czasie i na tle

84 Program uruchomiony 29 marca 1996 roku z inicjatywy czterech ogólnopolskich stowarzyszeń samorządowych: Związku Miast Polskich, Unii Metropolii Polskich, Związku Gmin Wiejskich Rzeczypospolitej Polskiej, Unii Miasteczek Polskich. W celu uzyskania dla SAS fi nansowej i me-nedżerskiej pomocy, organizacje te zawarły umowę z United States Agency for International De-velopment (29 maja 1996 r.) oraz brytyjskim Know How Fund (7 stycznia 1997 r.). Wykonywane w ramach SAS diagnozy i analizy mają wspierać samorządy miejskie w zarządzaniu, podejmowa-niu decyzji fi nansowych, dbałości o odpowiednią efektywność świadczonych usług publicznych i satysfakcję ich odbiorców. www.sas.zmp.poznan.pl


innych samorządowych gmin. Wskaźniki nr 601–603 oraz 616–617 mają szcze-gólne znaczenie przy ocenie pozycji instytucji i gmin w skali kraju.

W odniesieniu do teatrów System SAS proponuje 23 następujące wskaźniki ilościowe:

401 Liczba przedstawień w przeliczeniu na 1000 mieszkańców

402 Liczba widzów w przeliczeniu na 1000 mieszkańców

403 Liczba mieszkańców przypadająca na 1 teatr

404 Liczba widzów w przeliczeniu na 1 przedstawienie

405 Liczba przedstawień przypadających na 1 pracownika (etat przeliczeniowy)

406 Liczba widzów przypadających na 1 pracownika

407 Koszty bieżącej działalności w przeliczeniu na 1 widza (zł)

408 Koszty działalności statutowej w przeliczeniu na 1 widza (zł)

409 Koszty bieżącej działalności w przeliczeniu na 1 przedstawienie (zł)

410 Koszty działalności statutowej w przeliczeniu na 1 przedstawienie (zł)

411 Liczba zatrudnionych (w etatach przeliczeniowych) w 1 placówce

412 Udział wynagrodzeń pracowników (wraz ze świadczeniami na ich rzecz) w kosztach bieżącej działalności instytucji (%)

413 Średnie wynagrodzenie 1 zatrudnionego wraz ze świadczeniami na jego rzecz (etat przeli-czeniowy, w zł)

414A Struktura źródeł fi nansowania (dla wybranego 1 miasta)

414B Struktura źródeł fi nansowania (dla grupy wybranych miast)

415A Efektywność teatrów w pozyskiwaniu i wypracowywaniu środków (dla wybranego 1 miasta)

415B Efektywność teatrów w pozyskiwaniu i wypracowywaniu środków (dla grupy wybranych miast)

416A Liczba widowisk w salach teatralnych w placówce macierzystej w teatrach wg rodzaju (teatry dramatyczne, muzyczne, operowe, tańca, lalkowe, off owe, inne)

416B Liczba widzów widowisk w salach teatralnych w placówce macierzystej

417A Liczba widowisk plenerowych wystawianych przez poszczególne teatry (dramatyczne, mu-zyczne, operowe, tańca, lalkowe, off owe, inne)

417B Liczba widzów widowisk plenerowych wystawianych przez poszczególne teatry (dramatycz-ne, muzyczne, operowe, tańca, lalkowe, off owe, inne)

418A Liczba widowisk w przestrzeniach nieteatralnych wystawianych przez poszczególne teatry (dramatyczne, muzyczne, operowe, tańca, lalkowe, off owe, inne)

418B Liczba widzów teatralnych widowisk w przestrzeniach nieteatralnych wystawianych przez poszczególne teatry (dramatyczne, muzyczne, operowe, tańca, lalkowe, off owe, inne)

Dla porównania, dobrą bazę wskaźników dla teatrów stworzono w Raporcie

o stanie teatru polskiego85. Choć nie zostały one formalnie zewidencjonowane, można je zgrupować wokół sześciu zagadnień dotyczących: 1) płac i fi nansów, 2) kadry, 3) spektakli, 4) widowni, 5) organów założycielskich, 6) aktorów (w roz-

85 Raport o stanie polskiego teatru za rok 2001, opr. zbiorowe pod kier. Andrzeja Rozhina, ZG ZASP, Warszawa 2003. Raport został stworzony w oparciu o dane 90 spośród 104 wówczas pol-skich teatrów dramatycznych, muzycznych i lalkowych. Zob. także: Roman Pawłowski, Raport o stanie teatru, Gazeta Wyborcza z dnia 3 kwietnia 2003 r.


biciu na aktorów teatrów dramatycznych, lalkowych, operowych i bez stałego zatrudnienia na etacie). W każdej grupie znajdujemy dane do zdefi niowania i ob-liczenia szeregu wskaźników. Na podstawie danych dotyczących ostatniej, szóstej grupy można znakomicie zbadać aktywność zawodową artystów scen polskich. Czego brakuje, to wskaźników służących analizie aktywności regionalnych od-działów ZASP oraz innych stowarzyszeń i związków teatralnych działających na terenie kraju, ich udziału w produkcjach pozostających w ofercie teatralnej, wskaźników pozwalających – poza liczbą premier, zbadać stosunek przedstawień niskoobsadowych do wysokoobsadowych, a także badania całego obszaru festi-wali teatralnych (liczba, charakter, rozmiar, jakość).

Mimo założenia autorów, że tego typu raporty będą opracowywane corocznie, wydany w 2003 roku raport, prezentujący dane i analizy dotyczące roku 2001, pozostał jedynym tego typu opracowaniem sektorowym w Polsce.

Wracając jednak do systemu SAS, nie w pełni uwzględniono tam wskaźniki, dotyczące innych zadań niż prowadzenie miejskich instytucji czy realizacja pro-gramów dofi nansowań, choć wymagałoby to z pewnością uszczegółowienia po-ziomu ankiet. Dla lepszego zobrazowania procesów zarządzania zadaniami kul-tury przez polskie miasta, warto byłoby, na przykładzie działań podejmowanych przez Gminę Miejską Kraków, uwzględnić następujące wskaźniki ilościowe :– liczba wniosków o przyznanie stypendium twórczego– liczba wniosków o przyznanie nagród w dziedzinie kultury (Nagrody Miasta

Krakowa)– liczba podmiotów sponsorujących kulturę (w przypadku Krakowa liczba pod-

miotów zgłoszonych do tytułu Mecenasa Kultury Krakowa, w innych przy-padkach np. fi rmy partycypujące w realizacji najważniejszych miejskich wy-darzeń)

– liczba informacji w mediach o trybie i terminach realizacji projektów – średnia wartość jednej zawartej umowy (wartość środków wydatkowanych

przez liczbę zawartych umów ogółem)– koszt przyznania 1 stypendium, 1 nagrody, uhonorowania tytułem Mecenasa

Kultury Krakowa itd. (w tych przypadkach ważne, w jaki sposób zdefi niowano wskaźniki i w jaki sposób się je wylicza)

– liczba i koszt utrzymania instytucji współprowadzonych z innym samo-rządem.

W przypadku rozdysponowywanych środków katalog można wzbogacić o na-stępujące wskaźniki:– liczba projektów zrealizowanych przy udziale fi nansowym Gminy (bez wzglę-

du na tryb rozpatrzenia oraz z podziałem na dotacje i zakup usług)– średnia wysokość wsparcia (stosunek liczba środków ogółem do liczby umów,

niezależnie od zadania, z wyłączeniem stypendiów, nagród i Mecenasa Kul-tury Krakowa)


– średnia cena biletu wstępu (z podziałem na kategorie instytucji kultury i rodzaj usługi)

– w przypadku dotacji z UMK – badanie, czy wpłynęła ona na obniżenie ceny wstępu.

Szereg wzorcowych wskaźników, które mogą być stosowane nie tylko dla jed-norazowych projektów, ale długoterminowych programów i polityk w obszarze kultury, to wskaźniki sformułowane dla programów operacyjnych Ministerstwa Kultury i Dziedzictwa Narodowego. Programy te stanowią część Narodowej Stra-

tegii Rozwoju Kultury na lata 2004–2013 i Uzupełnienia do Narodowej Strategii

Rozwoju Kultury na lata 2006–202086, której autorzy w kwestiach wdrożenia, ograniczyli się do tego, co policzalne, co można przełożyć na język liczb. Wśród długoterminowych efektów znalazły się takie jak: zmniejszenie dysproporcji w do-stępie do kultury w regionach, zwiększenie udziału kultury w PKB, zwiększenie liczby zatrudnionych w przemysłach kultury, radykalna poprawa podstawowej infrastruktury kultury i stanu zabytków, stworzenie markowych produktów tu-rystyki kulturowej, wykształcenie instytucjonalnych więzi pomiędzy kulturą, edu-kacją i nauką w kształtowaniu kapitału społecznego87.

Ponadto autorzy strategii liczą, że programy operacyjne spowodują szybki rozwój w wybranych sferach kultury, a mianowicie w sektorze książki (wzrost znaczenia książki w procesie wychowania i edukacji, szerokie rozpowszechnienie polskiej literatury na świecie), bibliotek (wzrost liczby i jakości zbiorów biblio-tecznych, uzupełnienie sieci bibliotek, digi talizacja i udostępnienie zbiorów bi-bliotecznych w Internecie), ochrony zabytków (stworzenie pełnej dokumentacji zabytków, rewaloryzacja i adaptacja na cele kulturalne zabytków o znaczeniu regionalnym, zwiększenie udziału sektora komercyjnego w rewitalizacji zabyt-ków), szkolnictwa wyższego (dostosowanie systemu wyższego szkolnictwa arty-stycznego do rynku pracy, wzmocnienie materialnej bazy szkół artystycznych), promocji polskiej sztuki i artystów (utworzenie efektywnego systemu bezpośred-niej promocji twórczości, rozwinięcie rynku dzieł sztuki). W przypadku instytu-cji kultury przyczynią się do restrukturyzacji i poprawy infrastruktury, powsta-nia narodowych i regionalnych kolekcji dzieł sztuki współczesnej, a także sieci centrów sztuki nowej i muzeów nowoczesności, wesprą proces regulacji statusu prawnego muzealiów w muzeach państwowych i samorządowych), na koniec: wzrost atrakcyjności oferty artystycznej oraz wzrost wszechstronnego uczestnic-twa w kulturze.

Zestaw wskaźników sformułowanych dla programów operacyjnych Minister-stwa Kultury i Dziedzictwa Narodowego88 warto by uzupełnić o istotny, odwzo-

86 Narodowa Strategii Rozwoju Kultury na lata 2004–2013 i Uzupełnienia do Narodowej Strategii

Rozwoju Kultury na lata 2006–2020, jw.87 Jw. 125.88 Wskaźniki dostępne na stronach www.mk.gov.pl .


rowujący w pewnym sensie jakość i wagę przedsięwzięcia i świadczącego o jego oddźwięku społecznym – liczby recenzji lub odnotowań w prasie czy innych mediach, ewentualnie odwołań w literaturze.

KULTURA A ROZWÓJ GOSPODARCZY

Przez lata nie doceniano roli i udziału kultury w rozwoju gospodarczym. Tym-czasem, jak dowiódł John Myerscough w swojej książce Th e Economic Importance

of the Arts (1986), okazało się, że przemysły kultury odgrywają ogromną rolę na rynku pracy, są kołem napędowym turystyki i przemysłu. Przemysł kultury zatrudnia więcej osób niż motoryzacyjny89. W Europie w połowie lat 90. XX wieku podjęto badania w zakresie udziału kultury w rozwoju gospodarczym, co znalazło odzwierciedlenie w bogatej literaturze.

Przełomowym w Polsce dokumentem, bo pierwszym wyraźnie pokazującym znaczenie kultury w procesie rozwoju gospodarki narodowej, poprzez wyliczenie i udowodnienie, jak wysoki procentowo jest udział PKB wytwarzanego w kul-turze i przemysłach kultury w ogólnej wartości PKB w naszej gospodarce, jest wspominana już, powstała za kadencji Waldemara Dąbrowskiego (2002–2005) – Narodowa Strategia Rozwoju Kultury90. Przyjęta w dokumencie perspektywa każe postrzegać kulturę i jej rozwój w ścisłym powiązaniu z rozwojem ekonomicznym,

zarazem tworzy podstawy do traktowania kultury nie tylko jako odbiorcy efektów wzro-

stu gospodarczego, ale właśnie jako stymulatora rozwoju, m.in. poprzez rosnący udział

sektora kultury w PKB91. Istotnie, po raz pierwszy na taką skalę w dokumencie mini-sterialnym dostrzeżono i doceniono wpływ kultury na rozwój gospodarki narodowej. Czytamy: Udział procentowy PKB wytwarzanego w kulturze i przemysłach kultury

jest wysoki i kształtował się w 2002 r. na poziomie 4,5%, a udział w wartości

dodanej brutto w 2002 r. – na poziomie 5,2%. Podobny poziom tych wskaźników

(średni udział w PKB i wartości dodanej brutto) występuje w rozwiniętych krajach

w Europie92. Z pewnością udział kultury w PKB jest wskaźnikiem istotnym, bo – podob-

nie jak wskaźnik poziomu zatrudnienia w sektorze kultury – oddziałuje na wy-obraźnię ekonomistów. To znakomity argument w lobbowaniu na rzecz kultury, jednak trzeba mieć świadomość, że generują go przede wszystkim przemysły kultury, a więc aby nie pominąć tego co istotne, należy wyznaczać też wskaźniki jakościowe.

89 Zob.: Bożena Gierat-Bieroń, Marcin Galent, Wielka Brytania, [w:] Europejskie modele zarzą-

dzania kultura, (red.) Bożena Gierat-Bieroń, Krzysztof Kowalski, Kraków 2005, s. 17.90 Narodowa Strategia Rozwoju Kultury na lata 2004–2013, Warszawa 2004, www.mk.gov.pl.91 Jw., s. 110. 92 Jw., s. 70.


WNIOSKI

Ewaluacja w zakresie zarządzania zadaniami kultury w administracji publicz-nej to bardzo szeroki i złożony problem. W przypadku tak dużej miejskiej gminy jak Gmina Miejska Kraków obejmuje wiele płaszczyzn, wśród których należy uwzględnić zarówno zarządzanie strategiczne gminnymi instytucjami kultury, za-rządzanie różnorodnymi programami na rzecz kultury, sztuki i artystów, działania i programy na rzecz ochrony zabytków, promocja kultury i artystów Krakowa poza granicami miasta i kraju, ale także zarządzanie zasobami ludzkimi w celu efektywnej realizacji zadań publicznych. W niniejszym artykule dotknęłam zale-dwie części z nich, starając się – z uwagi na zbyt niski poziom wykorzystywania ewaluacji jako techniki podnoszącej jakość zarządzania w sektorze publicznym – przede wszystkim podkreślić istotę ewaluacji poza obszarem projektów reali-zowanych z funduszy unijnych.

Gmina Miejska Kraków – zapewne podobnie jak większość samorządów – w zakresie zarządzania zadaniami publicznymi w sektorze kultury zbyt małą wagę przywiązuje do mierników i wskaźników ilościowych, nie wspominając już o jakościowych. Nie podlegają one analizom, publikowane w raportach o stanie miasta nie są opatrzone komentarzem. W wielu przypadkach nie jest jasne, czy matematyczny wzrost wskaźnika winien cieszyć czy niepokoić, i trudno w takiej sytuacji odwoływać się do strategii rozwoju kultury i wyznaczonych w niej celów, ponieważ nie sformułowano takiego dokumentu.

Gmina Miejska Kraków nie korzysta też z metod i technik ewaluacji demo-kratycznej, włączającej lokalne społeczności w procesy decyzyjne. Nie jest wystar-czająco zainteresowana opinią publiczną, bo nie inicjuje tego typu badań, choć znakomitą ku temu okazją były obchody jubileuszu 750-lecia lokacji Krakowa. Miasto zdaje się nie być zainteresowane budowaniem zaufania pomiędzy badają-

cymi a badanymi93. Podobnie nie inicjuje się w Krakowie dialogu z mieszkańcami (w tym artystami-mieszkańcami) na temat ich oczekiwań w obszarze kultury i sztuki, przedkładając ponad zasady demokracji autorytarny styl zarządzania zadaniami kultury. W Krakowie, mieście artystów, rzadko pyta się artystów o zda-nie94.

93 Na koniec odwołam się jeszcze do defi nicji ewaluacji, sformułowanej przez Katarzynę Ekiert: Badania ewaluacyjne są metodą wieloaspektowej (uwzględniającej wskaźniki o charakterze społecznym

i ekonomicznym), demokratycznej oceny jakości i efektywności programów, projektów, a nawet polityk

publicznych. Ich zaletami są przede wszystkim: uwzględnianie perspektyw podstawowych grup zaan-

gażowanych w przedmiot badania, budowanie zaufania pomiędzy badającymi i badanymi, a także

inicjowanie zmian postaw jednostek i grup w kierunku większej otwartości na zmiany, innowacje i pod-

noszenie jakości własnych działań. K. Ekiert, jw. s. 1. 94 Jeszcze na przełomie XX i XXI wieku tradycją były spotkania zarządzających kulturą z przed-stawicielami środowisk twórczych, wielokrotnie inicjatorem spotkań była Gmina Miejska Kraków. Spotkania te dotyczyły spraw merytorycznych, nie były okazjonalnymi spotkaniami z okazji świąt i wymiany życzeń.


Brak rzetelnej diagnozy stanu kultury i ewaluacji procesu zarządzania za-daniami kultury. Brak rzetelnych badań sektora kultury, obejmujących zarówno twórców i animatorów kultury, jak i jej odbiorców95.

Rozbieżności w postrzeganiu kultury w Krakowie i działań gminnego samo-rządu przez władze miejskie oraz przez artystów i mieszkańców tego miasta stanowią często przyczynę nieporozumień. Choć bowiem Gmina Miejska Kra-ków jest dobrze oceniana na zewnątrz, czego dowodem może być uznanie jej za jedną z lepiej rozwijających się gmin miejskich w przeprowadzonych w 2006 roku rankingach, to jednak działania gminnego samorządu w sektorze kultury nie są pozytywnie postrzegane przez lokalną społeczność96. A przecież – jak uważa John Holden – najważniejszym argumentem przemawiającym za powodami fi nanso-wania kultury pozostaje fakt, że chce tego społeczeństwo97.

Celnie formułuje misję organizacji samorządowej Janusz Tadeusz Hrynkie-wicz98 podkreślając, że samorząd powinien dążyć do zaspokojenia potrzeb czło-wieka jako obywatela demokratycznego państwa, starając się jak najlepiej pogo-dzić wolność jednostki i konieczność koordynacji zbiorowych działań, tworząc warunki do realizowania idei wolności obywatelskich i przeciwdziałania alienacji

władzy99. Przedstawiciele władz samorządowych nie zawsze chcą jednak pamiętać, że

winni być narzędziem realizacji woli mieszkańców100 i dlatego mieszkańcy nie tyl-ko mają pełne prawo do informacji na temat zasad i kryteriów podejmowania decyzji, kosztów ich realizacji, ich efektów w krótszej i dłuższej perspektywie czasu, ale także wpływu na same decyzje, uczestniczenia w procesie ich podej-mowania. W ten sposób mogą nie tylko nadzorować działania władz wybranych przez siebie w drodze wyborów, ale i w pewnym sensie dzielić odpowiedzialność za podejmowane decyzje. Oczywiście nie należy konsultacji społecznych mylić

95 Opracowana przez fi rmę Eskadra Strategia Promocji Krakowa, choć dotyczy także promocji miasta poprzez kulturę, nie zawiera elementów diagnozy tego sektora. Sformułowana naprędce subiektywna opinia na temat gminnych instytucji kultury, zawarta w strategii, nie została poparta żadnymi badaniami, co więcej, jest sprzeczna z opinią osób uczestniczących w ofercie tych insty-tucji (niektóre z gminnych instytucji kultury realizują badania opinii publicznej, do których nie próbowali dotrzeć autorzy Strategii).96 W wyniku plebiscytu Słodki sukces lub do chrzanu Prezydent Miasta Krakowa został obdaro-wany przez czytelników „Gazety Wyborczej”, widzów TV3 Kraków oraz słuchaczy Radia Złote Przeboje „słoikiem chrzanu” za brak polityki kulturalnej (31 XII 2005). 97 Th e answer to the question ‘why to found culture?’ should be ‘because the public wants it’. John Holden, Cultural value and the crisis of legitimacy. Why culture needs democratic mandate, Demos, London 2006, www.demos.co.uk, s. 13. 98 Profesor nadzwyczajny Uniwersytetu Warszawskiego (Centrum Europejskich Studiów Lokal-nych i Regionalnych).99 Janusz T. Hrynkiewicz, Administracja samorządowa – misje, własność i kontekst organizacyjny [w:] „Samorząd Terytorialny” nr 10 (166)/2004, s. 32.100 Jw., s. 36.


z „rozmyciem” odpowiedzialności za sprawy kultury, która spoczywa na konkret-nych, powołanych na konkretne stanowiska osobach. Każdy z decydentów winien mieć własną, jasno sprecyzowaną wizję kultury, wpisaną w strategię rozwoju kul-tury w danym mieście czy regionie, aby nie poddawać się prądom chaosu. Każdy powinien umieć podejmować decyzje, nawet ryzykowne, i bronić ich. Jeśli decyzje te nie wynikają z indywidualnych przesłanek, jeśli mają uzasadnienie w strate-gii wypracowanej z udziałem lokalnej społeczności, decydenci mają potencjalnie większe szanse na akceptację społeczną i odniesienie sukcesu w zarządzaniu.

Obywatele powinni być przekonani, że samorząd, na którego czele stoją ich przedstawiciele, działa zgodnie z ich oczekiwaniami. To również decyduje o zna-czeniu i roli ewaluacji.

BIBLIOGRAFIA

LITERATURA

Bendixen Peter, Wprowadzenie do ekonomiki kultury i sztuki, Wydawnictwo UJ, Wydanie I, Kraków

2001.

Dziedzictwo kulturowe Warszawy. Seminarium „okrągłego stołu”, (red.) Dorota Ilczuk i Andrzej To-

maszewski, Strategia rozwoju kulturalnego Warszawy. Prace przygotowawcze, Zarząd Miasta

Stołecznego Warszawy, Instytut Kultury, Warszawa 2000.

Egon G. Guba, Yvonne S. Lincoln, Fourth Generation Evaluation, SAGE Publications, Newbury

Park – London – New Dehli 1989.

Ekiert Katarzyna, Ewaluacja w administracji publicznej, Rządowe Centrum Studiów Strategicz-

nych, sierpień 2004, http://www.pte.org.pl/repository/fi les/PTE/Ewaluacja_w_administra-

cji_publicznej.pdf

Gierat-Bieroń Bożena, Galent Marcin, Wielka Brytania, [w:] Europejskie modele zarządzania kul-

turą, red. Bożena Gierat-Bieroń, Krzysztof Kowalski, Kraków 2005.

Holden John, Cultural value and the crisis of legitimacy. Why culture needs democratic mandate, Demos,

London 2006, www.demos.co.uk

Holden John, Cenić kulturę, [w:] Zarządzanie w kulturze, tom 6, (red.) Gaweł Łukasz, Orzechowski

Emil, Wydawnictwo UJ, Prace Wydziału Zarządzania i Komunikacji Społecznej Zeszyt 8, Kraków

2005.

Hrynkiewicz Janusz T., Administracja samorządowa – misje, własność i kontekst organizacyjny [w:]

Samorząd Terytorialny Nr 10(166)/2004.

Ilczuk Dorota, Górski Robert, Finansowanie kultury w Warszawie [w:] Kultura w Warszawie. Eks-

pertyzy., Strategia Rozwoju Kulturalnego Warszawy. Prace przygotowawcze. Zarząd Miasta

Stołecznego Warszawy, Warszawa 2000.

Kaplan Robert S. i Norton David P., Strategiczna Krata Wyników, Warszawa 2001.

Kietlińska Krystyna, Finansowanie kultury. Dylematy teorii i praktyki, Wydawnictwo Uniwersytetu

Łódzkiego, Łódź 1995.

Kisilowska Małgorzata, Obserwatorim kultury jako ośrodek zarządzania wiedzą”, Narodowe Cen-

trum Kultury, Warszawa, 2005.

Kożuch Barbara, Zarządzanie publiczne jako dyscyplina naukowa [w:] „Zarządzanie publiczne”, Ze-

szyt Naukowy ISP UJ, Nr 1/2005, Kraków 2005.


Krzysztofek Kazimierz, Ewolucja założeń i programów polityki kulturalnej w Polsce [w:] Kultura

polska w dekadzie przemian (red.) Teresa Kostyrko, Marcin Czerwiński, Instytut Kultury, War-

szawa 1999.

Krzysztofek Kazimierz, Tożsamość Polaków w epoce sieci, [w:] W poszukiwaniu kompasu dla Polski. Po

II Kongresie Obywatelskim, (red.) Jan Szomburg, IBnGR, Gdańsk 2007.

Kultura w Warszawie. Ekspertyzy. Strategia rozwoju kulturalnego Warszawy. Prace przygotowaw-

cze, (red.) Jerzy Gmurek, Warszawa 2000.

Lewandowski Mateusz, Zmiany w sposobach zarządzania a pomiar efektywności zarządzania w in-

stytucjach kultury [w:] Zarządzanie w kulturze, tom 7, pod red. Łukasza Gawła i Emila Orze-

chowskiego, Wydawnictwo UJ, Prace Wydziału Zarządzania i Komunikacji Społecznej Zeszyt 9,

Kraków 2006.

Markowski Tadeusz, Zarządzanie rozwojem miast, Wydawnictwo Naukowe PWN, Warszawa

1999.

Matarasso Francois, Defi ning values. Evaluating arts programmes, Th e social impact of the art Work-

ing paper 1, Comedia, 1996, www.comedia.org.uk

Monitorowanie usług publicznych w Miastach, Tom II, Analiza porównawcza, Mirosława Posern-

Zielińska (red.), Związek Miast Polskich, Poznań 2003.

Plebańczyk Katarzyna, Górski Piotr, Oferta kulturalna Krakowa 2005 w opinii jej odbiorców, Kra-

ków, 2005

Podczaska Agata, Kujawska-Krakowiak Kamila, Sponsoring kultury i sztuki w praktyce, Warszawa

2007.

Prawelska-Skrzypek Grażyna, Zarządzanie administracją publiczną i instytucjami non-profi t, [w:]

Maria Kocójowa (red.) Zarządzanie i komunikowanie, Kraków 1999

Prawelska-Skrzypek Grażyna, Analiza efektywności funkcjonowania wybranych muzeów, instytucji te-

atralnych, muzycznych i wystawienniczych w Krakowie, [w:] Zarządzanie w kulturze tom 2, (red.)

Katarzyna Barańska, Katarzyna Plebańczyk, Emil Orzechowski, Kraków 2001, s. 197–218

Prawelska-Skrzypek Grażyna, Pogłębiona analiza efektywności funkcjonowania jednostek i instytucji

kultury w Krakowie, [w:] Zarządzanie w kulturze, (red.) Robert Kardzis, Emil Orzechowski,

Kraków 2000, s. 163–188.

Prawelska-Skrzypek Grażyna, Polityka kulturalna polskich samorządów. Wybrane zagadnienia, Wydaw-

nictwo UJ, Kraków 2003.

Raport o stanie polskiego teatru za rok 2001, opr. zbiorowe pod kier. Andrzeja Rozhina, ZG ZASP,

Warszawa 2003.

Schuster J. Mark, Informacja w polityce kulturalnej, WUJ, Kraków 2007.

Sekutowicz Katarzyna, Monitorowanie i ewaluacja, www.fi lantropia.org.pl/wiedza/teoria/m2/

katarzyna_sekutowicz_monitorowanie_i_ewaluacja.pdf

Sienkiewicz Piotr, prof. dr hab. inż., Rozwój metod i zastosowań analizy systemowej i inżynierii sys-

temów, Zeszyty Naukowe AON nr 2(51) 2003.

Stanley Dick, Beyond the economics: Developing indicators of the social eff ects of culture, Quebec, Kana-

da, czerwiec 2001, www.culturestatistics.net/Stanley.pdf .

Szulborska-Łukaszewicz Joanna, Miejskie Instytucje Kultury. Przewodnik, Kraków 2002.

Th rosby David, Determining the value of cultural goods: How much (or how little) does contingent valu-

ation tell us? www.culturescope.ca

Toulemonde Jacques, Evaluation culture(s) in Europe: diff erences and convergence between national

practices, http://www.danskevalueringsselskab.dk/pdf/Toulemonde_paper.pdf .

Warszawa w kulturze. Kultura w Warszawie. Rozmowy z ludźmi Warszawy, Strategia rozwoju kultu-

ralnego Warszawy. Prace przygotowawcze, (red. nauk.) Andrzej Siciński, Warszawa 2000.


DOKUMENTY

Plan ewaluacji Małopolskiego Regionalnego Programu Operacyjnego na lata 2007–2013, Zarząd

Województwa Małopolskiego, Kraków grudzień, 2007

Strategia Promocji Krakowa, przyjęta Uchwalą Nr XXXVI/316/04 Rady Miasta Krakowa z 14 stycz-

nia 2004 roku w sprawie przyjęcia Strategii Promocji Krakowa.

Strategia Rozwoju Krakowa. Misja i cele główne, Zarząd Miasta Krakowa, sierpień 1999, przyjęta

Uchwałą Nr XXXIII/235/99 RMK z dnia 20 października 1999 r., (Uchwała Nr XXXIII/235/99

Rady Miasta Krakowa z 20 października 1999 r. w sprawie Strategii Rozwoju Krakowa).

Strategia Rozwoju Krakowa, przyjęta Uchwałą Nr LXXV/742/05 Rady Miasta Krakowa z 13 kwietnia

2005 roku w sprawie przyjęcia Strategii Rozwoju Krakowa.

Strategia Rozwoju Małopolski na lata 2000–2006, Kraków 1999.

Strategia Rozwoju Województwa Małopolskiego, przyjęta Uchwałą Nr XXIII/250/200 z 28 sierpnia

2000 r. w sprawie przyjęcia Strategii Rozwoju Województwa Małopolskiego.

Strategia wspierania rozwoju społeczeństwa obywatelskiego na lata 2007–2013, Ministerstwo Polityki

Społecznej, Warszawa 2005.

Uzupełnienie Narodowej Strategii Rozwoju Kultury na lata 2004–2020, Warszawa 2005; www.mk.gov.

pl.

Strategia Muzeum Historycznego Miasta Krakowa na lata 2006–2014, Muzeum Historyczne Miasta

Krakowa, FRDL MISTiA, Kraków 2006.

AKTY PRAWNE

Ustawa z dnia 24 kwietnia 2003 r. o działalności pożytku publicznego i o wolontariacie, DzU z 29 maja

2003 r., nr 96, poz. 873.

Ustawa z dnia 8 marca 1990 r. o samorządzie gminnym (tekst jednolity: DzU z 2001 r., nr 142,

poz. 1591 z późn. zm.).

Beata Bujak-Szwaczka

Źródła informacji o obowiązkach ewaluacyjnych oraz standardach i metodach ewaluacyjnych

Analizując zagadnienia związane z interwencjami publicznymi, można stwier-dzić, że obowiązki związane z ewaluacją wskazano w prawie wyraźnie jedynie w odniesieniu do interwencji współfi nansowanych z funduszy strukturalnych. Ustawodawstwo polskie nie wskazuje wprost obowiązków prowadzenia oceny interwencji publicznych i można śmiało postawić tezę, że zainteresowanie tą sferą przyszło wraz z pieniądzem europejskim. Obecność badań ewaluacyjnych w polskiej administracji publicznej jest obecnie związana przede wszystkim z ob-sługą funduszy strukturalnych Unii Europejskiej. Jest to jednak nowy element procesu zarządzania programami, który stopniowo jest wprowadzany na polski grunt i powoli przynosi efekty na poziomie przyszłych interwencji publicznych.

Przegląd w rozdziale został dokonany pod kątem uregulowań, zaleceń, wy-tycznych oraz wskazówek zarówno dla administracji publicznej – jako odpowie-dzialnego za programowanie rozwoju, jak i projektodawcy w ramach funduszy europejskich. Poszczególne programy coraz częściej wskazują konieczność pro-wadzenia ewaluacji na poziomie projektu, jednak nie wskazują, czego powin-na dotyczyć, jak ją prowadzić i jak korzystać z jej wyników. W tym względzie powołuje się jedynie na dobre praktyki zarządzania lub praktykę innych źródeł fi nansowania, w których obowiązek prowadzenia ewaluacji czy oceny był opisany metodologicznie.

Podsumowując zagadnienie źródeł informacji o wymogach ewaluacyjnych w administracji publicznej warto przytoczyć cytat z opracowania Ewaluacja

w administracji publicznej Katarzyna Ekiert, Rządowe Centrum Studiów Strate-gicznych, sierpień 2004:

Zapisy o potrzebie prowadzenia badań ewaluacyjnych pojawiły się w polskiej

administracji publicznej przede wszystkim poprzez odwzorowanie schematów pro-

gramowania europejskich funduszy strukturalnych. Jak dotąd, zapisy takie funkcjo-

212 Beata Bujak-Szwaczka

nują w niewielu dokumentach rządowych. O ile się pojawiają, występują zazwyczaj

w formie lakonicznej, są niedookreślone co do zakresu badania, jego celu, wykonawcy

i sposobu późniejszego wykorzystania uzyskanych wyników. To, biorąc pod uwagę, że

skrupulatne zaplanowanie ewaluacji, w tym uzyskanie dla niej szerokiego poparcia

zwierzchników i innych zainteresowanych, jest niezbędnym warunkiem późniejszego

wykorzystania jej wyników, oznacza potencjalne kłopoty z jej faktycznym przepro-

wadzeniem. Jednocześnie, wraz z coraz szerszym zjawiskiem współfi nansowania pro-

jektów, polityk czy strategii rządowych przez fundusze Unii Europejskiej, spodziewać

się należy, że standard planowania ewaluacji wszystkich istotnych projektów realizo-

wanych przez administrację publiczną będzie coraz częściej przenoszony na działania

niezwiązane fi nansowo z polskim członkostwem we Wspólnocie. Administracja zyska

nowe zadania, wymagające od niej mobilizacji, odpowiedniego przygotowania mery-

torycznego i elastyczności.

Wskazania w tym rozdziale dotyczą więc kolejno:– regulacji prawnych Unii Europejskiej dotyczącej funduszy strukturalnych– regulacji krajowych dotyczących polityki rozwoju– projektów zmian regulacji krajowych– informacji ze stron ministerialnych dotyczących sposobu prowadzenia badań

ewaluacyjnych w okresie programowania 2007–2013– wskazań metodologicznych dotyczących prowadzenia ewaluacji i autoewalu-

acji na przykładzie programów Equal, Leonardo da Vinci oraz innych.

FUNDUSZE STRUKTURALNE UNII EUROPEJSKIEJ

Jeśli chodzi o Fundusze strukturalne, wymogi związane z prowadzeniem ewa-luacji nałożone są już w rozporządzeniu ramowym przez artykuł 47 Przepisy

Ogólne Rozporządzenia Rady nr 1083/2006, ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Fun-duszu Społecznego oraz Funduszu Spójności, w którym jest mowa o koniecz-ności prowadzenia ocen, celu tych ocen, czasie ich dokonywania oraz podmiocie odpowiedzialnym za ich realizację. W ustępie 3 Rozporządzenie wskazuje że: Za przeprowadzenie ocen odpowiedzialne jest państwo członkowskie lub Komisja,

w zależności od przypadku, zgodnie z zasadą proporcjonalności, a w ustępie 5: Ko-

misja udziela indykatywnych wskazówek dotyczących metodologii dokonywania oceny,

w tym w zakresie norm jakościowych, zgodnie z procedurą, o której mowa w art. 103

ust. 2.

Zgodnie z Rozporządzeniem Rady nr 1083/2006 ewaluacja ma na celu po-prawę: jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji pro-

gramów operacyjnych w odniesieniu do konkretnych problemów strukturalnych doty-

kających dane państwa członkowskie i regiony, z jednoczesnym uwzględnieniem celu

w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego

oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko.

Źródła informacji o obowiązkach ewaluacyjnych oraz standardach i metodach... 213

Ewaluacja dotyczy wszystkich Programów Operacyjnych, a odpowiedzialne in-stytucje zostały wskazane w ustawie. Głównym podmiotem systemu wdrażania procesu ewaluacji jest Krajowa Jednostka Oceny, której rolę pełni Departament Koordynacji Polityki Strukturalnej w Ministerstwie Rozwoju Regionalnego (ob-sługą organizacyjną prac KJO zajmuje się Wydział Ewaluacji).

REGULACJE KRAJOWE DOTYCZĄCE POLITYKI ROZWOJU

Obowiązek oceny programów operacyjnych wynika także z przepisów ustawy o zasadach prowadzenia polityki rozwoju (artykuł 17). Zgodnie z tymi przepisa-mi PO KL zawiera opis sposobu monitorowania i oceny stopnia osiągania celów Programu. Niniejszy dokument stanowi uzupełnienie i uszczegółowienie tego opisu, zgodnie z zaleceniami wytycznych Komisji Europejskiej oraz Krajowej Jednostki Oceny.

Artykuł 5 wyżej wymienionej w ustawy formułuje między innymi defi ni-cje w odniesieniu do polityki rozwoju. W punkcie 11 wskazuje: system realizacji

– zasady i procedury obowiązujące instytucje uczestniczące w realizacji strategii roz-

woju kraju, strategii sektorowych, planów wykonawczych, programów operacyjnych

obejmujące zarządzanie, sprawozdawczość, kontrolę i ocenę oraz sposób koordynacji

działań tych instytucji.

Mówi się tu o ocenie działań instytucji uczestniczących w realizacji strategii oraz planów rozwoju.

Dalej w Artykule 26 Ustawa wskazuje: Do zadań instytucji zarządzającej na-

leży w szczególności: (...) monitorowanie postępów w realizacji, ewaluacja programu

operacyjnego oraz stopnia osiągania jego celów. Natomiast w Artykule 35 ww. usta-wy mówi się: Minister właściwy do spraw rozwoju regionalnego, w celu zapewnienia

zgodności sposobu wdrażania programów operacyjnych z prawem Unii Europejskiej

oraz spełniania wymagań określanych przez Komisję Europejską, a także w celu za-

pewnienia jednolitości zasad wdrażania programów operacyjnych, może, z uwzględ-

nieniem art. 26, wydać wytyczne dotyczące programów operacyjnych w zakresie: (...) sposobu oceny programów operacyjnych.

Konsekwentnie wprowadzono zmiany w poszczególnych ustawach (rozdział 6 ustawy o zasadach prowadzenia polityki rozwoju), w tym Ustawie o samorządzie województwa, gdzie mówi się o fi nansowaniu strategii rozwoju regionów przez programy operacyjne, co w praktyce przenosi obowiązek prowadzenia oceny tejże strategii w części współfi nansowanej poprzez te programy na władze samorzą-dowe (Strategia rozwoju województwa jest realizowana przez regionalne programy

operacyjne, o których mowa w ustawie z dnia 6 grudnia 2006 r. o zasadach pro-

wadzenia polityki rozwoju (DzU nr 227, poz. 1658), oraz przez inne instrumenty

prawne i fi nansowe...), to samo dotyczy ustawy o systemie oświaty, o organizo-waniu i prowadzeniu działalności kulturalnej oraz o utworzeniu Polskiej Agencji Rozwoju Przedsiębiorczości.


W sierpniu 2008 na stronach Ministerstwa Rozwoju Regionalnego zaprezen-towany został Projekt ustawy o zmianie niektórych ustaw w związku z wdraża-niem funduszy strukturalnych i Funduszu Spójności. W tym dokumencie oprócz innych zasadniczych zmian prezentuje się zmianę w ustawie o zasadach prowa-dzenia polityki rozwoju. I tak Artykule 5 w ramach punktu 11 wprowadza się zapis:system realizacji – zasady i procedury obowiązujące instytucje uczestniczące w reali-

zacji strategii rozwoju oraz programów, obejmujące zarządzanie, monitoring, ewalu-

ację, kontrolę i sprawozdawczość oraz sposób koordynacji działań tych instytucji; system

realizacji określa również środki odwoławcze przysługujące wnioskodawcy w trakcie

naboru projektów, o których mowa w art. 28 ust. 1 pkt 3.Zmiana wskazuje ewaluację jako nierozerwalnie związaną z realizacją polityki

rozwoju zasadę działania. Jest to bardzo istotna zmiana, która przenosi obowiązek ewaluacyjny do interwencji publicznych o charakterze rozwojowym.

Zmiany w ustawie wskazują na podstawę ewaluacyjną przy tworzeniu pro-gramów i strategii. W artykule 4 mówi się, że politykę rozwoju prowadzi się na

podstawie strategii rozwoju, przy pomocy programów służących osiąganiu celów…,

a dalej w artykule 12 a, mówiącym o zawartości średniookresowej strategii kraju, wskazuje się na …informację o sposobie uwzględnienia rekomendacji wynikających

z raportu ewaluacyjnego, zawierającego szacunkową ocenę skutków strategii, sporzą-

dzonego przed rozpoczęciem jej realizacji.

Ustawa wyraźnie wskazuje na obowiązki prowadzenia ewaluacji programów i strategii oraz uwzględniania rekomendacji raportów ewaluacyjnych w kolejnych okresach fi nansowania:

Artykuł 15 punkt 6:Dla każdego programu instytucja opracowująca program przygotowuje przed jego

przyjęciem raport ewaluacyjny, zawierający ewaluację ex-ante skuteczności i efektyw-

ności realizacji programu.

Punkt 7:Raport ewaluacyjny, o którym mowa w ust. 6, jest przekazywany do wiadomo-

ści odpowiednio Radzie Ministrów lub sejmikowi województwa wraz z projektem

programu.

Oczywiście zapisy ustawy znalazły swoje odniesienie w art. 3. W ustawie z dnia 5 czerwca 1998 r. o samorządzie województwa (DzU z 2001 r., nr 142, poz. 1590, z późn. zm.), wkazując na sposób realizacji strategii rozwoju przez programy wojewódzkie i regionalne.


EWALUACJA PROJEKTU

Jeśli chodzi o projekty współfi nansowane z funduszy strukturalnych w ra-mach poszczególnych Programów Operacyjnych, brak jest „twardych” wymogów związanych z ich ewaluacją. Zaleca się jedynie w podręcznikach dla projektodaw-ców prowadzenie działań ewaluacyjnych oraz możliwość wprowadzenia ich do harmonogramu oraz budżetu projektu. Brak jest jednak czytelnych wskazówek w tym względzie, nawet w poradniku dla projektodawców, dlatego warto korzy-stać z przykładów innych programów, w ramach których prowadzono ewaluacje na poziomie projektu. Przykładem takich programów może być np. program Leonardo da Vinci czy Inicjatywa Equal.1. Poradnik dla wnioskodawców Programu Leonardo da Vinci wskazuje iż Pro-

jekt powinien być ewaluowany podczas całego procesu jego realizacji. Ma to na celu udoskonalanie metod realizacji i osiągnięcie jak najlepszych rezultatów projektów. Chodzi o wyciąganie wniosków z doświadczeń związanych zarów-no z sukcesami, jak i z porażkami wynikającymi z realizacji projektu, tak by można ewentualnie zmienić stosowane metody. Ewaluacja w trakcie trwania projektu jest swego rodzaju mechanizmem samokontroli dla wykonawców projektu, którzy powinni sprawdzać, czy realizują założone cele zgodnie z wy-znaczonym planem pracy – www.leonardo.org.pl.

2. Przewodnik do autoewaluacji projektów realizowanych w ramach Progra-mu Inicjatywy Wspólnotowej EQUAL. Celem niniejszego Przewodnika jest zapoznanie realizatorów projektów prowadzonych w ramach Inicjaty-wy Wspólnotowej EQUAL z założeniami autoewaluacji projektów. Oprócz podstawowych informacji związanych z zagadnieniem ewaluacji zawarte są w nim również praktyczne informacje, jak przygotować i przeprowadzić auto-ewaluację oraz jak wykorzystać jej wyniki, aby dobrze zrealizować projekt i nim zarządzać. – http://www.equal.org.pl/dokumenty.php?CID=23&lang=pl

3. Europejski Fundusz Społeczny – Poradnik dla benefi cjentów Sektorowego Programu Operacyjnego – Rozwój Zasobów Ludzkich – Luty 2007. Podręcz-nik bardzo lapidarnie przedstawia, czym jest i czemu służy ewaluacja projektu, co to jest autoewaluacja projektu oraz jak prowadzić autoewaluację projektu? Nie ma tu jednak precyzyjnych wskazówek co do metod ani procesu.

INFORMACJE ZE STRON MINISTERIALNYCH DOTYCZĄCYCH SPOSOBU PROWADZENIA BADAŃ EWALUACYJNYCH W OKRESIE PROGRAMOWANIA 2007–2013

Bogatym źródłem informacji dotyczącym badan ewaluacyjnych są strony Mi-nisterstwa Rozwoju Regionalnego poświęcone ewaluacji programów. Najważniej-sze dokumenty źródłowe dotyczące sposobu prowadzenia badań ewaluacyjnych w okresie programowania 2007–2013 prezentowane na stronie: http://www.fun-duszestrukturalne.gov.pl/EWALUACJA+funduszy+w+Polsce/metodologia/.


Prezentowane są tam następujące pozycje:Przewodnik po metodach ewaluacji: Wskaźniki monitoringu i ewaluacji. Doku-

ment roboczy nr 2.Wytyczne do obliczenia publicznych lub równoważnych wydatków struktural-

nych dla celów dodatkowości. Dokument roboczy nr 3.Wytyczne dotyczące metodologii przeprowadzania analizy kosztów i korzyści.

Nowy okres programowania 2007–2013. Metodologiczne dokumenty robo-cze. Dokument Roboczy nr 4.

Indicative Guidelines on evaluation methods:evaluation during programming period. Working Document No. 5.

Wytyczne dotyczące pomiaru wpływu funduszy strukturalnych na zatrudnienie. Dokument Roboczy nr 6.

Projekt dokumentu roboczego dotyczący ewaluacji ex-ante 2007–2013 Nowy okres programowania. Metodologiczny dokument roboczy.

Najważniejsze dokumenty źródłowe dotyczące okresu 2004–2006.

Ministerstwo prezentuje tam również Dokumenty metodologiczne. Poniżej zamieszczono najważniejsze dokumenty Komisji Europejskiej dotyczące sposobu prowadzenia badań ewaluacyjnych – z portalu www.funduszestrukturalne.gov.pl dział ewaluacja:Przewodnik po metodach ewaluacji: Wskaźniki monitoringu i ewaluacji. Doku-

ment roboczy KE nr 2.Indicative Guidelines on evaluation methods: evaluation during programming

period. Working Document No. 5.Nowy okres programowania 2007–2013, Wytyczne do obliczenia publicznych

lub równoważnych wydatków strukturalnych dla celów dodatkowości Doku-ment roboczy KE nr 3.

Projekt dokumentu roboczego dotyczący ewaluacji ex-ante 2007–2013. Nowy okres programowania, Metodologiczny dokument roboczy.

Wytyczne dotyczące metodologii przeprowadzania analizy kosztów i korzyści. Nowy okres programowania 2007–2013. Metodologiczne dokumenty robo-cze. Dokument Roboczy KE nr 4.


INFORMACJE ZE STRON MINISTERIALNYCH DOTYCZĄCYCH SPOSOBU PROWADZENIA BADAŃ EWALUACYJNYCH W OKRESIE PROGRAMOWANIA 2007–2013

Najważniejsze dokumenty źródłowe dotyczące sposobu prowadzenia badań ewaluacyjnych w okresie programowania 2007–2013 prezentowane na stronie: http://www.funduszestrukturalne.gov.pl/EWALUACJA+funduszy+w+Polsce/metodologia/:


Przewodnik po metodach ewaluacji: Wskaźniki monitoringu i ewaluacji. Doku-ment roboczy nr 2,

Wytyczne do obliczenia publicznych lub równoważnych wydatków struktural-nych dla celów dodatkowości. Dokument roboczy nr 3

Wytyczne dotyczące metodologii przeprowadzania analizy kosztów i korzyści. Nowy okres programowania 2007–2013. Metodologiczne dokumenty robo-cze. Dokument Roboczy nr 4

Indicative Guidelines on evaluation methods:evaluation during programming period. Working Document No. 5

Wytyczne dotyczące pomiaru wpływu funduszy strukturalnych na zatrudnienie. Dokument Roboczy nr 6

Projekt dokumentu roboczego dotyczący ewaluacji ex-ante 2007–2013 Nowy okres programowania. Metodologiczny dokument roboczy.

Najważniejsze dokumenty źródłowe dotyczące okresu 2004–2006.

DOKUMENTY METODOLOGICZNE

Poniżej zamieszczono najważniejsze dokumenty Komisji Europejskiej doty-czące sposobu prowadzenia badań ewaluacyjnych – z portalu www.fundusze-strukturalne.gov.pl dział ewaluacja:Przewodnik po metodach ewaluacji: Wskaźniki monitoringu i ewaluacji. Doku-

ment roboczy KE nr 2.Indicative Guidelines on evaluation methods: evaluation during programming

period. Working Document No. 5.Nowy okres programowania 2007–2013. Wytyczne do obliczenia publicznych

lub równoważnych wydatków strukturalnych dla celów dodatkowości. Doku-ment roboczy KE nr 3.

Projekt dokumentu roboczego dot. ewaluacji ex-ante 2007–2013. Nowy okres programowania.Metodologiczny dokument roboczy.

Wytyczne dotyczące metodologii przeprowadzania analizy kosztów i korzyści. Nowy okres programowania 2007–2013. Metodologiczne dokumenty robo-cze. Dokument Roboczy KE nr 4.


LITERATURA DOTYCZĄCA EWALUACJI

Bardzo bogatym źródłem informacji o ewaluacji, jej celach, kryteriach, stan-dardach i metodach jest Polskie Towarzystwo Ewaluacyjne. Poniżej prezento-wane są publikacje i opracowania do pobrania na stronie http://www.pte.org.pl/x.php/1,143/Literatura.html


Polska Agencja Rozwoju Przedsiębiorczości wydała publikację pt. Ewaluacja ex-

post. Teoria i praktyka badawcza. Publikację można otrzymać bezpłatnie od 17 stycznia 2008 r. w księgozbiorze PARP, mieszczącym się przy ul. Pańskiej 77/79 w Warszawie, czynnej w godzinach 8:30 – 16:30. Więcej informacji na temat publikacji dostępnych na stronach PARP.

Przewodnik po metodach ewaluacji. Wskaźnik monitoringu i ewaluacji. Przewodnik po metodach ewaluacji i wskaźnikach monitoringu w nowym okresie progra-mowania. Dokument został opracowany przez Komisję Europejską, Dyrekcję Generalną ds. Polityki Regionalnej.

Przewodnik_do_autoewaluacji_projektow_realizowanych_w_ramach_IW_EQUAL

Przewodnik do autoewaluacji projektów realizowanych w ramach Inicjatywy Wspólnotowej EQUAL autorstwa Beaty Ciężkiej.

Ewaluacja – kwestie ogólne. Materiał pochodzący ze szkolenia dla pracowników Instytucji Zarządzającej Podstawami Wsparcia Wspólnoty, Krajowej Jednost-ki Oceny oraz komórek oceny w instytucjach zarządzających poszczególnymi programami operacyjnymi. Autorami opracowania są: Krzysztof Choromań-ski, Beata Ciężka, Grzegorz Dziarski, Justyna Ratajczak, Agnieszka Rudolf, Tomasz Skierniewski oraz fi rma KPMG.

Analiza raportów z ewaluacij mid-term. Analiza raportów z ewaluacji mid-term programów współfi nansowanych przez UE – wnioski dla polskiego syste-mu ewaluacji. Ekspertyza dla Ministerstwa Gospodarki i Pracy sporządzona przez panią Beatę Ciężką.

Studium oceny końcowej PAOW. Raport z ewaluacji ex-post Programu Aktywizacji Obszarów Wiejskich. Program miał charakter ogólnopolski, był prowadzony w okresie od 2000 do 2005 roku, a jego budżet wynosił ponad 260 mln Euro. Ewaluacja została przeprowadzona na zlecenie Jednostki Koordynacji Progra-mu przy Ministerstwie Rolnictwa w okresie od grudnia 2004 do czerwca 2005 roku. Przeprowadziło ją konsorcjum, w którego skład wchodziły: DORAD-CA Consultants Ltd, Pracownia Badań Społecznych, PROEKO oraz Instytut Spraw Publicznych. Badania ewaluacyjne objęły m.in. 4950 ankiet kwestiona-riuszowych i 295 wywiadów pogłębionych.

Ewaluacja w administracji publicznej. Katarzyna Ekiert, Rządowe Centrum Stu-diów Strategicznych, sierpień 2004.

Bbadania ewaluacyjne

typy 12badania ilościowe w ewaluacji 90badania jakościowe w ewaluacji 85cele 85

przykład 149badania nad wartością kultury 193badania sondażowe 90, 91, 104badania społeczne w ewaluacji

przykłady 145, 194benchmarking 78

Ccele interwencji 75, 102

rodzaje 76cele programów i polityk 101, 120, 130

sposób defi niowania 102concept mapping 88

Ddane ewaluacyjne 65, 78

analiza 79, 81, 149dostępność 132pierwotne 78, 85problemy związane z analizą 83typy 80zasady analizy 82zastane 78, 84, 102, 105, 106

defi cyt demokracji 49, 54dekompozycja 78diagnoza gospodarki lokalnej 127, 132

a cztery siły konkurencyjności 124podejścia 134wskaźniki 139znaczenie dla ewaluacji 124

Diagnoza społeczna, badanie 107, 113dobro wspólne 117, 118, 119, 190

Eewaluacja

a ocena 11cele 52defi nicja Unii Europejskiej 10defi nicje 9, 101historia 14, 54podejście i metody badawcze 13, 28,

53system kanadyjski 58typy 53wewnętrzna i zewnętrzna 13w kulturze 179w UE 27znaczenie 23, 41

ewaluacja bieżąca (on-going) 13, 34przykład programów transgranicznych

36przykład ZPORR 34

ewaluacja końcowa (ex-post) 13, 37, 107, 113, 114, 115przykład Gibraltaru 38przykład polskich programów współ-

pracy przygranicznej 39ewaluacja obywatelska 171, 173, 176ewaluacja uczestnicząca 169ewaluacja wstępna (ex-ante) 12, 31, 107

przykład francuski 31przykład Sycylii 32

Ggovernance 23, 56

Kkoncepcje rozwoju regionalnego i lokalne-

go 124kryteria ewaluacji

adekwatność 64

Skorowidz

długotrwałość 101efektywność 101, 191efektywność fi nansowa 64efektywność w instytucjach kultury 197odpowiedniość 101skuteczność 64, 101, 114użyteczność 101, 143

Lliczebność próby 92lokalne strategie i programy rozwoju 123,

143

Mmapa pojęciowa 88meta-ewaluacja 12metody badawcze, przykład 40metody doboru próby 94, 95

NNew Public Management 19, 56, 181

Oobserwatorium kultury 180oddziaływanie 77, 103organizacje strażnicze 51, 169

Ppeer assessment 28poradnik ewaluacyjny Evalsed 28poradnik ewaluacyjny MEANS 28produkty 76, 103pytania ewaluacyjne 39, 65, 81pytania kwestionariuszowe 153

przykład analizy 158, 162pytania otwarte 156

Rreformy zarządzania sektorem publicznym

54, 55reguła SMART 102rezultaty działania 77, 103rozliczalność władz publicznych 50, 56

a ewaluacja 53funkcje 51przykład Kanady 57typy 51w Polsce 69

Sspołeczeństwo obywatelskie 165, 168

a ewaluacja 183a koncepcja New Public Governance

23standardy działania 173Strategia Rozwoju Kultury w Wojewódz-

twie Małopolskim 186Strategia Rozwoju Województwa Mało-

polskiego 86badanie postrzegania zmian 144, 147wskaźniki 146

System Analiz Samorządowych (SAS) 201

Uużyteczność (utylitaryzm) ewaluacji 10,

30, 42, 182

Wwłączanie obywateli 21, 167wskaźniki 72, 74, 200

a cele interwencji 75defi nicja 73, 103dobór 104efektywności 188oceny sytuacji w regionie 153przykład analizy 189przykłady 139, 186, 203, 204przykłady w kulturze 201

współpraca międzysektorowa 177wywiady grupowe (FGI) 89

przykład 150wywiady pogłębione (IDI) 89

przykład 149

Zzarządzanie cyklem projektu 28

Źźródła danych ewaluacyjnych 82

pierwotne 65statystyki publiczne 82system REGON 128wtórne 65

Noty o autorach

BEATA BUJAK-SZWACZKA, ekspert w zakresie zarządzania projektami procedur Europejskiego Funduszu Spo-łecznego; trener europejski, w latach 2005–2006 Koordynator Współpracy Trenerów Krajowego Systemu Przygotowania do Funduszy Strukturalnych (KSP), niezależny ekspert w zakresie programowania rozwoju lokalnego i regionalnego i kształtowania polityki rozwoju, specjalista, konsultant oraz trener pracujący zarówno dla klientów publicznych, jak i prywatnych w zakresie np. analizy kontekstu rozwoju lokalnego i regionalnego, programowania na poziomie regionalnym oraz tworzenia lokalnych i regionalnych polityk i narzędzi realiza-cyjnych, współpracy z sektorem prywatnym i organizacjami pozarządowymi przy projektach międzysektoro-wych, konsultacji społecznych i uspołecznionych procesów programowania.

WOJCIECH DZIEMIANOWICZ, doktor nauk o Ziemi, pracownik naukowo-dydaktyczny Wydziału Geografi i i Studiów Regionalnych Uniwersytetu Warszawskiego. W pracy naukowej koncentruje się na zagadnieniach związanych z bezpośrednimi inwestycjami zagranicznymi, funduszami strukturalnymi oraz polityką rozwoju na poziomie regionalnym i lokalnym. Ostatnio podejmowane przez niego tematy to: pasywność samorządów lokal-nych, sieci gospodarcze oraz subregionalne bieguny wzrostu. Posiada duże doświadczenie we współpracy z róż-nymi szczeblami administracji (w tym rządowej), dla której przygotowuje ekspertyzy i dokumenty strategiczne.

JAROSŁAW GÓRNIAK, dr hab., prof. Uniwersytetu Jagiellońskiego i Wyższej Szkoły Europejskiej im. ks. J. Tichnera, kierownik Zakładu Socjologii Gospodarki i Edukacji Instytutu Socjologii UJ, prodziekan Wydziału Filozofi cznego UJ, kierownik Centrum Ewaluacji i Analiz Polityk Publicznych UJ. Socjolog i ekonomista, specjalista w zakresie socjologii gospodarki i organizacji, metod badań społecznych, metodologii ewaluacji i analizy polityk publicznych. Ekspert w zakresie statystycznej analizy danych. Doświadczony badacz rynku i opinii, przed dziesięcioma laty przesunął ciężar swojej aktywności naukowo-badawczej na zagadnienia ana-lizy polityk publicznych i ewaluacji. Był m.in. konsultantem międzynarodowym UNDP, ekspertem zespołu koordynacyjnego ds. ewaluacji ex-ante dokumentów unijnych na lata 2007–2013 w Ministerstwie Rozwoju Regionalnego. Kierował projektami badawczymi dotyczącymi ewaluacji i wskaźnikowego pomiaru efektów programów publicznych (m.in. w zakresie rynku pracy, wykluczenia społecznego, rozwoju kapitału ludzkiego i rozwoju regionalnego). Konsultant w zakresie programowania i ewaluacji, a także w zakresie metodologii ba-dań i analizy danych w zarządzaniu i marketingu. Członek Rady CBOS oraz SPSS Market Advisory Council.

MAGDALENA JELONEK, doktorantka w Zakładzie Socjologii Gospodarki i Edukacji. Stypendystka Funduszu im. Adama Krzyżanowskiego. Absolwentka socjologii Uniwersytetu Jagiellońskiego (specjalność: socjologia go-spodarki i badania rynku) oraz Akademii Pedagogicznej (specjalność: praca socjalna). Wykładowca w Wyższej Szkole Europejskiej im. ks. J. Tischnera. Prowadzi zajęcia z szeroko rozumianego obszaru badań społecznych, włącznie z zaawansowaną analizą danych. Szczególną uwagę w pracy naukowej poświęca zagadnieniom zwią-zanym z socjologią edukacji, jakością kształcenia, w tym w szczególności z analizą produktywności szkół wyż-szych. Autorka licznych badań diagnozujących sytuację społeczną. Brała udział w wielu projektach badawczych oraz w badaniach diagnozujących sytuację w zakresie kształcenia ustawicznego w województwie małopolskim.

KAROLINA KELER, absolwentka socjologii Uniwersytetu Jagiellońskiego (specjalności: praca socjalna oraz so-cjologia gospodarki i badania rynku), doktorantka w Zakładzie Socjologii Gospodarki i Edukacji Instytutu Socjologii UJ, ponadto wykładowca w Wyższej Szkole Europejskiej im. ks. J. Tischnera, prowadzi zajęcia z obszaru badań społecznych. Jej zainteresowania naukowe skoncentrowane są na problematyce związanej z ewaluacją i analizą polityk społecznych oraz metodologią nauk społecznych, a w szczególności na zagadnie-niu wskaźników społecznych oraz metodologicznej koncepcji wskaźnika.

SEWERYN KRUPNIK, absolwent socjologii Uniwersytetu Jagiellońskiego, stypendysta Antioch College i Th e Ryo ichi Sasakawa Young Leaders Fellowship Fund, w latach 2004-2005 studiował na Uniwersytecie Johanna Wolfganga Goethego we Frankfurcie, doktorant w Zakładzie Socjologii Gospodarki i Badania Rynku UJ, wykładowca w Wyższej Szkole Europejskiej im. ks. J. Tischnera. Prowadzi zajęcia z obszaru badań społecznych. Współuczestniczył w projektach badawczych dotyczących małopolskiej przedsiębiorczości, między innymi dla: Urzędu Marszałkowskiego, Wojewódzkiego Urzędu Pracy, Małopolskiej Agencji Rozwoju Regionalnego oraz Regionalnego Ośrodka Polityki Społecznej. Od kilku lat współpracuje także z Polską Agencją Rozwoju Przedsiębiorczości. Ponadto brał udział w trzech edycjach międzynarodowego badania studentów ESN Survey jako konsultant metodologiczny.

KAROL OLEJNICZAK jest doktorem nauk o zarządzaniu. Ukończył studia magisterskie europejskiej admini-stracji publicznej (European Institute of Public Administration, Holandia) oraz gospodarki przestrzennej (EUROREG – Uniwersytet Warszawski). Realizował szereg ewaluacji programów funduszy strukturalnych i przed akcesyjnych. Badania z zakresu metod i technik ewaluacji prowadził w USA, Wielkiej Brytanii, Au-strii i Irlandii. Jest autorem szeregu ekspertyz i publikacji na temat ewaluacji interwencji publicznych. Jego głównym polem zainteresowań naukowych są: nowoczesne zarządzanie w sektorze publicznym, rozwój regio-nalny oraz współpraca terytorialna. Karol Olejniczak pracuje jako adiunkt w Centrum Europejskich Studiów Regionalnych i Lokalnych (EUROREG) na Uniwersytecie Warszawskim, jest także dyrektorem ds. Strategii i Rozwoju w fi rmie ewaluacyjnej EGO s.c.

BOŻENA PIETRAS-GOC, politolog, ekspert w zakresie rozwoju regionalnego i lokalnego, programowania pro-jektów z udziałem środków publicznych; liczne zrealizowane projekty eksperckie, konsultingowe i szkoleniowe dla władz lokalnych i regionalnych, ministerstw, organizacji pozarządowych, banków i dużych przedsiębiorstw. 1995–2002 twórca i dyrektor departamentu zajmującego się konsultingiem w Małopolskiej Agencji Rozwoju Regionalnego SA. Stypendystka German Marshall Fund of the United States. Koordynatorka projektu „Mało-polska 2015” (prace nad strategią województwa małopolskiego do roku 2015 oraz planem wdrożenia strategii) dla UMWM. Doświadczenia zawodowe to głównie: a) analizy i strategie, programy rozwoju różnych szczebli wraz z procesem konsultacji społecznych, b) projekty typu „capacity building” dla sektora publicznego oraz obywatelskiego oraz c) konsulting strategiczny dla władz publicznych oraz dużych fi rm. Inicjatorka sieci konsultingowej Pro Regio Consulting. Założycielka stowarzyszenia Małopolskie Towarzy-stwo Doradcze – organizacji non-profi t grupującej ekspertów współdziałających z misją promowania zrówno-ważonego rozwoju łączącego efektywność ekonomiczną ze społeczną odpowiedzialnością sektora publicznego i prywatnego.

BEATA PŁOSKONKA, absolwentka fi lologii angielskiej UJ oraz studiów podyplomowych „Przedsiębiorstwo i roz-wój terytorialny w procesie integracji Polski z Unią Europejską”. W latach 1999–2006 urzędnik administracji regionalnej, m.in. jako dyrektor Kancelarii Zarządu, gdzie nadzorowała prace związane z wypracowaniem Strategii Rozwoju Województwa Małopolskiego na lata 2007–2013 oraz współpracę samorządu regionalnego z sektorem organizacji pozarządowych. Uczestnik zespołów roboczych przygotowujących Małopolski Regio-nalny Program Operacyjny na lata 2007–2013. 2007–2008 (do lipca) dyrektor Stowarzyszenia WIOSNA, w którym nadzorowała projekty społeczne, w tym akcję ogólnopolską „Świąteczna Paczka”. Od sierpnia 2008 zastępca dyrektora Gabinetu Wojewody Małopolskiego. Członek założyciel Stowarzyszenia WIOSNA, wice-prezes tego Stowarzyszenia (2007–2008), członek Małopolskiego Towarzystwa Doradczego.

SEWERYN RUDNICKI, socjolog i psycholog społeczny, asystent w Wyższej Szkole Europejskiej im. ks. Józefa Tischnera, badacz i analityk w Centrum Analiz Regionalnych, doktorant w Instytucie Socjologii Uniwersytetu Jagiellońskiego, ekspert w projektach badawczych i rozwojowych. Interesuje się w szczególności metodologią badań społecznych i marketingowych, socjologią internetu i psychometrią.

ROBERT SOBIECH, dr, pracuje w Instytucie Stosowanych Nauk Społecznych Uniwersytetu Warszawskiego i Krajowej Szkole Administracji Publicznej. Wykładowca Podyplomowego Studium Ewaluacji Centrum

Badań Polityki Naukowej i Szkolnictwa Wyższego Uniwersytetu Warszawskiego i Podyplomowego Stu-dium „Public Relations” Uniwersytetu Warszawskiego. Interesuje się zagadnieniami ewaluacji programów publicznych, procesem polityk publicznych i komunikacji społecznej. Autor szeregu badań ewaluacyjnych, realizowanych m.in. dla Polsko-Amerykańskiej Fundacji Wolności, Fundacji Rozwoju Demokracji Lokalnej, Krajowego Centrum ds. AIDS, Krajowego Biura ds. Narkomanii, United Nations Development Programme, European Centre for Social Policy Research. Autor opracowań i analiz dla administracji publicznej (m.in. Kancelarii Prezesa Rady Ministrów, Centrum Informacyjnego Rządu, Urzędu Komitetu Integracji Europej-skiej, Ministerstwa Zdrowia, OECD). Uczestnik rządowego zespołu konsultacyjnego ds. badań społecznych. Autor trzech książek i kilkudziesięciu artykułów wydanych w Polsce i za granicą.

JOANNA SZULBORSKA-ŁUKASZEWICZ, dr nauk humanistycznych w zakresie zarządzania kulturą, teatrolog, pracownik administracji samorządowej z wieloletnim doświadczeniem. Ukończyła studia na Wydziale Filo-logicznym Uniwersytetu Jagiellońskiego w Krakowie, kierunek teatrologia (1991). Pracę doktorską z zakresu zarządzania kulturą (Polityka kulturalna w Krakowie na tle zmian zachodzących w ostatniej dekadzie XX wieku), napisaną pod kierunkiem prof. Emila Orzechowskiego, obroniła na Wydziale Zarządzania i Komunikacji Spo-łecznej Uniwersytetu Jagiellońskiego (2007). Uczestniczyła w licznych warsztatach, seminariach i konferen-cjach z zakresu zarządzania kulturą, m.in.: Th e Amsterdam Summer University (1995), International Centre for Culture and Management (ICCM) w Salzburgu (1996), Centrum Animacji Kultury (2000), Centrum im. Adama Smitha. Pracownik wydziału ds. kultury w Urzędzie Miasta Krakowa w latach 1993–2004 oraz od października 2006 po dziś dzień, w tym w latach 2000–2003 p.o. kierownika referatu Mecenatu Kultury w Wydziale Edukacji i Kultury UMK. Autorka kilkunastu publikacji naukowych.

JANUSZ MACHNICKI, socjolog, dyrektor konsultingu i szkoleń w fi rmie SPSS Polska. Specjalizuje się w metodo-logii badań społecznych i marketingowych oraz analizie zachowań konsumenckich, ze szczególnym uwzględ-nieniem sektora fi nansowego. Kierownik projektowych zespołów analitycznych w wielu bankach i instytucjach fi nansowych oraz projektów realizowanych dla administracji publicznej. Od strony metodologicznej, ale także praktycznej zajmuje się między innymi ewaluacją projektów analitycznych mających na celu wsparcie procesów decyzyjnych w fi rmach i administracji publicznej. W ramach prowadzonych projektów podejmuje także tematy analitycznej oceny efektów projektów oraz działań nakierowanych na klienta. Od wielu lat zajmuje się także działalnością dydaktyczną, prowadząc zarówno szkolenia komercyjne, jak i zajęcia ze studentami w Instytucie Socjologii UJ oraz Wyższej Szkole Europejskiej im. ks. Józefa Tischnera w Krakowie.

BARBARA WOREK, dr, adiunkt w Zakładzie Socjologii Gospodarki i Edukacji Instytutu Socjologii UJ i w Wyż-szej Szkole Europejskiej im. ks. Józefa Tischnera w Krakowie. Socjolog, specjalista w dziedzinie metodologii badań społecznych, marketingowych i ewaluacyjnych; ekspert w dziedzinie metodologii badań jakościowych. W latach 1996–2001 pracowała w Instytucie Badań Rynku i Opinii Publicznej CEM, gdzie zajmowała się analizą danych oraz planowaniem i realizacją badań jakościowych. Uczestniczka wielu polskich i między-narodowych projektów badawczych dotyczących partycypacji obywatelskiej, polityk publicznych, wykluczenia społecznego, rynku pracy i kształcenia ustawicznego. Autorka i współautorka publikacji dotyczących zastoso-wania metod jakościowych w badaniach społecznych, marketingowych i ewaluacyjnych oraz licznych raportów badawczych.

LIDIA ŻURAWICKA, w latach 2002–2008 (do marca) pracownik administracji samorządowej – Departamentu Edukacji i Sportu Urzędu Marszałkowskiego Województwa Małopolskiego. Zaangażowana w realizację pro-jektów z zakresu rozwoju edukacji w regionie, w tym również kształcenia ustawicznego, a także współpracę z NGO. Od roku 2005 odpowiedzialna za koordynację prac Zespołu ds. Rozwoju Edukacji, zaangażowana w planowanie strategiczne w regionie oraz prace związane z wdrażaniem funduszy strukturalnych (PO KL i MRPO). Równocześnie od lat zaangażowana w realizację wielu inicjatyw społecznych, członek założyciel Stowarzyszenia WIOSNA oraz członek Małopolskiego Towarzystwo Doradczego. Obecnie zaangażowana w tworzenie i realizację projektów, w tym społecznych i obywatelskich, fi nansowanych ze środków publicznych dla NGO i przedsiębiorstw.

Spis treści

Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Karol Olejniczak, Martin FerryEwaluacja w praktyce sektora publicznego . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Robert SobiechEwaluacja a rozliczalność władz publicznych . . . . . . . . . . . . . . . . . . . . . . . . . 49

Jarosław Górniak, Magdalena Jelonek, Karolina Keler, Seweryn Krupnik, Janusz Wachnicki, Barbara WorekOcena projektów i programów: wybrane techniki badawcze

i ich zastosowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

Seweryn RudnickiZastosowanie społecznych danych zastanych w ewaluacji programów

regionalnych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

Wojciech DziemianowiczAnaliza gospodarek gmin i regionów – element planowania

oraz oceny wpływu gospodarczego działań samorządów. . . . . . . . . . . . . . . . . . 123

Jarosław Górniak, Magdalena Jelonek, Seweryn Krupnik, Barbara WorekBadania społeczne jako narzędzie oceny percepcji realizowanej polityki . . . . . . 143

Bożena Pietras-Goc, Beata Płoskonka, Lidia ŻurawickaEwaluacja a społeczeństwo obywatelskie – utopia, postulat

czy standard nowoczesnego rządzenia? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

Joanna Szulborska-ŁukaszewiczMonitoring i ewaluacja jako podstawowe narzędzia skutecznego zarządzania

w sektorze publicznym. Zadania z obszaru kultury na przykładzie Gminy

Miejskiej Kraków . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

Beata Bujak-SzwaczkaŹródła informacji o obowiązkach ewaluacyjnych oraz standardach

i metodach ewaluacyjnych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

Niniejszy dokument został opublikowany dzięki pomocy fi nansowej Unii Europejskiej. Za treść tego dokumentu odpowiada Wyższa Szkoła Europejska im. ks. Józefa Tischnera, poglądy w nim wyrażone nie odzwierciedlają w żadnym razie ofi cjalnego stanowiska Unii Europejskiej.

Publikacja została przygotowana w ramach projektu ...wsb.edu.pl/container/Biblioteka...

Documents

Transcript of Publikacja została przygotowana w ramach projektu ...wsb.edu.pl/container/Biblioteka...