Vmesno vrednotenje Programa razvoja podeželja 2007 - 2013

Mojca HrabarOikos, Svetovanje za razvoj, d.o.o.

Predstavitev za Slovensko društvo evalvatorjevLjubljana, 4. februar 2011

Kdo smo?

Konzorcij:

Oikos, svetovanje za razvoj, d.o.o., Kamnik PRAC, Bad Soden, Nemčija

Danes bomo govorili o…

• Programi razvoja podeželja 2007 – 2013 in sistem vrednotenja na ravni EU

• Proces vmesnega vrednotenja Programa razvoja podeželja

• Metode dela• Rezultati vrednotenja• Priložnosti • Kako naprej?

Kontekst Programa razvoja podeželja 2007 - 2013

Skupna kmetijska politika EUSkupna kmetijska politika EU Pribl. Pribl. 55 55 milijard € / letomilijard € / leto

40% 40% celotnega proračuna EU celotnega proračuna EU 11 % za razvoj podeželja11 % za razvoj podeželja

(Kako bo v prihodnosti?)(Kako bo v prihodnosti?)

Kontekst PRP 2007 - 2013

1.176.985.582,00 €2007 2013 2015

Prispevek ESKRP:906.990.057,80 € Prispevek proračuna

Republike Slovenije:257.991.967,20 €

Program razvoja podeželja 2007 – 2013 v Sloveniji

• Okvir: Uredba 1698/2005• 3 cilji 4 osi 21 ukrepov

Os Cilj Število ukrepov

1. os Izboljšanje konkurenčnosti kmetijskega in gozdarskega sektorja

10

2. os Izboljšanje okolja in podeželja, 33. os Izboljšanje kakovosti življenja na podeželju in

diverzifikacija podeželskega gospodarstva5

4. os pristop LEADER za podporo doseganju vseh treh ciljev

3

Hiter vpogled v ukrepe…Os Ukrepi

1. • Izobraževanje, podpora mladim prevzemnikom in zgodnjemu upokojevanju (111, 112, 113)

• Naložbe v kmetijsko proizvodnjo, gospodarsko vrednost gozdov, predelavo, komasacije in namakanje (121, 122, 123, 125)

• Spodbujanje shem kakovosti, skupin proizvajalcev (132, 133, 142)

2. • Neposredna plačila za kmetovanje na območjih z omejenimi možnostmi (211, 212)

• Kmetijsko okoljska plačila (214)

3. • Diverzifikacija v nekmetijske dejavnosti, mikropodjetja (311, 312)• Osnovne storitve, obnova vasi, ohranjanje dediščine (321, 322,

323)4. pristop LEADER; izvaja se preko Lokalnih akcijskih skupin in njihovih

Lokalnih razvojnih strategij (41, 421, 431)

Načrtovana sredstva PRP po oseh

Izvajanje Programa razvoja podeželja

• Ministrstvo RS za kmetijstvo, gozdarstvo in prehrano– Priprava in izvajanje programa,– spremljanje, poročanje, – Poskrbi za vrednotenje,

• Agencija RS za kmetijske trge in razvoj podeželja– Razpisi (pregled, odobritev vlog), – Izplačila (odobritev, izvajanje, računovodstvo), – kontrola na kraju samem.

Upravičenci PRPUpravičenci Opombe

Nosilci kmetijskih gospodarstev

Nizka stopnja izobrazbe, dobro informirani o določenih ukrepih, podukrepih, ne pa o vseh možnostihVsi ukrepi 1. osi razen ukrepov 133, 142, vsi ukrepi 2. osi, ukrep 311, možni projekti v okviru ukrepa 41

Lastniki gozdov Ukrepi 111, 122

Vsi prebivalci podeželja

Ustanavljanje mikropodjetij, obnova kulturne dediščine

Združenja, zveze, planine…

Pri nekaterih ukrepih – 122, 214,…

Občine komasacije, širokopasovni internet, obnova in razvoj vasi, ohranjanje in izboljševanje dediščine podeželja

Pravne osebe Mikro, majhna in srednje velika podjetja živilske industrije, gozdarstvo Katerekoli: izobraževanje (novi razpisi), ohranjanje in izboljševanje dediščine podeželja

Pomembne izhodiščne značilnosti PRP…

PRP je zelo razpršen program!

• 21 zelo različnih ukrepov• Zelo različne ciljne skupine, ki imajo skupno

predvsem to, da so na podeželju• Veliko število upravičencev – “bruto” 90.000, “neto” okoli 60.000– Zahtevno spremljanje, poročanje, izvajanje sankcij

v primeru kršitev

PRP je del kmetijske politike…

• Prilagodljivost razmeram skupnega trga?• povprečna izobrazba nosilcev kmetijskih

gospodarstev je nizka, povprečna starost visoka

Primer: starost članov družinskih kmetij

Namen in cilji vrednotenja• Vrednotenje = del načrtovanja, izvedbe in

nadgrajevanja različnih programov EU

PRP: Uredba 1698/2005• sprotno vrednotenje vsako leto od l. 2008 dalje• L. 2010 kot vmesno vrednotenje• ocena vpliva PRP z vidika: – strateških smernic Skupnosti – težav pri razvoju podeželja države članice – upoštevanje zahtev po trajnostnem razvoju, vpliva na

okolje in izpolnjevanja zahtev ustrezne zakonodaje EU

Skupni okvir spremljanja in vrednotenja PRP - CMEF

• CMEF - Common Monitoring and Evaluation Framework http://ec.europa.eu/agriculture/rurdev/eval/index_en.htm

• Podpora: Evropska mreža za vrednotenje razvoja podeželja– http://enrd.ec.europa.eu/evaluation-network/en/evaluation-

expert-network_home_en.cfm

• Ideja:– Kakovost– Primerljivost– Možnost združevanja podatkov, rezultatov za

ovrednotenje na ravni EU

Skupni okvir spremljanja in vrednotenja PRP - CMEF

Prednosti• Jasen metodološki okvir

– Nabor metod– Primeri iz drugih držav

• Zbirka navodil, smernic• Jasna struktura, izrazi• primerljivost• Podpora

Slabosti• Premajhna uporabnost

številnih metod – ne le v SLO– Podatki– Kontrolna skupina

• Kompleksnost učinkovitost?

• Prezgodaj v procesu izvajanja PRP 2007 - 2013

CMEF: 2 glavna elementa vrednotenja

Analiza kazalnikov

• Finančni kazalniki• Kazalniki učinka• Kazalniki rezultata• Kazalniki vpliva• Osnovni kazalniki glede na

cilje

Skupna evalvacijska vprašanja

• Za posamezen ukrep• Horizontalna vprašanja za

celoten program

Vrednotenje na več ravneh

Sodelujoči v procesu vmesnega vrednotenja PRP 2007 – 2013

Usmerjevalna skupina MKGP

• Vodilni Sektorja za razvoj podeželja,

• Odgovorni za spremljanje in poročanje,

• nosilci ukrepov,

Agencija za kmetijske trge in razvoj podeželja

• odgovorni za zajem podatkov,• Odgovorni za spremljanje,• Odgovorni za spremljanje

kršitev,

Drugi akterji na področju razvoja podeželja

• KGZS - Kmetijska svetovalna služba,

• Biotehniška fakulteta UL,• Kmetijski inštitut Slovenije,

Upravičenci – prejemniki sredstev

• Posamezniki,• Zadruge, podjetja,• Lokalne akcijske skupine (LAS).

Proces vmesnega vrednotenja PRP 2007 – 2013 v Sloveniji

Pregled smernic CMEF, možnosti uporabe

metod

Nabor potrebnih podatkov pridobivanje: MKGP, ARSKTRP, SURS,…

Analiza podatkov vrednotenje,

primerjava ugotovitev

Pregled smernic CMEF in nabor metod

• Obdobje vrednotenja: do 31. 12. 2009• Pregled metod, izbor:– Razpoložljivost podatkov– Izvedljivost v danem času, z danimi sredstvi– Uporaba določene programske opreme (GIS, SPSS,

…)• Ključna ugotovitev:– Nimamo kontrolne skupine številne metode

neprimerne v slovenskem kontekstu–Malo primerov uporabe v Sloveniji

Pregled smernic CMEF in nabor metod

• Logika intervencije

• Določitev pristopa, metod, potrebnih podatkov za analizo kazalnikov in doseganje ciljev, odgovor na posamezno vprašanje

Pregled smernic CMEF in nabor metod - kazalniki

• 6 skupin kazalnikov:– Osnovni kazalniki, povezani s cilji– Osnovni kazalniki, povezani s stanjem• kontekst okolja, v katerem se izvaja PRP

– Kazalniki vpliva– Kazalniki rezultata– Kazalniki učinka– Finančni kazalniki

Na ravni programa

Na ravni osi

Na ravni ukrepa

• Določeni v smernicah CMEF• Se uporabljajo za

spremljanje in vrednotenje

Pregled smernic CMEF in nabor metod - kazalniki

Kazalniki vpliva(Impact indicators)

Kazalniki rezultata(Result indicators)

Kazalniki učinka(Output indicators)

Nabor potrebnih podatkov

• PRP 2007 – 2013 s prilogami, vsi razpisi• Podatki letnega spremljanja in poročanja– Letna Poročila o napredku agregirani po ukrepih

• “surovi” podatki iz baze podatkov ARSKTRP– Možnost uporabe za natančnejše analize– GIS– Podatki o kršitvah – le agregirani (poročilo)

• Podatki iz drugih virov– SURS, ARSO, Kmetijski inštitut Slovenije– Različne študije in projekti

Nabor potrebnih podatkov

• Ključna ugotovitev:– Baza podatkov je pravzaprav sestavljena iz več baz

• nepreglednost • Velika poraba časa za združevanje, povezovanje podatkov

– Pomanjkljivost prostorskih podatkov težko vrednotiti prostorske učinke, rezultate, vplive

– Kršitve obveznosti poročanja (FADN, druga poročila) pomanjkljivi podatki

– Sistem ni naravnan na vrednotenje in načrtovanje – Pripravljenost na spremembe, izboljšave

Podatki: osnova za ugotavljanje doseganja ciljev…

• Knjigovodstvo na kmetijah – FADN– Kljub obveznosti sodeluje majhen delež prejemnikov– Ukrep 112: 262 (861), ukrep 121: 568 (1338)

• Poročanje: pri nekaterih ukrepih šibko– npr. ukrepi 3. osi

• Napovedani cilji projektov – Pomembni za načrtovanje razpisov - glede na stopnjo

doseganja ciljev programa– Kontrola… kakšne bodo posledice, če cilji niso

doseženi? (primer: ukrep 112)

Analiza finančnih podatkov – kazalniki vložka

• Načrtovana sredstva• Podatki o črpanju sredstev do konca l. 2009– Razpisana – Dodeljena– Izplačana

• Pregled načrtovane porabe v prihodnje: proračun

• Analiza trendov ob upoštevanju značilnosti izvajanja ukrepa in podprtih projektov

Analiza kazalnikov učinka in rezultata

• Podatki iz Letnih poročil o napredku, posameznih delov baze na ARSKTRP

• Ukrepi 2. osi: – Podatki iz letnih poročil neprimerni temeljijo na plačilih, ne

na prostorskih podatkih– izračun kazalnikov iz podatkov GIS (pribl. 60.000 upravičencev)

• Ukrepi 3. osi: – Malo poročil, zato težko oceniti trende, realnost rezultatov

• Ukrepi 4. osi: – Specifično izvajanje preko LAS, podatki o posameznih projektih

težko dostopni v obliki, primerni za analizo

Analiza kazalnikov vpliva:socioekonomski kazalniki

• 4 socioekonomski kazalniki (3 CMEF + 1 slov.)– Gospodarska rast, – ekonomska velikost kmetijskih gospodarstev, – Ustvarjanje delovnih mest, – Produktivnost dela (povpr. za kmetijstvo, gozdarstvo in živilstvo)

• Izračun na podlagi poročil posameznih projektov– Podcenjeni: niso vsi poročali, kratko obdobje

poročanja (projekti, zaključeni do konca l. 2008), vplivi drugih osi

– morali bi imeti kontrolno skupino – možnost primerjave z in brez izvajanja PRP

– Zamik podatkov SURS, ki bi omogočili primerjavo

Analiza kazalnikov vpliva:okoljski kazalniki

• 4 okoljski kazalniki (4 CMEF + 1 slov.)– indeks indikatorskih vrst ptic kmetijske krajine, – kmetijske in gozdarske površine visoke naravne vrednosti, – Izboljšanje kakovosti vode (Spremembe bruto bilance hranil –

presežki dušika), – Vnos hranil v tla, – Prispevek k boju proti podnebnim spremembam (ločeno

kmetijstvo, gozdarstvo)• Kazalci okolja v Sloveniji, izračun iz podatkov– Prekratko obdobje, da bi bili jasno razvidni trendi,

izločena letna/sezonska nihanja– vplivi drugih osi– Nejasna metodologija izračuni niso ponovljivi

Odgovori na skupna evalvacijska vprašanja

• Za posamezne ukrepe – Načeloma naj bi bilo možno odgovoriti na podlagi

kazalnikov– Pogosto potrebni dodatni podatki kvantitativne,

a tudi kvalitativne metode• horizontalna evalvacijska vprašanja– Podatki o kazalnikih vseh relevantnih ukrepov– Podatki iz anket, intervjujev– Rezultati modelov

Odgovori na skupna evalvacijska vprašanja - kazalniki

• Analiza in primerjava kazalnikov– S podatki iz drugih virov (SURS, študije, ankete)– Med ukrepi – za horizontalna evalvacijska vprašanja

• Problem kontrolne skupine in prostorske opredeljenosti podatkov

• Vsi naj bi temeljilo na dokazih (“evidence based”)– Trendi– Predvidevanja na podlagi trendov, opredelitev

predpostavk in možnih pomanjkljivosti

Odgovori na skupna evalvacijska vprašanja - ankete

• Zbiranje predvsem kvalitativnih podatkov– Kjer premalo podatkov iz spremljanja, kjer rabimo dodatne

podatke– Omejitev: čas, stroški

• Glede na želene podatke– Posamezni ukrepi – naključno izbrani– 200 prejemnikov kmetijsko okoljskih plačil (ukrep 214) –

po 10 naključno izbranih iz vsakega podukrepa; Regresijska analiza rezultatov

– “panel” 200 naključno izbranih za splošno oceno PRP • Izvedba:– Telefonska – Po elektronski pošti - LAS za analizo LEADER (4. os)– Spletna anketa - LAS za analizo LEADER (4. os)

Odgovori na skupna evalvacijska vprašanja - metode

• Input-output model– Podatki za Slovenijo iz l. 2005– Agregirani podatki MKGP o vrstah naložb v okviru

posameznih ukrepov

• Rezultati drugih modelov za spremljanje EU politik– HERMIN

Ključne ugotovitve in priporočila…

Spremembe v okolju, ki bi lahko vplivale na PRP

• Učinki gospodarske krize – Padec cen pridelkov, proizvodov, storitev…– brezposelnost, kratkoročnejše pogodbe, outsourcing,

samozaposlitev– težje zagotavljanje sredstev za lastni delež večja

previdnost, manjša pripravljenost tvegati• Učinki drugih programov in pobud– Vplivi gradnje prometne infrastrukture in dostopnosti:

gravitacijska vloga urbanih središč in zgostitev poselitve ob prometnem križu, razpršena gradnja v zaledju mest

– Urejanje infrastrukture: Ugodnejše sofinanciranje OP ESRR (do 3. spremembe PRP)

Finančni potek izvajanja PRP

Izplačana sredstva do 30. 6. 2010: dobrih 395 mio € (33,6 %)

1.176.985.582,00

393.858.858,00 400.340.379,64332.095.814,73

0,00

200.000.000,00

400.000.000,00

600.000.000,00

800.000.000,00

1.000.000.000,00

1.200.000.000,00

1.400.000.000,00

Načrtovana sredstva

Razpisana sredstva

Dodeljena sredstva

Izplačana sredstva

Doseganje ciljev PRP

• PRP se izvaja slaba 3 leta - l. 2007 prve objave razpisov, l. 2007 le ukrepi 2. osi, za ostale ukrepe začetek l. 2008

• Učinki in torej vplivi PRP se bodo pokazali sčasoma– Za mnogo dejavnikov je še prezgodaj, da bi ocenili

vpliv PRP– Težko je izločiti vpliv drugih programov, trendov v

širšem okolju programa in ugotoviti izključno prispevek PRP

Ravnovesje med področji ukrepanja

• prevlada 2. osi– Največji delež dosedanjih izplačil: 34,63 % od

načrtovanih za 2. os, 61,83 % vseh izplačil do 31. 12. 2009

– Presežene ciljne vrednosti kazalnikov ukrepov 211, 212, ukrep 214 zelo blizu ciljnih vrednosti

• Nekateri ukrepi šibki glede na načrtovane cilje potrebno je aktivno ukrepanje– 111, 125, ukrepi za sheme kakovosti, LEADER

Cilj: izboljšanje konkurenčnosti kmetijskega in gozdarskega sektorja (os 1)• Zelo velike razlike v izvajanju ukrepov– % izplačil glede na načrtovanje: od 0,14 % (111) do

50,57 % (121)– Šibko doseganje ciljnih vrednosti kazalnikov:

• Ukrep 111: 15.000 (85) udeležencev, 5.000 (503) ur usposabljanj

• Ukrep 123: 100 (4) gospodarstev/podjetij, ki vpeljujejo nove proizvode/tehnologije

• Ukrep 125: hidromelioracije• Ukrep 132: 10.000 (68) podprtih KMG, vključenih v sheme

kakovosti• Nekateri učinki, vplivi so zelo dolgoročni,

predvsem pri naložbah

Cilj: izboljšanje okolja in podeželja (os 2)

• Presežene ciljne vrednosti kazalnikov ukrepov 211, 212, ukrep 214 zelo blizu ciljnih vrednosti

• Kažejo se nekateri pozitivni vplivi:– visok delež površin visoke naravne vrednosti– Okolju prijazna kmetijska pridelava– Zaraščanje?• Nekateri vplivi bodo vidni bolj dolgoročno– Vplivi na vode: vsebnost nitratov, FFS– Ohranjenost populacij ciljnih vrst: npr. kosec, metulji

mravljiščarji

Cilj: izboljšanje kakovosti življenja na podeželju in diverzifikacija podeželskega gospodarstva (os 3)• Precejšnje razlike v izvajanju ukrepov– % izplačil glede na načrtovanje: od 1,73 % (323) do 16,97 %

(311), 321 še na začetku– ciljne vrednosti večine kazalnikov bodo dosežene,

problematičnih je le nekaj, nekateri se ne spremljajo• Ukrep 311: 720 (77,5) ustvarjenih delovnih mest v podprtih

projektih; dodatno število turistov?• Ukrep 312: 900 (184) podprtih mikropodjetij, 2.000 (266)

ustvarjenih delovnih mest• Ukrep 323: 250 (34) podprtih projektov

• Vplivi 321, 322, 323: manj otipljivi, težje merljivi, težko ločiti od vplivov drugih programov – anketa kaže, da so pomembni

Notranja usklajenost izvajanja PRP• Ukrepi so različno uspešni - finančno in glede na

doseganje ciljev – ukrep 111 ukrep 212 (več kot 50%, doseženi cilji)

• Ločeno izvajanje ukrepov– povezava preko kriterijev na razpisih

• Npr. točkovanje za mladega prevzemnika, OMD, Natura območje…– Ni skupnih razpisov

• Vendar: medsebojno so povezani in vplivajo drug na drugega!

• Možnost dopolnitve z novimi ukrepi?– 124 (raziskave), 126 (naravne nesreče), 213 (Natura 2000

in Okvirna direktiva o vodah)

Nekaj primerov - prihrani za razpravo?

• Ukrep 111 - Usposabljanje za delo v kmetijskem, gozdarskem in živilskem sektorju– Podpora za vse ostale ukrepe!

• Ukrepa 121 in 123 – od posodabljanja proizvodov do dodajanja vrednosti kmetijskim proizvodom

• Ukrepi 132, 133, 142 – od sodelovanja v shemah kakovosti do ustanavljanja skupin proizvajalcev in podpore le-tem

• Ukrepi 214, 123, 311 – od integrirane in ekološke pridelave do predelave in dodatnih dejavnosti na kmetiji

Orodja• Baza podatkov in aplikacije na ARSKTRP so sedaj le

orodje za zbiranje podatkov– Preoblikovanje v analitično in načrtovalsko orodje lažje

spremljanje, načrtovanje– Vpeljava avtomatičnega zajema podatkov iz javno dostopnih

baz lažja priprava vlog• Komunikacijska orodja– Forum ARSKTRP in MKGP dobro vpeljan, poznan– Spletna stran podaja ključne podatke– Izboljšane povezave z drugimi organizacijami bi olajšale

izvedbo– Mreža za podeželje bi lahko izboljšala svojo vlogo

Zaključki

Vpliv se bo pokazal sčasoma, a izvedbo lahko izboljšamo.

• Učinki izvajanja so vidni na ravni posameznega ukrepa. Nekatera geografska območja so na splošno uspešnejša (Goriška Brda).

• Vpliv na BDV, zaposlovanje, produktivnost ipd. se bo pokazal z zamikom– Večina projektov se še ni zaključila.

• Pristop LEADER zaenkrat nima znatnega vpliva, ni dobro poznan.– izvaja se premalo časa, – izvaja se večinoma znotraj že prej vzpostavljenih struktur.

Vpliv se bo pokazal sčasoma, a izvedbo lahko izboljšamo.

Ne moremo reči, ali PRP dovolj vpliva na gospodarske, demografske in strukturne trende na podeželju:

glede na gospodarske kazalnike blaži negativne ekonomske trende.

Nekateri upravičenci (posamezniki, podjetja, občine) slabo poznajo možnosti, ki jih ponuja PRP, ali pa so bile te manj zanimive v primerjavi z drugimi programi.

Vpliv se bo pokazal sčasoma, a izvedbo lahko izboljšamo.

• Verjetno pozitivni vplivi 2. osi na okolje in naravo; zaenkrat majhne razlike, metodološke težave

• rezultate, vplive bi lahko povečali z usmerjanjem izvajanja

Primer: prispevek kmetijsko okoljskih plačil k zmanjšanju onesnaževanja z dušikom

Z okrepljenim izvajanjem do večjih učinkov in vplivov.

• Poenostavitev razpisne dokumentacije, prehod na elektronske vloge in spremljanje bi olajšala in pospešila izvedbo.

• Preureditev baze podatkov v analitično orodje bi olajšala spremljanje izvedbe, a tudi načrtovanje.

• Sodelovanje med MKGP in ARSKTRP je smiselno nadgraditi – čim bolj neposredna in redna izmenjava izkušenj, – izboljšanje prepoznavnosti za upravičence.

Olajšano vključevanje bo pripomoglo k doseganju ciljev.

• Okrepi naj se sodelovanje s ciljnimi skupinami, da bi bolje poznali njihove potrebe in zmožnosti.

• Mreža za podeželje in LAS lahko služijo kot pomemben vir informacij o vseh možnostih, ki jih ponuja PRP.

Sodelovanje bo pripomoglo k spremljanju izvajanja in izvedbi.

• Smiselno je pritegniti druge organizacije, ki lahko pomagajo pri promociji PRP in pomagajo samim potencialnim vlagateljem.

• Učinki, rezultati, vplivi so pomembni tudi za druge politike, programe skupno načrtovanje zajema podatkov, izmenjava podatkov, analize–MOP, ARSO

Priložnosti

• Uporaba IKT za hiter zajem in analizo podatkov• Povezovanje različnih sektorjev, programov za

zagotavljanje sinergijskih učinkov• Izmenjava informacij, izkušenj z drugimi državami• Razvoj znanja za spremljanje in vrednotenje– Testiranje in uporaba metod, ki bodo olajšale

vrednotenje in načrtovanje– Kvalitativne metode, kombiniranje kvalitativnih in

kvantitativnih metod

Kako naprej?

• Letos: sprotno vrednotenje– Postavitev metodološkega okvirja za sprotna

vrednotenja do konca programa– Dogovor o zbiranju podatkov– Zbiranje, analiza podatkov– Uporaba izbranih metod– Izvedba do jeseni 2011

• Vrednotenje vplivov na kakovost življenja• Primerjava rezultatov z drugimi državami

Hvala za pozornost!

mojca.hrabar@oikos.si

Oikos, Svetovanje za razvoj, d.o.o., Glavni trg 19, 1241 Kamnikwww.oikos.si

http://www.facebook.com/profile.php?id=100000137136031&ref=name