Figure 8: Stages of the CMEF evaluation (adapted from EC, 2006b)
Pri programu PRP 2007–2013 je treba izvajati predhodna, sprotna, vmesna in naknadna vrednotenja (slika 8). Predhodno vrednotenje je namenjeno optimalni delitvi javnih sredstev in izboljšanju kakovosti programa. Ocenjujejo se srednjeročne in dolgoročne potrebe ter pričakovani rezultati, še posebno z vidika izhodiščnega stanja. Sprotno vrednotenje temelji na letnih poročilih o napredku, bistvo tega pa je sledljivost programa, ugotavljanje sprememb in boljše razumevanje trenutnega stanja. Pomembna prednost je v tem, da lahko prilagodimo program, medtem kot ta še traja. V vmesnem obdobju (leta 2010) program predvideva še poročilo o vmesnem vrednotenju, do konca leta 2016 pa mora biti pripravljeno tudi poročilo o naknadnem vrednotenju. Pri slednjih dveh gre za obsežnejši poročili, v katerih se spremlja stopnja porabe sredstev, uspešnost in učinkovitost programiranja, socio-ekonomski in okoljski vpliv in vpliv na predhodno zastavljene prednostne naloge.
22
2.2.2.2 Primarne in sekundarne podatkovne zbirke, uporabne v postopkih vrednotenja Za namene formalnega spremljanja se oblikujejo podatkovne zbirke CMEF, ki predstavljajo glavni podatkovni temelj formalnega vrednotenja. Zbirka vsebuje kazalnike izhodiščnega stanja, ki opisujejo socio-ekonomsko in okoljsko stanje (npr. delež zaposlenosti, kakovost vode itd.). Nadalje so podatki učinka; to so podatki, ki so neposredno povezani z izvajanjem programa (npr. število podprtih kmetij) in podatke rezultatov, ki so posledica interveniranja (npr. število novih delovnih mest). Zelo pomembni so kazalniki vpliva, ki so povezani s programom in presegajo takojšnje posledice interveniranja (slika 9). Podatkovna zbirka CMEF mora vključevati skupno 162 kazalnikov (59 povezanih z izhodiščnim stanjem, 84 kazalnikov učinka, 12 kazalnikov rezultata in 7 kazalnikov vpliva) in skoraj 140 anketnih vprašanj (Priročnik CMEF, 2006).
Različni raziskovalni pristopi vrednotenja razvoja podeželja namenjajo velik poudarek vhodnim podatkom. Ti prihajajo iz različnih podatkovnih zbirk, od primarnih podatkov, izrecno zbranih za namene formalnega vrednotenja (zbirke CMEF), do sekundarnih statističnih zbirk. Večina ocenjevalcev na formalni ravni ostane na uporabi podatkovnih zbirk CMEF, nekateri pa za namene bolj poglobljenega vrednotenja uporabijo tudi sekundarno statistiko. Pri primerjavi različnih metod vrednotenja razvoja podeželja Terluin in Roza (2010) ugotavljata, da je uradno predpisan pristop spremljanja in vrednotenja podatkov CMEF veliko manj prilagodljiv od drugih raziskovalnih pristopov. Ta se strogo drži predpisanih kazalnikov in anketnih vprašanj, medtem ko druge raziskovalne metode nabor kazalnikov in vprašanj prilagajajo vsebini raziskave. Sistem pridobivanja podatkov CMEF temelji na intervencijski logiki, medtem ko druge metode ne, čeprav tako kot CMEF sledijo logiki, da javne intervencije vplivajo na zastavljene politične cilje (Terluin in Roza, 2010). Pomemben korak, ki ga naredijo drugi raziskovalni pristopi, je ta, da s pomočjo dodatnih podatkovnih zbirk preverijo zunanje vplive (neodvisne od intervencij), ki tudi lahko prispevajo k ciljem.
Med glavne sekundarne podatkovne zbirke, primerne tudi za spremljanje in vrednotenje programov razvoja podeželja, štejemo nacionalne strukturne popisne podatke kmetijstva in drugo uradno statistiko kmetijskih in ekonomskih kazalnikov (v primeru Slovenije: SI-STAT), administrativne zbirke kmetijstva (npr. IAKS, GERK, EUROSTAT, CATS itd.) ter računovodske podatke kmetij (najpogosteje FADN). Glede na vrsto raziskovalne tematike (ekonomski, sociološki, okoljski vidik itd.) so dodatno primerne še številne druge podatkovne zbirke, ki niso neposredno povezane s kmetijstvom in razvojem podeželja (npr. v našem primeru koordinatni sistem GIS in zbirke okoljskih kazalnikov).
23
2.2.2.3 Kritične točke skupnega okvira spremljanja in vrednotenja (CMEF)
Zaradi velikega obsega ciljev skupnega okvira politike razvoja podeželja EU in hkrati ob vse večjih proračunskih zaostritvah je zelo pomembno, da so smernice izvajanja, spremljanja in vrednotenja te politike pravilno zastavljene, ter da v največji meri omogočajo prilagajanje programov v prihodnje. Vrednotenje CMEF velja za koristno orodje, ki skuša kvantitativno in kvalitativno oceniti vplive javnih intervencij na razvoj podeželja. Kljub temu pa v literaturi zasledimo številne zadržke na račun CMEF. Te kritike, ki so v naslednjih poglavjih podrobneje predstavljene, se nanašajo predvsem na tri pomanjkljivosti: nedorečen metodološki okvir, pomanjkljivosti kazalnikov spremljanja in neizkoriščen potencial podatkovnih zbirk CMEF.
Metodološki okvir
Evropska mreža za vrednotenje razvoja podeželja v svojem poročilu o pomanjkljivostih vrednotenja PRP 2007–2013 navaja, da je metodološki okvir sistema CMEF slabo dorečen (EENRD, 2009). Metodološka nedorečenost in posledično prosta izbira metod vrednotenja posameznih članic se odražata v apliciranju najrazličnejših ocenjevalnih pristopov, kar vodi do nezdružljivosti podatkov vrednotenja na raven EU (EENRD, 2012). Prosta izbira metode je po drugi strani dobra, saj omogoča raziskovalno svobodo, ki pa večinoma ostaja neizkoriščena. Ocenjevalci v formalnih postopkih po večini sledijo predpisanim enoznačnim in linearnim postopkom vrednotenja, s čimer se vrednotenje omejuje znotraj ozkih, uradniških okvirov, kjer ocenjevalci večinoma ostanejo na ravni prikaza časovne vrste podatkov in njihovi interpretaciji.
Tako je kakovost vrednotenja programov razvoja podeželja kljub uzakonjenim postopkom (Uredba Sveta št. 1698/2005, 2005) precej odvisna od posamezne članice in tudi samih ocenjevalcev (vrsta izbrane metode, enota opazovanja – časovno/prostorsko). Raziskovalci Bradley in sodelavci (2010) ter Huelemeyer in Schiller (2010a) ugotavljajo, da največjo težavo predstavljajo časovne in finančne omejitve, ki po njihovih ugotovitvah botrujejo tudi temu, da se države članice v precej majhnem obsegu odločajo za izbiro dodatnih nacionalnih kazalnikov spremljanja, in to kljub temu, da zakonodaja to omogoča. Hkrati sintezno poročilo vmesnega vrednotenja (Mid-term evaluations, 2012) navaja, da je vrednotenje vplivov posameznih ukrepov razvoja podeželja izredno kompleksno. Še posebno izpostavljajo šibko kvantitativno vrednotenje okoljskih ukrepov, kjer zaradi pomanjkanja vzročnih povezav med financiranjem teh ukrepov in spremembami v kazalnikih vrednotenja niso uspeli ovrednotiti okoljskega vpliva; npr. okoljska učinkovitost kmetijsko-okoljskih ukrepov (predvsem težave s primernim merjenjem kazalnikov in pomanjkanje podatkov).
Večji metodološki pomislek je tudi predpostavka o enostavnih linearnih odnosih (slika 9) med vloženimi sredstvi in doseženimi rezultati (Bradley in sod., 2010; Ortner, 2012).
Sistem CMEF s tem predpostavlja, da so finančna sredstva zadostna za doseganje ciljev ukrepa/programa. Potemtakem lahko trdimo, da CMEF deluje v nekakšni izolaciji, saj
24
zanemarja zunanje okolje zunaj programa (makroekonomska dogajanja, vplivi drugih politik, vzorci obnašanja kmetij itd.). Poleg tega obstaja tudi t. i. siva cona intervencijske logike, kjer ni natančno znano kaj se dogaja v vmesnem obdobju (med začetkom intervencije in njenim učinkom), saj ni izvedenih podrobnejših analiz, ki bi to razkrile.