Blaž Mesec
EVALVACIJA PROSTOVOLJNEGA DELA
Raziskovalno spremljanje in evalvacija pro- stovoljnega dela spadata med tista opravila v okviru akcije organiziranega prostovoljnega dela, ki so z organizacijskega vidika zaželena in celo nujna, ki pa jih prostovoljci pa tudi strokovnjaki neradi opravljajo ali pa sploh za- vračajo kot nepotrebno, "papirnato" delo.
Z a n j u v celoti velja to, kar je zapisala dr.
Anica Kos za vodenje delovne evidence in dokumentacije prostovoljnega dela (ti opravili sta sestavni del raziskovalnega spremljanja in evalvacije):
" A k c i j a p r o s t o v o l j n e g a d e l a j e o b i č a j n o z e l o i n - t e n z i v n o d o g a j a n j e , ki posrka t o l i k o p o z o r n o s t i , e n e r g i j e in č a s a u d e l e ž e n c e m , d a ostaja a d m i - nistrativni v i d i k d e j a v n o s t i z a n e m a r j e n . Prej ali s l e j p a s e organizatorji p r o s t o v o l j n e g a d e l a s r e č a j o z vprašanji o š t e v i l u u d e l e ž e n c e v , s e s - t a n k o v , p o r a b l j e n i h urah za o r g a n i z a c i j o , š t e v i l u ur, ki s o j i h prostovoljni d e l a v c i p r e ž i v e l i s p o - r a b n i k i in p o d o b n o . M i n i m a l n a b a n k a p o d a t k o v m o č n o olajša d e l o organizatorjem. V e č i n a pro- s t o v o l j n i h d e l a v c e v z e l o nerada e v i d e n t i r a in d o k u m e n t i r a s v o j e d e l o . Isto v e l j a tudi za m n o g e s t r o k o v n j a k e , ki s o d e l u j e j o v projektih prosto- v o l j n e g a d e l a . M a r s i k d a j s e zdi, kot bi o b s t a j a l o o b r a t n o s o r a z m e r j e m e d a n g a ž i r a n o s t j o in u č i n - k o v i t o s t j o pri d e l u z l j u d m i in p r i p r a v l j e n o s t j o 'knjižiti' o p r a v l j e n o d e l o , u č i n k e i p d . Zato ne kaže obremenjevati prostovoljnih delavcev, pa tu- di izrazito neadministrativno orientiranih stro- kovnjakov z evidentiranjem in dokumentiranjem.
Njihov delovni prispevek je edinstven in drago- cen. Naloga organ izatorja je, da sam poskrbi za nujno evidenco in dokumentacijo prostovoljnega dela na način, ki ljudem dobre volje ne zmanj- šuje količine te volje." (A. K o s , 1 9 8 4 ; p o u d a r i l B . M . )
Z a t o velja premisliti, čemu služi evalvacija, da si ne bi nalagali nepotrebnega dela.
O K V I R E V A L V A C I J E
Prostovoljno delo se dogaja v socialnih si- stemih in samo ustvarja nove socialne sisteme.
Organizacijski teoretik Thompson je že leta 1964 opredelil (človeške) organizacije (izraz, ki se rabi bodisi kot sinonim za socialni sistem bodisi kot ime posebne vrste socialnega siste- ma) kot sisteme, ki so hkrati odprti in zaprti.
V njih se neprestano prepletata in tudi borita za prevlado in izmenjujeta dve težnji: težnja po preživetju, to je po ohranitvi sistema v spre- minjajočem se okolju, in težnja p o uspešnem in učinkovitem izpolnjevanju določene funk- cije za okolje. Preživetje je odvisno zdaj od tega, kako dobro sistem opravlja določeno funkcijo za okolje, zdaj od tega, kako hitro zazna spremembe v okolju, ki zahtevajo od njega novo funkcijo.
V organizacijah se razvijejo posebne stru- kture za izvrševanje vsake od teh teženj (tehnična in institucionalna struktura). Katera težnja bo v danem obdobju prevladala, je od- visno od dogajanja v okolju. Kadar je okolje spremenljivo in je položaj organizacije nego- tov, deluje organizacija kot odprt sistem, ki sprejema podatke o spremembah v okolju, preskuša alternativna ravnanja, proučuje odziv okolja, išče notranje potenciale adaptacije, skrbi za svoje ljudi, ki so vir neznanih možno- sti, išče oporo v okolju, sebi primerno nišo, tj., funkcijo za okolje. Ko se položaj stabilizira ali ko organizacija stabilizira svoj položaj, začne prevladovati težnja k zapiranju. Organizacija se loti izvrševanja svoje funkcije za okolje. V
Dopolnjeno besedilo predavanja na seminarju Prostovoljno delo (Begunje, 25.-27.3.1993), ki ga je organiziral Svetovalni center za otroke, mladostnike in starše v Ljubljani.
procesu delitve dela razčleni svoj smoter na sestavine in podsestavine, oblikuje delovne po- stopke kot repetitivne cikle, razvije standardi- zacijo in kontrolo, p o u d a r j a uspešno doseganje ciljev in učinkovitost (ekonomičnost).
Rekli bi lahko: Ko deluje kot odprt sistem, j e kot naraven organizem, ki išče svojo nišo v okolju; ko deluje kot zaprt sistem, je kot stroj, orodje-o/gfl/io/z, ki zanesljivo izvršuje z a u p a n o m u funkcijo. V t e m nihanju m e d organizmom in o r g a n o n o m mineva d o b a organizacije.
P o s e b n a vrsta organizacij so tiste, ki n a j bi storile kaj za ljudi, ki so v njih: jih izobrazile, vzgojile ali prevzgojile, ali pozdravile. In med njimi so še p o s e b n a vrsta tiste, v katerih n a j bi ljudje storili kaj sami zase. V teh organizacijah se pojavi stara dilema med zaprtostjo in odpr- tostjo na novi ravni kot dilema o smotru or- ganizacije: je organizacija sama sebi n a m e n , to je, je njen " n a m e n " obstoj in življenje same or- ganizacije in čim polnejše življenje njenih čla- nov, ali pa je n a m e n organizacije izvrševanje kakšne funkcije za okolje. Ž e v prvi rakitniški koloniji (1975) se je zastavilo vprašanje, ali je socialnoterapevtska kolonija nekakšen stroj za proizvodnjo (mentalnega) zdravja, ali pa je človeško srečanje med otroki in vzgojitelji- prostovoljci, ki nima drugega n a m e n a kot iz- ražanje življenja in o h r a n j a n j e kolonijske skup- nosti. In že tedaj je bilo rečeno, da je kolonija in z njo tudi d r u g e p o d o b n e skupine in skup- nosti oboje: prostor za "spontanost, za igro, za enkratna in neponovljiva doživetja, za im- provizacijo, za nepredvidljivo, za ustvarjalnost, za naključje", a vendar okvir, v k a t e r e m se ne o d p o v e d u j e m o terapevtskim ciljem. "Mislimo ga (otroka) 'pozdraviti', n o č e m o pa ga 'zdravi- ti'" (MESEC, 1977).
T e d a j se je to vprašanje zastavilo z drugega zornega kota kot p o z n e j e kolegoma Stritihu in Možini (1992) p o izkušnji s skupino samopo- moči.
"V skupini za samopomoč sva razvijala preds- tave, ki so naju navdajale z upanjem, da bo tudi v celotni organizacijski strukturi možno najti tak
način sodelovanja, pri kalerem socialnoterapevt- ski cilji ne bodo tujek, ampak naravna sestavina celotne skupnosti. /.../ Spremenilo s e je delo- vanje c e l o t n e organizacije, razvili smo bolj dif- erenciran in natančneje delujoč sistem za
omogočanje in ustvarjanje življenjsko p o m e m b - nih avtokorektivnib doživetij (socialnoterapevt- ski in psihoterapevtski aspekti)."
Po Rakitni je bilo vprašanje, če parafrazi- ram, kako najti tak način sodelovanja, pri ka- t e r e m vzdrževanje življenjskih procesov, samo življenje, ne bo tujek v organizaciji, ki je na- m e n j e n a socialni terapiji, organizaciji, ki n a j bi maksimizirala socialnoterapevtske cilje. P o iz- kušnji s skupino s a m o p o m o č i se Stritihu in Možini zastavlja vprašanje, kako najti način sodelovanja, pri k a t e r e m socialnoterapevtski cilji ne b o d o tujek v organizaciji, ki j e " n a m e - n j e n a " zgolj svojemu življenju. V o b e h prime- rih pa gre za t e h t a n j e istega r a z m e r j a . Ponav- ljanju že povedanega se torej ne da v e d n o izogniti.
Po petnajstletnem v z t r a j n e m delu in na os- novi izbornega poznavanja sodobne sistemske teorije se j e kolegoma posrečilo razviti " m o d e l n e - m o d e l a " (MESEC 1977), "tehnologijo" za razvijanje avtopoetskega sistema, v k a t e r e m pa, če prav r a z u m e m o , vendarle p o t e k a j o tudi alopoetski procesi, le da ti nikoli n e prevlada- jo, poleg tega pa se to, kar je bilo v začetku ra- zumljeno kot alopoetsko (socialnoterapevtski cilji) redefinira kot avtopoetsko, ne kot tujek, ki je dvigal p r a h kot s a m o n a s p r o t j e življenj- skosti, a m p a k kot " n a r a v n a sestavina celotne skupnosti" (1992: 57). T o je organizacija, v kateri "življenjski procesi služijo zgolj vzdrže- vanju življenjskih procesov", pri čemer p a ne gre prezreti, da življenjski procesi vsaj n o r m a - tivno (kot upanje, da ne b o d o tujek; prav t a m ) vključujejo avtokorektivna doživetja, ki tudi sama sicer predvsem "maksimizirajo" življenj- skost (razpirajo prostor biti), ob t e m pa ven- darle z vidika okolja lahko p o m e n i j o tudi, da organizacija izpolnjuje določeno funkcijo zanj.
Kako j e to razglabljanje povezano z eval- vacijo prostovoljnega dela? J e izhodišče za opredelitev možnosti evalvacije in p o t r e b e p o njej.
N a j p r e j o možnosti evalvacije. Evalvacijo p o j m u j e m o kot oceno uspešnosti in učinko- vitosti doseganja avtopoetskih in socialnotera- pevtskih ciljev. Evalvacija je implicirana (po- nekod so ocene tudi izrečene) v razlikovanju različno zaželenih stanj sistema in procesov v n j e m (avtopoetski-alopoetski, razvoj-razkroj.
avtonomija-heteronomija). Kriterij evalvacije torej ni zgolj obstoj ali neobstoj sistema, njego- vo o h r a n j a n j e ali propad, ampak tudi povsem kvantitativni kriteriji njegovega delovanja, kot je stopnja viabilnosti, avtonomije, komunika- cije, simetrične napetosti, kompleksnosti, va- riabilnosti itn. pa gotovo številni kriteriji za doseganje socialnoterapevtskih ciljev na tra- dicionalnih merskih instrumentih. Evalvacija je torej možna.
Kako je s p o t r e b o po evalvaciji in kdo bo evalviral? Sistem se lahko evalvira s stališča samih članov in s stališča zunanjega opazoval- ca. Z u n a n j e m u opazovalcu se bo zdelo potreb- no evalvirati delovanje sistemé v splošnem iz dveh razlogov: ker ga zanima delovanje vsega živega, torej iz znanstvenega interesa; in da bi ugotovil, če sistem čemu služi, če izpolnjuje kakšno za opazovalca p o m e m b n o funkcijo, da bi ga pri tem podpiral.
Kako je z evalvacijo s stališča članov? Če pozorno sledimo opisu dogajanj v skupini sa- mopomoči, opisu, ki ga podaja Stritih (1992:
50 ss.), pridemo do sklepa, da sistem ne potre- buje take evalvacije. Sistem se o svojem obsto- ju ne odloča na osnovi podatkov, npr. o stopnji svoje viabilnosti, ne na osnovi podatkov o izpolnjevanju socialnoterapevtske funkcije.
Sploh se o tem ne odloča, ampak ali obstaja ali pa razpade.
Ko se je skupina znašla v zagati - "ko smo začutili popolno nemoč pred življenjskimi pro- blemi in trpljenjem posameznih članov, smo n e n a d o m a doživeli občutek solidarnosti in tudi občutek olajšanja v skupinskem razpoloženju /.../" Probleme se sporoči, nemoč se izrazi v skupini, razdeli med člane. Rešitev se pojavi nepričakovano, "zunaj dometa /.../ zavestnega nadzora". Se več: "/.../ ti trenutki (so bili) ključnega pomena. T o so bili trenutki 'razs- vetljenja', trenutki srečanja z življenjsko re- sničnostjo nas samih /.../" ( S T R F T I H , prav tam).
T o pomeni: takrat, ko bi se kazalci na ocenje- valčevih instrumentih spustili na ničlo, se skupina dotakne biti, doseže "cilj".
Skupina potrebuje, če sledimo Stritihu, opis dogajanja, ne evalvacije doseganja ciljev.
T o reducira evalvacijo na evalvacijo z vidi- ka zunanjega opazovalca, tj., evalvacijo funkcij skupine za okolje. Evalvacija je tudi tedaj, ko jo izvajajo člani sistema sami (avtoevalvacija).
ocenjevanje z vidika zunanjega opazovalca, po- trjevanje navzven, dokazovanje, da smo dobri, da smo boljši, da zaslužimo naklonjenost. Pri avtoevalvaciji ocenjujemo sami sebe s stališča zunanjega opazovalca, pri heteroevalvaciji pa dopustimo, da nas oceni, kakor pač hoče.
Projekti prostovoljnega dela lahko zado- voljivo delujejo in se ohranjajo le kot avto- poetski sistemi. T o d a to ne pomeni, da jih ne bo ta ali oni videl kot sisteme, ki opravljajo zanj ali za tiste, ki jih predstavlja (za "dru- žbo"), določeno funkcijo, (K temu so posebej nagnjeni tisti, ki delijo denar in druge dobrine.
Ker se jim zdi, da morajo biti pravični, se ne ravnajo po gospodarju v Kristusovi priliki o delavcih v vinogradu in ne dajo vsakomur ena- ko, pač pa tehtajo in merijo delovni prispevek projekta, seveda tudi zato, ker delavci sami v tekmovalni vnemi to pričakujejo in zahtevajo.) In vprašal se bo, kako dobro jo opravljajo. Če bo ugotovil, da je ne opravljajo dobro, bo ukrenil kaj, kar bi lahko ogrozilo obstoj avto- poetskega sistema; čeprav je res, da so to iz- redno trdoživi sistemi, ki živijo od duhovne, ne od materialne energije.
EVALVACIJA, O P I S P R O C E S A , E V A L V A C I J S K A R A Z I S K A V A
Ugotovili smo torej, da je za člane projekt uspešen, če v njem lahko živijo, če lahko vzdr- žujejo življenjske procese, če čutijo, da jim je v oporo, da v njem rastejo in se razvijajo. T o o- cenjujejo neprestano, od trenutka do trenutka, in ne potrebujejo nobene posebne evalvacije.
Za razvoj avtopoeze je p o t r e b e n opis oziro- ma samoopis, p o u d a r j a t a Stritih in Možina.
"Tu so prav opisi dogajanja tista sestavina, ki omogoča delovanje kibernetičnih zakonov. /.../
Naše nove izkušnje se kažejo zlasti v tem, da je potrebno in možno razvijati zunanje opise sku- pinskih doživetij, tako da s pomočjo teh opisov ljudje lahko vzpostavijo celovite vzorce svoje odnosne mreže" (isto delo: 52). A opis ni oce- na, ovrednotenje; je ubesedenje, poimenova- nje. Z opisom je kot z avtopoetskim sistemom sploh: ni ocena, je pa lahko opazovalcu osnova za oceno. Vendar je to stvar opazovalca.
Pojem evalvacije se torej povezuje zlasti s tem, kako ocenjuje sistem zunanji opazovalec, ki iz tega ali onega razloga p o t r e b u j e tako
oceno. Kakšno delo lahko oceni kdorkoli, ki si vzame čas, po kakršnem koli postopku. Njego- va ocena je njegovo mnenje, do katerega ima pravico, kot ima vsakdo vso pravico do kakr- šnega koli mnenja. O okusih ( = m n e n j ih) ne razpravljamo. Evalvacija se od navadnega oce- njevanja razlikuje po tem, da ima bolj for- malen značaj, da je navadno javna, da mora biti utemeljena, to je, da morajo biti razvidni kriteriji in postopek ocenjevanja, in da ima določene administrativne posledice. Projekte prostovoljnega dela bo na primer evalvirala sponzorska organizacija, da bi se lažje odločila, katere projekte naj podpre.
Osebe, ki izvajajo evalvacijo, se lahko pri tem opirajo na kakršne koli kriterije in se drži- jo kakršnega koli postopka, le da te kriterije in
ta postopek smiselno utemeljijo, to je, da po- kažejo, v kakšni zvezi so z namenom ocenje- vanja, politiko tistega, ki ocenjuje, ipd. T o pomeni, da ni nujno, da bi se evalvatorji pri svojem ocenjevanju opirali na raziskovalne po- datke. Opirajo se lahko na mnenja izvedencev, na podatke kakšnega administrativnega pre- gleda ipd. Ocejevalci sponzorske organizacije iz gornjega primera morda sploh ne bodo dali prednosti najbolj posrečenim projektom, am- pak projektom, ki obravnavajo najnujnejšo problematiko, čeprav so le delno uspešni.
Kako projekti obravnavajo nujno problemati- ko, pa bodo ocenili eksperti na osnovi kom- parativnega poznavanja problematike, ne na osnovi poznavanja projektov.
Postopek evalvacije moramo torej razliko- vati od evalvacijskega raziskovanja, saj gre za neodvisna postopka. Evalvacijsko raziskovanje je raziskovanje, katerega namen je posredovati podatke in ugotovitve, ki so p o m e m b n e za oceno uspešnosti kakšnega projekta (obrav- nave, dela) in ki se lahko uporabijo v procesu evalvacije, ni pa rečeno, da se bodo dejansko uporabili. Z odgovornostjo je povezana tudi določena mera diskrecije, ki vključuje tudi pravico do lastne interpretacije ali celo neu- poštevanja raziskovalnih rezultatov.
Poudarimo torej: ocenjevanja uspešnosti ne p o t r e b u j e m o toliko zaradi razvijanja projekta samega; za to potrebujemo stalno opisovanje dogajanja. Ocenjevanje uspešnosti potrebuje sponzor, da bi utemeljil dodelitev sredstev, oziroma, potrebuje ga prostovoljska organi-
zacija, ki tekmuje z drugimi za sredstva, naklo- njenost in podporo.
ZA I N T E R M E Z Z O : P R I L I K A O K R A V I C I Vzemite kot neustavljiv izraz moje biti po- trebo po banalnih in vulgarnih prispodobah in mi dopustite naslednjo nizko primero.
Opazovalec vidi kravo in reče: "To je hrana zame." S tem je definiral kravo kot alopoetski stroj za proizvodnjo hrane, ki jo uživa. Krava sebe ne definira tako, ampak reče: "Kako ču- dovito je biti krava, se pasti po zeleni travi in jo nato prežvekovati." Tako se krava definira kot avtopoetsko bitje, kot krava, ki uživa, d a j e živa. Če bi krava definirala sebe kot h r a n o za druge, bi od žalosti prezgodaj umrla.
Opazovalec evalvira kravo tako, da jo steh- ta, da ugotovi njeno molznost, potem, ko jo raztelesi, pa tako, da oceni količino in kako- vost posameznih delov glede na njihove hra- nilne vrednosti in glede na svoje druge potrebe in namene. Na koncu izračuna razmerje stro- škov vzreje in koristi, ki jih ima od krave.
Krava evalvira svoje življenje tako, da se vpraša: "Sem srečna in zadovoljna? J e moje življenje krave vredno?"
So pa tudi opazovalci, ki vidijo kravo in vzkliknejo: "O, kako simpatična kravica," jo objamejo in poljubijo in so srečni, da so lahko v njeni družbi. Srečni so, dokler j e srečna krava, omogočajo ji, da se pase, in poskrbijo, da je na toplem, kar tako, za nič, iz ljubezni. Ti pravzaprav nimajo nobene potrebe po ocenje- vanju in živijo v božjem kraljestvu, v katero se pride po najstrožji evalvaciji, kjer pa p o t e m ni več evalvacije. A večina ni tam, zato se mora- mo z evalvacijo še nekoliko ukvarjati.
M E T O D O L O Š K A V P R A Š A N J A E V A L V A C I J S K I I I R A Z I S K A V
Izvajalec projekta prostovoljnega dela naj bi se najprej vprašal, ali je evalvacijska raziska- va o njegovem projektu sploh potrebna. Če je:
čemu? Če uživate pri delu s prostovoljci, če črpate iz tega življenjsko moč; če vidite, da tudi prostovoljci z veseljem in navdušeno sode- lujejo, če jih otroci radovedno pričakujejo in razočarani pogrešajo, kadar jih ni, j e to morda povsem dovolj, da vi pri sebi zanesljivo veste,
da delate n e k a j pravega, in da to v e d o tudi prostovoljci. Od kod torej potreba po dokazo- vanju uspešnosti navzven? Če boste na to našli zadovoljive odgovore, boste seveda morali ne- kako dokazati, da j e vaše delo uspešno, to svojo trditev boste morali utemeljiti.
Svojo trditev (domnevo) o uspešnosti pro- jekta lahko o p r e t e na bolj ali m a n j trden te- melj. V grobem so trije načini dokazovanja uspešnosti.
• Pri prvem, tršem, se o p i r a m o na eksperi- mentalni model presojanja uspešnosti.
• Pri drugem, mehkejšem, se o p i r a m o na mnenja udeležencev o uspešnosti obravnave.
• Poleg teh dveh načinov pa obstaja še tre- tji: podroben opis procesa dela, iz katerega sklepamo na uspešno doseganje ciljev.
a. Eksperimentalni model. Če hočete trdno utemeljiti sodbo o uspešnosti obravnave, mor- ate dokazati: (1) da je pri osebah, s katerimi delate, prišlo do (pozitivnih) s p r e m e m b ; (2) da j e do teh s p r e m e m b prišlo zaradi obravnave.
Zavrniti je treba ugovor sitnih ocenjevalcev, da se v resnici na obravnavanih osebah ni nič spremenilo, a m p a k da ste, recimo, s a m o post- ali pozorni na neke določene značilnosti, ki so jih imele že prej, pa jih niste opazili. In zavrni-
ti je treba ugovor, da teh s p r e m e m b , če je prišlo do njih, niste povzročili vi, a m p a k bogve kdo ali bogve kaj, na primer, da j e otrok v času obravnave pač dozorel, kar bi se zgodilo tudi brez vaše obravnave.
Osnovni ali izhodiščni model za tako doka- zovanje j e eksperiment z eksperimentalno (tretmansko) in kontrolno (netretmansko) skupino. Poleg tega sorazmerno preprostega modela obstojajo tudi drugi, še bolj premišlje- ni. A tudi tega, ki ni videti p r e t i r a n o zapleten, j e težko uresničiti in se mu lahko v realnih okoliščinah navadno le bolj ali m a n j približa- mo. V e n d a r ga u p o r a b l j a m o kot kriterij za p r e s o j a n j e realno izvedenih postopkov.
Postopek je tak.
P r e d e n začnemo z obravnavo, izberemo dve skupini iz ciljne populacije. Skupini iz- b e r e m o tako, da sta v povprečju izenačeni po značilnostih, ki bi jim bilo mogoče pripisati razlike v izidu obravnave. T o se navadno doseže s p o s t o p k o m naključnega razporejanja oseb v eno ali drugo skupino. E n o od teh sku- pin b o m o imenovali obravnavana skupina, ker
b o m o s posamezniki iz te skupine ali s skupino kot celoto delali. Druga skupina bo kontrolna.
Z njo ne b o m o delali. Sploh je ne b o m o
"spravili skupaj", ostala bo zgolj na p a p i r j u . N a t o v o b e h skupinah z b e r e m o p o d a t k e o tis- tih značilnostih, pri katerih pričakujemo, da se b o d o pod vplivom naše obravnave spremenile.
Ugotoviti m o r a m o namreč, kakšno j e izho- diščno stanje. T o je tako imenovano " m e r j e n j e pred obravnavo". N a t o obravnavamo skupino, ki smo j o določili, druge pa z ničimer ne vzne- mirjamo. Po končani obravnavi pri o b e h skupi- n a h z b e r e m o p o d a t k e o s p r e m e m b a h pri istih značilnosti kot prej. T o r e j :
Izenačenje, naključna Merjenje Obravnava Merjenje
sestava pred po
Obravnavana
o l o 2
skupina o l + o 2
Kontrolna skupina k i - k2
Učinek obravnave izrazimo kot razliko med s t a n j e m pred obravnavo in p o njej, zmanjšano za razliko med prvim in drugim m e r j e n j e m pri kontrolni skupini. Takole:
učinek = (o2 - o l ) - (k2 - k i ) Primer. Recimo, da se je p o obravnavi iz- boljšal učni uspeh v obravnavani skupini, tako da sta v skupini desetih članov le še 2, ki imata kakšno negativno oceno, prej pa jih j e bilo 6.
R a d i bi v tem videli z n a m e n j e , da j e naša ob- ravnava uspešna. T o d a , če se j e tudi v kontrol- ni skupini zmanjšalo število neuspešnih s 6 na 2, je čisti učinek naše obravnave 4 - 4 = 0.
Cela vrsta ovir, od praktičnih d o etičnih, onemogoča, da bi lahko v praksi zvesto sledili g o r n j e m u modelu. Z a t o j e cela vrsta postop- kov, ki se skušajo p a č bolj ali m a n j p o s r e č e n o približati temu modelu. T e m p o s t o p k o m ved- no manjka ta ali o n a n u j n o p o t r e b n a sestavina, tako da so sklepi o učinkih obravnave bolj ma- javi kot pri idealnem modelu.
Obravnava teh modelov je posebna meto- dološka tema, ki ne sodi v naš okvir. Poudari- m o le, da se velja o njih poučiti ali pa vprašati za svet metodologa, kajti dostikrat se da s kombinacijo različnih, čeprav nepopolnih mo- delov kar prepričljivo utemeljiti trditev, da j e bilo naše delo uspešno.
b. Raziskave o subjektivnem doživljanju in mnenjske raziskave. Če ni mogoče presoditi o uspešnosti po eksperimentalnem modelu ali kakšnem spodobnem približku tega modela, nam še vedno ostane možnost, da zberemo po- datke o doživljanju udeležencev in njihova mnenja o obravnavi. V obeh primerih gre za subjektivne izjave, razlika med njimi je ta, da izjav udeležencev o njihovem subjektivnem doživljanju ne m o r e m o preverjati. Če kdo re- če, da se bolje počuti, da je bolj samozavesten, bolj zadovoljen in srečnejši, odkar hodi v sku- pino samopomoči, mu lahko le verjamemo ali pa ne. Ker ljudje nimajo posebnega razloga, da bi izkrivljali take izjave, so lahko te dober vir podatkov o doživljanju ljudi, ki so vključeni v projekt. Drugače je z mnenji udeležencev o uspešnosti projekta in s pripisovanjem uspeš- nosti temu ali onemu dejavniku. Ta mnenja sicer tudi imajo svojo neodvisno vrednost kot subjektivne izjave, ki kažejo na navdušenje, za- dovoljstvo ali nezadovoljstvo s projektom, a jih je poleg tega mogoče objektivno preveriti. Če udeleženec projekta trdi, da se večina dobro počuti, lahko njegovo izjavo preverimo tako, da vprašamo druge, kako se počutijo, in pride- mo do svojega sklepa o tem, ali se dobro počutijo ali ne in ali je to večina ali ne.
Otroci lahko po vsakem sestanku ocenjuje- jo posamezne vidike skupinskega srečanja in svojega počutja; prostovoljci lahko ocenjujejo supervizijska srečanja ipd. Lahko izdelamo vprašalnike in ocenjevalne lestvice, ki jih apliciramo na koncu obravnave in ki imajo re- trospektiven značaj; prosimo udeležence, naj primerjajo stanje pred obravnavo in po njej;
vprašamo, kakšne spremembe so se dogodile.
Možnosti za tako spremljanje in preverjanje je veliko in so navadno premalo izkoriščene.
C. Opis procesa dela (obravnave). Podroben opis procesa dela, to je opis ravnanja prosto- voljca (ali supervizorja) hkrati z razlaganjem in utemeljevanjem tega ravnanja na eni strani in na drugi opis odzivanja obravnavanih oseb, opis, ki vključuje tako objektivna opažanja o njihovem vedenju kot tudi izjave, ki kažejo na njihovo subjektivno doživljanje, lahko ne le dopolni, ampak v marsičem nadomesti meto- dološke postopke, opisane pod (a) in (b). Iz podrobnega opisa interakcij je namreč razvid- no, na katerih dimenzijah doživljanja in
vedenja je prišlo do premikov, uvidov, spre- memb. Iz takih opisov posameznih primerov ali projekta v celoti, iz podrobnega opisa raz- voja projekta lahko bralec sklepa o uspešnosti.
Ta pristop je navidez m a n j zahteven kot prej opisana, saj je lahko opis povsem kvalitativen, brez vsake statistike, v resnici pa j e dobro op- isovanje procesa bolj zahtevno opravilo. N e za- došča namreč le faktografski opis dogajanja.
Tak opis je ploden le, če je pisan z določenega teoretskega stališča ali vsaj z dobrim pozna- vanjem teorije. Kljub temu pa so dobri, po- drobni in konkretni opisi dogajanja, tudi če jim manjka teoretski okvir, vrednejše gradivo za evalvacijo kot ankete.
Tak opis omogoča na novo oceniti življenj- sko sposobnost vzpostavljenih socialnih tvorb (skupin za samopomoč, interesnih skupin, igralnih skupin ipd.), ki je prej ni bilo, ki pa nastane tako, da skupina doseže določeno stopnjo kohezivnosti in vitalnosti, kar je zna- menje, da lahko člani v njej zadovoljujejo svoje p o m e m b n e potrebe.
Primer takega opisa je Stritihov opis delo- vanja skupine za samopomoč in terapevtskega tabora. Če ga natančno preberemo, opazimo, da to nikakor ni suhoparen "dejstven" opis do- gajanja, ampak se v njem neprestano prepleta- ta opis doživljanja in vedenja na eni strani in na drugi interpretacija tega dogajanja v pojmih sistemske teorije. Čeprav opis ničesar ne ocen- juje, omogoča zunanjemu opazovalcu (bralcu) uvid v dogajanje v skupini in oceno tega doga- janja. Opis lahko prepriča bralca, da se v skupini dogajajo procesi, ki ugodno vplivajo na člane in prispevajo k njihovemu razvoju.
K O M P L E K S N A ( V E Č I I A V E N S K A ) E V A L V A C I J S K A R A Z I S K A V A
Če hočemo, da bi bil projekt pravično ocenjen, je dobro zajeti vse podatke, ki lahko vplivajo na oceno. Ni modro preverjati le skrajne, najbolj zaželene, pa tudi najteže dose- gljive učinke, ampak moramo biti pozorni tudi na spremembe na različnih vmesnih ravneh.
T e m u je n a m e n j e n postopek "kompleksne evalvacije", v katerem upoštevamo različne vr- ste in ravni evalvacije. Postopek kompleksne evalvacije je široka in drobno spletena mreža za lovljenje relevantnih podatkov o projektu.
M R E Ž A EVALVACIJE
K o m p o n e n t e kompleksne (večravenske) evalvacije so:
• evalvacija vloženega napora: npr. število sodelujočih in njihova usposobljenost, število opravljenih delovnih ur, število sestankov; teo- retska osnova; vložena sredstva;
• evalvacija procesa: opis procesa dela, sku- pinskega procesa, tako kot smo nakazali zgo- raj;
• evalvacija doseganja ciljev:
• uspešnost: doseganje ciljev: eksplici- rati cilje, kriterije, ugotoviti, koliko so doseže- ni;
• učinkovitost: razmerje med vloženim n a p o r o m in uspešnostjo pri doseganju ciljev - relativni stroški doseganja ciljev;
• evalvacija učinkov oz. posledic (namernih in nenamernih) na različne sodelujoče in na d r u ž b e n o okolje.
T e štiri vrste evalvacijskih podatkov lahko z b e r e m o na treh ravneh:
• na individualni: uporabniki, prostovoljci, strokovni delavci;
• na skupinski: skupine uporabnikov, su- pervizijske skupine;
• na organizacijski in skupnostni: ustanova, organizacija, vodstvo, skupnost, javnost.
Poleg tega pa v tej mreži upoštevamo še, na koga n a j bi projekt učinkoval. Pri tem si lahko p o m a g a m o s klasifikacijo, ki jo je izdelala Anica Kos (povzemam f r a g m e n t a r n o ) :
• učinki na posameznike, ki p r e j e m a j o pomoč,
• učinki funkcionalne (stvarne) pomoči,
• učinki emocionalne (odnosne, osebne) pomoči,
• učinki na družinsko okolje uporabnikov:
• razbremenitev,
• zadovoljstvo,
• povezanost,
• učinki na prostovoljce:
• znanje, poučenost,
• stališča,
• vrednote,
• s a m o p o d o b a ,
• učinki na strokovnjake:
• večja občutljivost za probleme,
• revizija doktrine,
• manjša distanca,
• preureditev vloge,
• učinki na ustanove, skupnosti, kjer se odvija P D .
N A M E S T O S K L E P A
Z a moj prispevek je značilna določena pro- tislovnost. V začetku sem pritrdil tistim, ki se zavzemajo za čim preprostejše in Čim lažje po- stopke pri zbiranju gradiva za evalvacijo ali pri izvajanju evalvacijske raziskave. Sredi prispev- ka sem postavil visoke metodološko-logične
zahteve pri evalvaciji in na koncu priporočil, da razpredete široko in gosto mrežo za lovlje- nje podatkov, da bi lahko na vse možne načine utemeljili, kako da delate nekaj koristnega.
Pri presojanju uspešnosti torej, žal, ni bli- žnjic; bližnjice so daljšnjice. Se vedno nimate v roki čarobne paličice, ampak imate zgolj svojo pamet in delovno zagnanost.
L i t e r a t u r a
A . Kos ( 1 9 8 4 ) , Učinki nepoklicnega prostovoljnega dela na področju socialnih dejavnosti. V : B . M E S E C in sod. (ur.), Prostovoljno delo na področju socialnih dejavnosti. Ljubljana: DDU Univerzum.
B. M E S E C (1977), Metodologija akcijskoraziskovalnega projekta. V : B. S T R I T I H (nosilec). Prostovoljno preventivno in
socialnoterapevlsko delo z otroki, Rakitna: akcijskoraziskovalna naloga - socialnoterapevtska kolonija. V: D. RE-
POVŽ (ur.), Sociološke raziskave v zdravstvu. Inštitut za sociologijo in filozofijo pri Univerzi v Ljubljani.
A. R U B I N , E . B A B B I E ( 1 9 9 3 ) , Research Methods for Social Work. Pacific Grove: Brooks and Cole.
B. SìRmn, M. MozlNA ( 1 9 9 2 ) , Avtopoeza: Procesi samoorganiziranja in samopomoči. Socialno delo 31, 1 - 2 : 1 8 - 7 3 .
J . D . T H O M P S O N ( 1 9 5 4 ) , Organizations in Action. New York: McCraw Hill.
T . T R I P O D I , Ph. F E L L I N , I. Epstein ( 1 9 7 1 ) , Social Program Evaluation. Itaca: F - E . Peacock.
