PRI Liljana Rihter

Liljana Rihter

POMEN KVALITATIVNIH METOD PRI EVALVACIJI P R O J E K T O V P R O S T O V O L J N E G A DELA

PRIMER E V A L V A C I J E P R O J E K T A P R O S T O V O L J N E G A DELA NA ŠOLSKEM CENTRU V E L E N J E

L VOD

V Sloveniji so projekti prostovoljnega dela p r e c e j razširjeni, č e p r a v n a t a n č n i h p o d a t k o v o številu projektov, o številu prostovoljcev in o številu p r e ­ j e m n i k o v p o m o č i n i m a m o . Prostovoljci s svojim d e l o m sodelujejo na številnih področjih: n a social­

n e m , i z o b r a ž e v a l n e m , z d r a v s t v e n e m , okoljevarst- v e n e m ... Najbolj n a s p l o š n o je cilj njihovega dela vplivati n a izboljšanje kvalitete življenja prejem­

nikov p o m o č i , n a izboljšanje kvalitete l a s t n e g a življenja, n a izboljšanje kvalitete dela in življenja v o r g a n i z a c i j a h , ki izvajajo p r o j e k t e prostovolj­

n e g a dela, v organizacijah, ki p r e j e m a j o p o m o č prostovoljcev, in v širši d r u ž b i n a s p l o h . D a n e s je

»delovanje prostovoljcev pri izboljševanju kako­

vosti življenja in p s i h o s o c i a l n e d o b r o b i t i z e l o raz­

širjen pojav« ( M i k u š Kos 2 0 0 2 : 9 ) . V U n i v e r z a l n i deklaraciji o p r o s t o v o l j n e m delu je m e d d r u g i m n a v e d e n o , d a imajo prostovoljci ter d r u g e orga­

nizacije in s k u p n o s t i o d g o v o r n o s t , d a »ustvarjajo tako okolje, v k a t e r e m b o d o prostovoljci opravljali s m i s e l n o d e l o , ki b o vodilo k d o s e g a n j u dogovor­

j e n i h ciljev« (op. cit.: 13). D e j a n s k o v p r a k s i te s p l o š n e cilje in k o n k r e t n e cilje p o s a m e z n i h p r o ­ jektov p r o s t o v o l j n e g a dela le r e d k o preverjajo, č e p r a v v z a d n j e m o b d o b j u obstaja k a r nekaj p o ­ skusov, razviti m e t o d o l o g i j o in vzpostaviti osnov­

n e p r i s t o p e in m o d e l e za evalviranje p r o j e k t o v p r o s t o v o l j n e g a d e l a ' . O c e n a in analiza u č i n k o v prostovoljnega dela sta p o m e m b n i z a r a d i prak­

t i č n e v r e d n o s t i za p o t e k p r o j e k t a , za p r e n o s izkušenj že izvedenih projektov na d r u g e projekte ter sta vir zadovoljstva za u d e l e ž e n c e (op. cit.:

2 0 2 ) .

Tudi če organizatorji projektov prostovoljnega dela sledijo n a p o t k u ( Ž o r g a 2 0 0 2 : 7 5 ) , da naj bi bili o c e n a in analiza p o t e k a dela ter učinkov p r o ­ j e k t a vgrajeni v organizacijsko s h e m o in d a naj

bi ju izvajali sproti, so pri evalviranju velikokrat glavna ovira cilji prostovoljnega dela n a socialnem p o d r o č j u , ki so široki in splošni, k a r je za eval- vatorje p r e c e j š n a težava, še zlasti če vztrajajo p r i k v a n t i t a t i v n e m p r i s t o p u , ki temelji n a pozitivis- tični p a r a d i g m i in je dolgo časa p r e v l a d o v a l p r e d kvalitativnim, ki temelji n a i n t e r p r e t a t i v n i para­

digmi ( P a t t o n 1 9 9 0 : 3 7 ) .

RAZMERJE MED KVANTITATIVNO IN KVALITATIVNO PARADIGMO

C h a m b e r s , W e d e l in Rodwell ( 1 9 9 2 : 1 2 - 1 9 ) na­

vajajo, da se je z g o d o v i n s k o evalvacija socialnih p r o g r a m o v razvila iz kvantitativne tradicije v dru­

ž b e n i h z n a n o s t i h , ki je p o s n e m a l a n a r a v o s l o v n e z n a n o s t i . P a r a d i g m a kvantitativne raziskave pred­

postavlja, d a je t e o r e t i č n o m o g o č e r a z u m e t i svet t a k o , d a stvari r a z d e l i m o n a dele in jih p o d r o b n o p r e g l e d a m o izven njihovega k o n t e k s t a , d o d a j a m o in o d s t r a n j u j e m o vplive ter o p a z u j e m o u č i n k e v k o n t r o l i r a n i h e k s p e r i m e n t i h . H i p o t e z e o pričako­

vanih r e z u l t a t i h m o r a m o izdelati v n a p r e j . M e r s k i i n s t r u m e n t i m o r a j o biti kvantitativni. R e z u l t a t e p a n a t o p r e d s t a v i m o v številkah ter ugotovitve p o s p l o š i m o n a r e a l e n svet.

P a r a d i g m a k v a n t i t a t i v n e raziskave temelji n a pozitivistični p a r a d i g m i , ki jo M e s e c ( 1 9 9 7 : 2 - 4 ) opiše s t r e h vidikov. O n t o l o š k i vidik (vprašanje o naravi sveta) se tu k a ž e v p r e d p o s t a v k i , da zunanji svet obstaja n e o d v i s n o o d s p o z n a v a j o č i h ljudi.

E p i s t e m o l o š k i vidik ( o d n o s m e d s p o z n a v a j o č i m človekom in svetom, ki ga s p o z n a v a ) se k a ž e v t e m , da je svet p r e d m e t človekovega spoznavanja;

raziskovalec m o r a biti objektiven, k a r p o m e n i , d a je p r e d m e t njegovega s p o z n a v a n j a n e o d v i s e n in l o č e n od njega. M e t o d o l o š k i vidik ( k a k o naj p o t e k a raziskovanje) p a v t e m , d a preverjanje

teorij p o t e k a t a k o , d a iz njih i z v e d e m o n a p o v e d k o n k r e t n e g a d o g o d k a ; u s t v a r i m o pogoje, v kate­

rih naj bi se ta d o g o d e k zgodil, in o p a z u j e m o , ali

se zgodi ali n e . j P a r a d i g m a kvalitativne raziskave je d r u g a č n a ,

saj predpostavlja, da je svet m o g o č e le d e l n o razu­

meti z r a c i o n a l n o raziskavo, ker l a h k o n a r a v o de­

lov stvari določimo le z njihovim okoljem. H i p o t e z n e m o r e m o postavljati v n a p r e j , ker so v okolju stalno p r i s o t n e s p r e m e m b e , z a t o jih prilagajamo.

Z a r a d i stalnih s p r e m e m b stvari tudi ni m o g o č e opisovati s številkami in z a t o r e z u l t a t e z a p i š e m o v obliki, ki je u p o r a b n a s a m o za d o l o č e n e oko­

liščine ( C h a m b e r s , Wedel, Rodwell 1992: 1 2 - 1 9 ) . P a r a d i g m a kvalitativne r a z i s k a v e temelji n a i n t e r p r e t a t i v n i p a r a d i g m i , ki se v o n t o l o š k e m , e p i s t e m o l o š k e m in m e t o d o l o š k e m vidiku razHku- je o d pozitivistične p a r a d i g m e ( M e s e c 1997: 2—

4). Z o n t o l o š k e g a vidika je zunanji svet konstruk­

cija n a š e zavesti in d r u ž b e n a konstrukcija zavest­

n o delujočih subjektov in interakcij. Z e p i s t e m o - loškega vidika je svet p r o i z v o d s p o z n a v a j o č e g a subjekta. K a r i m a raziskovalec za p r e d m e t razi­

skave, je že s a m o d r u ž b e n a konstrukcija; p r e d m e t opazovanja ni neodvisen o d raziskovalca. Z meto­

d o l o š k e g a vidika p a raziskovalec p o s k u š a identi­

ficirati konstrukcije sveta različnih u d e l e ž e n c e v d r u ž b e n e igre in ugotoviti p o d o b n o s t i in razlike m e d njimi,

Kvalitativno raziskovanje je bilo d o l g o časa (in je še vedno) p r e d m e t kritik pozitivistov in post- pozitivistov, ki trdijo, d a naj bi z n a n o s t vzpostavila pravila za p r a v o o b j e k t i v n o in r a c i o n a l n o znanje (Halmi 1996: 2 4 - 2 8 ; prim, tudi Rihter 2 0 0 1 : 18).

Po d r u g i strani n a l e t i m o n a d i l e m o , ali je empi­

rična z n a n o s t p r i m e r e n način s p o z n a v a n j a sveta in pogojev, v k a t e r i h človek živi.

N a eni strani so bili kvalitativni pristopi pred­

met kritik, n a drugi s t r a n i p a so teoretiki p o dolo­

č e n e m o b d o b j u u p o r a b e kvantitativnih m e t o d za n a m e n e evalvacije ( C h a m b e r s , W e d e l , Rodwell 1992: 2 7 5 - 2 7 6 ) ugotovili, da ta p r i s t o p v vseh okoliščinah ni nujno najboljši. Z večanjem števila evalvacijskih raziskav so začeli odkrivati, d a je težko n a č r t o v a t i p r o g r a m e , k a t e r i h u č i n k e bi la­

h k o zaznali in zajeli s a m o s kvantitativnimi me­

t o d a m i . V p r o g r a m i h so n a m r e č v n a p r e j postavili cilje, ki bi jih bilo m o g o č e izmeriti s kvantita­

tivnimi m e t o d a m i (in verjetno n a m e n o m a izpustili cilje, ki bi jih bilo m o g o č e izmeriti s kvalitativnimi m e t o d a m i ) , v e n d a r so o b evalvacijah ugotavljali, d a so dosegli le m i n i m a l n e u č i n k e . Z g o d i l o se je

tisto, česar niso pričakovali. Z z n a n s t v e n o (kvanti­

tativno) m e t o d o so želeli p o k a z a t i , d a p r o g r a m i dosegajo zastavljene cilje. Ker so kot cilje pro­

g r a m a postavili take cilje, ki jih je bilo m o g o č e meriti s kvantitativnimi m e t o d a m i , so z merjenjem ugotovili le m i n i m a l n e u č i n k e , č e p r a v so bili ver­

j e t n o učinki p r o g r a m a veliko širši. Presenetljivo je bilo p r e d v s e m t o , d a so veliko p r o g r a m o v n a podlagi teh evalvacij označili kot manj u s p e š n e . O č i t n o je p o s t a l o , d a je znotraj e k s p e r i m e n t a l n i h in k v a z i e k s p e r i m e n t a l n i h p r i s t o p o v t e ž k o izbrati zadovoljive kriterije u s p e h a in z a t o se je z a č e l o postavljati vprašanje, k a t e r o p a r a d i g m o uporabiti.

P o t r e b e p o evalvacijskem raziskovanju so spo­

d b u d i l e p r a g m a t i č e n p r i s t o p , ki ni p r e d a n p r e d ­ postavki, d a obstaja le e n a raziskovalna m e t o d a oz. le en raziskovalni p r i s t o p . P r a g m a t i z e m zahte­

va domišljijo, inventivnost in disciplino, d a uja­

m e m o raziskovalne p r o b l e m e z viri, ki so n a voljo ( C h e e t h a m , Fuller, Mcivor, Petch 1992: 7 - 8 ) . S t e m p o g l e d o m se strinja tudi P a t t o n ( 1 9 9 0 : 1 9 5 -

198), ki pravi, d a se lahko v odvisnosti o d razisko­

valnega vprašanja o d l o č i m o za tipično holistično- i n d u k t i v n o p a r a d i g m o (kvalitativni p r i s t o p ) , ki zajema kvalitativne p o d a t k e , holistično-induktivni n a č r t n a t u r a l i s t i č n e r a z i s k a v e , analizo v s e b i n e in p r i m e r a , ali za t i p i č n o h i p o t e t i č n o - d e d u k t i v n o p a r a d i g m o (kvantitativni p r i s t o p ) , ki zajema kvan­

titativne p o d a t k e , e k s p e r i m e n t a l n i n a č r t in statis­

tično a n a l i z o . M o g o č e p a so tudi m e š a n i c e . Kvalitativna raziskovalna strategija je p o m n e ­ nju P a t t o n a (op. cit.: 9 5 - 1 1 4 ) še posebej p r i m e r n a za študije p r o c e s a in evalvacije p r o c e s a , za eval­

vacije individualiziranih ciljev ( k a d a r so cilji p r o ­ g r a m a različni za različne u p o r a b n i k e ) , za študije p r i m e r o v , za p r i m e r j a v o p r o g r a m o v , k a d a r se o s r e d o t o č i m o n a raznolikost, za evalvacijo imple­

m e n t a c i j e , za o c e n i t e v m o ž n o s t i evalviranja, za zagotavljanje kvalitete in zviševanje kvalitete, za evalvacijo preventive in za d o k u m e n t i r a n j e raz­

voja v času. ...

POMEN KVALITATIVNIH METOD PRI EVALVACIJI PROJEKTOV

PROSTOVOLJNEGA DELA (PROJEKT PROSTOVOLJNEGA DELA

NA ŠOLSKEM CENTRU V VELENJU) .

Ker so cilji prostovoljnega dela precej široko opre­

deljeni, p r e d p o s t a v l j a m o , d a bi evalvatorji projek­

tov prostovoljnega dela z raziskavo, ki bi temeljila

n a čisti kvantitativni strategiji, naleteli na p o d o b n e p r o b l e m e , kot jih omenjajo C h a m b e r s , Wedel in Rodwell ( 1 9 9 2 : 2 7 5 - 2 7 6 ) . Z a t o je v p r i m e r i h , ko želimo p r o j e k t e evalvirati celovito p o m o d e l u k o m p l e k s n e evalvacije ( M e s e c 1997: 115), veliko­

k r a t t r e b a u p o r a b i t i še m e š a n e ali čiste kvalita­

tivne strategije.

K o s m o pripravljali evalvacijo dela p r o j e k t a prostovoljnega dela na Š o l s k e m c e n t r u v Velenju ( u č n a p o m o č o s n o v n o š o l c e m ) , s m o želeli eval­

virati z a p i s a n e cilje z vidika p r e j e m n i k a p o m o č i , z vidika prostovoljca, z vidika organizacije, ki p o n u j a p o m o č , in z vidika organizacije, ki p o m o č p r e j e m a . V skladu s s t r u k t u r o k o m p l e k s n e eval­

vacije s m o pripravili še evalvacijo vloženega napo­

ra, evalvacijo p r o c e s a in evalvacijo ( n e ) n a m e r n i h učinkov.

Čisto kvalitativno strategijo s m o u p o r a b i l i za evalvacijo p r o c e s a p o m o č i , za evalvacijo (ne)na- m e r n i h učinkov pri p r e j e m n i k i h p o m o č i , za eval­

vacijo doseganja ciljev in za evalvacijo (ne)namer- nih učinkov v organizaciji, v k a t e r o so vključeni prejemniki p o m o č i , za evalvacijo doseganja ciljev in evalvacijo ( n e ) n a m e r n i h učinkov pri prostovolj­

cih kot p o s a m e z n i k i h , za evalvacijo p r o c e s a , eval­

vacijo doseganja ciljev in evalvacijo ( n e ) n a m e r n i h u č i n k o v v skupini prostovoljcev, in za evalvacijo d o s e g a n j a ciljev in evalvacijo ( n e ) n a m e r n i h učin­

kov v organizaciji, v k a t e r o so vključeni p r o s t o ­ voljci. Z a evalvacijo v l o ž e n e g a n a p o r a v vseh cilj­

nih s k u p i n a h in za evalvacijo doseganja ciljev z vidika p r e j e m n i k a p o m o č i p a s m o u p o r a b i l i me­

š a n e strategije. Čiste k v a n t i t a t i v n e strategije v evalvaciji dela projekta prostovoljnega dela na Šol­

s k e m c e n t r u v Velenju n i s m o u p o r a b i l i , č e p r a v bi bilo to pri evalvaciji ciljev z vidika p r e j e m n i k a p o m o č i m o g o č e n a r e d i t i .

Z a d o l o č e n e vrste evalvacije pri d o l o č e n i h cilj­

nih s k u p i n a h n a č r t a evalvacije ne bi mogli pripra­

viti, če bi izhajali iz stališča, d a je e d i n a p r a v a z n a n s t v e n a raziskava tista, ki temelji n a pozitivi­

stični p a r a d i g m i . S p r a g m a t i č n i m p r i s t o p o m p a s m o raziskovalna (evalvacijska) vprašanja pove­

zali z viri, ki s m o jih imeli n a r a z p o l a g o . Evalvacijo p r o c e s a p o m o č i in evalvacijo proce­

sa dogajanja v intervizijski skupini prostovoljcev si težko p r e d s t a v l j a m o n a d r u g a č e n način, kot d a z b e r e m o p o d a t k e z o p a z o v a n j e m dogajanja oz.

d a a n a l i z i r a m o opise d o g o d k o v . Z a t o s m o p r o ­ stovoljce prosili, da vodijo d n e v n i k e srečanj s pre­

j e m n i k i p o m o č i in i z č r p n o opišejo dogajanje.

D o g a j a n j e v intervizijski s k u p i n i je zapisovala

vodja p r o j e k t a n a šoli, v k a t e r o so bili vključeni p r e j e m n i k i p o m o č i . Vse te o p i s e s m o n a t o zbrali in jih analizirali. Pri o p a z o v a n j u dejavnosti (pro­

cesa) p r o g r a m a je v okoliščinah, kjer teorija p r o ­ g r a m a ni eksplicitna o z . s t a n d a r d i z i r a n a , kjer je p r o g r a m z a v e s t n o a t e o r e t s k i , kjer osebje deluje t e o r e t s k o n e k o n s i s t e n t n o ali e k l e k t i č n o , bolje iz­

brati kvalitativni p r i s t o p ( C h a m b e r s , Wedel, Rod­

well 1 9 9 2 : 1 4 7 - 1 8 7 ) . Tako l a h k o razvijemo she­

m e za o p a z o v a n j e dejavnosti v p r o g r a m u in te dejavnosti n a t o o p a z u j e m o . D r u g a m o ž n o s t p a j e , d a o s e b j e i z p o l n j u j e p o s e b n e s t a n d a r d n e o b r a z c e za vsak p r i m e r dela z u p o r a b n i k o m .

P o d o b n o težko je s čistimi kvantitativnimi pri­

stopi evalvirati ( n e ) n a m e r n e u č i n k e . L a h k o sicer p r e d v i d e v a m o , kaj bi se v p r o j e k t u poleg zastav­

ljenega in p r e d v i d e n e g a še zgodilo, in to i z m e r i m o z že pripravljenimi ali za n a m e n e evalvacije n a novo oblikovanimi m e r s k i m i i n s t r u m e n t i , v e n d a r n a ta način i z g u b i m o sled za tistimi učinki, ki jih niso predvideli niti oblikovalci p r o g r a m a / p r o j e k t a niti mi s a m i . Z a t o je p o m e m b n o , d a vse, ki so vpleteni v delovanje p r o g r a m a / p r o j e k t a ( u p o r a b ­ nike, njihove svojce, izvajalce, p r e d s t a v n i k e orga­

nizacij ...), v p r a š a m o p o njihovem m n e n j u o t e m , ali se je zgodilo kaj, česar niso pričakovali (tako pozitivni kot negativni vidiki).

Evalvacija d o s e g a n j a zastavljenih ciljev je v veliki m e r i o d v i s n a o d tega, k a k o so o p r e d e l j e n i cilji p r o g r a m a . Če so cilji k o n k r e t i z i r a n i in zapi­

sani v taki obliki, da jih je m o g o č e izmeriti z različ­

nimi lestvicami, in če i m a m o n a voljo k o n t r o l n o ali vsaj p r i m e r l j i v o s k u p i n o , u p o r a b i m o čisti h i p o t e t i č n o - d e d u k t i v n i p r i s t o p ( e k s p e r i m e n t a l n i načrt, zbiranje kvantitativnih p o d a t k o v in statistič­

na analiza). Tak p r i s t o p je za evalviranje dosega­

nja ciljev z vidika prejemnikov p o m o č i v projektih prostovoljnega dela m o g o č e u p o r a b i t i , saj n a m d o l o č e n e situacije o m o g o č a j o , d a n a j d e m o kon­

t r o l n o ali primerljivo s k u p i n o , ki ne p r e j e m a po­

m o č i prostovoljcev, in i z v e d e m o (kvazi) eksperi­

m e n t . K o n t r o l n o ali primerljivo s k u p i n o pri u p o ­ r a b n i k i h o z . p r e j e m n i k i h p o m o č i v p r i m e r u p r o ­ j e k t o v prostovoljnega dela o b l i k u j e m o iz tistih o s e b , ki č a k a j o n a vključitev v p r o j e k t , saj se p o g o s t o zgodi, da je p o v p r a š e v a n j e p o p o m o č i večje o d r a z p o l o ž l j i v e p o n u d b e prostovoljcev.

Omejitev, ki jo m o r a m o u p o š t e v a t i , je v t e m , d a p o n a v a d i najprej dobijo p o m o č prostovoljcev tisti, ki so p o m o č i najbolj p o t r e b n i ; tisti, ki m o r a j o n a vključitev čakati, p a imajo p o n a v a d i manj težav in z a t o boljšo i z h o d i š č n o situacijo, Z a t o je p r a v o

k o n t r o l n o s k u p i n o težko oblikovati. Rešitev za ta p r o b l e m ponujata Fitz-Gibbon in M o r r i s (1987:

28—29; 156—157), ki navajata, naj v e k s p e r i m e n ­ t a l n o in k o n t r o l n o s k u p i n o vključimo t. i. posa­

m e z n i k e n a r o b u , ki so si p o d o b n i v k a r največjem številu značilnosti.

Pri evalviranju doseganja ciljev z vidika p r o s t o ­ voljcev je u p o r a b a p r i s t o p a n a podlagi čiste hipo- t e t i č n o - d e d u k t i v n e p a r a d i g m e o m e j e n a z a r a d i najmanj dveh razlogov. Prvi je ta, da i m a m o velike težave p r i izvedbi e k s p e r i m e n t a l n e g a n a č r t a , saj je n e m o g o č e dobiti p r a v o k o n t r o l n o s k u p i n o (to bi bili tisti, ki ne opravljajo prostovoljnega dela).

Anica M i k u š Kos ( 1 9 9 7 : 9) n a m r e č navaja, d a so prostovoljci s k u p i n a ljudi, za k a t e r o je značilna p r e d v s e m p r o s o c i a l n a usmerjenost in večja empa- tija; ostali tega vedenja nimajo razvitega v t a k o veliki m e r i . Prostovoljci se že v izhodišču razliku­

jejo o d d r u g i h ljudi, k a r s m o ugotovili tudi z n a š o raziskavo, v k a t e r o s m o vključili dijake Gimnazije Velenje, ki opravljajo prostovoljno delo, in dijake, ki se za vključitev v projekt prostovoljnega dela niso odločili. Iz odgovorov n a vprašanja v vprašal­

niku, ki m e r i p r o s o c i a l n o vedenje, s m o oblikovali indeks prosocialnega vedenja ter z u p o r a b o t-testa ugotovili, d a imajo tisti anketirani dijaki, ki oprav­

ljajo prostovoljno d e l o , bolj razvito p r o s o c i a l n o vedenje. K o n t r o l n o s k u p i n o bi lahko oblikovali s a m o v p r i m e r u , da bi se v projekt prostovoljnega dela vključilo p r e v e č prostovoljcev in bi n e k a t e r i dela n e mogli opravljati takoj, kar p a se v realnosti z g o d i le r e d k o . D r u g i razlog, d a pri evalvaciji do­

seganja ciljev z vidika prostovoljcev n e m o r e m o u p o r a b i t i čistega h i p o t e t i č n o - d e d u k t i v n e g a pri­

s t o p a , je v t e m , d a so cilji z vidika prostovoljca velikokrat zelo s p l o š n o opredeljeni in d a dosega­

nja vseh teh ciljev n e m o r e m o izmeriti z m e r s k i m i i n s t r u m e n t i , s k a t e r i m i bi zbirali le kvantitativne p o d a t k e . Ž e pri najbolj s p l o š n i h o p r e d e l i t v a h prostovoljnega dela o z . prostovoljstva z a s l e d i m o n a v e d b e , d a »prostovoljstvo s p o d b u j a o s e b n o s t n i r a z v o j , o m o g o č a p r i d o b i v a n j e n o v i h veščin in z n a n j , razvija o s e b n o s t n e p o t e n c i a l e , s a m o z a u - panje in k r e a t i v n o s t « (Mikuš Kos 2 0 0 2 : 16). Z a ilustracijo, k a k o opredeljujejo cilje v k o n k r e t n e m p r o j e k t u , n a v a j a m o cilje z vidika prostovoljca v p r o j e k t u , ki s m o ga evalvirali ( P r e d m e t n i k obvez­

nih izbirnih vsebin 1 9 9 8 ; R i h t e r 2 0 0 1 : 15):

• v s e s t r a n s k o o s e b n o s t n o d o z o r e v a n j e ;

• privzgajanje etičnih in socialnih v r e d n o t , njihovo globlje dojemanje, doživljanje in uresniče­

vanje (altruizem, iskrenost, h u m a n i z e m , strpnost.

d r u ž b e n a o d g o v o r n o s t . . . ) ;

• odkrivanje in razvijanje drugih o s e b n o s t n i h potencialov ( s p o s o b n o s t i , kreativnosti, interesov, s p r e t n o s t i , specifičnih n a d a r j e n o s t i , socialne sen­

zibilnosti, socialnih veščin, e m p a t i j e , p e r m i s i v - nosti, s a m o z a u p a n j a , s a m o s p o š t o v a n j a ) ;

• večanje zavedanja o r a z n i h življenjskih do­

b r i n a h in m o ž n o s t i h , ki jih daje življenje mla­

d o s t n i k o m ;

• pridobivanje d r a g o c e n i h življenjskih izku­

šenj, znanj in s p o z n a n j o sebi, o sočloveku in o življenju;

• lažje in ustreznejše študijsko odločanje, bolj­

še dojemanje n e k a t e r i h teoretskih p r e m e t o v (dru­

žboslovnih) in d o b r a p o d l a g a za študij v o k v i r u h u m a n i s t i č n i h ved;

• večja samorealizacija in izboljšanje s a m o p o - d o b e , zdravo uveljavljanje o s e b n o s t i , globlje doje­

manje smisla življenja, globlje doživljanje pozi­

tivnih čustev (ljubezni, veselja), s r e č e , n o t r a n j e g a zadovoljstva, h a r m o n i j e .

V s e to naj bi pri m l a d o s t n i k i h (prostovoljcih) s p o d b u j a l o p o z i t i v n o n a r a v n a n o s t d o življenja ( z d r a v življenjski o p t i m i z e m ) in k o n s t r u k t i v n o razreševanje življenjskih p r o b l e m o v .

N e k a t e r e i z m e d teh ciljev (ki so p o v e z a n i z o s e b n o s t j o ) bi l a h k o izmerili s k v a n t i t a t i v n i m i m e r s k i m i i n s t r u m e n t i , saj obstajajo r a z l i č n e lest­

vice za merjenje o s e b n o s t n i h lastnosti. K a r precej ciljev p a je tako splošnih, npr. globlje d o j e m a n j e smisla življenja, večanje zavedanja r a z n i h življenj­

skih d o b r i n in m o ž n o s t i , d a v p o g l e d v to, v kolik­

šni m e r i in aH sploh so d o s e ž e n i , d o b i m o le s p o m o č j o kvalitativnih m e t o d .

Kot p r i m e r n o m e t o d o za evalvacijo ciljev, ki so p o d o b n i t e m , P a t t o n ( 1 9 9 0 : 2 7 8 - 2 8 9 ) navaja intervju. N a m e n intervjuja je ugotoviti, o č e m k d o razmišlja, o z . s p o z n a t i tiste stvari, ki jih n e m o ­ r e m o n e p o s r e d n o o p a z o v a t i . Pri t e m i z b i r a m o m e d različnimi oblikami kvalitativnega intervjuja:

n e f o r m a l n i p o g o v o r , intervju n a osnovi splošnih s m e r n i c in s t a n d a r d i z i r a n o d p r t intervju. Razlika m e d njimi je v stopnji d o l o č e n o s t i v p r a š a n j p r e d s a m i m intervjujem. Ko gre za n e f o r m a l n i p o g o ­ vor, v p r a š a n j n i m a m o pripravljenih v n a p r e j . Pri intervjuju n a o s n o v i s p l o š n i h s m e r n i c i m a m o p r e d v i d e n a s p l o š n a v p r a š a n j a , v s t a n d a r d i z i r a ­ n e m o d p r t e m intervjuju p a so vsa vprašanja o p r e ­ deljena v n a p r e j . G l a v n a slabost p r i intervjuju n a osnovi splošnih s m e r n i c (še v večji m e r i to velja za n e f o r m a l n i p o g o v o r ) je, d a z a n e m a r i m o p o ­ m e m b n e vidike p r o b l e m a , k e r o njih s p l o h n e

s p r a š u j e m o . Ker je tisti, ki sprašuje, fleksibilen pri z a p o r e d j u in oblikovanju v p r a š a n j , l a h k o do­

b i m o tudi precej različne o d g o v o r e iz različnih p e r s p e k t i v , k a r zmanjšuje njihovo primerljivost.

S s t a n d a r d i z i r a n i m o d p r t i m intervjujem, kjer so v p r a š a n j a postavljena n a t a n č n o in v n a p r e j , dobi­

m o primerljive p o d a t k e (kar pri evalvaciji dosega­

nja ciljev p o n a v a d i želimo, d a p r i m e r j a m o , k a t e r e cilje so prostovoljci dosegli v večji in k a t e r e v manj­

ši meri), v e n d a r je le malo fleksibilnosti in n e dobi­

m o (včasih z a ž e l e n e ) globine p o d a t k o v . V kon­

k r e t n i raziskavi s m o p r i evalvaciji ciljev z vidika p r o s t o v o l j c a u p o r a b i l i m e š a n i c o intervjuja n a o s n o v i s p l o š n i h s m e r n i c in s t a n d a r d i z i r a n e g a o d p r t e g a intervjuja (nekateri ga p o i m e n u j e j o del­

n o s t a n d a r d i z i r a n o d p r t intervju). Izbira te oblike intervjuja se je p o k a z a l a za u s t r e z n o , saj s m o ime­

li glavna, bistvena v p r a š a n j a d o l o č e n a v n a p r e j ( k a r o m o g o č a primerjanje m e d o d g o v o r i ) , h k r a t i p a s m o v p r i m e r i h , ko s m o želeli d o d a t n a pojas­

nila, postavljali d o d a t n a v p r a š a n j a (kar o m o g o č a globino p o d a t k o v ) . Evalvator se m o r a glede n a vrsto informacij, ki jih želi dobiti, odločiti, k a k š n a vprašanja b o postavil. Tako je m o g o č e p o P a t t o n u (op. d i . : 2 9 0 - 2 9 3 ) postaviti šest vrst v p r a š a n j : vprašanja, ki se nanašajo n a izkušnje in obnašanje in jih p o s t a v i m o z n a m e n o m , d a d o b i m o o p i s e izkušenj, vedenja, dejavnosti, ki bi jih lahko sicer o p a z o v a l i , če bi bili p r i s o t n i k o t o p a z o v a l c i , v p r a š a n j a , ki se n a n a š a j o na m n e n j a in v r e d n o t e in jih p o s t a v i m o z n a m e n o m , d a r a z u m e m o kog­

nitivne in i n t e r p r e t a t i v n e p r o c e s e pri ljudeh, vpra­

šanja, ki se n a n a š a j o n a čustvovanje in jih posta­

v i m o z n a m e n o m , d a bi r a z u m e l i čustvene odzive ljudi n a njihove izkušnje in misli, v p r a š a n j a , ki se n a n a š a j o n a znanje in jih p o s t a v i m o z n a m e n o m , d a o d k r i j e m o , k a k š n e informacije i m a o s e b a , vprašanja, ki se n a n a š a j o n a z a z n a v n e s p o s o b ­ nosti (kaj je k d o videl, slišal, otipal, okusil), vpra­

šanja, ki se nanašajo n a karakteristike človeka o z . d e m o g r a f s k a vprašanja - z njimi si p o m a g a m o odkriti značilnosti človeka, ki ga intervjujamo.

Kvalitativni pristop ima pri evalvaciji projektov prostovoljnega dela velik p o m e n . P r i m e r e n je za evalvacijo p r o c e s a in za evalvacijo ( n e ) n a m e r a - vanih učinkov, p a tudi za evalvacijo ciljev z vidika prostovoljcev. V d o l o č e n i h p r i m e r i h je to sploh edini p r i s t o p , ki ga je m o g o č e u p o r a b i t i , p o s e b e j t a m , kjer pogoji za p r i p r a v o evalvacijskega n a č r t a n a podlagi čiste h i p o t e t i č n o - d e d u k t i v n e p a r a d i g ­ m e niso izpolnjeni. Če bi v takih p r i m e r i h vztrajali pri kvantitativni p a r a d i g m i , n e bi mogli izpeljati

k o m p l e k s n e evalvacije in bi bile p o v r a t n e informa­

cije e n o s t r a n s k e in pomanjkljive. Če p a i z b e r e m o kvalitativni pristop (ali m e š a n e p r i s t o p e ) , m o r a m o biti pripravljeni n a kritike z a g o v o r n i k o v kvantita­

tivnega p r i s t o p a .

KRITIKE KVALITATIVNIH METOD IN KAI NAREDITI ZA POVEČANJE i

VERODOSTOJNOSTI EVALVACIJ, KI TEMELIIIO NA

KVALITATIVNI PARADIGMI

Največkrat se pojavljajo kritike, da znanje, p r i d o ­ bljeno s kvalitativnimi m e t o d a m i , ni p r a v o objek­

tivno in r a c i o n a l n o znanje in d a naj bi le kvanti­

t a t i v n e t e h n i k e zbiranja e m p i r i č n e g a m a t e r i a l a o m o g o č i l e , d a p r i d e m o d o veljavnih, zanesljivih, objektivnih in n u m e r i č n i h dejstev o d r u ž b e n i real­

nosti ( H a l m i 1996: 2 4 - 2 8 ) .

P a t t o n ( 1 9 9 0 : 4 6 1 - 4 9 2 ) m e n i , da so v e r o d o s ­ tojne tudi kvalitativne raziskave, in navaja n a č i n e , ki n a m omogočajo povečati verodostojnost tovrst­

nih raziskav in s m o jih u p o r a b i l i v evalvaciji dela p r o j e k t a prostovoljnega dela n a Š o l s k e m c e n t r u v Velenju.

Prvi način je, da u p o r a b i m o s t r o g o t e h n i k o in pravila za zbiranje kvalitetnih p o d a t k o v , ki jih s k r b n o analiziramo. Pri t e m m o r a m o biti p o z o r n i , d a u t e m e l j i m o veljavnost, zanesljivost in d a (če je m o g o č e ) u p o r a b i m o triangulacijo,

Veljavna je tista analiza oz. interpretacija, kate­

re s o d b e so u t e m e l j e n e v gradivu. Z a t o m o r a m o za utemeljevanje veljavnosti raziskave (evalvacije) preveriti prepis terenskih zapisov s stranko, s kate­

r o s m o izvedli intervju, ter raziskovance seznaniti z ugotovitvami analize in interpretacije in jih p r o ­ siti za m n e n j e . Raziskava je t e m bolj k o n s t r u k t n o veljavna, v čim večji m e r i so u p o r a b l j e n e u s t r e z n e o p e r a c i o n a l n e definicije teoretskih konceptov, več virov p o d a t k o v , veriga d o k a z o v , ter če o s n u t e k poročila pregledajo ključni raziskovanci. Notranja veljavnost je t e m večja, čim bolj zanesljivo ugotav­

lja v z r o č n e o d n o s e , kar p o m e n i , d a ne d v o m i m o , d a d o l o č e n i m d o g o d k o m sledijo d r u g i d o g o d k i . Z u n a n j a veljavnost je t e m večja, na čim več različ­

nih situacij lahko p o s p l o š i m o ugotovitve. Pri eval- vacijskih raziskavah se m o r a m o zavedati omejit­

ve, d a ugotovitev p o g o s t o n e m o r e m o p o s p l o š e ­ vati širše od p r o j e k t a / p r o g r a m a , ki ga evalviramo ( M e s e c 1 9 9 8 : 1 4 1 - 1 4 8 ) ,

Zanesljiva je tista raziskava, ki da pri p o n o ­ vitvah čim bolj p o d o b n e r e z u l t a t e . Kvalitativne raziskave t e ž k o p o n a v l j a m o , z a t o M e s e c (ibid.) kriterij zanesljivosti ublaži na ta način, d a kot zanesljivo raziskavo označi raziskavo, v kateri čim bolj prepričljivo p o k a ž e m o , da bi prišli do e n a k i h ugotovitev, če bi lahko raziskavo ponovili o b sicer n e s p r e m e n j e n i h o k o l i š č i n a h . To p o m e n i , d a m o r a m o n a t a n č n o in i z č r p n o opisati p o s t o p k e zbiranja p o d a t k o v in d o k u m e n t i r a t i vsako infor­

macijo.

R a b a triangulacije (Patton 1990: 4 6 1 - 4 9 2 ) je p o m e m b n a za preverjanje k o n s i s t e n t n o s t i rezul­

tatov, ki s m o jih dobili s p o m o č j o različnih m e t o d zbiranja p o d a t k o v (kvalitativnih in kvantitativnih).

D r u g e m o ž n o s t i so še, d a p r e v e r i m o različne vire p o d a t k o v z isto m e t o d o (npr. p o s t a v i m o ista vpra­

šanja prostovoljcem in njihovim m e n t o r j e m ) , upo­

r a b i m o različne ljudi za analizo istih p o d a t k o v ali u p o r a b i m o več p e r s p e k t i v o z . teorij za inter­

pretacijo p o d a t k o v .

D r u g i č , p o m e m b n a je v e r o d o s t o j n o s t razisko­

valca (evalvatorja), ki je odvisna od treninga, izku­

š e n o s t i , s t a t u s a . Ker je r a z i s k o v a l e c t u d i s a m i n s t r u m e n t k v a l i t a t i v n e r a z i s k a v e (z e p i s t e m o - loškega vidika je v i n t e r p r e t a t i v n i p a r a d i g m i , na k a t e r i temelji kvalitativno raziskovanje, svet p r o ­ izvod s p o z n a v a j o č e g a subjekta, p r e d m e t spozna­

vanja p a ni n e o d v i s e n o d raziskovalca), m o r a v p o r o č i l u z a p i s a t i , k a k š n e so njegove izkušnje, u s p o s o b l j e n o s t , o s e b n e p o v e z a v e z ljudmi in pro­

g r a m o m oz. p r o j e k t o m , ki ga evalvira. Evalvator lahko vpliva na r e z u l t a t e študije z a r a d i reakcij u d e l e ž e n c e v in osebja n a njegovo p r i s o t n o s t , za­

radi s p r e m e m b v njem s a m e m t e k o m evalvacije, z a r a d i predispozicij o z . u s m e r i t e v in z a r a d i (ne)- k o m p e t e n t n o s t i .

Tretjič - p o m e m b n o je tudi filozofsko prepri­

čanje o f e n o m e n o l o š k i p a r a d i g m i . G r e za to, ali c e n i m o naturalistično raziskavo, kvalitativne me­

tode in induktivno analizo. Kaj je resnica, je nam­

reč težko odkriti. Pozitivisd p o u d a r j a j o , d a obsta­

ja le e n a m a t e r i a l n a r e s n i č n o s t in d a so rezultati ali resnični ali n a p a č n i . V e n d a r je ideja o t e m , kaj je r e s n i č n o , odvisna o d p e r s p e k t i v e človeka, ki to p r e u č u j e . P o m e m b n o je, d a evalvator z a m e n j a svoje zanimanje za resnico z z a n i m a n j e m za prak­

tično k o r i s t n o s t . Ker p r i kvalitativnih m e t o d a h u p o r a b l j a m o manjši v z o r e c , r e z u l t a t o v ne m o r e ­ m o posploševati. Poleg tega se m o r a m o z a v e d a d , da so rezultati evalvacije u p o r a b n i le v pogojih, v k a t e r i h s m o jih pridobili. I n t e r p r e t a c i j e d e l a m o

p r e d v s e m za tiste ljudi, ki jih pričakujejo in jih b o d o u p o r a b i l i . L a h k o sicer p r e d v i d i m o v z r o č n e p o v e z a v e m e d p r o c e s o m p r o g r a m a in pričako­

vanimi rezultati, ne m o r e m o pa z gotovostjo trditi, da obstajajo.

Tako je t r e b a , če ž e l i m o utemeljiti v e r o d o s t o j ­ nost r a z i s k a v e , n a t a n č n o opisati p o s t o p k e zbira­

nja p o d a t k o v , analize, u r e d i t i in shraniti informa­

cije, d a je v v s a k e m t r e n u t k u m o g o č e izvesti preverjanje. :• vi.uD':; : д . . s . i

SKLEP

N a p r i m e r u dela p r o j e k t a prostovoljnega dela n a Šolskem c e n t r u v Velenju s m o prikazali p o s t o p e k p r i p r a v e n a č r t a in izvedbe k o m p l e k s n e evalvacije (Rihter 2 0 0 1 ) . Ta evalvacija je temeljila n a čistem kvalitativnem p r i s t o p u in n a m e š a n i h p r i s t o p i h , ki naj bi omogočili v p o g l e d v d o l o č e n e p o d a t k e , ki jih p o t r e b u j e m o za izvedbo evalvacije. Ugoto­

vili s m o , d a je bilo m o g o č e v celoti izvesti zastav­

ljen n a č r t evalvacije, pri č e m e r sta zbiranje in ana­

liza kvalitativnih p o d a t k o v vzela veliko časa. Eval­

vacija p r o c e s a n a m r e č z a h t e v a , d a o p a z u j e m o dogajanje oz. d a n e k d o opiše celoten p o s t o p e k dogajanja, kar je pri projektih prostovoljnega dela p o g o s t o dolgotrajna aktivnost (srečanja p r o s t o ­ voljcev z u p o r a b n i k i p o m o č i so n a v a d n o e n k r a t t e d e n s k o , projekti p a trajajo najmanj leto). Evalva­

cija ( n e ) n a m e r n i h učinkov in ciljev pri prostovolj­

cih predpostavlja vsaj izvedbo intervjuja, k a t e r e g a časovni okvir je odvisen o d v p r a š a n j , n a k a t e r a ž e l i m o dobiti odgovor. Tudi analiza kvalitativnih p o d a t k o v je t r d o d e l o , ki zahteva veliko u r pregle­

dovanja zapiskov, o r g a n i z i r a n j a p o d a t k o v , odkri­

vanja vzorcev, preverjanja veljavnosti virov podat­

kov in vzpostavljanja p o v e z a v m e d različnimi deli p o d a t k o v . K o a n a l i z i r a m o v s e b i n o , z a č n e m o naj­

prej z b r a n j e m in o b s t r a n i d e l a m o p r i p o m b e , kaj bi l a h k o naredili z d o l o č e n i m i deli p o d a t k o v . To je z a č e t e k organiziranja p o d a t k o v o z . kodiranja.

V teh zapisih lahko o d k r i j e m o r a z n e v z o r c e , obli­

k u j e m o tipologije, i z v e d e m o analizo s k r i ž a n j e m d i m e n z i j n a logični o s n o v i in šele n a t o l a h k o z a č n e m o z i n t e r p r e t a c i j o .

P r e d p o s t a v l j a m o , d a je tudi pri evalviranju projektov prostovoljnega dela n a drugih področjih m o g o č e z u p o r a b o k v a l i t a t i v n e g a p r i s t o p a in kvalitativne m e t o d o l o g i j e priti d o p o m e m b n i h p o d a t k o v in informacij, ki bi jih sicer (če bi izhajali iz stališča, d a je edina p r a v a z n a n s t v e n a evalvacija

tista, Ici temelji na pozitivistični p a r a d i g m i ) izgu­

bili.

Vlogo in p o m e n kvalitativnih m e t o d vidimo v tem, da s p o d b u d i m o evalviranje projektov prosto­

voljnega dela tudi z vidika s a m e g a p r o c e s a , (ne)- n a m e r n i h učinkov in tistih ciljev ( p r e d v s e m p r i prostovoljcih), ki jih je r e s n i č n o težko izmeriti z

u p o r a b o k v a n t i t a t i v n i h m e t o d . Le n a ta n a č i n n a m r e č d o b i m o k o m p l e k s n o sliko o p o s a m e z n e m p r o j e k t u prostovoljnega dela in ne le p a r c i a l n e g a v p o g l e d a v tiste aktivnosti, ki jih je m o g o č e izme­

riti na podlagi kvantitativne strategije raziskovanja (evalviranja).

OPOMBA

' Evalvacijo r a z u m e m o t a k o , kot jo o p r e d e l i Blaž M e s e c . G r e za p o s t o p e k , v k a t e r e m z b e r e m o objek­

tivne p o d a t k e o p r o j e k t u prostovoljnega dela in u g o t a v l j a m o , koliko je v skladu z veljavnimi p r a v n i m i n o r m a m i , običaji in z a h t e v a m i okolja, k a k o d o s e g a cilje in k a k š n i so ( n e ) n a m e r n i učinki.

. • . LILJANA R I H T E R ' - • . ;

Ч'£ : LITERATURA C i l r . U . / . - , : ^l,^hl ..^4:

D . E. CHAMBERS, K. R . W E D E L , M . K. RODWELL ( 1 9 9 2 ) , Evaluating Social Programs. M a s s a c h u s e t t s :

AUyn a n d B a c o n . ...,

J. СнЕЕТНАМ, R . F U L L E R , G . M C I V O R , A . F E T C H ( 1 9 9 2 ) , Evaluating Social Work Effectiveness.

Buclcingham: O p e n University P r e s s .

C . T. FiTZ-GiBBON, L. L. MORRIS ( 1 9 8 7 ) , How to Design a Program Evaluation. N e w b u r y Park: Sage.

A. HALMI ( 1 9 9 6 ) , Kvalitativna metodologija u društvenim znanostima. Z a g r e b : A . G . M a t o s .

B. MESEC ( 1 9 9 7 ) , Metodologija raziskovanja v socialnem delu. Ljubljana: V i s o k a šola z a socialno delo (študijsko g r a d i v o ) .

- ( 1 9 9 8 ) , Uvod v kvalitativno raziskovanje v socialnem delu. Ljubljana: V i s o k a šola z a s o c i a l n o d e l o . - ( 2 0 0 2 ) , Metodologija evalvacije prostovoljnega dela. V: A. Mikuš Kos (ur.), Prostovoljci in varovanje

duševnega zdravja otrok. Ljubljana: Slovenska filantropija - Z d r u ž e n j e za p r o m o c i j o prostovoljstva in K o l a b o r a t i v n i c e n t e r S Z O pri Svetovalnem c e n t r u z a o t r o k e , m l a d o s t n i k e in starše (232—243).

A. MiKuž-Kos ( 1 9 9 7 ) , Vzgoja z a p r o s o c i a l n o vedenje. V: Zbornik strokovnih tekstov na temo otroških parlamentov v letu 1997: Odnosi med vrstniki. Ljubljana: Z P M S ( 4 - 1 0 ) .

- ( 2 0 0 2 ) : Prostovoljci in varovanje duševnega zdravja otrok. Ljubljana: S l o v e n s k a filantropija - Z d r u ž e n j e z a p r o m o c i j o prostovoljstva in K o l a b o r a t i v n i c e n t e r S Z O p r i Svetovalnem c e n t r u z a o t r o k e , m l a d o s t n i k e in s t a r š e .

Predmetnik obveznih izbirnih vsebin ( 1 9 9 8 ) . P o s t o j n a : N a c i o n a l n i k u r i k u l a r n i svet - P o d r o č n a k u r i k u l a r n a komisija z a gimnazije.

M. O . PATTON ( 1 9 9 0 ) , Qualitative Evaluation and Research Methods. N e w b u r y Park: Sage.

L. RIHTER ( 2 0 0 1 ) , Evalvacija prostovoljnega dela na področju šolstva: Evalvacija projekta prostovoljnega dela na Šolskem centru Velenje. U n i v e r z a v Ljubljani: Fakulteta z a d r u ž b e n e v e d e ( m a g i s t r s k o delo).

S. ŽORGA ( 2 0 0 2 ) , Kaj lahko p o n u d i m o prostovoljcem in zakaj? M o d e l m e n t o r s k e supervizije in usposabljanja. V: A. MIKUŽ K o s (ur.). Prostovoljci in varovanje duševnega zdravja otrok. Ljubljana:

Slovenska filantropija - Z d r u ž e n j e z a p r o m o c i j o prostovoljstva in K o l a b o r a t i v n i c e n t e r S Z O p r i Svetovalnem c e n t r u z a o t r o k e , m l a d o s t n i k e in starše (61—72).