EVALVACIJA REZULTATOV

V primeru izvajanja evalvacije rezultatov se poroča o vseh rezultatih, ki so opredeljeni v fazi planiranja (v skladu z definiranimi kazalniki). Glede na obseg programa in uporabljen raziskovalni načrt se opravi statistična analiza, ki določi učinkovitost programa pri doseganju ciljev. Kjer je mogoče, se vzroki o učinkovitosti programa povzamejo z ugotovitvami evalvacije rezultatov.

7.2 Evalvacija procesa poteka med samim izvajanjem programa. V tej fazi se analizirata kakovost in uporabnost programa, kjer se upoštevajo dostopnost in pokritost posameznih aktivnosti programa, sprejetost programa s strani udeležencev kot tudi izvajanje načrtovanih dejavnosti in raba virov. Ugotovitve procesne evalvacije pomagajo razložiti, zakaj je prišlo do učinkov/rezultatov in kako lahko progam v prihodnje izboljšamo (glej 8. fazo).

Ta sklop standardov tako

POVZETEK STANDARDOV

K O N Č N A O C E N A

EVALVACIJA REZULTATOV

OSNOVNI STANDARDI

7.1.1 Podana je velikost vzorca, ki je primerna za analizo vzorca in na kateri temelji ocena rezultatov.

7.1.2 Predstavljeni so kriteriji za izbiro in velikost vzorca.

7.1.3 Izvaja se ustrezna analiza podatkov, ki vključuje (1) popolno analizo vseh udeležencev, (2) obravnavanje pristranskosti in prizadevanja za njeno zmanjšanje, (3) poročanje o manjkajočih podatkih in njihovo ustrezno obravnavo, (4) alternativne razlage opaženih učinkov.

7.1.4 Na voljo je pisno poročilo o ugotovitvah, ki vključuje (1) osnovne podatke, (2) rezultate meritev po končanih aktivnostih in programu.

7.1.5 Poroča se o ugotovitvah/rezultatih po vseh ocenjevalnih kazalnikih.

7.1.6 Spremembe so prikazane kvantitativno in/ali kvalitativno.

7.1.7 Rezultati, ki so povezani z dejanskimi vedenjskimi spremembami, se ločijo od drugih rezultatov.

7.1.8 Učinkovitost programa je ocenjena na podlagi dejanskih rezultatov, ki se nanašajo na (1) začetno stanje (2) cilje in namen programa (3) negativne stranske učinke (4) praktično vrednost programa (5) pomen za javno zdravje.

DODATNI STROKOVNI STANDARDI

7.1.9 Spremljanje meritve rezultatov poteka tudi po izvedbi programa in vključuje večinski delež udeležencev programa.

7.1.10 Analiza podatkov vključuje (1) analizo podskupin, (2) primerjavo, kakšen vpliv ima posamezna aktivnost in kakšen vpliv ima več aktivnosti skupaj, (3) analizo razmerja med obsegom izvedenih aktivnosti in doseženimi rezultati, (4) statistične prilagoditve med podatki, (5) nastavitve za multiple/mnogotere primerjave, (6) analize na individualni ravni in na ravni naključnega izbora.

7.1.11 Poročilo o zaključkih vključuje (1) kratkoročne, srednjeročne in/ali dolgoročne rezultate, (2) končne rezultate, ki ustrezajo ciljem daljšega časovnega obdobja.

7.1.14 Ugotovitve se primerjajo z ugotovitvami drugih študij istega programa.

7.1.15 Če je na voljo več študij, se upošteva primerjava s tisto, ki je bila ovrednotena kot najboljša s stališča analize.

7.1.16 Program je splošno učinkovit, če (1) so ugotovljeni učinki podobni učinkom različnih študij tega programa, (2) so doseženi pozitivni učinki/rezultati pri vsaj dveh različnih študijah z ustrezno statistično analizo, v kateri se upošteva moč testa, (3) so podani ali potrjeni tudi pozitivni učinki/rezultati z vsaj eno ponovljeno študijo, ki so jo izvedli zunanji izvajalci.

7.1.17 Vzorčna povezava glede učinkovitosti programa je zagotovljena.

7.1.18 Vzorčna povezava glede učinkovitosti programa (1) je nedvoumna, (2) določa ciljno populacijo, (3) opredeljuje rezultate/cilje, (4) učinki programa so dolgotrajni.

7.1.19 Jasno je opredeljeno, pod kakšnimi pogoji se pričakuje, da bo program učinkovit.

7.1.20 Določena je populacija, na katero lahko posplošimo te ugotovitve.

EVALVACIJA PROCESA

OSNOVNI STANDARDI

7.2.1 Evalvacija procesa (1) dokumentira izvajanje programa, (2) pojasnjuje, zakaj je bil program izveden v takšni obliki, (3) je izvedena sistematično, (4) opredeljuje razlike med operativnimi cilji in dejanskimi rezultati.

7.2.2 Dokumentirana in evalvirana je vključenost/udeležba ciljne populacije in vključuje (1) število udeležencev v programu (2) uporabljene metode (3) podatke o tem ali dejanski udeleženci predstavljajo ciljno populacijo.

7.2.3 Dokumentirane in evalvirane so vse aktivnosti programa, in sicer (1) opis dejavnosti/procesa, (2) povratne informacije od udeležencev, (3) povratne informacije od drugih deležnikov/izvajalcev.

7.2.4 Dokumentirana in evalvirana je izvedba programa, in sicer (1) povratne informacije od članov osebja, ki skrbijo za kakovost izvedbe, (2) ali se program izvaja po zastavljenih načrtih, (3) nenamerne razlike med načrtovanimi in dejanskimi dejavnostmi, (4) namerne spremembe, (5) morebitne nepričakovane in druge težave ter kako so bile te nadzorovane in obravnavane.

7.2.5 Dokumentirana in evalvirana je uporaba vseh virov.

7.2.6 Evalvacija procesa vključuje (1) pojasnitev, kako so bili doseženi rezultati programa, (2) pri kazalnikih evalvacije procesa se upoštevajo razlike med pričakovanimi in dejanskimi rezultati.

DODATNI STROKOVNI STANDARDI

7.2.7 Dokumentirana in evalvirana je udeležba ciljne populacije, in sicer (1) uspeh pri vključevanju udeležencev, (2) opis problemov, povezanih s pripravljenostjo udeležencev za vključevanje v program, (3) opis značilnosti udeležencev, (4) ocena stopnje pokritosti ciljne populacije.

7.2.8 Dokumentirane in evalvirane so vse aktivnosti programa, vključno z ustreznostjo podpornega materiala.*

7.2.9 Dokumentirana in evalvirana je izvedba programa, vključno s tem, koliko udeležencev je bilo vključenih v program.

7.2.10 Dokumentirani in evalvirani so bili vsi uporabljeni viri, vključno z (1) oceno stroškov s strani udeležencev in drugih deležnikov/izvajalcev, (2) usposobljenost kadra, (3) ali so bili izvajalci aktivno vključeni pri izboljšanju kakovosti programa, (4) doseženo stopnjo usklajevanja in sodelovanja.

7.2.11 Podana je ocena stroškovne učinkovitosti.

PODROBEN OPIS STANDARDOV

K O N Č N A O C E N A ( E V A L V A C I J A )

7.1 EVALVACIJA REZULTATOV

Kot del evalvacije rezultatov se podatki sistematično zbirajo in analizirajo, da bi ocenili, kako učinkovit je bil program. Standardi pomagajo določiti, kakšne analize je treba izvesti na zbranih podatkih, kako se poroča o rezultatih ter kako naj bo definirana in dokumentirana učinkovitost programa.

Osnovni cilji evalvacije rezultatov so usmerjeni k razumevanju, ali sam program pripomore k spremembam, ki smo jih načrtovali pri udeležencih (glej 3. fazo), ne da bi povzročili kakršnokoli škodo (npr. glej sklop D). Gledamo lahko, kako posamezne komponente programa vplivajo na učinkovitost pri doseganju izbranega cilja oz. namena v programu, kako to vpliva na posameznega udeleženca in ali lahko na osnovi tega oblikujemo skupne zaključke.

Dokaze, da se opazovane spremembe posledica programa, je moč zbrati s pomočjo eksperimentalne študije (npr. udeleženci so bili naključno izbrani/ali neizbrani v izbrani program in kontrolno skupino). Preden se rezultati pripišejo kot posledica intervencije, je treba izključiti še pristranskost ocen, ki se lahko pojavi v različnih oblikah in različnih časovnih obdobjih. Tako je treba pri oblikovanju končne ocene o uspešnosti in učinkovitosti programa upoštevati še vse omejitve pri oblikovanju raziskave.

V tej komponenti se lahko osnovni standardi uporabijo za evalvacijo manjših programov, medtem ko je pri velikih programih ali programih, ki so vključeni v proces širjenja (glej 8.

fazo), treba upoštevati tudi strokovne standarde (vse standarde, vključno s tistimi, ki so namenjeni strokovnjakom). Pri programih, ki se izvajajo v večjem obsegu, je pomembno upoštevati tudi druge standarde in smernice, ki se nanašajo na učinkovitost, uspešnost in bolj uspešno širjenje programa (Flay, 2005; Gottfredson, 2015).

Da bi razumeli, kako sama izvedba vpliva na končne rezultate evalvacije, jih je treba gledati v kontekstu oz. skupaj s samo izvedbo programa (glej fazo 7.2), slika 5. To omogoča izvajalcem, da pridejo do zaključkov, kako naj se program izvaja in kako ga je moč izboljšati, kar uporabimo v zadnji fazi (glej 8. fazo). Opredeljeni so tudi pomen evalvacije rezultatov in procesne evalvacije ter razlike med njimi, obravnavane so potrebne priprave (npr. zbiranje podatkov, specifikacija kazalnikov vrednotenja) in morebitni izzivi (glej fazo 4.4).

OSNOVNI STANDARDI

7.1.1 Podana je velikost vzorca, ki je primerna za analizo vzorca in na kateri temelji ocena rezultatov.

Primer: Za osnovne podatke in za podatke meritev, izvedene po končanem programu.

7.1.2 Predstavljeni so kriteriji za izbiro vzorca in velikost vzorca.

7.1.3 Izvaja se ustrezna analiza podatkov, ki vključuje:

 popolno analizo vseh udeležencev (v analizo so vključeni vsi udeleženci, ki so bili vključeni v program, kot tudi kontrolna skupina – udeleženci, ki niso bili vključeni v program);

 obravnavanje pristranskosti in prizadevanja za njeno zmanjšanje. Pristranskost se v tem primeru nanaša na odsotnost udeležencev pri meritvah (npr. udeleženci, ki so manjkali pri meritvah, so evidentirani, upoštevajo se tudi razlogi za njihovo odsotnost);

 poročanje o manjkajočih podatkih in njihovo ustrezno obravnavo (npr. poroča se o obsegu in obliki manjkajočih vrednosti);

 alternativne razlage opaženih učinkov (npr. poročanje o povečanem negativnem vedenju je lahko posledica večje ozaveščenosti o problematičnem vedenju).

7.1.4 Poročilo o ugotovitvah vsebuje:

 osnovne podatke,

 rezultate meritev po končanih aktivnostih in programu (npr. vrednosti so opredeljene po kazalnikih evalvacije).

7.1.5 Poroča se o ugotovitvah/rezultatih za vsak načrtovan in ocenjevan kazalnik.

Poroča se tako o pozitivnih in negativnih rezultatih kot tudi o tistih, pri katerih razlike niso statistično značilne.

7.1.6 Spremembe so izražene kvantitativno in/ali kvalitativno.

7.1.7 Rezultati, ki so povezani z dejanskimi vedenjskimi spremembami, se ločijo od drugih rezultatov.

Primer: ločevanje med namenom za uporabo drog in dejansko uporabo drog.

7.1.8 Učinkovitost programa je ocenjena na podlagi primerjave dejanskih rezultatov, ki se nanašajo na:

 začetno stanje (rezultati, pridobljeni po izvedbi programa, se primerjajo z osnovnimi podatki in v skladu s kazalniki evalvacije);

 cilje in namen programa – kako primeren je bil program pri doseganju ciljev in pričakovanj (npr.

doseganje posameznega cilja, namena, pričakovanja je ocenjeno kot maksimalno, minimalno, sploh ne);

DODATNI STROKOVNI STANDARDI

7.1.9 Spremljanje meritve rezultatov poteka tudi po izvedbi programa, ki vključuje večinski delež udeležencev programa.

Primer: Ocenjevanje se izvede na več kot 80 % udeležencev, vključenih v program, več let po končani izvedbi programa.

7.1.10 Analiza podatkov vključuje:

 analizo podskupin – ta se nanaša na učinkovitost programa za različne skupine udeležencev (ugotavljanje različnih razsežnosti učinka, kadar je vzorec dovolj velik);

 primerjavo, kakšen vpliv ima posamezna aktivnost in kakšen vpliv ima več aktivnosti skupaj – posamezne aktivnosti se ocenijo glede njihove učinkovitosti (npr. primerjava učinkov pri uporabi poživitvenih vaj in brez njih; vplivi večjega števila aktivnosti v primerjavi z manjšim številom aktivnosti);

 analizo razmerja med obsegom izvedenih aktivnosti in doseženimi rezultati;

 statistične prilagoditve med podatki (med tistimi enotami merjenja, ki so bile vključene v program, in testno skupino), ki povzročajo napake vzorčenja;

 nastavitve za multiple/mnogotere primerjave;

 analize na individualni ravni in na ravni naključnega izbora (npr. če je naključni izbor posameznikov temeljil na šolskih razredih, ne pa na posameznih učencih, je v analizi treba upoštevati pristranskost).

7.1.11 Poročilo o zaključkih vključuje:

 kratkoročne, srednjeročne in/ali dolgoročne rezultate (to je do 6 mesecev, od 6 do 12 mesecev, več kot 12 mesecev po končanem programu), v katerih je ocena vezana tudi na to, kako dolgo po posegu se ohranijo rezultati;

 končne rezultate, ki ustrezajo ciljem daljšega časovnega obdobja (npr. več let po izvajanju programa).

7.1.12 Učinkovitost programa je ocenjena s primerjavo dejanske spremembe glede na pričakovane spremembe.

Primer: doseganje uspeha programa glede na doseganje zastavljenih meril po opredeljenih kazalnikih evalvacije.

7.1.13 Posamezni program je ocenjen kot učinkovit, če:

 je vsaj en učinek statistično značilen in v pozitivni povezavi z zastavljenimi cilji progama.

Opomba: Zaželenih je več pozitivnih učinkov, da je zagotovljen zadosten vzorec za dosego statistično pomembnih pozitivnih učinkov;

 ni negativnih stranskih učinkov pri doseganju rezultatov (npr. povečanje uporabe drog);

 se pozitivni učinki, ki so statistično značilni, kažejo dolgoročno (npr. tudi več kot 12 mesecev po zaključku programa).

7.1.14 Ugotovitve se primerjajo z ugotovitvami drugih študij istega programa.

(Če so te ocene na voljo.)

7.1.15 Če je na voljo več študij, se upošteva tista, ki je bila ovrednotena kot najboljša s stališča analize.

Kakovost se nanaša na proces evalvacije, npr. večji vzorec, manj pristranska ocena, manj manjkajočih vrednosti …

7.1.16 Program je splošno učinkovit, če:

 so ugotovljeni učinki podobni učinkom različnih študij tega programa;

 so doseženi pozitivni učinki/rezultati pri vsaj dveh različnih študijah z ustrezno statistično analizo, v kateri se upošteva moč testa;

 so podani ali potrjeni tudi pozitivni učinki/rezultati z vsaj eno ponovljeno študijo, ki so jo izvedli zunanji izvajalci.

7.1.17 Vzorčna povezava glede učinkovitosti programa je zagotovljena.

Primer: Program X je učinkovit za doseganje učinkov Y na populaciji M.

7.1.18 Vzorčna povezava glede učinkovitosti programa:

 je nedvoumna;

 določa ciljno populacijo;

 opredeljuje rezultate/cilje;

 učinki programa so dolgotrajni (temeljijo na dolgoročnih meritvah; npr. kratkoročni so opredeljeni v časovnem obdobju do 6 mesecev, srednjeročni od 6 do 12 mesecev in dolgoročni 12 mesecev po zaključku programa).

7.1.19 Jasno je opredeljeno, pod kakšnimi pogoji se pričakuje, da bo program učinkovit.

7.1.20 Določena je populacija, na katero lahko posplošimo te ugotovitve.

In document Standardi kakovosti preventivnih programov na področju drog (Strani 150-157)