Notranjo skladnost smo izračunali pri ocenjevalcu 2 in 3, pri katerih je bilo največ izpolnjenih postavk (22 postavk od skupno tridesetih). Torej uporabili smo samo postavke, kjer ni bilo manjkajočih podatkov (oziroma kjer ni bilo odgovorov označenih z N/A).
Cronbach α koeficient smo izračunali za vsako lestvico posebej; lestvico količine in lestvico kakovosti.
Tabela 7: Izračun notranje skladnosti pri ocenjevalcema 2 in 3 s Cronbach α koeficientom.
Ocenjevalec (lestvica) Cronbach α koeficient
2(KL) 0,973
2(LK) 0,978
3(KL) 0,935
3(LK) 0,962
0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5
A B C D E F G H I J
Povprečja ocen lestvice kakovosti
Preiskovanci
1. ocenjevalec 2. ocenjevalec 3. ocenjevalec 4. ocenjevalec 5. ocenjevalec 6. ocenjevalec
19
5 RAZPRAVA
S strukturiranim intervjujem za ocenjevanje motorične aktivnosti zgornje ekstremitete ocenjujemo količino in kakovost uporabe slabše zgornje ekstremitete zunaj kliničnega okolja po preboleli možganski kapi. Namen diplomskega dela je bil, da MAL iz originalnega angleškega jezika prevedemo v slovenski jezik, ga prilagodimo za naše kulturno območje ter ga pripravimo na uporabo. Ta intervju je namreč zelo dober pokazatelj dejanske oziroma realne uporabe bolj prizadete roke, ne samo v kliničnem okolju, ampak tudi v domačem okolju – kar je zelo pomembno, saj se velikokrat zgodi, da so uporabniki v kliničnem okolju uspešnejši kot v domačem ter da težko prenesejo napredek iz terapije domov v dejansko življenje (Uswatte et al., 2006).
V Sloveniji smo prvi, ki smo se odločili narediti raziskavo, s katero smo želeli pripraviti MAL na uporabo. Do sedaj so ga prevajali le na Nevrološki kliniki v Ljubljani, vendar samo ocenjevalni lestvici testa. Na podlagi priročnika in navodil MAL so ustvarili splošen ocenjevalni obrazec, ki pa se sicer ne uporablja na enak način kot originalni MAL oziroma ne tako, kot se uporablja naš prevod. Ta prilagojen ocenjevalni obrazec so uporabljali znotraj ene interne raziskave, od takrat pa ne več. Z raziskavo smo želeli doseči, da bo slovenski prevod čim natančnejši, verodostojen in prilagojen našemu okolju. Po natančnem prevodu v slovenski jezik, lektoriranju in povratnem prevodu nazaj v angleščino smo nato z raziskavo preverili kakšna je razumljivost prevedenega testa. Po raziskavi smo iz neformalnega pogovora tako z ocenjevalci kot tudi s preiskovanci ugotovili, da sta celoten ocenjevalni obrazec in navodila natančna in razumljiva.
Ustrezen prevod in kulturna adaptacija ocenjevalnega instrumenta sta ključna pri določanju tega, da sta obe različici (original in prevod) resnično enakovredni (Wild et al., 2005).
Nekateri v literaturi navajajo celo dvakratni povratni prevod, kar so na primer naredili tudi pri turškem prevodu MAL (Cakar et al., 2010). Prevoda in prilagoditve MAL-a na določeno kulturno okolje so se torej že lotili tudi v nekaterih drugih državah, vendar se je vsakdo lotil te naloge na malce drugačen način. Da bi povečali zanesljivost slovenskega prevoda smo se odločili še za povratni prevod iz slovenščine nazaj v angleščino. Tako so naredili tudi v Turčiji, Nigeriji in Braziliji (v Braziliji za otroški MAL) (Cakar et al., 2010; Saliba et al., 2011; Matuti et al., 2016; Sada et al., 2019). Za povratni prevod se niso odločili pri prevodu in kulturni adaptaciji MAL v Braziliji (Pereira et al., 2012), pri nemški raziskavi pa postopka prevajanja niso omenili (Khan, Oesch, 2013). Naš povratni prevod v angleščino je zelo
20
podoben originalu. Osredotočili smo se predvsem na analizo tridesetih aktivnosti in obeh lestvic, in ugotovili smo, da so le majhne razlike; na primer pri aktivnosti »oglasiti se na telefon« in »s ključem zakleniti ali odkleniti vrata«. V originalu namreč govorijo o dviganju slušalke na telefonu, naš prevajalec pa je prevedel to aktivnost kot: oglasiti se na telefon.
Skratka, sam test je bil oblikovan dolgo nazaj (v 90. letih prejšnjega stoletja), zato so takrat oblikovali to postavko tako, da »dvignemo slušalko«, saj so v tistem času imeli večinoma le stacionarne telefone (Uswatte et al., 2006). V sedanjosti so ti bolj redki, zato se je naš prevajalec odločil za prevod: »oglasiti se na telefon«, ki lahko zajema tako stacionarne kot tudi mobilne telefone. Pri postavki »odklepanje vrat«, je naš prevajalec iz slovenščine nazaj v angleščino prevedel kot »s ključem zakleniti ali odkleniti vrata«, saj smo mi pri tej aktivnosti predvideli obe dejanji; tako odklepanje in zaklepanje in ne samo odklepanja, kot so to zapisali v originalnem ocenjevalnem instrumentu. Celotna tabela z originalnimi angleškimi postavkami, slovenskimi in nazaj prevedenimi angleškimi se nahaja v prilogah (Priloga 8.1).
V slovenski jezik smo nekatere postavke modificirali na ta način, da so primerne našemu kulturnemu okolju in času, v katerem živimo. Z raziskavo smo torej zagotovili, da je slovenski prevod dovolj razumljiv za normalno uporabo. Vsi preiskovanci so razumeli celoten proces, ocenjevalni obrazec in obe lestivici.
V nemški raziskavi je sodelovalo 42 preiskovancev, v brazilski 30 in 24 (otroški MAL), v turški 13, v nigerijski pa kar 68 (Cakar et al., 2010; Saliba et al., 2011; Pereira et al., 2012;
Khan, Oesch, 2013; Matuti et al., 2016; Sada et al., 2019). Mi smo se odločili za vzorec desetih preiskovancev, ki so ustrezali našim kriterijem za sodelovanje v raziskavi. Enako število kot mi so izbrali tudi v nekaterih drugih slovenskih raziskavah o zanesljivosti med ocenjevalci, vendar za druge ocenjevalne teste (Rudolf et al., 2013; Kržišnik, Goljar, 2014).
V primerjavi z drugimi članki smo se odločili, da povečamo število ocenjevalcev z dveh (Pereira et al., 2012; Sada et al., 2019) na šest. Tako smo skupaj dobili 60 izpolnjenih ocenjevalnih obrazcev, ki jih je nato bilo potrebno analizirati. V Braziliji (pri otroškem in običajnem MAL) so se poleg raziskovanja zanesljivosti med ocenjevalci (angl. inter-rater reliability) odločili še za preverjanje zanesljivosti posameznega ocenjevalca (angl. intra-rater reliability), zato je en ocenjevalec ocenil vsakega preiskovanca dvakrat v razmaku sedmih dni (Pereira et al., 2012; Matuti et al., 2016). V Nemčiji in Braziliji pa so se odločili tudi za ugotavljanje zanesljivosti med različnimi ocenjevalnimi instrumenti (angl. test-retest reliability) (Khan, Oesch, 2013). S tem ugotovimo variacije v meritvah ocenjevalnega obrazca. V tem primeru ocenjujemo istega preiskovanca dvakrat pod enakimi pogoji (Koo,
21
Li, 2016). Mi smo se odločili samo za ugotavljanje skladnosti in zanesljivosti med ocenjevalci (angl. inter-rater reliability) ter za računanje notranje skladnosti testa (angl.
internal consistency).
5.1 Zanesljivost med ocenjevalci
Zanesljivost med ocenjevalci smo računali z ICC, tako kot Pereira in sodelavci (2012), Matutu in sodelavci (2015) ter Sada in sodelavci (2019), ki so preverjali zanesljivost prevoda MAL ocenjevalnega instrumenta. ICC so uporabili tudi slovenski raziskovalci za računanje zanesljivosti med ocenjevalci pri nekaterih drugih ocenjevalnih instrumentih (Rudolf et al., 2013; Kržišnik, Goljar, 2014).
Rezultati raziskave so zanesljivost med ocenjevalci pokazali kot odlično (ICC=0,990-0,999).
Prav tako je bila zanesljivost med ocenjevalci odlična pri posamezni lestvici (obe lestvici sta imeli isti vrednosti ICC=0,978–0,997). Pri splošni uporabi to pomeni, da bodo vrednosti zanesljivosti variirale od 0,978 do 0,997, vendar obe vrednosti zagotavljata visoko zanesljivost.
Naši rezultati o zanesljivosti med ocenjevalci najbolj sovpadajo z rezultati brazilske raziskave za otroški MAL (Matuti et al., 2016). Medtem ko so naši rezultati ICC višji od rezultatov Pereire in sodelavci (2011) ter Sade in sodelavci (2019). Pri slednjih sta v raziskavi sodelovala le dva ocenjevalca, pri nas pa šest. Na tem mestu moramo omeniti, da je pri povečanem številu zelo izkušenih in nepristranskih ocenjevalcev težje doseči primerljive in skladne rezultate, zato posledično dobimo tudi večjo zanesljivost (Livingston, 2018). Opazimo izjemno skladnost med našimi ocenjevalci, kar je najbolj razvidno na Grafu 1 in Grafu 2.
V naši raziskavi smo za računanje zanesljivosti uporabljali dvosmerni mešani model (angl.
Tvo-way mixed), saj s tem modelom dobimo rezultate o zanesljivosti med določenimi ocenjevalci, ki sodelujejo v raziskavi (Koo, Li, 2016). Odločili smo se računati tako z absolutnim ujemanjem kot tudi konsistentnim ujemanjem, s katerim smo predvideli sistematično napako. Tega v drugi literaturi, v kateri so raziskovalci poročali o zanesljivosti ocenjevalcev pri MAL, sicer nismo zasledili.
22
5.2 Zanesljivost med posameznimi ocenjevalci
Naša raziskava, v primerjavi z drugimi zelo obsežnimi raziskavami, ne vključuje ocenjevanja zanesljivosti med testi, zanesljivosti posameznega ocenjevalca in odzivnosti (Khan, Oesch, 2013; Matuti et al., 2016; Pereira et al., 2012; Sada et al., 2019), smo pa naredili zelo pregledno analizo zanesljivosti med posameznimi ocenjevalci. Rezultati ICC med posameznimi ocenjevalci so zelo podobni (Tabela 6, Graf 1 in Graf 2). Pri lestvici količine variirajo od 0,928 do 0,995, pri lestvici kakovosti pa od 0,904 do 0,987. Vse vrednosti so torej >0,9 kar pomeni, da gre pri vseh za odlično zanesljivost (Koo, Li. 2016;
Perinetti, 2018). Po analizi podatkov smo ugotovili, da sta pri lestvici količine najbolj usklajena ocenjevalca 3 in 5 (ICC=0,995), najmanj pa ocenjevalca 5 in 6 (ICC=0,928). Pri lestvici kakovosti pa sta najbolj usklajena ocenjevalca 2 in 5 (ICC=0,987), najmanj pa ocenjevalca 4 in 6 (ICC=0,904). Iz teh rezultatov lahko sklepamo, da so ocenjevalci ocenjevali zelo usklajeno. Večjih razlik med ocenjevalci glede na poklic; torej med delovnimi terapevti in fizioterapevti, ni zaslediti. Ti rezultati pomenijo, da je naš slovenski prevod ocenjevalnega obrazca zelo razumljiv. Na Grafu 1 in Grafu 2 lahko opazimo tudi, da so bila povprečja rezultatov pri posameznem preiskovancu najbolj podobna pri preiskovancema C in G. Vpliv na končne rezultate oziroma končna povprečja ocen MAL imajo seveda poleg ocenjevalcev tudi sami preiskovanci, saj se pri tem ocenjevanju preiskovanec ocenjuje sam. Pri ocenjevanju ga ocenjevalec lahko samo sprašuje in vodi. Ker je raziskava potekala v daljšem časovnem obdobju (malo več kot dva meseca), so lahko bili nekateri preiskovanci ocenjeni v daljšem časovnem razmaku. Torej to pomeni, da je imel en preiskovanec prvo ocenjevanje na začetku raziskave in zadnje ocenjevanje čez dva meseca.
V tem času se lahko fizično stanje preiskovanca spremeni, odvisno pa je tudi, kako se je oseba počutila na dan ocenjevanja, torej so lahko na ocene vplivali tudi zunanji dejavniki (predvsem daljše časovno obdobje ocenjevanja). Kljub vsemu lahko trdimo, da je skladnost med ocenjevalci odlična.
5.3 Notranja skladnost slovenskega prevoda MAL
Odločili smo se tudi za analizo notranje skladnosti MAL ocenjevalnega instrumenta. Tega so se lotili tudi v tujini pri podobnih raziskavah, kot je naša, kjer so prevajali MAL (Khan, Oesch, 2013; Sada et al., 2019). Notranjo skladnost smo računali s Cronbach α koeficientom in izračunali visoko notranjo skladnost (α=0,935–0,978) (Vidmar, Jakovljević, 2016). Tudi
23
v nekaterih tujih člankih so navedli podobne rezultate (Khan, Oesch, 2013; Matuti et al., 2016; Sada et al., 2019). Pomembno pa je omeniti, da smo notranjo skladnost računali samo pri dveh ocenjevalcih in z 22 postavkami od skupno tridesetih. Za to smo se odločili, ker smo po podrobnem pregledu vseh postavk in ocen ugotovili, da veliko podatkov manjka.
Gre za odgovore, kjer se preiskovanci pri določenih postavkah niso ocenili. Ti odgovori so označeni z N/A, tako kot narekujejo navodila samega ocenjevalnega obrazca. Po pregledu vseh podatkov smo torej postavke, kjer se so se pojavljali manjkajoči podatki, odstranili.
Opazili smo, da se samo pri dveh ocenjevalcih (drugem in tretjem ocenjevalcu) pojavlja večje število ohranjenih postavk. Ker smo imeli majhen vzorec, smo se odločili računati notranjo skladnost samo pri teh dveh ocenjevalcih in z 22 postavkami.