UNIVERZA V LJUBLJANI FILOZOFSKA FAKULTETA ODDELEK ZA PSIHOLOGIJO
PETRA MIKOLIČ
Razvoj in preverjanje veljavnosti računalniške naloge za merjenje sposobnosti načrtovanja
Magistrsko delo
Mentorica: izr. prof. dr. Anja Podlesek
Ljubljana, 2021
Zahvala
Zahvaljujem se mentorici izr. prof. dr. Anji Podlesek za strokovno vodenje in stalno spodbudo pri načrtovanju raziskave in pisanju magistrskega dela. Zahvaljujem se tudi doc. dr. Luki Komidarju za vso strokovno pomoč in Urošu Proseniku, ki je poskrbel za računalniški razvoj igre CCRacer. Hvala vsem bližnjim, ki ste mi stali ob strani pri nastajanju magistrske naloge, še posebej Juretu za vse predloge, pomoč in podporo.
1
Izvleček
Resna računalniška igra CCRacer 2.0 vključuje naloge za merjenje različnih izvršilnih funkcij. V magistrskem delu smo razvili novo nalogo za merjenje načrtovanja, procesa, s katerim identificiramo in organiziramo korake za dosego cilja. Nalogo sestavljajo problemi, pri katerih mora udeleženec označevati pot avtomobilu tako, da na cesti pobira in odlaga pakete po določenih pravilih, pri tem pa skuša narediti najkrajšo pot. Namen magistrske raziskave je bilo preverjanje veljavnosti naloge in zanesljivosti testnega dosežka. V testiranju na daljavo je sodelovalo 97 udeležencev, ki so poleg testa CCRacer – načrtovanje reševali še štiri kognitivne teste. Dva testa načrtovanja (Londonski stolp in Problem trgovskega potnika) sta bila namenjena preverjanju konvergentne veljavnosti, test vidnoprostorskega delovnega spomina (Corsi kocke) in test hitrosti procesiranja informacij (Zamenjava znakov) pa preverjanju diskriminativne veljavnosti testa CCRacer – načrtovanje. Pri reševanju testov smo zbirali podatke o hitrosti in uspešnosti reševanja. Poleg izvedbe testov so udeleženci izpolnili vprašalnik z demografskimi podatki, ocenjevalnimi lestvicami o zanimivosti posameznih testov načrtovanja in motiviranosti pri njihovem reševanju in vprašanji o načinu reševanja nalog ter impulzivnem vedenju. Retestno zanesljivost nove naloge smo preverili s ponovnim merjenjem, na katerem je sodelovalo 39 udeležencev s prvega testiranja. Zmerno visoke korelacije med testi načrtovanja in nizke korelacije s testoma drugih kognitivnih funkcij so nakazale, da nova naloga v okolju CCRacer meri sposobnost načrtovanja. Raziskava je podala obetavne rezultate za uporabo nove naloge, ki bi z nekaj spremembami in testiranjem na različnih starostnih skupinah lahko postala primeren pripomoček za merjenje načrtovanja. Udeleženci so novo nalogo ocenili kot zanimivejšo in bolj motivirajočo od klasičnih testov načrtovanja, kar je spodbudno za prihodnji razvoj naloge v namene kognitivnega treninga.
Ključne besede: načrtovanje, kognitivno ocenjevanje, izvršilne funkcije, psihometrična analiza, CCRacer
2
3
Development and Validation of Computerized Task for Measuring Planning Ability
Abstract
The serious computer game CCRacer 2.0 includes tasks to measure different executive functions.
In the master thesis, we developed a new task to measure planning, a process used to identify and organise the steps to achieve a goal. The task consists of problems in which a participant has to mark the path of a car by picking up and dropping off packages on the road according to certain rules, while trying to take the shortest route. The aim of the master's research was to check the validity of the task and the reliability of the test score. A total of 97 participants took part in the remote testing and, in addition to the CCRacer – planning test, four cognitive tests were administered. Two of the planning tests (Tower of London and the Traveling salesman problem) were used to test convergent validity, while the visuospatial working memory test (Corsi block- tapping test) and the processing speed test (Letter-digit span) were used to test the discriminant validity of the CCRacer – planning test. Speed and performance data was collected when solving the tests. In addition to tests, participants completed a questionnaire with demographic data, self-report scales on the interestingness of each planning test and the motivation to solve them, questions on how they solved the tasks and on impulsive behaviour. The test-retest reliability of the new task was assessed by performing a second measurement, attended by 39 participants from the first testing. Moderately high correlations between the planning tests and low correlations with tests of other cognitive functions indicated that the new task in the CCRacer setting measures planning ability. The study provided encouraging results for the use of the new task, which, with some modifications and testing on different age groups, could become a suitable tool for measuring planning ability. Participants rated the new task as more interesting and motivating than traditional planning tests, which is promising for future development of the task for cognitive training purposes.
Keywords: planning, cognitive assessment, executive function, psychometric analysis, Cognitive control racer
4
5 KAZALO VSEBINE
Uvod ... 7
Kognitivna psihologija načrtovanja ... 7
Opredelitev načrtovanja ... 7
Načrtovanje in reševanje problemov ... 8
Proces oblikovanja načrta ... 9
Načrtovanje in povezani procesi ... 11
Merjenje načrtovanja... 11
Naloge za merjenje načrtovanja ... 11
Resne igre in CCRacer 2.0 ... 14
Raziskovalni problem ... 17
Metoda ... 18
Udeleženci ... 18
Pripomočki ... 18
Test v okolju CCRacer ... 18
Testi iz baterije PEBL ... 19
Vprašalnik ... 20
Postopek ... 20
Rezultati ... 22
Analiza problemov testa CCRacer – načrtovanje ... 22
Kriterijska veljavnost testa CCRacer – načrtovanje ... 23
Zanesljivost testa CCRacer – načrtovanje ... 26
Individualne in skupinske razlike v uspešnosti na testih načrtovanja ... 28
Izkušnja udeležencev ... 29
Razprava ... 32
Analiza problemov testa CCRacer – načrtovanje ... 32
Kriterijska veljavnost testa CCRacer – načrtovanje ... 33
Zanesljivost testa CCRacer – načrtovanje ... 34
Individualne in skupinske razlike uspešnosti na testih načrtovanja ... 35
6
Izkušnja udeležencev ... 36
Prispevek in pomanjkljivosti raziskave ter nadaljnja uporaba testa CCRacer – načrtovanje .... 36
Zaključek ... 39
Reference ... 40
Priloge ... 45
Priloga 1: Vprašalnik za udeležence ... 45
Priloga 2: Preverjanje vsebinske veljavnosti lestvice impulzivnosti ... 48
Priloga 3: Obveščeno soglasje o sodelovanju v raziskavi ... 49
Priloga 4: Problemi testa CCRacer – načrtovanje ... 50
Priloga 5: Tabela opisnih statistik za 36 problemov testa CCracer – načrtovanje ... 53
Priloga 6: Primerjava rezultatov med udeleženci ... 55
Priloga 7: Opis programa CCRacer za izdelavo testov načrtovanja ... 57
Izjava o avtorstvu dela, tehnični brezhibnosti magistrskega dela, etični ustreznosti izvedene magistrske raziskave in konfliktu interesov ... 59
7
Uvod
Izvršilne funkcije so skupek kognitivnih procesov, odgovornih za ciljno usmerjeno ter prilagodljivo vedenje v vsakdanjih situacijah (Banich, 2009; Lezak, 1982). V uporabi je mnogo klasičnih standardiziranih pripomočkov za merjenje posameznih funkcij, ki so se izkazali za zanesljive in veljavne, vendar testiranje z njimi za udeležence pogosto ni zanimivo in motivirajoče.
Poleg tega je vprašljiva njihova ekološka veljavnost, kar omejuje posplošljivost rezultatov na vedenje v resničnem življenju (Chaytor in Schmitter-Edgecombe, 2003; Spooner in Pachana, 2006). V zadnjem času je na področju ocenjevanja in treniranja izvršilnih funkcij vse več zanimanja za uporabo resnih iger, ki so za udeležence bolj zabavne in privlačne (Connolly idr., 2012; Fleming idr., 2017).
V okviru raziskovalnega programa P5-0110 Psihološki in nevroznanstveni vidiki kognicije so na Oddelku za psihologijo Filozofske fakultete Univerze v Ljubljani v sodelovanju s Fakulteto za računalništvo in informatiko razvili resno računalniško igro CCRacer 2.0 (Podlesek idr., 2019), ki je namenjena merjenju in treningu kognitivnih funkcij. Ena izmed nalog v ospredje postavlja sposobnost načrtovanja, vendar se je v procesu validacije izkazalo, da uspešnost reševanja naloge ne korelira z uspešnostjo na klasičnih testih načrtovanja (Lah, 2020). Namen magistrskega dela je bil razviti novo nalogo za merjenje načrtovanja, preveriti njeno veljavnost in zanesljivost testnega dosežka. V raziskavo smo vključili test z dvema oblikama nalog načrtovanja in merili pravilnost reševanja ter reakcijske čase. Udeleženci so poročali tudi o uporabljenih strategijah reševanja, motiviranosti in zanimivosti naloge. Rezultati raziskave so pripomogli k razvoju ustreznejšega pripomočka za merjenje načrtovanja v računalniški obliki.
Kognitivna psihologija načrtovanja
Opredelitev načrtovanja
V vsakdanjem življenju porabimo veliko časa za načrtovanje, kako narediti stvari. Še posebej načrtujemo ob novih nalogah, zapletenih nalogah, ki vključujejo zaporedje dejanj ter ob nalogah, ki zahtevajo odločitve o tem, katera dejanja bodo prinesla najboljše rezultate. Načrtujemo, kako se bomo zjutraj oblekli, da nam ob opravkih ne bo prevroče ali prehladno. Na podlagi sestavin v hladilniku lahko načrtujemo, kako pripraviti okusno kosilo. Oblikujemo lahko tudi dolgoročne načrte, kot je potovanje v tujino. Pri tem izberemo ciljno destinacijo, lahko pa določimo tudi vmesne postojanke. Dejanja, ki običajno ne vključujejo načrtovanja, so tista, ki so zelo preprosta ali zelo rutinska. Za večino ljudi veliko vsakodnevnih dejavnosti vključuje določeno stopnjo načrtovanja, zato je sposobnost oblikovanja načrtov ključna za posameznikovo učinkovito prilagajanje vsakodnevnim življenjskim situacijam.
Načrtovanje lahko opredelimo kot “miselno simulacijo, ki predvideva okoliščine in izvaja možne ukrepe, pri čemer ocenjuje posledice in izbira optimalni vrstni red za njihovo izvedbo" (Ellis in Cohen, 2008, str. 160). Ker je določeno stopnjo načrtovanja mogoče najti v vsakem voljnem vedenju, je težko oblikovati teorijo o človekovem vedenju brez kontekstualne opredelitve procesa načrtovanja dejanj. Posledično se v psihološki literaturi izraz načrtovanje (angl. planning) uporablja za opisovanje raznolikih vidikov kognicije in kognitivnega nadzora, kar se odraža v
8
velikem številu definicij in razlag koncepta. Poleg tega veliko kognitivnih študij proučuje načrtovanje v povezavi z drugimi kognitivnimi procesi. Načrtovanje je namreč kompleksen kognitivni proces, ki temelji na drugih ločenih procesih, kot so na primer zaznavanje, spomin in reševanje problemov (Basso, 2005). E. K. Scholnick in S. L. Friedman (1987) v diskusiji o različnih uporabah izraza povzameta, da je načrtovanje sklop kompleksnih procesov, ki so vključeni v predvidevanje in uravnavanje vedenja. Načrtovanje temelji na reprezentaciji okolja, predvidevanju rešitev problema in nadzorovanju strategij, da sledijo načrtu in peljejo do rešitve.
Opredelita tri ravni načrtovanja, ki potekajo simultano: načrtovanje, ki se veže na ukvarjanje s trenutnim problemom, načrtovanje pri obravnavanju predvidenih prihodnjih možnih situacij in nadzor vedenja, da se načrti izvajajo. Avtorici pojasnjujeta precej ozke in različne opredelitve načrtovanja s tem, da različni raziskovalci poudarjajo samo določene ravni oziroma podprocese načrtovanja. Zaradi raznolikih teorij načrtovanja so v psihološkem raziskovanju prisotne različne raziskovalne metode in raziskovalna vprašanja, ki si jih raziskovalci postavljajo.
V magistrski raziskavi smo načrtovanje obravnavali kot kognitivni proces, s katerim identificiramo in organiziramo korake za dosego cilja. Lahko ga opredelimo tudi kot sposobnost organizacije kognitivnega vedenja v smeri dosege cilja (Owen, 1997). Načrtovanje je vključeno v določanje in koordinacijo načrta za dosego cilja, izvajanje aktivnosti, povezane z načrtom, ter spremljanje in uravnavanje doseganja ciljev (Gauvain in Rogoff, 1989). Običajno sta za ustrezno izvedbo načrta potrebna tudi motivacija in pozornost (Ward in Morris, 2005).
Sposobnost načrtovanja uvrščamo med izvršilne funkcije – skupek raznolikih kognitivnih procesov, ki so potrebni za uspešno namensko in ciljno usmerjeno delovanje posameznika. Dokler so izvršilne funkcije nedotaknjene, je posameznik kljub kognitivnemu upadu lahko še vedno neodvisen ter produktiven, medtem ko oslabljene izvršilne funkcije ogrožajo posameznikovo sposobnost, da vzdržuje samostojno, konstruktivno in družbeno produktivno življenje (Lezak, 1982). Kljub različnim opredelitvam izvršilnih funkcij in njihovih komponent je večini definicij skupno, da so izvršilne funkcije kompleksen in pomemben konstrukt za človekovo prilagodljivo vedenje v vsakodnevnih situacijah. V nenehno spreminjajočem se okolju nam izvršilne funkcije omogočajo, da svojo miselno naravnanost hitro spremenimo in se prilagodimo različnim situacijam, hkrati pa zaviramo neprimerno vedenje. Izvršilne funkcije nam omogočajo, da ustvarimo načrt, ga začnemo izvajati in vztrajamo pri njegovem uresničevanju do konca. Potrebne so, da svoje misli organiziramo v ciljno usmerjeno vedenje in so zato bistvenega pomena za uspeh v izobraževanju, na delovnem mestu ter v vsakdanjem življenju (Jurado in Rosselli, 2007).
Nevroznanstvene raziskave kažejo, da so izvršilne funkcije povezane predvsem z aktivnostjo v frontalnem režnju (Basharpoor idr., 2019; Kolb in Neuwirth, 2020). Pri tem sta za načrtovanje še posebej pomembna levi in desni prefrontalni korteks (Basso in Saracini, 2020).
Načrtovanje in reševanje problemov
Načrtovanje običajno proučujemo v tesni povezavi z reševanjem problemov in si ga predstavljamo kot iskanje poti med danim in ciljnim stanjem problema (Simon, 1978). Neuspešno načrtovanje lahko namreč povzroči manj optimalno reševanje problemov (Cohen, 1982).
Udeleženec si ob srečanju s problemom ustvari miselno predstavo problema, ki se imenuje notranji problemski prostor. Ta je sestavljen iz predstave danega stanja, ciljnega stanja in vseh vmesnih stanj. Kot primer lahko uporabimo Londonski stolp (angl. Tower of London – TOL;
9
Shallice, 1982), eden izmed najpogosteje uporabljenih kognitivnih testov za merjenje načrtovanja, pri katerem ima testiranec pred sabo tri enako velike krogle različnih barv in tri palice različnih velikosti – na prvo lahko postavi eno kroglo, na drugo dve, na tretjo pa tri. Testirancu je znan začetni položaj kroglic in ciljni položaj, do katerega mora priti s premikanjem kroglic. Vmesna stanja so vse možne postavitve kroglic na palicah. Naloga udeleženca je, da prestavi kroglice iz začetne v ciljno postavitev z najmanjšim številom potez.
Slika 1
Primer naloge Londonski stolp s tremi kroglicami
Londonski stolp je primer dobro opredeljenega problema, pri katerem so udeležencu predstavljene vse informacije, ki jih potrebuje za rešitev problema: začetno stanje, želeno ciljno stanje, način premikanja kroglic ter jasna pravila. Večina raziskav na področju načrtovanja in reševanja problemov se osredotoča na probleme, ki jih je mogoče opredeliti kot dobro strukturirane. Nasprotno obstajajo slabo opredeljeni problemi, pri katerih sestavni deli ali cilj niso v celoti opredeljeni (Davies, 2005). Pri dobro strukturiranih nalogah, kot je Londonski stolp, je notranji problemski prostor udeleženca pretežno omejen z osnovno strukturo problema. Na primer, pri nalogi s tremi kroglicami obstaja natanko 36 različnih stanj, pri čemer je vsako stanje povezano z dvema do štirimi drugimi stanji. Kljub zapleteni naravi osnovnega problemskega prostora pa udeleženec pri reševanju običajno ne razišče vseh možnih stanj, saj se pri tem ne vede naključno ali sistematično, temveč lahko učinkovitost iskanja po prostoru izboljša z uporabo vrste različnih hevristik, ki mu pomagajo omejiti iskanje (Simon, 1978). Z uporabo hevristik udeleženec načrtuje poteze tako, da ocenjuje razliko med trenutnim in ciljnim stanjem ter nato izbira zaporedje premikov, ki to razliko zmanjšajo (Davies, 2005).
Proces oblikovanja načrta
Številni teoretični okvirji v kognitivni psihologiji se ukvarjajo s problemom, ali so psihološki procesi organizirani v hierarhično ali oportunistično strukturo. V zgodnjih raziskavah načrtovanja je prevladovala zamisel, da načrtovanje poteka hierarhično oziroma od zgoraj navzdol, kar pomeni, da je mogoče možne korake rešitve oblikovati pred poskusom izvedbe rešitve problema (Basso, 2005). Ta pristop k načrtovanju lahko ponazorimo z načrtovanjem, ki naj bi potekalo pri reševanju naloge Londonski stolp. Pri enostavnih problemih je mogoče hitro poiskati zaporedje potez, ki bo pripeljalo do želenega cilja, pri kompleksnejših različicah pa je treba ustvariti vmesne
10
cilje, ki bodo vmesni koraki na poti do rešitve. Problem je v obeh primerih mogoče rešiti s sistematičnim zaporedjem akcij od začetnega do končnega cilja (Davies, 2005). Novejše raziskave so poskušale načrtovanje opisati na drugačen način – oportunistično ali od spodaj navzgor, kar pomeni, da udeleženci ne rešujejo problema z zaporednimi spremembami, ampak preskakujejo med posameznimi fazami s številnimi premiki in spremembami (Hayes-Roth in Hayes-Roth, 1979;
Patalano in Seifert, 1997). Oseba, ki uporablja oportunistično strategijo, se odziva na priložnosti, ki se pojavijo, namesto da bi strogo sledila vnaprej določenim načrtom delovanja. Koraki načrtovanja se torej oblikujejo, ko se rešitev problema razvija in ne striktno samo pred izvajanjem (Basso idr., 2001; Phillips idr., 2001). B. Hayes-Roth in Hayes-Roth (1979) sta poudarila, da je načrt, ki je narejen pred izvedbo, pogosto nepopoln ali nedosleden.
Davies (2005) za opisovanje zgoraj navedenih razlik v procesu načrtovanja uporabi izraza začetno (angl. initial) in sočasno (angl. concurrent) načrtovanje. Pojma se navezujeta na načrtovanje, ki se odvija pred reševanjem problema (začetno načrtovanje) in načrtovanje, ki poteka, medtem ko se reševanje problema že odvija (sočasno načrtovanje). Prednost sočasnega načrtovanja je razbremenitev delovnega spomina, vendar je njegova slabost, da se je ob napačni potezi morda težje vrniti na pravo pot. Kljub delitvi na začetno in sprotno načrtovanje lahko rečemo, da sta procesa komplementarna in ne izključujoča. Načrtovanje lahko včasih temelji bolj na prvem pristopu, včasih na drugem ali pa na obeh. Na prevladovanje ene izmed strategij lahko vpliva na primer kompleksnost problema. Samo z začetnim načrtovanjem je mogoče rešiti le manj kompleksne probleme. V raziskavi o učinkih začetnega načrtovanja pri različno težkih nalogah sestavljanja (Davies, 2003) se je izkazalo, da ima lahko začetno načrtovanje pozitiven učinek na uspešnost reševanja, vendar je ta omejen na zmerno kompleksne probleme in ne prinaša prednosti pri reševanju zahtevnejših problemov. Na prevladujočo strategijo udeležencev lahko vplivajo tudi navodila reševanja (Fum in Del Missier, 2001; Unterrainer idr., 2003).
Eksperimentator lahko udeležencem naroči, naj pred prvo potezo dobro premislijo, da bodo problem rešili uspešno, ali pa spodbudi, da je hitrost reševanja pomembnejša od pravilnosti. Izbira strategije reševanja se povezuje tudi s preteklimi izkušnjami reševanja problema (Anzai in Simon, 1979), pri čemer izkušeni posamezniki po navadi postanejo bolj spretni pri reševanju problema, saj se naučijo boljših zaporedij potez in znajo izključiti slabe poteze. Nadalje se lahko strategija in uspešnost reševanja problema med osebami razlikujeta glede na to, kako impulzivno oziroma kako previdno se posameznik loti reševanja problema (Kyritsis idr., 2017). Za osebe s pomanjkanjem kontrole impulzov in načrtovanja so kompleksnejše mentalne naloge, ki vključujejo zaznavo konfliktov med različnimi možnostmi reševanja, morda težje kot za osebe, ki imajo večji nadzor nad impulzi. To lahko pri osebah z bolj izraženo impulzivnostjo vodi tudi do izogibanja načrtovanja in kompleksnih mentalnih aktivnosti v vsakdanjem življenju, še posebej ko načrtovanje zahteva vrednotenje in izbiranje med več konfliktnimi možnostmi (Kam idr., 2012). V raziskavi Pietrzaka in sodelavcev (2008) se je izkazalo, da so posamezniki z višjo impulzivnostjo manj učinkovito reševali naloge, ki zahtevajo hiter odziv pri načrtovanju in so časovno omejene.
Na testu Izlet v živalski vrt (angl. the Zoo trip task), pri katerem morajo udeleženci v omejenem času izbrati najbolj optimalno pot za obisk lokacij v živalskem vrtu, so posamezniki z bolj izraženo impulzivnostjo manj časa namenili načrtovanju najbolj optimalne poti, zaradi česar so izbirali daljše poti od posameznikov z manj izraženo impulzivnostjo. Medtem se uspešnost reševanja na testu Hanojski stolp (angl. Tower of Hanoi), podobni nalogi kot Londonski stolp, ni povezovala z izraženostjo impulzivnosti, kar je lahko posledica manjšega časovnega pritiska ob reševanju.
11
D'Antuono in sodelavci (2017) so v študiji nakazali, da bi k razlikam v uspešnosti načrtovanja lahko prispeval tudi spol. Na testu Londonski stolp so imeli moški udeleženci namreč boljše rezultate kot ženske udeleženke.
Načrtovanje in povezani procesi
Načrtovanje je kompleksen kognitivni proces in je učinkovito, ko več različnih kognitivnih komponent deluje kooperativno. Temelji na procesih, kot sta zaznavanje in spomin, hkrati pa je tesno povezan z motoričnim izvajanjem. Dobro načrtovanje vključuje zmožnost gledanja naprej, predvidevanja relevantnih situacij in morebitnih težav ter razmišljanja o načinih za njihovo odpravo. Učinkovito načrtovanje zahteva tudi abstraktno razmišljanje, delovni spomin, prospektivni spomin in sposobnost fleksibilnega preklapljanja informacij (Ward in Morris, 2005).
Avtorji (Ellis in Cohen, 2008; Gilhooly, 2005; Owen, 1997) še posebej poudarjajo vlogo delovnega spomina v procesu načrtovanja. Delovni spomin je pomemben zlasti pri oblikovanju in spreminjanju načrtov. Pri tem uporabo več delovnega spomina zahtevajo naloge, pri katerih mora udeleženec oblikovati popoln načrt že pred izvajanjem naloge (Gilhooly, 2005). Owen (1997) razlaga, da mora pri nalogi Londonski stolp udeleženec aktivno iskati možne rešitve in izdelati zaporedje premikov, da reši vsakega izmed problemov. Izbrana rešitev se mora začasno shraniti in prenesti v primerno zaporedje motoričnih potez, ki morajo biti ves čas nadzorovane s previdnostjo. Zato naj bi naloge, kot je Londonski stolp, zahtevale nezanemarljivo aktivnost delovnega spomina.
Gilhooly in sodelavci (2002) so raziskovali vlogo delovnega spomina, kognitivnih sposobnosti in hitrosti procesiranja informacij pri reševanju naloge načrtovanja Londonski stolp s petimi diski.
Rezultati so pokazali, da k uspešnosti reševanja naloge v pomembni meri prispevajo individualne razlike v obsegu vidnoprostorskega delovnega spomina v primerjavi z manjšo vlogo verbalnega delovnega spomina ter hitrosti procesiranja informacij. Avtorji majhno vlogo hitrosti procesiranja informacij razlagajo s tem, da naloga Londonski stolp ni bila aplicirana kot časovno omejena naloga oziroma naloga s časovnim pritiskom. D’Antuono in sodelavci (2017) so prav tako z uporabo testa Londonski stolp potrdili pomembni vlogi vidnoprostorskega delovnega spomina in fluidne inteligentnosti na uspešnost reševanja naloge načrtovanja, medtem ko se z rezultatom na testu Londonski stolp nista pomembno povezovala verbalni delovni spomin in sposobnost inhibicije.
Merjenje načrtovanja
Naloge za merjenje načrtovanja
Sposobnost načrtovanja se najpogosteje meri z nalogami sestavljanja, kot je Londonski stolp, ki od udeleženca zahteva preproste mehanske poteze (Ward in Morris, 2005). Naloga Hanojski stolp, ki jo je leta 1883 ustvaril matematik Édouard Lucas, ima zelo podoben postopek reševanja kot Londonski stolp, z razliko, da jo sestavljajo tri palice in od štiri do devet diskov različnih velikosti, pri čemer večji disk ne more biti postavljen na manjši disk. Naloga se lahko vedno reši v 2n – 1 potezah, pri čemer je n število diskov. Tako na primer problem s tremi diski zahteva najmanj 7 potez do končne rešitve, medtem ko problem s petimi diski zahteva najmanj 31 potez. Število
12
diskov zato predstavlja mero težavnosti problema (Goel idr., 2001). Naloge sestavljanja so pogosto uporabljene v raziskavah funkcionalnega slikanja možganov (npr. Hahn idr., 2012;
Panikratova idr., 2020; Ruocco idr., 2014). Njihova prednost je namreč dober nadzor nad sodelujočimi procesi, zato so uporabne za raziskovanje kognitivnih procesov, ki pripomorejo k uspešnosti reševanja naloge, kot je na primer delovni spomin (D’Antuono, 2017; Gilhooly, 2002).
Naloge sestavljanja so manj podvržene učinkom strokovnega znanja in izkušenj, razen v primerih, ko je testiranec že reševal dotično nalogo. Mnogi avtorji (npr. Chaytor in Schmitter-Edgecombe, 2003; Spooner in Pachana, 2006) pa nalogam sestavljanja očitajo, da niso dovolj realistične in imajo slabo ekološko veljavnost.
Druga skupina metod zajema naloge z elementom opravil, v katerih morajo udeleženci po določenih navodilih načrtovati potek vsakodnevnih opravkov. Te naloge skušajo izboljšati ekološko veljavnost merjenja načrtovanja z vključitvijo opravil in postopkov, ki jih pozna večina ljudi, ter ravni zapletenosti, ki so podobne vsakdanjim dejavnostim (Ward in Morris, 2005). Ena izmed nalog, ki simulirajo načrtovanje in upravljanje nalog v običajnih vsakodnevnih situacijah, je računalniška naloga Priprava zajtrka (angl. The breakfast task; Rose idr., 2015). Naloga udeleženca je, da virtualno pripravi zajtrk s petimi živili ter ga servira na mizo. Naloga zahteva usklajevanje in upravljanje kuhanja hrane, pri čemer je treba pripraviti še mizo za čim več sedežev.
Slika 2
Posnetek zaslona pri nalogi Priprava zajtrka
Opomba: Avtorske pravice © 2015 Canadian Psychological Association. Uporabljeno z dovoljenjem. Rose, N. S., Luo, L., Bialystok, E., Hering, A., Lau, K. in Craik, F. I. (2015). Cognitive processes in the Breakfast Task: Planning and monitoring. Canadian journal of experimental psychology/Revue canadienne de psychologie experimentale, 69(3), str. 253.
Naloga Izlet v živalski vrt je verzija naloge z opravili, pri kateri morajo udeleženci izbrati najbolj učinkovito pot za ogled šest vnaprej določenih lokacij v živalskem vrtu z določitvijo vrstnega reda,
13
po katerem bi lokacije obiskali. Učinkovitost poti je ocenjena z dolžino ravnih črt med lokacijami (Salthouse in Siedlecki, 2007).
Slika 3
Eden izmed zemljevidov živalskega vrta v nalogi Izlet v živalski vrt
Opomba: Pridobljeno iz Brain and Cognition, 63(3), Salthouse, T. A. in Siedlecki, K. L., Efficiency of route selection as a function of adult age, str. 283, avtorske pravice (2007), reproducirano z dovoljenjem založbe Elsevier.
Tako pri nalogah sestavljanja kot nalogah z opravki mora udeleženec izdelati zaporedje potez za dosego cilja, kljub temu pa se naloge razlikujejo v zahtevah miselnega predstavljanja problemov (Ward in Morris, 2005). Pri nalogah, kot je Izlet v živalski vrt, ima udeleženec že na začetku pred sabo celotno shemo s podcilji in si z njo lahko pomaga že pred prvo potezo. Medtem si mora pri nalogah, kot je Londonski stolp, pot do cilja miselno predstavljati, kar zahteva tudi večjo obremenitev delovnega spomina.
Razberemo lahko, da se pristopi k merjenju načrtovanja med sabo razlikujejo. Raznovrstnost pristopov lahko povežemo s kompleksnostjo procesa načrtovanja, zaradi česar se med sabo razlikujejo tudi definicije konstrukta. Sposobnost oblikovanja in učinkovite izvedbe načrta je odvisna od različnih kognitivnih funkcij, prispevek vsake izmed njih pa se lahko pri različnih nalogah razlikuje. Burgess in sodelavci (2005) predlagajo, da je v načrtovanje vpletenih večje število kognitivnih procesov in da različni testi načrtovanja vključujejo le nekatere izmed njih.
Mnogoterost procesov, vključenih v načrtovanje, bi lahko bila vzrok, da različni testi načrtovanja ne korelirajo visoko med sabo, čeprav morda vsi merijo sposobnost načrtovanja.
Testi se razlikujejo tudi v merah, ki jih uporabljajo za določitev uspešnosti načrtovanja. Naloge z iskanjem najkrajše poti med lokacijami običajno omogočajo izračun učinkovitosti reševanja, ki
14
predstavlja odnos med izvedeno in optimalno potjo (Mueller, 2015; Salthouse in Siedlecki, 2007), pri nalogi Londonski stolp pa raziskovalci pogosto izračunajo število pravilno rešenih problemov (D'Antuono idr., 2017; Luciana idr., 2009). Poleg mer pravilnosti se uporabljajo časovne mere, kot sta začetni čas (pretečen čas do prve poteze) in čas izvedbe. Li in sodelavci (2015) so za proučevanje metakognitivnega načrtovanja uporabili razmerje med začetnim in celotnim časom reševanja. V primerjavi z začetnim časom, ki se lahko povezuje s hitrostjo ali slogom procesiranja informacij, naj bi razmerje med časoma bolje zajelo proces načrtovanja brez izvedbe.
Resne igre in CCRacer 2.0
Skladno z razvojem tehnologije so se kognitivni testi začeli aplicirati tudi v računalniški obliki.
Računalniške naloge imajo določene slabosti, kot so na primer tehnične okvare računalnika med testiranjem in manjše spretnosti pri uporabi računalniške tehnologije pri starejši populaciji. Po drugi strani uporaba računalniških programov omogoča bolj standardizirano administracijo, natančnejše beleženje rezultatov ter takojšnjo povratno informacijo (Noyes in Garland, 2008).
Kljub temu da je klasične kognitivne teste enostavno izvajati, ocenjevati in razlagati, je pri njih vprašljiva ekološka veljavnost, kar pomeni, da rezultati na testu ne nujno odražajo vedenja posameznika v realnem življenju (Spooner in Pachana, 2006).
Da bi zapolnili to vrzel, se je začel razvoj resnih iger, ki vključujejo elemente igre in so uporabnikom zabavne, vendar se od ostalih iger razlikujejo v namenu uporabe (Michael in Chen, 2006). Primarni cilj resnih iger ni zabava ali razvedrilo, temveč izobraževanje, usposabljanje, treniranje, oglaševanje in raziskovanje človeškega vedenja (Connolly idr., 2012; Fleming idr., 2017). Resne igre so se izkazale kot učinkovite pri uporabi v zdravstvene namene, predvsem pri okrevanju in zdravljenju pacientov, usposabljanju zdravstvenih delavcev ter promociji zdravja (Michael in Chen, 2006), predstavljajo pa tudi obetaven pristop ocenjevanja in treniranja kognitivnih funkcij zaradi elementov privlačnosti, vključenosti uporabnika in učinkovitosti.
Računalniške igre namreč ponujajo bogato senzorično okolje, ki lahko pripomore k prijetnosti igranja in zavzetosti udeležencev, kar poveča njihovo motivacijo in zmanjša osip. Povišana motivacija lahko pri reševanju kognitivnih testov tudi uravnava in izboljša izvedbo testirancev (Kanfer in Ackerman, 1989; Locke in Braver, 2008). Poleg tega lahko računalniške igre zagotovijo varno in odzivno okolje, v katerih uporabniki preizkušajo, oblikujejo, spreminjajo in se učijo novega vedenja (Fleming idr., 2017). Ustrezno razvite resne igre za merjenje kognitivnih funkcij predstavljajo obetavno možnost za uporabo istih iger v namene kognitivnega treninga, saj se lahko zahtevnost računalniške igre prilagaja glede na posameznikove sposobnosti, kar je pomemben dejavnik za produktivno učenje. Če so naloge prezahtevne, lahko udeleženec hitro postane frustriran ali apatičen, če pa so prelahke, lahko igranje postane dolgočasno in nezanimivo (Westera, 2017).
Na Oddelku za psihologijo Filozofske fakultete Univerze v Ljubljani je bila v sodelovanju s Fakulteto za računalništvo in informatiko razvita resna računalniška igra CCRacer 2.0 (Podlesek idr., 2019) s štirimi nalogami za merjenje sposobnosti inhibicije, preklapljanja med informacijami, posodabljanja informacij in načrtovanja. A. Lah (2020) je potrdila uporabnost igre CCRacer za merjenje izvršilnih funkcij z izjemo naloge načrtovanja, predvsem pa je obetavna možnost uporabe igre za kognitivni trening, saj so bili udeleženci ob igranju bolj motivirani kot pri klasičnih kognitivnih testih.
15 Nova naloga načrtovanja v okolju CCRacer
Ker se naloga načrtovanja, ki je del igre CCRacer, ni izkazala kot ustrezna za merjenje sposobnosti načrtovanja (Lah, 2020), smo se v sklopu magistrskega dela lotili razvoja nove naloge načrtovanja. Kot osnovo smo izbrali paradigmo iskanja optimalne poti od začetne do končne lokacije, ki je pogosto uporabljena v nalogah načrtovanja (npr. Cutini idr., 2008; Goel idr., 2001;
Luciana idr., 2009), saj nam omogoča natančen izračun učinkovitosti reševanja in omogoča merjenje pretečenega časa do prve poteze in do rešitve problema.
Po zgledu ostalih nalog igre CCRacer, smo tudi v novi nalogi vključili avtomobilistično vsebino ter zvočne in vizualne elemente, da bi bila naloga zanimiva in motivirajoča za udeležence. Naloga je sestavljena iz več scenarijev oziroma problemov, ki jih udeleženec rešuje po predhodno določenem vrstnem redu. Scenarij je na zaslonu prikazan kot dvodimenzionalna mreža pravokotnih cest, na katerih so postavljeni avtomobil, paketi in hiše različnih barv. Udeleženec mora avtomobil usmerjati po cesti tako, da po najkrajši poti pobere pakete in jih odloži v hiše ujemajoče se barve. Izdelava raznovrstnih scenarijev poteka v računalniškem programu, ki omogoča različne postavitve elementov na polje, določitev pravil reševanja in prikaze povratnih informacij, zaradi česar predstavlja možnost uporabe in preizkušanja raznovrstnih verzij za prihodnje študije. Podroben opis programa je v prilogi 7.
V namen pričujoče validacijske raziskave smo izdelali dve obliki problemov. Prva oblika je enobarvna s paketi enake barve in eno ciljno hišo, druga pa je večbarvna s pari paketov in hiš ujemajoče se barve.
Slika 4
Primer enobarvnega (na levi) in večbarvnega problema (na desni)
Testiranci avtomobil premikajo s klikanjem na sosednja polja avtomobila (na sliki 4 označena z modrima kvadratoma). Ob vsakem kliku se število izvedenih potez poveča za ena. Udeleženec samodejno pobere paket, ko pride na polje s paketom, in ga samodejno odloži, ko s paketom pride na polje s hišo. Pri večbarvni obliki mora pakete odložiti v hiše ujemajoče se barve. Problem je
16
rešen, ko so vsi paketi dostavljeni v hišo (enobarvna oblika) oziroma ko je vsak paket dostavljen v hišo ujemajoče se barve (večbarvna oblika). Avtomobil ni omejen na pobiranje in odlaganje vsakega paketa posebej, temveč pobiranje in odlaganje lahko potekata po poljubnem vrstnem redu. V nadaljevanju sta pojasnjena izbira elementov in pravil reševanja testa:
Način zaporednega in enakomernega reševanja. Avtomobil se lahko vedno premakne samo na polja, ki ga neposredno obdajajo, in se torej pri vsaki potezi premakne za enako razdaljo.
Takšen način premikanja smo izbrali, ker je najbolj analogen fizičnemu premikanju v resničnem svetu, hkrati pa daje jasno strukturo udeležencu, saj je ena poteza vedno povezana z enako razdaljo na mreži.
Nezmožnost popravljanja in ponovnega reševanja problemov. Različice testov, pri katerih mora udeleženec najti najkrajšo pot, se razlikujejo v možnostih popravljanja in brisanja potez med reševanjem. Na primer, Graham in sodelavci (2000) dovolijo razveljavitev poteze ali ponastavitev celotnega problema, Mueller in sodelavci (2015) pa v testu ne dovolijo vračanja nazaj na ista polja.
Test CCRacer – načrtovanje, uporabljen v pričujoči raziskavi, ne omogoča brisanja potez ali ponovnega reševanja problemov. Udeleženec lahko prestavi avto na polja, ki so že bila obiskana, vendar se vsi premiki kumulativno prištevajo. To odraža premikanje v realnem življenju, kjer premika v določeno smer ne moremo razveljaviti brez dodatnih stroškov. K izbiri takšnega načina delovanja testa CCRacer – načrtovanje je vplivala tudi večja podobnost s testoma Londonski stolp in Problem trgovskega potnika v programu PEBL (Mueller in Piper, 2014), kjer vsak premik prinaša določen strošek v številu potez oziroma neučinkovitosti reševanja. Tak način delovanja omogoča tudi preprostejše beleženje uspešnosti reševanja, saj ni treba upoštevati popravljanja potez, ampak prešteti le skupno število narejenih potez.
Enaka začetna lokacija. Vsi problemi naloge CCRacer – načrtovanje imajo enako začetno točko avtomobila, ki se vedno nahaja v levem spodnjem kotu mreže cest. S fiksno začetno točko smo želeli preprečiti morebiten vpliv, ki bi ga imele različne začetne točke na uspešnost in strategijo reševanja problema.
Vmesni cilji. Test smo oblikovali na podlagi predpostavke, da je načrtovanje še posebej izrazito v situacijah, v katerih je za dosego končnega cilja treba osvojiti vmesne cilje (Owen, 1997).
Pri enobarvnih problemih je cilj vedno hiša v zgornjem desnem kotu mreže cest. Optimalno reševanje enobarvnega problema vedno poteka na način, da udeleženec najprej pobere vse pakete na poti (vmesni cilji) in na koncu vse skupaj odloži v hiši (končni cilj). Pri večbarvnih problemih ni očitno, katero hišo je najbolj optimalno obiskati zadnjo (končni cilj), zato bi lahko bila ta oblika problemov kompleksnejša za reševanje.
Pobiranje paketov in shramba. Paketi, ki jih udeleženec s premikanjem avtomobila pobira, izginejo s ceste. S tem udeleženec ve, katere pakete je že pobral in katere še mora, zato mu v delovnem spominu ni treba ohranjati preteklih potez, ki jih je že izvedel. Podobno se na testu Problem trgovskega potnika v programu PEBL obarvajo v drugo barvo že povezane točke, zaradi česar udeležencu ni treba nenehno preiskovati celotnega polja, da najde točke, ki jih še ni povezal (Mueller idr., 2015). Večbarvni problemi dodatno vključujejo še prikaz shrambe na dnu zaslona. S tem lahko udeleženec vedno preveri, ali je v avtomobilu že paket ustrezne barve, preden obišče hišo. S prikazom shrambe smo skušali zmanjšati število napak udeležencev, ki bi pozabili ali si napačno zapomnili, katere izmed paketov je avtomobil že pobral.
17 Slika 5
Primer shrambe, prikazane pri večbarvnem problemu, v kateri ima udeleženec zelen in moder paket, ki ju je z avtomobilom pobral na cesti in ju še ni odložil v zeleni oziroma modri hiši
Povratna informacija o uspešnosti. Nekatere verzije testov iskanja najkrajše poti udeležencu podajajo povratno informacijo o uspešnosti reševanja v številčni obliki, kot je na primer primerjava narejene poti v primerjavi z optimalno potjo (Dry idr., 2006) ali z vizualnim prikazom najkrajše poti (Mueller idr., 2015). Povratna informacija je pomembna z vidika večje motivacije in vzdrževanja zavezanosti k uspešnemu reševanju nalog. V testu CCRacer – načrtovanje smo določili, da udeleženec ves čas reševanja vidi število izvedenih potez, medtem ko je šele ob koncu problema prikazana optimalna dolžina reševanja. Udeleženec lahko torej ob koncu vsakega problema številčno primerja svoj rezultat z optimalno dolžino poti. Medtem ko pri nalogi Problem trgovskega potnika v programu PEBL vedno obstaja samo ena optimalna rešitev, je pri testu CCRacer – načrtovanje običajno optimalnih več poti, zato vizualni prikaz rešitve ni primeren.
Raziskovalni problem
Resne računalniške igre predstavljajo obetavno priložnost za merjenje in treniranje kognitivnih funkcij. Namen magistrskega dela je bil razvoj nove naloge za merjenje načrtovanja v resni igri CCRacer in preverjanje njene veljavnosti. Zanimalo nas je, kakšne so merske značilnosti novo razvite naloge in posameznih problemov, ki jo sestavljajo. Prav tako smo želeli preveriti, ali obstajajo razlike v reševanju enobarvnih in večbarvnih problemov.
Osrednji raziskovalni problem je bil preveriti, ali so merske značilnosti naloge CCRacer – načrtovanje podobne značilnostim klasičnih testov Londonski stolp in Problem trgovskega potnika, ki se pogosto uporabljata za merjenje sposobnosti načrtovanja. Zanimalo nas je, ali bodo korelacije med testom CCRacer in klasičnima testoma predvideno visoke in pozitivne ter ali bodo korelacije med testi načrtovanja višje kot med testi, ki merijo različne funkcije.
Želeli smo preveriti tudi ustreznost retestne zanesljivosti naloge ter motiviranost udeležencev in zanimivost reševanja naloge v okolju CCRacer v primerjavi s klasičnima testoma načrtovanja.
18
Metoda
Udeleženci
V raziskavi je sodelovalo 97 udeležencev, od tega 32 (33 %) moških. Njihova povprečna starost je bila 22 let (M = 22,3; SD = 3,2). Udeleženci so bili študenti ali pa so nedavno zaključili študij, od tega večina na Filozofski fakulteti UL (f = 68), preostali pa na drugih fakultetah, večinoma z Univerze v Ljubljani.
Med udeleženci jih 44 % igra računalniške igre, v povprečju 7 ur na teden (SD = 7,6; min = 0,5;
max = 30), 47 % jih je že igralo kakšno igro, pri kateri so morali najti najkrajšo pot, 76 % je v preteklosti že reševalo nalogo Londonski stolp, 32 % pa nalogo Problem trgovskega potnika.
Na ponovnem testiranju je sodelovalo 39 udeležencev s prvega testiranja, od tega trije (8 %) moški. Njihova povprečna starost je bila 20 let (M = 20,4; SD = 2,1).
Pripomočki
Udeleženci so reševali pet kognitivnih testov in izpolnili vprašalnik. V nadaljevanju so pripomočki posamično opisani.
Test v okolju CCRacer CCRacer – načrtovanje
Test CCracer – načrtovanje je del aplikacije CCRacer in ga sestavlja 36 testnih problemov (Priloga 4). Udeleženci pri prvi polovici problemov na zaslonu vidijo preplet cest, na katerem so postavljeni avtomobil, hiša in devet paketov (enobarvni problem). Njihova naloga je v čim manj potezah in čim hitreje začrtati pot avtomobilu, da bo pobral vse pakete na poti in jih odložil v hišo.
Druga polovica problemov vključuje avtomobil, štiri pakete različnih barv in štiri hiše, ki so enakih barv kot paketi (večbarvni problem). Naloga udeležencev je v čim manj potezah in čim hitreje označiti pot avtomobilu, da pobere pakete in jih odloži v hiše ujemajoče se barve. Sklop enobarvnih problemov je sestavljen iz štirih primerov za vajo in 18 testnih problemov z različnim optimalnim številom potez (17, 19, 21, 23, 25 in 27). Enako velja za sklop večbarvnih problemov.
Udeleženci so opozorjeni, naj pred prvo potezo razmislijo, kako bodo avtomobilu začrtali najkrajšo pot, hkrati pa naj skušajo biti čim hitrejši. Med izvajanjem nalog je udeležencu viden prikaz števila potez, ki jih naredi, ob koncu vsakega problema pa se prikaže še optimalno število potez, s katerim je možno rešiti problem. Pri vsakem udeležencu smo prek vseh problemov izmerili povprečno neučinkovitost reševanja problemov (tj. razmerje med številom izvedenih potez in optimalnim številom potez), povprečni pretečen čas do prve poteze (začetni čas) in povprečni celotni čas reševanja. Izračunali smo še povprečni indeks časovnega razmerja (razmerje med časom do prve poteze in celotnim časom reševanja).
19 Testi iz baterije PEBL
Baterija testov PEBL (The Psychology Experiment Building Language; Mueller in Piper, 2014) vsebuje večje število prosto dostopnih psiholoških testov, ki so na voljo v računalniški obliki. V raziskavi smo uporabili štiri teste: dva testa načrtovanja sta bila namenjena preverjanju konvergentne veljavnosti, test vidnoprostorskega delovnega spomina in test hitrosti procesiranja informacij pa preverjanju diskriminativne veljavnosti testa CCRacer – načrtovanje.
Londonski stolp
Test Londonski stolp (angl. Tower of London – TOL) meri sposobnost načrtovanja (Shallice, 1982). Udeležencem je pri vsakem problemu prikazan začetni in končni položaj diskov različnih barv. Naloga udeležencev je, da prerazporedijo diske iz začetnega v končni položaj z najmanjšim številom potez. V raziskavi smo uporabili verzijo s 30 problemi, pri katerih sta omejena število potez in čas reševanja (Schnirman idr., 1998), ki smo ga nastavili na 120 sekund. Število potez je omejeno tako, da ima udeleženec pri vsakem problemu na voljo le najmanjše število potez, ki je potrebno za rešitev problema. Če udeleženec problema ne reši z najmanjšim številom potez, se reševanje problema zaključi in udeleženec nadaljuje z reševanjem naslednjega problema. Pri vsakem udeležencu smo preko vseh problemov izmerili povprečni pretečen čas do prve poteze (začetni čas), povprečni celotni čas reševanja ter število pravilno in pravočasno rešenih problemov.
Problem trgovskega potnika
Test Problem trgovskega potnika (angl. Traveling salesman problem – TSP) meri sposobnost načrtovanja (Mueller idr., 2015). Udeleženci morajo povezati točke na zaslonu po najkrajši možni poti. Test je sestavljen iz petih problemov za vajo s šestimi točkami ter 15 testnih problemov z različnim številom točk (10, 20, 30). Pri vsakem udeležencu smo preko vseh problemov izmerili povprečno učinkovitost dolžine (tj. razmerje med skupno razdaljo med vsemi povezanimi točkami in najkrajšo možno razdaljo), povprečni pretečen čas do prve poteze (začetni čas) in povprečni celotni čas reševanja.
Corsi kocke
Test Corsi kocke (angl. The Corsi block-tapping test) je pogosto uporabljen pripomoček za merjenje vidnoprostorskega delovnega spomina, ki od udeleženca zahteva rekonstrukcijo oziroma ponovitev danega zaporedja lokacij (Kessels idr., 2000). Test je sestavljen iz devetih kvadratov, ki so neenakomerno razporejeni na zaslonu. Kvadrati utripajo v določenem zaporedju, udeleženec pa mora zaporedje ponoviti. Naloga se začne z zaporedjem dveh kvadratov, udeleženec pa ima na voljo dva poskusa za vsako dolžino niza. Zaporedje je daljše za en kvadrat vsakič, ko udeleženec pravilno ponovi vsaj enega izmed dveh poskusov. Če pravilno ponovi zaporedje, je naslednji niz daljši za en kvadrat. Obseg vidnoprostorskega delovnega spomina smo izračunali tako, da smo najkrajši dolžini zaporedja, s katero smo začeli merjenje, prišteli število
20
pravilno ponovljenih zaporedij, nato pa dobljeno delili s številom poskusov za vsako dolžino niza.
Izračun prikažemo z enačbo (2 + število pravilno ponovljenih zaporedij)/2.
Zamenjava znakov
Test Zamenjava znakov (angl. Letter-digit span, tudi Code substitution task) meri hitrost procesiranja informacij (Perez idr., 1987). Test vsebuje vrstico devetih črk, pod vsako črko pa je številka, ki ji pripada. Med meritvami se na spodnji polovici zaslona prikazujejo črke, udeleženec pa mora na tipkovnici pri vsakem prikazu črke čim prej izbrati številko, ki spada k prikazani črki.
Beležili smo reakcijski čas in pravilnost odzivanja. Meri hitrosti procesiranja informacij sta bili aritmetična sredina in mediana reakcijskih časov.
Vprašalnik
Udeleženci so med in po koncu testiranja reševali Vprašalnik za udeležence (priloga 1) v obliki obrazca PDF. Po vsakem testu načrtovanja so na 7-stopenjski lestvici ocenili svojo motiviranost pri reševanju, zanimivost testa, previdnost reševanja, da ne bi naredili napačne poteze, pogostost načrtovanja pred prvo potezo ter pogostost načrtovanja sproti med reševanjem nalog. Po koncu testiranja so izpolnili podatke o spolu, starosti, smeri študija, pogostosti igranja videoiger ter o tem, ali so že kdaj igrali kakšno igro, kjer so morali iskati najkrajše poti. Odgovorili so tudi na osem postavk s 4-stopenjsko lestvico iz Barrattove lestvice impulzivnosti (angl. Barratt Impulsiveness Scale – BIS-11; Patton idr., 1995). Izbrali smo postavke, za katere smo ocenili, da opisujejo misli in vedenje ob reševanju naloge CCRacer – načrtovanje (npr. Skrbno načrtujem svoje naloge.). Z eksploratorno faktorsko analizo smo odkrili dvofaktorsko strukturo lestvice. S seštevkom prve, druge in pete postavke smo dobili rezultat, ki je vezan na impulzivno vedenje, s seštevkom šeste, sedme in osme postavke pa rezultat, ki je vezan na interes za reševanje problemov. Prva, peta, šesta in osma postavka so bile obratno vrednotene. Višji rezultat prvega seštevka je pomenil višjo izraženost impulzivnega vedenja, višji rezultat drugega seštevka pa manjši interes za reševanje problemov. Rezultati preverjanja vsebinske veljavnosti obeh rezultatov so v prilogi 2.
Postopek
Raziskava je bila pred začetkom odobrena s strani Komisije za etiko Filozofske fakultete.
Udeleženci, ki so izrazili zanimanje za sodelovanje preko spletnega obrazca, so po elektronski pošti prejeli obveščeno soglasje za sodelovanje (priloga 3), natančna navodila za izvedbo na daljavo, programa PEBL in CCRacer ter vprašalnik. Obveščeni so bili o prostovoljnosti sodelovanja in zaščiti osebnih podatkov.
Prvo testiranje je potekalo v maju in juniju 2021. Udeleženci so od doma individualno izvedli meritve. Zaporedje okolij smo naključno variirali tako, da je polovica udeležencev najprej reševala naloge v okolju PEBL in nato v okolju CCRacer, polovica pa obratno. Med posameznimi testi so lahko naredili kratek odmor. Po vsakem zaključenem testu načrtovanja in po opravljenih vseh petih testih so udeleženci izpolnili vprašalnik. Pri izvedbi testa Zamenjava znakov so udeleženci uporabljali tipkovnico, pri ostalih testih pa računalniško miško. Po zaključeni izvedbi so izvedbeni raziskovalki posredovali datoteke z rezultati testiranja in izpolnjen vprašalnik. Celotna izvedba je
21
trajala okvirno 50 minut. Udeleženci so bili povabljeni na sodelovanje v ponovnem testiranju mesec dni po prvem testiranju.
Udeleženci so na drugem testiranju sodelovali približno 40 dni po svojem prvem testiranju (M = 39,4, SD = 7,3). Potekalo je na podoben način, z razliko, da so reševali le test načrtovanja v okolju CCRacer ter testa Londonski stolp in Problem trgovskega potnika v okolju PEBL. Zaporedje okolij smo ponovno variirali tako, da je polovica udeležencev najprej reševala testa v okolju PEBL in nato test v okolju CCRacer, polovica pa obratno. Izvedba drugega testiranja je trajala okvirno 30 minut.
Podatke smo analizirali s programi IBM SPSS, R Studio in Excel. Frekvenčne porazdelitve merjenih spremenljivk so bile v veliki večini nenormalne, zato smo za obdelavo uporabljali neparametrične postopke. Pri izračunih povezanosti podatkov smo uporabili Spearmanov korelacijski koeficient, pri preverjanju razlik med enobarvnimi in večbarvnimi problemi pa Wilcoxonov test ekvivalentnih parov. Za preverjanje razlik med dosežki skupin udeležencev smo uporabili Mann-Whitneyjev U test.
V prvem delu meritev sedem udeležencev zaradi tehničnih težav pri testiranju na daljavo ni rešilo testov v okolju PEBL, zaradi česar smo njihove rezultate izključili pri izračunih kriterijske veljavnosti testa CCRacer – načrtovanje.
22
Rezultati
Analiza problemov testa CCRacer – načrtovanje
V raziskavi smo uporabili na novo razvit test, zato so nas najprej zanimale značilnosti posameznih 36 problemov testa CCRacer – načrtovanje. Tabela opisnih statistik problemov je v prilogi 5. Povprečna neučinkovitost posameznih problemov se je gibala od 1,002 do 1,212, pri čemer 1,000 pomeni popolno učinkovitost reševanja, višje vrednosti pa delež podaljšanja poti v primerjavi z optimalno potjo. Z analizo zanesljivosti smo preverili odnose med posameznimi problemi in celotnim testom. Izkazalo se je, da je šest problemov (enobarvni_17_1, enobarvni_19_1, enobarvni_21_1, večbarvni_19_3, večbarvni_23_2 in večbarvni_27_2) prispevalo k nižji vrednosti notranje konsistentnosti testa (Cronbachova α = 0,785). Problem enobarvni_21_1 je bil za udeležence zelo lahek, saj so ga vsi z izjemo dveh udeležencev rešili z optimalnim številom potez, problem večbarvni_23_2 pa je negativno koreliral s skupnim dosežkom na testu. Vseh šest problemov je imelo koeficiente občutljivosti manjše od 0,1, kar pomeni, da so dotični problemi slabo razlikovali med tistimi udeleženci, ki imajo visoko sposobnost načrtovanja, in tistimi, ki imajo nizko sposobnost načrtovanja. Pregledali smo, ali se teh šest problemov vsebinsko razlikuje od drugih. Po primerjavi razporeditve paketov in hiš, števila najkrajših poti in števila vseh možnih poti za rešitev nismo našli vsebinskih razlogov za odstopanja. Kljub temu smo omenjenih šest problemov zaradi neustreznih merskih značilnosti izločili. Nadaljnjo analizo smo izvajali na testu s 30 problemi, od tega je bilo 15 problemov enobarvnih in 15 večbarvnih. Opisne statistike testa z izbranimi 30 problemi so predstavljene v tabeli 1.
Tabela 1
Opisne statistike mer testa CCRacer – načrtovanje (N = 90)
Cronbachova α M SD min max Asim Spl
Celoten test CCRacer
Neučinkovitost 0,80 1,079 0,032 1,020 1,190 0,61 0,70
Začetni čas 0,96 6308 5364 968 24814 1,61 2,49
Celotni čas 0,97 21195 6773 11068 43021 0,91 0,70
Časovno razmerje 0,98 0,25 0,14 0,07 0,63 0,75 –0,42
Enobarvni problemi
Neučinkovitost 0,64 1,064 0,027 1,010 1,140 0,24 0,03
Začetni čas 0,94 6589 6580 877 34753 2,19 5,46
Celotni čas 0,94 21589 8031 10445 50439 1,34 2,05
Časovno razmerje 0,97 0,25 0,15 0,08 0,65 0,89 -0,12
Večbarvni problemi
Neučinkovitost 0,75 1,094 0,045 1,020 1,240 0,89 0,96
Začetni čas 0,96 6028 5004 889 25126 1,68 2,92
Celotni čas 0,95 20801 6332 11339 44224 0,94 1,26
Časovno razmerje 0,97 0,26 0,14 0,06 0,64 0,83 –0,13
Opombe: Asim – koeficient asimetrije. Spl – koeficient sploščenosti. SEAsim = 0,25. SESpl = 0,50.
23
Povprečna neučinkovitost reševanja testa CCRacer – načrtovanje je znašala 1,079, najboljši dosežek je dosegel udeleženec s koeficientom 1,020, ki je pravilno rešil skoraj vse probleme.
Indeks časovnega razmerja nam pove, da so udeleženci v povprečju 25 % časa reševanja namenili načrtovanju pred prvo potezo. Iz tabele 1 razberemo, da so bile vse distribucije mer testa CCRacer – načrtovanje desno asimetrične. Najvišje koeficiente asimetrije so imele mere začetnega časa, kar lahko nakazuje, da je večina udeležencev prvo potezo izvedla hitro, posamezni udeleženci pa so zanjo potrebovali precej več časa.
Vsi koeficienti Cronbachove alfe pri celotnem testu CCRacer so višji od 0,80, kar kaže na visoko notranjo konsistentnost in zanesljivo uporabo mere neučinkovitosti in časovnih mer testa v prihodnjih raziskavah. Preverili smo, katera časovna mera se najvišje povezuje z mero neučinkovitosti reševanja testa CCRacer (tabela 3). Indeks časovnega razmerja je pojasnil približno 43 %, začetni čas 41 % in celotni čas 22 % variance učinkovitosti reševanja testa. Daljši kot je bil začetni čas v primerjavi s celotnim časom reševanja, učinkovitejše je bilo reševanje problemov.
Wilcoxonov test ekvivalentnih parov je pokazal, da je bila razlika v neučinkovitosti reševanja med enobarvnimi in večbarvnimi problemi statistično značilna (T = 2854, Z = –6,24, p < 0,001, r = –0,47), medtem ko razlika v začetnem času (T = 2127, Z = –0,32, p = 0,749, r = –0,02), razlika v celotnem času (T = 1927, Z = –0,49, p = 0,628, r = –0,04) in razlika v indeksu časovnega razmerja (T = 1875, Z = –1,22, p = 0,221, r = –0,09) niso bile statistično značilne.
Kriterijska veljavnost testa CCRacer – načrtovanje
Udeleženci so poleg testa CCRacer – načrtovanje reševali še dva klasična testa načrtovanja, Londonski stolp in Problem trgovskega potnika, test vidnoprostorskega delovnega spomina Corsi kocke ter test hitrosti procesiranja Zamenjava znakov.
Tabela 2
Opisne statistike za dosežke na štirih kognitivnih testih (N = 90)
M SD min max Asim Spl
Londonski stolp
Št. pravilno rešenih problemov 18,23 5,25 6 29 –0,21 –0,46
Začetni čas 12730 7478 3783 42844 1,70 3,28
Celotni čas 19483 8160 8516 48448 1,50 2,44
Problem trgovskega potnika
Neučinkovitost 1,064 0,034 1,021 1,239 2,15 7,57
Začetni čas 5857 5274 1434 26278 1,96 3,46
Celotni čas 21011 8897 9934 49901 1,32 1,50
Corsi kocke
Obseg spomina 5,75 0,89 3 7,5 –0,19 –0,12
Zamenjava znakov
M reakcijskih časov 1646 242 1154 2365 0,92 1,12
Mdn reakcijskih časov 1567 222 1068 2179 0,50 0,28
Opombe: Asim – koeficient asimetrije. Spl – koeficient sploščenosti. SEAsim = 0,25. SESpl = 0,50.
24
Pri testu Londonski stolp so udeleženci v povprečju pravilno rešili 18 od 30 problemov, povprečna neučinkovitost reševanja naloge Problem trgovskega potnika pa je bila zelo podobna povprečni neučinkovitosti reševanja testa CCRacer – načrtovanje (tabela 2).
Tabela 3 prikazuje korelacije med merami uspešnosti na treh testih načrtovanja. Razberemo lahko, da so mere uspešnosti reševanja testa CCRacer – načrtovanje visoko in statistično značilno korelirale med sabo. Korelacija med koeficientom učinkovitosti in začetnim časom pri testu CCRacer – načrtovanje je bila višja kot korelacija istih dveh mer uspešnosti pri testih Londonski stolp in Problem trgovskega potnika.
Neučinkovitost reševanja testa CCRacer – načrtovanje je zmerno visoko in negativno korelirala z uspešnostjo reševanja testa Londonski stolp ter zmerno visoko in pozitivno z neučinkovitostjo reševanja testa Problem trgovskega potnika. Prav tako sta meri začetnega časa in časovnega razmerja pri testu CCRacer – načrtovanje zmerno visoko in pozitivno korelirali z uspešnostjo reševanja testa Londonski stolp ter zmerno visoko in negativno z neučinkovitostjo reševanja testa Problem trgovskega potnika.
V tabeli 4 so navedene korelacije uspešnosti reševanja na testih načrtovanja s testoma Zamenjava znakov in Corsi kocke. Dosežek na testu Corsi kocke je nizko in negativno koreliral z neučinkovitostjo reševanja testa CCRacer – načrtovanje, vendar korelacija ni bila statistično značilna, s časovnimi merami testa CCRacer pa se sploh ni povezoval. Korelacije reakcijskih časov reševanja testa Zamenjava znakov z neučinkovitostjo reševanja in indeksom časovnega razmerja testa CCRacer so bile zanemarljive, medtem ko so z reakcijskimi časi reševanja testa Zamenjava znakov rahlo višje korelirali začetni in celotni časi na testih načrtovanja, nekatere korelacije so bile tudi statistično značilne.
25 Tabela 3
Korelacije (Spearmanovi koeficienti) med merami uspešnosti na treh testih načrtovanja (N = 90)
2 3 4 5 6 7 8 9 10
CCRacer
1. Neučinkovitost –0,64* –0,47* –0,66* –0,46* –0,39* –0,29* 0,34* –0,45* –0,40*
2. Začetni čas 0,78* 0,95* 0,42* 0,50* 0,47* –0,26* 0,74* 0,65*
3. Celotni čas 0,58* 0,24* 0,29* 0,39* –0,12 0,58* 0,71*
4. Časovno razmerje 0,47* 0,52* 0,44* –0,30* 0,71* 0,53*
Londonski stolp
5. Št. pravilno rešenih
problemov 0,55* 0,39* –0,52* 0,52* 0,44*
6. Začetni čas 0,94* –0,37* 0,72* 0,55*
7. Celotni čas –0,27* 0,68* 0,59*
Problem trgovskega potnika
8. Neučinkovitost –0,30* –0,31*
9. Začetni čas 0,86*
10. Celotni čas
*Statistično značilna korelacija na petodstotni ravni tveganja ob upoštevanju Holm-Bonferronijevega popravka za večkratne primerjave.
26 Tabela 4
Korelacije uspešnosti reševanja na testih načrtovanja s testoma Zamenjava znakov in Corsi kocke (N = 90)
Zamenjava znakov M reakcijskih časov
Zamenjava znakov Mdn reakcijskih časov
Corsi kocke Obseg spomina CCRacer
Neučinkovitost –0,06 –0,02 –0,15
Začetni čas 0,23 0,21 0,01
Celotni čas 0,30* 0,31* 0,03
Časovno razmerje 0,11 0,08 0,03
Londonski stolp
Št. pravilno rešenih problemov –0,11 –0,18 0,10
Začetni čas 0,20 0,15 –0,06
Celotni čas 0,30* 0,23 –0,13
Problem trgovskega potnika
Neučinkovitost 0,04 0,11 –0,01
Začetni čas 0,18 0,11 0,03
Celotni čas 0,21 0,14 –0,01
*Statistično značilna korelacija na petodstotni ravni tveganja ob upoštevanju Holm-Bonferronijevega popravka za večkratne primerjave znotraj posameznega stolpca tabele.
Zanesljivost testa CCRacer – načrtovanje
Visoke vrednosti Cronbachove alfe (tabela 1) kažejo na visoko notranjo konsistentnost testa CCRacer –načrtovanje. Zanesljivost smo preverili tudi s ponovnim merjenjem, ki je povzeto v tabeli 5.
Wilcoxonov test ekvivalentnih parov (tabela 5) je pokazal, da je 39 udeležencev, ki so sodelovali na ponovnem merjenju, nekoliko uspešneje reševalo test CCRacer – načrtovanje in test Londonski stolp na drugem testiranju v primerjavi s prvim testiranjem. Povprečna neučinkovitost reševanja testa Problem trgovskega potnika je bila približno enaka. Udeleženci so imeli na drugem testiranju nekoliko krajše povprečne začetne čase in povprečne celotne čase. Razlika v povprečnem časovnem razmerju reševanja testa CCRacer – načrtovanje med prvim in drugim testiranjem je bila majhna.
Retestna zanesljivost je bila izračunana z bivariatnimi korelacijami med merami uspešnosti na testih med prvim in drugim testiranjem. Iz tabele 6 razberemo, da so bile korelacije na vseh treh testih načrtovanja statistično značilne in višje od 0,60.
27 Tabela 5
Primerjava rezultatov na treh testih načrtovanja med prvim in drugim testiranjem (N = 39)
Prvo testiranje Drugo testiranje Wilcoxonov test
ekvivalentnih parov
M SD min max M SD min max T Z r
CCRacer
Neučinkovitost 1,083 0,030 1,030 1,150 1,073 0,029 1,020 1,150 167 –2,46* –0,28
Začetni čas 5553 5175 968 23295 4265 3517 961 15835 243 –2,05* –0,23
Celotni čas 20693 7045 11114 38944 17992 5237 10574 31477 187 –2,83** –0,32
Časovno razmerje 0,23 0,13 0,08 0,58 0,21 0,12 0,09 0,61 269 –1,02 –0,11
Londonski stolp
Št. pravilno rešenih nalog 17,74 5,26 6 29 19,97 5,79 9 30 532 –3,14** –0,36
Začetni čas 10517 5556 3783 29852 10303 4723 2791 21030 330 –0,59 –0,07
Celotni čas 17289 6813 8516 42452 15712 4986 7567 26588 201 –2,46* –0,28
Problem trgovskega potnika
Neučinkovitost 1,067 0,033 1,021 1,150 1,069 0,047 1,024 1,300 341 –0,43 –0,05
Začetni čas 4596 4386 1434 18724 3230 2114 1305 10634 175 –2,84** –0,32
Celotni čas 19566 7438 9979 41226 17584 5870 9374 30594 221 –2,17* –0,25
Opombe: T – testna statistika; Z – standardizirana mera testa; r – velikost učinka.
*p < 0,05. **p < 0,01.
28 Tabela 6
Korelacije (Spearmanovi koeficienti) mer uspešnosti na treh testih načrtovanja med prvim in drugim testiranjem (N = 39)
r
CCRacer
Neučinkovitost 0,67**
Začetni čas 0,70**
Celotni čas 0,71**
Časovno razmerje 0,65**
Londonski stolp
Št. pravilno rešenih nalog 0,67**
Začetni čas 0,76**
Celotni čas 0,75**
Problem trgovskega potnika
Neučinkovitost 0,69**
Začetni čas 0,60**
Celotni čas 0,71**
**p < 0,01.
Individualne in skupinske razlike v uspešnosti na testih načrtovanja
Ženske udeleženke so imele nižji indeks časovnega razmerja od moških udeležencev, kar pomeni, da so manj časa namenile načrtovanju pred prvo potezo v razmerju s celotnim časom.
Skladno s tem so bile ženske tudi nekoliko manj učinkovite pri reševanju. Ženske so imele krajši začetni čas tudi pri testih Londonski stolp in Problem trgovskega potnika, medtem ko so bile razlike med spoloma v pravilnosti reševanja teh dveh testov zanemarljive. Med udeleženci, ki igrajo videoigre, in udeleženci, ki ne igrajo videoiger, ni bilo razlik v rezultatih. Prav tako ni bilo razlik med udeleženci, ki so v preteklosti že igrali kakšno igro, pri kateri so morali najti najkrajšo pot, in udeleženci, ki se s takšno igro še niso srečali. Natančni rezultati so v prilogi 6.
Udeleženci so na 4-stopenjski lestvici podali ocene o lastni impulzivnosti in interesu za reševanje problemov. Višji rezultat, vezan na impulzivnost, je pomenil višjo izraženost impulzivnega vedenja, višji rezultat, vezan na interes za reševanje problemov, pa nižji interes za reševanje problemov. Korelacije dosežkov na testu CCRacer – načrtovanje in samoocene impulzivnosti so bile zanemarljive, medtem ko se je interes za reševanje problemov nizko, vendar statistično značilno povezoval z neučinkovitostjo reševanja testa (rs = 0,21, p = 0,049) in časovnim razmerjem (rs = –0,24, p = 0,022). Udeleženci, ki radi rešujejo miselne probleme, so učinkoviteje reševali test CCRacer – načrtovanje, hkrati pa so več časa namenili začetnemu načrtovanju v razmerju s celotnim časom reševanja. Slednje se sklada z rezultatom, da so udeleženci z višjim interesom za reševanje problemov podali višjo samooceno o tem, kako pogosto so načrtovali celotno pot že pred prvo potezo. Udeleženci so namreč tudi na 7-stopenjski lestvici podali ocene, kako previdno so reševali test, kako pogosto so načrtovali celotno pot že pred prvo potezo ter kako pogosto so načrtovali sproti, med označevanjem poti avtomobilu. Povprečna ocena previdnosti reševanja je znašala 3,8 (SD = 1,5), povprečna ocena pogostosti načrtovanja pred prvo
29
potezo 3,4 (SD = 1,6) in povprečna ocena pogostosti sprotnega načrtovanja 5,2 (SD = 1,4).
Medtem ko sta se z oceno previdnosti reševanja statistično značilno povezovala začetni čas (rs = 0,23, p = < 0,001) in celotni čas reševanja (rs = 0,28, p = 0,007), povezava s časovnim razmerjem ni bila statistično značilna (rs = 0,17, p = 0,101). Posamezniki, ki so bolj previdno reševali probleme, da ne bi storili napačne poteze, so probleme reševali počasneje. Če so imeli udeleženci, ki so bolj previdno reševali probleme, daljše tako začetne kot celotne čase, je smiselno, da se časovno razmerje njihovega reševanja ni zelo razlikovalo od časovnega razmerja pri udeležencih, ki so test reševali manj previdno. Samoocena pogostosti načrtovanja celotne poti že pred prvo potezo se je pozitivno in statistično značilno povezovala z začetnim časom (rs = 0,55, p < 0,001), samoocena pogostosti sprotnega načrtovanja pa se je z začetnim časom povezovala negativno in statistično značilno (rs = –0,62, p < 0,001). To pomeni, da so imeli udeleženci, ki so poročali o pogostejšem začetnem načrtovanju, v povprečju daljši začetni čas, udeleženci, ki so poročali o pogostejšem sprotnem načrtovanju, pa krajši začetni čas.
Izkušnja udeležencev
Udeleženci so po vsakem testu načrtovanja na 7-stopenjski lestvici podali subjektivno oceno motiviranosti pri reševanju (1 – zelo nizka, 7 – zelo visoka) in zanimivosti testa (1 – zelo nezanimiv, 7 – zelo zanimiv). Povprečja ocen s standardnimi deviacijami so prikazana na sliki 6.
Slika 6
Povprečja in standardne deviacije subjektivnih ocen motiviranosti pri reševanju in zanimivosti nalog
1 2 3 4 5 6 7
motiviranost zanimivost
M
Londonski stolp Problem trgovskega potnika CCRacer načrtovanje
