4 ANALIZA
4.3 Analiza predtesta in potesta
Na rezultatih predtesta in potesta smo izvedli test Kolmogorov-Smernov, ki je pokazal, da podatki niso normalno porazdeljeni (α = 0,000). Za primerjavo rezultatov predtesta in potesta smo uporabili neparametrični test, Wilcoxonov test.
Tabela 4: Wilcoxonov test za primerjavo dosežkov na predtestu in potestu
N M Standardni odklon Minimum Maximum
Predtest 51 3,12 1,366 0 6
Potest 51 4,00 1,327 1 6
Potest - Predtest
Z -4,493b
α 0,000
Vrednost Wilcoxonovega testa je statistično pomembna (Z = -4,493; α = 0,000). Med dosežki učencev na pred- in potestu se pojavljajo statistično pomembne razlike. Podatke lahko posplošimo na osnovno množico in s tveganjem, manjšim od 0,1 %, trdimo, da bi učenci tudi v osnovni množici potest (M = 4,00) reševali bolje od predtesta (M = 3,12).
Z vsako nalogo na pred- in potestu smo preverjali posamezne lastnosti kognitivnega razvoja v skladu z neopiagetovo teorijo. S spodnjo tabelo smo prikazali, v kolikšni meri so koncept razumeli na predtestu in v kolišni meri na potestu.
4. razred
SCRATCH SKUPNOST SOŠOLCI
UČITELJ
6. razred 5. razred
Graf 5: Primerjava pravilnih odgovorov na pred- in potestu
Prvo nalogo so učenci na predtestu reševali s 53% uspešnostjo, na potestu s 61%.
Drugo nalogo so na predtestu pravilno rešili v 73 %, na potestu pa za dva procenta več (75 %).
Tretja naloga je imela na predtestu (59 %) nižjo uspešnost kot na potestu (76 %).
Pri četrti nalog je bila uspešnost na pred- in potestu enaka (65 %).
Peta naloga je bila najtežja, saj je na predtestu nalogo pravilno rešilo le 27 % učencev, na potestu 29 %.
Največji napredek beležimo pri zadnji, šesti nalogi (predtest 35 %, potest 94 %). Učenci so po reševanju predtesta menili, da je bila naloga najtežja in prosili za razlago. Skupaj smo naredili podoben primer, na katerem so koncept osvojili in podobno nalogo na potestu rešili pravilno v tako visokem odstotku.
Primerjava rezultatov potesta po spolu
Na rezultatih potesta smo izvedli test Kolmogorov-Smernov, ki je pokazal, da podatki niso normalno porazdeljeni (α = 0,000). Zato smo za primerjavo rezultatov – doseženih točk glede na spol uporabili neparametrični test, test Mann-Whitney.
Tabela 5: Test Mann-Whitney za primerjavo med spoloma pri uspešnosti reševanje potesta
Spol N ! #
Število pravilnih odgovorov Fantje 37 23,49
Dekleta 14 32,64
Skupaj 51
Število doseženih točk na potestu
Mann-Whitney U 166,000
Α 0,043
53% 73% 59% 65% 27% 35%
61% 75% 76% 65% 29% 94%
N A L O G A 1 N A L O G A 2 N A L O G A 3 N A L O G A 4 N A L O G A 5 N A L O G A 6
PRIMERJAVA PRAVILNIH ODGOVOROV PRI VSEH NALOGAH
Predtest Posttest
Vrednost testa Mann-Whitney je statistično pomembna (U = 166,000, α = 0,043). Med fanti in dekleti se pojavljajo statistično pomembne razlike v številu doseženih točk na potestu. S tveganjem 4,3 % trdimo, da bi tudi v osnovni množici dekleta (! #= 32,64) bolje reševale potest kot fantje (! #=23,49).
Primerjava rezultatov potesta, glede na poznavanje okolja Scratch
S pomočjo anketnega vprašalnika smo ugotovili, da je 52,9 % učencev že obiskovalo neobvezni izbirni predmet (NIP) računalništvo, 11,8 % je poleg NIP obiskovalo tudi krožek, le 2 % pa tudi tečaj. Vsi našteti učenci že imeli izkušnje z programiranjem v okolju Scratch.
Tabela 6: Ali si že kdaj obiskoval izbirni predmet, krožek ali tečaj računalništva?
Število učencev Delež
NE 17 33,3
NIP računalništvo 27 52,9
NIP računalništvo, krožek 6 11,8
NIP računalništvo, krožek, tečaj 1 2,0
SKUPAJ 51 100,0
Učenci so Scratch spoznali, ko so obiskovali NIP računalništvo, krožke znotraj šole in tečaje zunaj šole. Te tri kategorije smo pri primerjavi združili v eno, torej v učence, ki so v okolju Scratch že programirali. Teh učencev je skupaj 66,7 %.
Na rezultatih potesta smo izvedli test Kolmogorov-Smernov, ki je pokazal, da podatki niso normalno porazdeljeni (α = 0,000). Za primerjavo rezultatov potesta glede na poznavanje okolja Scratch smo zato uporabili neparametrični test, test Mann-Whitney.
Tabela 7: Test Mann-Whitney za preverjanje vpliva poznavanja okolja Scratch na reševanje potesta
Predznanje N ! #
Dosežek na potestu Ne 17 23,21
Da 34 27,40
Skupaj 51
Število doseženih točk na potestu Mann-Whitney U 241,500
Α 0,328
Mann-Whitney test za neodvisne vzorce (U = 241,500, α = 0,328) med fanti in dekleti ni pokazal statistično pomembnih razlik v številu doseženih točk na potestu. Podatkov ne moremo
posplošiti na osnovno množico, za vzorec pa lahko ugotovimo, da so učenci, ki so poznali Scratch (! #= 27,40), bolje reševali potest kot učenci, ki ga niso poznali (! #= 23,21).
Pogledali smo tudi, kako so učenci, ki Scratcha niso poznali, v primerjavi z učenci, ki so ga poznali, reševali vsako posamezno nalogo. Za vsako nalogo smo izvedli χ2 – preizkus, kjer pogoj ni bil izpolnjen, pa preizkus Kullbachov 2Î.
Tabela 8: Ali se med učenci in učenkami pojavljajo razlike v reševanju prve naloge na potestu, glede na poznavanje okolja Scratch?
Prvo nalogo je na potestu pravilno rešilo 65 % učencev, ki Scratch poznajo, in 53 % učencev, ki ga ne poznajo. Vrednost χ2 – preizkusa ni statistično pomembna (χ2 = 0,658; g = 1; α = 0,417). V vzorcu med učenci, ki Scratch poznajo, in učenci, ki ga ne poznajo, ni statistično pomembnih razlik, glede reševanja prve naloge. Podatkov ne moremo posplošiti na osnovno množico.
Tabela 9: Ali se med učenci in učenkami pojavljajo razlike v reševanju druge naloge na potestu, glede na poznavanje okolja Scratch?
Drugo nalogo je na potestu pravilno rešilo 77 % učencev, ki Scratch poznajo, in 71 % učencev, ki ga ne poznajo. Vrednost preizkusa Kullbachov 2Î ni statistično pomembna (2Î = 0,203; g = 1; α = 0,652). V vzorcu se med učenci, ki Scratch poznajo, in učenci, ki ga ne poznajo, ne pojavljajo statistično pomembne razlike uspešnosti reševanje druge naloge.
Tabela 10: Ali se med učenci in učenkami pojavljajo razlike v reševanju tretje naloge na potestu, glede na poznavanje okolja Scratch?
3. naloga Skupaj Pravilno Narobe
Predznanje Ne Število 9 8 17
Delež 52,9 % 47,1 % 100,0 %
Da Število 30 4 34
Delež 88,2 % 11,8 % 100,0 %
Skupaj 39
76,5 %
12 23,5 %
Tretjo nalogo je pravilno rešilo 88 % učencev, ki Scratch poznajo, in 53 % učencev, ki ga ne poznajo. Vrednost preizkusa Kullbachov 2Î ni statistično pomembna (2Î = 7,512; g = 1; α = 0,006). V vzorcu se med učenci, ki Scratch poznajo, in učenci, ki ga ne poznajo, ne pojavljajo statistično pomembne razlike pri uspešnosti reševanja tretje naloge.
Tabela 11: Ali se med učenci in učenkami pojavljajo razlike v reševanju četrte naloge na potestu, glede na poznavanje okolja Scratch?
4. naloga Skupaj Pravilno Narobe
Predznanje Ne Število 11 6 17
Delež 64,7 % 35,3 % 100,0 %
Da Število 22 12 34
Delež 64,7 % 35,3 % 100,0 %
Skupaj 33
64,7 %
18 35,3 %
Četrto nalogo je pravilno rešilo 65 % učencev, ki Scratch poznajo, in 65 % učencev, ki ga ne.
Vrednost χ2 – preizkusa ni statistično pomembna (2Î = 0,000; g = 1; α = 1,000). V vzorcu se med učenci, ki Scratch poznajo, in učenci, ki ga ne poznajo, ne pojavljajo statistično pomembne razlike v uspešnosti reševanja četrte naloge.
Tabela 12: Ali se med učenci in učenkami pojavljajo razlike v reševanju pete naloge na potestu, glede
Peto nalogo je pravilno rešilo 24 % učencev, ki Scratch poznajo in 41 % učencev, ki ga ne.
Vrednost χ2 – preizkusa ni statistično pomembna (χ2=1,700 ; g=1 ; α = 0,192). V vzorcu se med učenci, ki Scratch poznajo in učenci, ki ga ne poznajo, ne pojavljajo statistično pomembne razlike uspešnosti reševanja pete naloge.
Tabela 13: Ali se med učenci in učenkami pojavljajo razlike v reševanju šeste naloge na potestu, glede na poznavanje okolja Scratch?
Peto nalogo je pravilno rešilo 94 % učencev, ki Scratch poznajo, in 94 % učencev, ki ga ne.
Ker je v tem primeru več kot 20 % teoretičnih frekvenc manjših od 5 (50,0 %) uporabimo preizkus Kullbachov 2Î. Njegova vrednost ni statistično pomembna (2Î = 0,000; g = 1; α = 1,000). V vzorcu se med učenci, ki Scratch poznajo, in učenci, ki ga ne poznajo, ne pojavljajo statistično pomembne razlike pri uspešnosti reševanja šeste naloge.
Uspešnost na potestu v primerjavi z domačim delom
S pomočjo anketnega vprašalnika smo ugotovili, da 49 % učencev v prostem času programira v Scratchu, 51 % pa ne.
Na rezultatih potesta smo izvedli test Kolmogorov-Smirnov, ki je pokazal, da podatki niso normalno porazdeljeni (α = 0,000). Za primerjavo rezultatov potesta, glede na domače delo, zato uporabimo neparametrični test, test Mann-Whitney.
Tabela 14: Test Mann-Whitney za preverjanje vpliva domačega dela na reševanje potesta
Domače delo N ! #
Število pravilnih odgovorov na potestu
Da 25 29,22
Ne 26 22,90
Skupaj 51
Število pravilnih odgovorov na potestu
Mann-Whitney U 244,500
α ,118
Vrednost testa Mann-Whitney ni statistično pomembna (U = 244,000, α = 0,118). Med učenci, ki doma programirajo, in učenci, ki doma ne programirajo, se ne pojavljajo statistično pomembne razlike v številu doseženih točk na potestu. Podatkov ne moremo posplošiti na osnovno množico, za vzorec pa lahko ugotovimo, da so učenci, ki doma programirajo (! #=29,22), bolje reševali potest kot učenci, ki doma ne programirajo (! #= 22,90).
Pregled rezultatov po posameznih nalogah
Pri prvi nalogi so se učenci v največji meri odločali za pravilen odgovor C, tako na pred- (53
%) in potestu (61 %). Po izvedenem predavanju se je odstotek pravilnih odgovor povečal za 8 odstotnih točk. Ta naloga je bila na pred- in potestu popolnoma enaka. Odgovor A, za katerega so se učenci med nepravilnimi odgovori največ odločali, je na videz najbolj podoben kodi v nalogi. Tu je šlo predvsem za površnost.
Graf 6: Pregled odgovorov v prvi nalogi pred- in potesta
24% 10% 53% 14%
24% 14% 61% 2%
O D G O V O R A O D G O V O R B O D G O V O R C O D G O V O R D
1. NALOGA
Predtest Posttest
Pri drugi nalogi so se učenci v večinoma odločali za pravilen odgovor B, tako na pred- (73 %) kot potestu (75 %). Po izvedenem predavanju se je odstotek pravilnih odgovor povečal le za 2 odstotni točki.
Graf 7: Pregled odgovorov v drugi nalogi pred- in potesta
Tudi pri tri tretji nalogi so se učenci v največji meri odločali za pravilen odgovor B, tako na pred- (59 %) kot potestu (76 %). Po izvedenem predavanju se je odstotek pravilnih odgovorov povečal za 17 odstotnih točk. Ta delež je tu večji, saj so učenci med poukom in izdelavo projekta Zgodba naučili branja kode – ukazi si sledijo v zaporedju, kot so zapisani. Med nepravilnimi odgovori prevladuje odgovor D, sledita mu odgovor A in C.
Graf 8: Pregled odgovorov v tretji nalogi pred- in potesta
14% 73% 12% 2%
12% 75% 2% 12%
O D G O V O R A O D G O V O R B O D G O V O R C O D G O V O R D
2. NALOGA
Predtest Posttest
14% 59% 2% 25%
10% 76% 2% 12%
O D G O V O R A O D G O V O R B O D G O V O R C O D G O V O R D
3. NALOGA
Predtest Posttest
Pri četrti nalogi so največkrat obkrožili pravilen odgovor A, tako na pred- (65 %) kot potestu (65 %). Po izvedenem predavanju se odstotek pravilnih odgovor ni spremenil.
Graf 9: Pregled odgovorov v četrti nalogi pred- in potesta
Peta naloga je bila najtežja. Učenci so se v največji meri, tako na pred- (51 %) kot potestu (51
%), odločali za napačen odgovor D. Za pravilen odgovor B so se na predtestu odločili v 27 %, na potestu pa v 29 %. Odstotek pravilnih odgovorov se je tu povečal le za dve odstotni točki.
Graf 10: Pregled odgovorov v peti naloge pred- in potesta
65% 0% 10% 20% 6%
65% 14% 10% 6% 6%
O D G O V O R A O D G O V O R B O D G O V O R C O D G O V O R D O D G O V O R E
4. NALOGA
Predtest Posttest
10% 27% 12% 51%
14% 29% 6% 51%
O D G O V O R A O D G O V O R B O D G O V O R C O D G O V O R D
5. NALOGA
Predtest Posttest
Pri zadnji, šesti nalogi so se učenci na predtestu v največji meri odločali za napačni odgovor A (59 %), medtem ko so se na potestu v večini odločali za pravilni odgovor B, kar 94%. Na predtestu je pravilni odgovor B obkrožilo 35 % učencev. Odstotek pravilnih odgovorov se je tu povečal za kar 59 odstotnih točk.
Graf 11: Pregled odgovorov v šesti nalogi pred- in potesta
59% 35% 6% 0%2% 94% 2% 2%
O D G O V O R A O D G O V O R B O D G O V O R C O D G O V O R D
6. NALOGA
Predtest Posttest