FIZIKALNEM TEKMOVANJU ČMRLJ

(1)

UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA

Drugostopenjski magistrski študijski program Poučevanje Predmetno poučevanje

Brina Posinek

VPLIV DISTRAKTORJEV V NALOGAH IZBIRNEGA TIPA NA USPEŠNOST REŠEVANJA NA

FIZIKALNEM TEKMOVANJU ČMRLJ

Magistrsko delo

Celje, 2021

(2)

(3)

UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA

Drugostopenjski magistrski študijski program Poučevanje Predmetno poučevanje

Brina Posinek

VPLIV DISTRAKTORJEV V NALOGAH IZBIRNEGA TIPA NA USPEŠNOST REŠEVANJA NA

FIZIKALNEM TEKMOVANJU ČMRLJ

Effect of Distractors in Multiple Choice Tasks on Solving Performance in the Čmrlj Physics

Competition

Magistrsko delo

Mentor: doc. dr. Jurij Bajc

Celje, 2021

(4)

(5)

ZAHVALA

Iskreno se zahvaljujem mentorju doc. dr. Juriju Bajcu za vso spodbudo, nasvete in strokovno pomoč pri izdelavi magistrskega dela.

Zahvaljujem se svojim bližnjim za spodbudo ter sošolcem za podporo

in pomoč tekom celotnega študija.

(6)

(7)

POVZETEK

Tekmovanje Čmrlj je fizikalno tekmovanje, ki poteka za dijake, ki se fizike v srednji šoli učijo prvo leto. Obsega osnovnošolsko znanje fizike. V magistrskem delu analiziramo naloge, ki so se pojavile na tekmovanju Čmrlj v šolskih letih 2017/2018, 2018/2019, 2019/2020 in 2020/2021. Analiziramo uspešnost reševanja posameznih nalog in dijake, ki so tekmovali v posameznih šolskih letih, razdelimo v barvne skupine, kot to naredijo pri analiziranju rezultatov nacionalnega preverjanja znanja. S pomočjo te razdelitve v barvne skupine razvrstimo tudi naloge, ki so se v posameznih šolskih letih pojavile na tekmovanju. Glavni cilj magistrske naloge je poiskati, katere so tiste značilnosti nalog, ki odločilno vplivajo na uspešnost reševanja. Ker tekmovanje Čmrlj sestavljajo naloge izbirnega tipa, na primerih raziščemo, kakšen vpliv imajo posamezni ponujeni odgovori na uspešnost reševanja nalog. Poleg analize uspešnosti reševanja na tekmovanju Čmrlj se v nalogi dotaknemo tudi primerljivosti globalnih značilnosti izkazanega znanja na tekmovanju Čmrlj in na Nacionalnem preverjanju znanja iz fizike.

Ključne besede:

fizika, tekmovanje Čmrlj, naloge izbirnega tipa, distraktor ABSTRACT

The Čmrlj competition is a competition in physics. The competition is held for students studying first year physics in high school. The curriculum of the competition includes the topics of physics in middle school. In this paper, we analyse the tasks that appeared in the Čmrlj competition in the school years 2017/2018, 2018/2019, 2019/2020 and 2020/2021. We analyse student success in a similar way as it is done at the national assessment of physics knowledge.

For each year group, we divide students into four different groups, based on their overall scores. Based on these groups of students, the tasks are divided into five groups that reflect how successfully a particular task was completed. The main objective of the paper is to find out which characteristics of the tasks have a significant impact on how successful students are in solving these tasks. Since the Čmrlj competition consists entirely of multiple-choice questions, we try to find out what influence the individual answers offered have on how successful students are in solving these tasks. In addition to analysing how successful students are in solving the selected tasks at the competition, we also investigate to what extent one can compare or combine the general characteristics of the measured knowledge at the competition and at the national assessment of physics knowledge.

Key words:

physics, competition Čmrlj, multiple-choice questions, distractor

(8)

(9)

KAZALO

1 UVOD ... 1

2 TEORETIČNA IZHODIŠČA ... 4

2.1 ŠOLSKA TEKMOVANJA ... 4

2.2 TIPI NALOG NA PISNEM PREVERJANJU ZNANJA ... 5

2.3 TEKMOVANJE ČMRLJ ... 6

2.3.1 Točkovanje tekmovanja Čmrlj ... 7

2.4 NACIONALNO PREVERJANJE ZNANJA ... 7

2.4.1 Točkovanje Nacionalnega preverjanja znanja iz fizike ... 8

2.4.2 Barvne skupine učencev in nalog pri nacionalnem preverjanju znanja ... 9

3 EMPIRIČNI DEL ... 10

3.1 OPREDELITEV RAZISKOVALNEGA PROBLEMA ... 10

3.2 RAZISKOVALNA VPRAŠANJA ... 10

3.3 METODOLOGIJA ... 10

3.3.1 Raziskovalna metoda ... 10

3.3.2 Vzorec ... 11

3.3.3 Postopki obdelave podatkov ... 11

3.4 REZULTATI NA TEKMOVANJU ČMRLJ V PRIMERJAVI Z NACIONALNIM PREVERJANJEM ZNANJA ... 13

3.4.1 Vpliv različnih načinov točkovanja... 13

3.4.2 Primerjanje nalog na Čmrlju in na nacionalnem preverjanju znanja ... 20

3.4.3 Ugotovitve ob primerjanju nalog ... 37

3.5 VPLIV IZBIRE PONUJENIH ODGOVOROV PRI NALOGAH IZBIRNEGA TIPA ... 38

3.5.1 Primerna izbira ponujenih odgovorov ... 38

3.5.2 Neprimerna izbira ponujenih odgovorov ... 45

3.5.3 Druge ugotovitve glede nalog izbirnega tipa ... 51

3.6 RAČUNSKE NALOGE ... 58

3.7 UGOTOVITVE ... 62

4 ZAKLJUČEK ... 63

5 LITERATURA ... 66

(10)

KAZALO SLIK

Slika 1 Graf porazdelitve dijakov po številu doseženih točk po drugem načinu

točkovanja za tekmovanje Čmrlj v šolskem letu 2018/2019. ... 13 Slika 2 Graf porazdelitve dijakov po številu doseženih točk po prvem načinu

točkovanja za tekmovanje Čmrlj v šolskem letu 2018/2019. ... 14 Slika 3 Graf porazdelitve dijakov po številu doseženih točk po prvem načinu

točkovanja z združenimi točkami za tekmovanje Čmrlj v šolskem letu 2018/2019. ... 15 Slika 4 Naloga 5 s tekmovanja Čmrlj v šolskem letu 2020/2021 ... 21 Slika 5 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 5 na tekmovanju Čmrlj v šolskem

letu 2020/2021. ... 22 Slika 6 Graf deležev učencev, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti učencev na preverjanju znanja za nalogo 11 na nacionalnem

preverjanju znanja iz fizike v šolskem letu 2006/2007. ... 22 Slika 7 Naloga 4 s tekmovanja Čmrlj v šolskem letu 2019/2020. ... 24 Slika 8 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 4 na tekmovanju Čmrlj v šolskem

letu 2019/2020. ... 25 Slika 9 Graf deležev učencev, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti učencev na preverjanju znanja za nalogo 12b na nacionalnem

preverjanju znanja iz fizike v šolskem letu 2006/2007. ... 25 Slika 10 Naloga 11 s tekmovanja Čmrlj v šolskem letu 2018/2019. ... 27 Slika 11 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 11 na tekmovanju Čmrlj v šolskem letu 2018/2019. ... 28 Slika 12 Graf deležev učencev, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti učencev na preverjanju znanja za nalogo 5 na nacionalnem

letu 2019/2020. ... 31 Slika 15 Graf deležev učencev, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti učencev na preverjanju znanja za nalogo 15a na nacionalnem

letu 2019/2020. ... 33 Slika 18 Graf deležev učencev, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti učencev na preverjanju znanja za nalogo 15a na nacionalnem

preverjanju znanja iz fizike v šolskem letu 2015/2016. ... 34 Slika 19 Naloga 8 s tekmovanja Čmrlj v šolskem letu 2018/2019. ... 35

(11)

Slika 20 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 8 na tekmovanju Čmrlj v šolskem

letu 2018/2019. ... 35 Slika 21 Graf deležev učencev, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti učencev na preverjanju znanja za nalogo 8 na nacionalnem

preverjanju znanja iz fizike v šolskem letu 2015/2016 ... 36 Slika 22 Naloga 10 s tekmovanja Čmrlj v šolskem letu 2018/2019. ... 38 Slika 23 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 10 na tekmovanju Čmrlj v šolskem letu 2018/2019. ... 39 Slika 24 Naloga 6 s tekmovanja Čmrlj v šolskem letu 2020/2021. ... 40 Slika 25 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 6 na tekmovanju Čmrlj v šolskem

letu 2020/2021. ... 41 Slika 26 Naloga 5 s tekmovanja Čmrlj v šolskem letu 2017/2018. ... 42 Slika 27 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 5 na tekmovanju Čmrlj v šolskem

letu 2017/2018. ... 42 Slika 28 Naloga 15 s tekmovanja Čmrlj v šolskem letu 2017/2018. ... 43 Slika 29 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 15 na tekmovanju Čmrlj v šolskem letu 2017/2018. ... 44 Slika 30 Naloga 4 s tekmovanja Čmrlj v šolskem letu 2017/2018. ... 45 Slika 31 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 4 na tekmovanju Čmrlj v šolskem

letu 2018/2019. ... 50 Slika 38 Naloga 18 s tekmovanja Čmrlj v šolskem letu 2017/2018. ... 51 Slika 39 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 18 na tekmovanju Čmrlj v šolskem letu 2017/2018. ... 52 Slika 40 Naloga 17 s tekmovanja Čmrlj v šolskem letu 2020/2021. ... 53

(12)

Slika 41 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 17 na tekmovanju Čmrlj v šolskem letu 2020/2021. ... 54 Slika 42 Naloga 11 s tekmovanja Čmrlj v šolskem letu 2020/2021. ... 55 Slika 43 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 11 na tekmovanju Čmrlj v šolskem letu 2020/2021. ... 55 Slika 44 Naloga 14 s tekmovanja Čmrlj v šolskem letu 2018/2019. ... 56 Slika 45 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 14 na tekmovanju Čmrlj v šolskem letu 2018/2019. ... 57 Slika 46 Naloga 17 s tekmovanja Čmrlj v šolskem letu 2017/2018. ... 58 Slika 47 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 17 na tekmovanju Čmrlj v šolskem letu 2017/2018. ... 60 Slika 48 Naloga 10 s tekmovanja Čmrlj v šolskem letu 2019/2020. ... 60 Slika 49 Graf deležev dijakov, ki so izbrali posamezne odgovore, v odvisnosti od uspešnosti dijakov na tekmovanju za nalogo 10 na tekmovanju Čmrlj v šolskem letu 2019/2020. ... 61

(13)

KAZALO PREGLEDNIC

Preglednica 1 Primerjava uspešnosti reševanja ter razdelitve nalog v barvne skupine za tekmovanje Čmrlj v šolskem letu 2018/2019 po prvem (levo) in

drugem (desno) načinu točkovanja. ... 16 Preglednica 2 Primerjava razdelitve nalog v barvne skupine za tekmovanje Čmrlj v šolskem letu 2018/2019 za prvi in drugi način točkovanja ob upoštevanju vseh dijakov (1. in 3. stolpec) ter le dijakov, ki so nalogo reševali (2. in 4. stolpec). ... 17 Preglednica 3 Primerjava razdelitve nalog v barvne skupine za tekmovanje Čmrlj v šolskem letu 2018/2019 po prvem, drugem in tretjem načinu točkovanja. ... 18

(14)

(15)

1 UVOD

Fizika v osnovni šoli med učenci velikokrat velja za enega izmed zahtevnejših predmetov. Ko se učenci prvič srečajo s fizikalnimi temami pri naravoslovju in kasneje pri pouku fizike, spoznajo koncepte, ki jih morda že poznajo iz izkušenj, za nekatere pa slišijo prvič in so za njih zato nekoliko težje razumljivi. Poleg tega velik del fizike sloni na matematiki, s katero si pomagamo pri opisovanju in razlagi fizikalnih zakonitosti in pojavov, ki je že sama po sebi precej zahtevna za veliko učencev. Znanje in razumevanje svojih učencev vsak učitelj spremlja in preverja tekom pouka in predvsem pri ocenjevanju. Znanje, morebitna napačna razumevanja vsebine in primanjkljaje znanja, ki se generalno pojavljajo pri večjem delu učencev, lahko spremljajo in ugotavljajo na nacionalnem preverjanju znanja iz fizike. Na podlagi rezultatov celotne generacije lahko ugotovijo, katere vsebine so morda bolj zahtevne za večji del učencev in katere vsebine večini ne delajo večjih težav, ter s pomočjo tega oblikujejo načrt dela tako, da dajo večji poudarek vsebinam, ki učencem predstavljajo težave. Zaradi načina izvajanja nacionalnega preverjanja znanja se lahko zgodi, da se na nekaterih šolah nacionalno preverjanje znanja iz fizike ne izvaja več let zapored. Ker bi si želeli imeti vpogled v fizikalno znanje učencev v vsaki generaciji, bi bilo dobro imeti alternativo, s katero bi si pri tem lahko pomagali. Tekmovanje Čmrlj je tekmovanje za dijake prvega letnika srednjih šol, ki obsega osnovnošolske znanje fizike. Izvaja se v začetku šolskega leta, tako da imajo vsi udeleženci tekmovanja enako mero predznanja in možnosti za uspeh na tekmovanju, ne glede na to, na katero srednjo šolo so vpisani.

V magistrskem delu nas med drugim zanima, ali so rezultati, ki jih dijaki dosežejo na tekmovanju Čmrlj, primerljivi z rezultati, ki jih učenci dosežejo na nacionalnem preverjanju znanja. Ker se naloge na nacionalnem preverjanju znanja točkujejo drugače kot naloge na tekmovanju, v prvem delu empiričnega dela primerjamo uspešnost značilnih skupin učencev pri posameznih nalogah in pripadajočo barvno opredelitev nalog, če tekmovalne pole točkujemo tako kot na nacionalnem preverjanju znanja, z rezultati tekmovanja Čmrlj za štiri šolska leta. Ker se nekaj nalog pojavi tako na tekmovanju kot na nacionalnem preverjanju znanja, primerjamo rezultate in deleže dijakov in učencev, ki izbirajo posamezne odgovore, na tekmovanju in nacionalnem preverjanju znanja. Da analiza rezultatov tekmovanja Čmrlj ob določenih omejitvah lahko koristno dopolni spoznanja o znanju populacije, ki jih dobimo na nacionalnih preverjanjih znanja iz fizike, je bilo nakazano v nekaterih predhodnih raziskavah (Benedičič, 2019;

Gerjevič, 2018; Župec, 2018). Župec (2018) je med seboj primerjala podobne naloge na tekmovanju in na nacionalnem preverjanju znanja iz vsebine gibanje.

Njene ugotovitve so, da so naloge na tekmovanju videti prezahtevne za večino tekmovalcev in da je videti znanje tekmovalcev v povprečju večje od znanja celotne populacije. Gerjevič (2018) podobno ugotavlja veliko zahtevnost nalog iz vsebin elektrike na tekmovanju Čmrlj, a kljub temu zaključi, da je znanje teh

(16)

vsebin tekmovalcev večje od znanja, ki ga za celotno populacijo kažejo rezultati nacionalnega preverjanja znanja. Poudariti je potrebno, da obe raziskavi (Župec, 2018; Gerjevič, 2018) temeljita predvsem na primerjavi podobnih in ne enakih nalog na tekmovanju ter na nacionalnem preverjanju znanja. Benedetič (2019) prav tako primerja podobne naloge na tekmovanju in na nacionalnem preverjanju znanja, vendar v raziskavo vključi predvsem naloge s tekmovanj pred šolskim letom 2017/2018, ko se je tekmovanje izvajalo v mesecu marcu in je zato vpliv srednješolskega pouka fizike na rezultate neprimerno večji kot na tekmovanjih od vključno šolskega leta 2017/2018 dalje. Po drugi strani v svoji pilotni raziskavi na vzorcu 73 učencev 9. razredov z neposredno primerjavo sedmih parov podobnih nalog ugotovi, da so naloge na tekmovanju Čmrlj zahtevnejše od nalog na nacionalnem preverjanju znanja. Kljub temu tudi Benedičič ugotavlja, da tekmovalci izkazujejo več znanja fizike kot ga glede na rezultate nacionalnih preverjanj znanja kaže celotna populacija. Kvantitativnih ocen tega, kolikšna je razlika v znanju med obema skupinama, ne podaja nobena od omenjenih raziskav.

Tekmovanje Čmrlj obsega naloge izbirnega tipa, zato v drugem delu magistrskega dela na podlagi različnih nalog, ki se pojavijo na tekmovanju, raziščemo, kako ponujeni odgovori vplivajo na uspešnost reševanja naloge in deleže dijakov, ki izbirajo posamezne odgovore. Pri fiziki z nalogami izbirnega tipa največkrat preverjamo poznavanje dejstev in razumevanje ter povezovanje konceptov. V zadnjem delu magistrskega dela se posvetimo še vprašanju, ali je naloga izbirnega tipa primerna za računske naloge. Ker v magistrski nalogi naslovimo tudi vprašanje manj in bolj primernih distraktorjev pri nalogah izbirnega tipa ter primernosti nalog tega tipa za računske naloge, je na tem mestu vredno omeniti še dve raziskavi. V prvi (Jurić, 2017) avtorica z neposredno primerjavo uspešnosti reševanja enakih nalog, le da so enkrat postavljene kot naloge odprtega tipa in enkrat kot naloge izbirnega tipa, ugotavlja, da je uspešnost reševanja sicer nekoliko večja pri nalogah izbirnega tipa, ni pa statistično opaznih razlik. Največje razlike se pojavijo pri učencih, ki v celoti izkazujejo manj znanja od vrstnikov, medtem ko so razlike pri učencih z večjim izkazanim znanjem vse manjše. Zaradi izbranega raziskovalnega pristopa s 4 različnimi preizkusi, kjer se izmenjujejo povsem enake kontrolne in enake naloge odprtega ali izbirnega tipa, kljub 200 vključenim učencem v raziskavi ni bilo ugotovljenih statistično pomembnih razlik. Večja uspešnost pri nalogah izbirnega tipa je bolj nakazana kot potrjena. V drugi raziskavi (Starič, 2016) avtorica analizira naloge izbirnega tipa na osnovnošolskem tekmovanju za zlato Stefanovo priznanje. Njene ugotovitve glede vsebin so skladne z ugotovitvami nacionalnega preverjanja znanja, da je vsebina gibanje učencem blizu in so pri teh nalogah uspešnejši kot pri, denimo, nalogah iz vsebine vzgon ali sile, ob tem je uspešnost pri nalogah iz vsebine sile precej spremenljiva in je odvisna od konteksta posamezne naloge.

Analiza primernosti distraktorjev je v (Starič, 2019) narejena z razdelitvijo tekmovalcev v skupine glede na doseženo število točk, podobno kot je bilo

(17)

narejeno v prvih letih na nacionalnem preverjanju znanja. Tako oblikovanje skupin vodi do številčno zelo različnih skupin, v nekaterih so le posamezni učenci ali le nekaj učencev. To zelo zmanjša statistično zanesljivost izmerjenih uspešnosti oziroma pogostosti izbire posameznega odgovora za posamezno skupino, tako da je potrebno izsledke obravnavati previdno. Kljub temu je v raziskavi nesporno ugotovljeno, da ob manj ustrezni izbiri distraktorjev tekmovalci nekatere odgovore skoraj v celoti izločijo ter se dejansko odločajo samo med dvema odgovoroma, ki sta z vsebino naloge najbolj skladna.

V magistrski nalogi, kolikor je le mogoče, izboljšamo okoliščine, zaradi katerih so rezultati raziskav (Gerjevič, 2018; Župec, 2018; Benedičič, 2019; Starič, 2016) manj zanesljivi. Naš vzorec je reda velikosti tisoč tekmovalcev ali več tisoč učencev na nacionalnem preverjanju znanja, preverimo vpliv različnih načinov vrednotenja rezultatov, tvorimo značilne skupine, ki so številčno enakovredne in dovolj velike, primerjamo rezultate enakih nalog na tekmovanju in na nacionalnem preverjanju znanja. Naša raziskava zato pomembno izboljša veljavnost in uporabnost analize rezultatov tekmovanja Čmrlj v smislu merjenja znanja fizike v celotni populaciji.

(18)

2 TEORETIČNA IZHODIŠČA

2.1 ŠOLSKA TEKMOVANJA

Šolska tekmovanja največkrat privlačijo tiste, ki se počutijo kompetentne in zmožne, da bi dosegli uspeh ali zmago, torej učence, ki blestijo na posameznem področju, ki ga zajema tekmovanje. Tradicionalni pouk v razredu lahko velikokrat povzroči zapostavljanje nadarjenih učencev, saj so učitelji razpeti med zahtevami in zmožnostmi učno manj zmožnih ter učno zmožnejših učencev. Tekmovanja lahko učno zmožnejšim učencem predstavljajo izziv, ki ga učitelji včasih težko zagotovijo pri pouku znotraj celotnega razreda (Jordens in Mathelitsch, 2009).

Tekmovanja lahko za učence predstavljajo močno motivacijo za učenje in šolsko delo. Velikokrat se pojavi vprašanje, ali je ta motivacija le zunanja in se učenci pripravljajo ter učijo zgolj za to, da bi dobili priznanje, pohvalo ali druge vrste nagrado. Do neke mere je takšen pomislek smiseln. Dokler učenci ne dosežejo določene stopnje miselne zrelosti, je največkrat zgolj notranja motivacija premalo, da bi učenci opravili vso pričakovano težko šolsko delo ter učenje in dosegli uspeh. Uporaba zunanje motivacije je zato neizogibna in tudi koristna. Cilj je, da uporabimo ravno tolikšno mero zunanje motivacije, da v učencih vzbudimo interes in jim posledično pomagamo aktivirati notranjo motivacijo. Kljub temu lahko trdimo, da zgolj zunanja motivacija pri pripravah na tekmovanja največkrat ni dovolj močen dejavnik, da se učenci učijo novih stvari in rešujejo naloge v svojem prostem času, sploh, če priprave na tekmovanje trajajo dlje časa (Ozturk in Debelak, 2008).

Razvijanje samospoštovanja in samozavesti otrok je precej povezano z realizacijo njihovih potencialov in uspehi, ki jih dosežejo. Uspeh na tekmovanju lahko zelo pozitivno vpliva na otrokovo samozavest in na to, kako dojema sebe kot inteligentno bitje tudi v primerjavi s svojimi vrstniki. Otrokova priprava na tekmovanje lahko pripomore k pozitivnemu odnosu do znanja in izboljšanju delovnih navad. Celoten proces priprave na tekmovanje in samo tekmovanje spodbujata čustveno in psihološko rast otroka. Nedvomno obstaja tudi potencialna nevarnost razočaranja zaradi neuspeha na tekmovanju, vendar raziskave kažejo, da lahko tudi takšna izkušnja pozitivno vpliva na otrokovo čustveno in psihološko rast, če je ob tem deležen skrbne podpore in vodstva odraslega. Otroci se lahko naučijo, kako se spoprijeti z neuspehom, kako se iz njega nekaj naučiti ter kako doseči boljši rezultat na naslednjem tekmovanju (Ozturk in Debelak, 2008).

Tekmovanje je nekaj, kar nas spremlja na vseh ravneh izobrazbe in tudi kasneje na drugih področjih v življenju. Tekmovanje večkrat spremljajo negativni vplivi, med katerimi je eden izmed najpogostejših stres. Sodelovanje na šolskih tekmovanjih lahko otroku pomaga premagati strah pred tekmovanjem ter ga pripravi na soočenje z morebitnimi uspehi in neuspehi tekom življenja. Naloga

(19)

staršev ali učiteljev je, da spremljajo otrokov odnos do tekmovanja, ga spodbujajo ter poskušajo minimalizirati negativne vplive tekmovanja, kot sta stres in strah, v primeru, da otrok čuti zaradi tekmovanja prevelik pritisk, pa ga tudi spodbuditi, da se od tekmovanja umakne (Ozturk in Debelak, 2008).

Tekmovanja iz fizike se lahko izvajajo v različnih oblikah. Lahko imajo vključen eksperimentalen del ali ne, lahko potekajo v živo ali na daljavo ter lahko imajo samo šolsko stopnjo, kar je značilno za tekmovanje Čmrlj, ali pa se zaključijo z mednarodnimi tekmovanji v svetovnem merilu (Jordens in Mathelisch, 2009;

Eösel in Mathelisch, 2017; Susman in drugi, 2017).

2.2 TIPI NALOG NA PISNEM PREVERJANJU ZNANJA

Marentič Požarnik (2002) v svojem delu razvrsti naloge, ki se pojavljajo na standardiziranih in nestandardiziranih pisnih preizkusih znanja, na esejske naloge ter naloge objektivnega tipa. Naloge objektivnega tipa nadalje deli na naloge odprtega tipa ter naloge zaprtega tipa. Pri esejskih nalogah morajo učenci odgovarjati prosto, z daljšim odgovorom. K nalogam odprtega tipa uvrščamo naloge dopolnjevanja ter naloge s kratkimi odgovori. Pri nalogah dopolnjevanja morajo učenci dopolniti besedilo z eno ali dvema besedama, številko ali operatorjem, pri nalogah s kratkimi odgovori pa morajo zapisati odgovor ali rešitev naloge v nekaj stavkih. Naloge zaprtega tipa avtorica deli na naloge izbirnega tipa, naloge alternativnega tipa, naloge povezovanja ter naloge urejanja. Naloge izbirnega tipa so sestavljene iz vprašanja in vsaj treh možnih odgovorov. Naloge izbirnega tipa so lahko različnih oblik. Delimo jih lahko na naloge z enim pravilnim in več napačnimi odgovori, naloge z enim napačnim in več pravilnimi odgovori, naloge z več pravilnimi in več napačnimi odgovori ter naloge z enim najboljšim možnim in več delno pravilnimi odgovori. Naloge alternativnega tipa so naloge, kjer sta možna le dva odgovora. Največkrat so naloge alternativnega tipa sestavljene tako, da se morajo učenci odločiti, če so dane trditve bodisi pravilne bodisi nepravilne. Naloge povezovanja od učenca zahtevajo, da za vsak pojem, besedno zvezo ali stavek v prvem stolpcu poišče ustrezen pripadajoč pojem, besedno zvezo ali stavek v drugem stolpcu. Naloge urejanja od učenca zahtevajo, da podatke v stolpcu uredi po določenem vrstnem redu.

Tekmovanje Čmrlj sestavljajo le naloge izbirnega tipa, pri katerih morajo dijaki med petimi podanimi odgovori izbrati pravilnega. Naloge izbirnega tipa zagotavljajo visoko mero objektivnosti. Marentič Požarnik (2002) zapiše, da je ocenjevanje objektivno takrat, ko na ocenjevanje ne vplivajo niti značilnosti in počutje ocenjevalca ali kandidata niti situacija, v kateri se ocenjuje. Zaradi enolične rešitve ter preprostega načina vrednotenja nalog izbirnega tipa je ocenjevanje teh nalog zelo objektivno, hitro in natančno. Zaradi enostavnega načina vrednotenja je statistična analiza rezultatov relativno preprosta. Po drugi strani pri nalogah izbirnega tipa navadno ne moremo razbrati, zakaj je učenec

(20)

izbral določen odgovor, zato je včasih njihova formativna in diagnostična vrednost omejena. Problem pri nalogah izbirnega tipa je, da je možnost, da učenci do pravilnega odgovora pridejo z ugibanjem, relativno velika (Skribe Dimec, 2007). Možnost, da učenci do pravilnega odgovora pridejo z ugibanjem, se še poveča, kadar napačni odgovori, ki jih lahko imenujemo distraktorji, niso premišljeno izbrani. Najbolj nemogoče odgovore lahko učenci enostavno prepoznajo in brez posebnega premisleka izločijo ter tako zmanjšajo nabor možnih odgovorov. Pri sestavljanju nalog izbirnega tipa je priporočljivo, da se držimo naslednjih nekaj napotkov. Besedilo naloge in možni odgovori naj bodo čim krajši. Dobro je, da so vsi možni odgovori približno iste dolžine, saj se velikokrat zgodi, da je pravilni odgovor malenkost daljši in ga kandidati zato prej prepoznajo kot pravilnega. Možni odgovori pri nalogi naj se vsebinsko ne prekrivajo, saj lahko v nasprotnem primeru kandidati brez posebnega premisleka zmanjšajo nabor možnih odgovorov. Možni odgovori naj bodo urejeni po nekem logičnem vrstnem redu. Če odgovori vsebujejo števila, so lahko urejeni po velikosti, sicer pa so lahko urejeni glede na dolžino odgovora ali po abecednem redu glede na črko, s katero se odgovor začne. Pri razvrščanju odgovorov je potrebno biti pozoren tudi na vrstni red pravilnih odgovorov, da se le-ti ne ponavljajo po nekem ustaljenem vrstnem redu. Hkrati pa morajo biti črke ali druge oznake pred pravilnimi odgovori čim bolj enakomerno zastopane na celotnem preizkusu znanja (Marentič Požarnik, 2002).

2.3 TEKMOVANJE ČMRLJ

Čmrlj je tekmovanje v znanju fizike, ki ga organizira Društvo matematikov, fizikov in astronomov Slovenije, krajše DMFA Slovenije. V takšni obliki, kot se izvaja danes, so ga prvič izvedli v šolskem letu 2017/18. Pred tem se je tekmovanje pod drugim imenom, vendar v podobni obliki, izvajalo marca, od šolskega leta 2017/18 pa se izvaja v začetku šolskega leta, natančneje oktobra. Tekmovalne naloge zajemajo znanje fizike na osnovnošolski ravni, tekmovanja pa se lahko udeležijo dijaki, ki se fizike na srednješolski ravni učijo prvo leto. Poleg vsebin fizike 8. in 9. razreda pridejo v poštev tudi vse fizikalne vsebine iz naravoslovja ter izbirne vsebine fizike 8. in 9. razreda. Naloge lahko vsebujejo nove fizikalne pojme, pojave in naprave, vendar morajo biti v nalogah posebej predstavljeni in razloženi.

Tekmovanje poteka samo na šolski ravni tako, da posamezne šole organizirajo šolsko tekmovanje. Pri organizaciji in izvedbi tekmovanja sodelujejo člani Društva matematikov, fizikov in astronomov Slovenije, učitelji fizike ter drugi pedagoški delavci na šoli, študenti Fakultete za matematikov in fiziko ter pedagoških fakultet in ostale organizacije, ki so povezane s področjem fizike. Komisija za tekmovanja srednješolcev v znanju fizike, ki jo sestavljajo člani Društva matematikov, fizikov in astronomov Slovenije, ki delujejo na področju fizike, vodi in usmerja celotno tekmovanje ter pripravi tekmovalne naloge in rešitve s točkovnikom. Na posameznih šolah tekmovanje vodijo šolske tekmovalne komisije, ki jih

(21)

sestavljajo učitelji fizike (Društvo matematikov, fizikov in astronomov Slovenija, b.d.b).

Cilje tekmovanja najdemo v pravilniku o tekmovanju srednješolcev v znanju fizike Čmrlj na spletni strani Društva matematikov, fizikov in astronomov Slovenije (b.d.b): »Cilji tekmovanja so:

• širjenje in poglabljanje znanja fizike,

• primerjanje znanja fizike med dijaki in šolami,

• popularizacija fizike,

• odkrivanje za fiziko nadarjenih dijakov,

• uvajanje mladih k samostojnemu raziskovalnemu delu in uporabi literature s področja fizike,

• uvajanje mladih k eksperimentalnemu delu,

• priprava dijakov na sodelovanje na mednarodnih tekmovanjih.«

2.3.1 Točkovanje tekmovanja Čmrlj

Tekmovanje obsega dvajset nalog, ki jih dijaki samostojno rešujejo v pisni obliki.

Za reševanje imajo na voljo 60 minut, pri reševanju lahko uporabljajo pisalo, neprogramabilno žepno računalo in geometrijsko orodje. Naloge so izbirnega tipa in pri vsaki nalogi lahko dijaki izbirajo med petimi ponujenimi odgovori, označenimi s črkami A, B, C, D in E. Vsak pravilno izbran odgovor dijaku prinese 4 točke, vsak nepravilen odgovor pa eno negativno točko. Naloga se točkuje z 0 točkami, če dijak ne izbere nobenega odgovora. Vsak dijak ima na začetku tekmovanja dvajset točk. Najnižje možno končno število točk je 0 točk in dijak jih doseže, kadar pri vseh nalogah izbere napačen odgovor. Najvišje končno število točk je 100 točk in dijak jih doseže, kadar pri vseh nalogah izbere pravilni odgovor (Društvo matematikov, fizikov in astronomov Slovenija, b.d.a).

2.4 NACIONALNO PREVERJANJE ZNANJA

Nacionalno preverjanje znanja je pisno preverjanje znanja, ki se izvaja ob koncu šolskega leta za učence 6. in 9. razreda osnovne šole. Nacionalno preverjanje znanja so v Sloveniji pričeli izvajati v šolskem letu 2000/2001 z namenom, da bi pridobili povratne informacije o delovanju vzgojno-izobraževalnega sistema.

Glavni cilji nacionalnega preverjanja znanja so, da učenci pridobijo informacijo o svojem usvojenem znanju ob koncu osnovne šole, učitelji pridobijo informacijo o znanju svojih učencev, kar jim med drugim omogoča kritično ovrednotenje svojega poučevanja, hkrati pa pridobljene informacije o dosežkih na nacionalnem preverjanju znanja omogočajo strokovnim institucijam, da lažje evalvirajo in oblikujejo morebitne spremembe glede učnih načrtov in razvoja izobraževalnega sistema nasploh (Državni izpitni center, 2005).

Preverjajo se standardi znanja, ki so določeni z učnim načrtom. Za učence 6.

razreda se izvaja nacionalno preverjanje znanje iz matematike, prvega tujega jezika in slovenščine ali italijanščine oziroma madžarščine na območjih, kjer živi

(22)

italijanska oziroma madžarska narodna skupnost. Za učence 9. razreda se izvaja nacionalno preverjanje znanja iz slovenščine ali italijanščine oziroma madžarščine na območjih, kjer živi italijanska oziroma madžarska narodna skupnost, matematike in tretjega predmeta. Tretji predmet se za posamezne šole razlikuje. Minister na začetku šolskega leta izbere največ štiri predmete izmed obveznih predmetov 8. in 9. razreda osnovne šole in za vsako posamezno šolo določi znanje katerega izmed teh štirih predmetov bodo preverjali na nacionalnem preverjanju znanja (Zakon o osnovni šoli, 1996, čl. 64). Določitev tretjega predmeta posameznih šol poteka naključno. Pri tem poskušajo zadostiti enakomerni zastopanosti vseh tretjih predmetov znotraj statističnih regij, hkrati pa upoštevajo velikost šol in s tem zagotovijo, da so učenci, ki imajo na nacionalnem preverjanju znanja posamezen predmet, enakomerno porazdeljeni. Posledica takšnega naključnega razvrščanja je, da lahko kakšna šola v nekaj letih večkrat preverja znanje istega predmeta, medtem ko znanja nekaterih predmetov sploh ne preveri. Takšno razvrščanje je problematično, saj za te predmete šola dolgo časa ne dobi povratne informacije in posledično eden od ključnih ciljev nacionalnega preverjanja znanja ni dosežen (Državni izpitni center, 2014).

Od začetka izvajanja nacionalnega preizkusa znanja je bila fizika kot tretji predmet izbrana šestkrat. Prvič je bila izbrana v šolskem letu 2006/2007, nato pa še v šolskih letih 2007/2008, 2011/2012, 2013/2014, 2015/2016 in 2018/2019 (Državni izpitni center, 2006). Naloge preverjajo znanja iz fizike na osnovnošolski ravni in vključujejo vsebine na področju zvoka in valovanja, sil, svetlobe, tlaka, vzgona ter gostote, dela, energije ter toplote, gibanja, vesolja in električnega toka, napetosti, dela ter električnega upora (Državni izpitni center, b.d.c).

2.4.1 Točkovanje Nacionalnega preverjanja znanja iz fizike

Nacionalno preverjanje znanja iz fizike obsega 20 nalog, ki jih učenci rešujejo v pisni obliki. Za reševanje imajo na voljo 60 minut, pri reševanju lahko uporabljajo pisalo, geometrijsko orodje, žepno računalo in list s fizikalnimi obrazci ter konstantami, ki je v naprej pripravljen in je del preizkusa znanja. Približno 55 odstotkov nalog je taksonomske stopnje, ki zahteva razumevanje in uporabo, približno 20 odstotkov nalog preverja znanja in poznavanje, približno 25 odstotkov nalog pa je višje taksonomske stopnje, ki zahteva samostojno reševanje novih problemov, interpretacijo, analizo in vrednotenje. Nekje 10 do 12 nalog na preverjanju iz fizike je izbirnega tipa z enim pravilnim odgovorom ali tipa nalog, ki zahtevajo kratek zaprt odgovor. Za pravilno izbran ali zapisan odgovor učenec dobi 1 točko. Če učenec ne izbere oziroma zapiše odgovora ali pa izbere oziroma odgovori nepravilno, se naloga točkuje z 0 točkami. Nekje 8 do 10 nalog na preverjanju iz fizike zahteva kratek zaprt ali kratek pol odprt odgovor. Te naloge so ovrednotene glede na število stopenj reševanja z od 2 do 4 točkami.

Najnižje možno končno število točk je 0 točk in učenec jih doseže, če na preizkusu ne reši nobene naloge, ali pa vse naloge reši nepravilno. Najvišje

(23)

možno končno število točk je 36 točk in učenec jih doseže, če na preizkusu vse naloge reši pravilno (Državni izpitni center, b.d.c).

2.4.2 Barvne skupine učencev in nalog pri nacionalnem preverjanju znanja Državni izpitni center vsako leto analizira rezultate, ki so jih učenci v Sloveniji dosegli na nacionalnem preverjanju znanja, in opiše ter grafično prikaže dosežke vseh učencev 9. razreda. Dosežke učencev prikažejo z grafom, ki prikazuje porazdelitev točk za posamezen predmet. Abscisna os prikazuje odstotne točke od 1 do 100, ordinatna os pa prikazuje število učencev, ki je določeno število odstotnih točk doseglo. Glede na število učencev z danim dosežkom določijo štiri območja: zeleno, rumeno, rdeče in modro. V vsakem izmed teh štirih območji je približno 10 % vseh učencev. Odstotek učencev v posameznem območju lahko rahlo odstopa od 10 %, saj morajo biti vsi učenci z enakim številom točk v istem območju. V zelenem območju so učenci, ki so dosegli boljši rezultat od 20 % in slabši rezultat od 70 % vseh učencev. Zeleno območje učencev dobimo tako, da poiščemo učenca, ki se nahaja na prvi četrtini lestvice uspešnosti na preverjanju, nato pa v območje zajamemo 5 % učencev, ki so na lestvici pod njim, ter 5 % učencev, ki so na lestvici nad njim. Pri tem upoštevamo, da morajo biti vsi učenci z enakim dosežkom v isti barvni skupini. V rumenem območju so učenci, ki predstavljajo mejo med zgornjo in spodnjo polovico glede na uspešnost na preverjanju. Njihovi dosežki so boljši od 45 % in slabši od 45 % vseh učencev.

Rumeno območje učencev dobimo tako, da poiščemo učenca, ki se nahaja na polovici lestvice uspešnosti na preverjanju, nato pa v območje zajamemo 5 % učencev, ki so na lestvici pod njim, ter 5 % učencev, ki so na lestvici nad njim.

Rdeče območje zajema učence, ki so dosegli boljši rezultat od 70 % in slabši rezultat od 20 % vseh učencev. Rdečo skupino učencev dobimo tako, da poiščemo učenca, ki se nahaja na tretji četrtini lestvice uspešnosti na preverjanju, nato pa v območje zajamemo 5 % učencev, ki so na lestvici pod njim, ter 5 % učencev, ki so na lestvici nad njim. V modrem območju je 10 % učencev, ki so na preverjanju dosegli najboljše rezultate.

Državni izpitni center za vsako nalogo na nacionalnem preverjanju znanja pogleda, kako uspešno jo je reševala posamezna barvna skupina učencev.

Nalogo so učenci v posamezni barvni skupini uspešno reševali, če jo je pravilno rešilo vsaj 65 % vseh učencev v dani barvni skupini. Na takšen način tudi naloge razdelimo v barvne skupine. Nalogo dodelimo v barvno skupino glede na to, katera barvna skupina učencev je nalogo uspešno reševala. Če so nalogo uspešno reševali učenci v rumeni, rdeči in modri skupini učencev, nalogo dodelimo v rumeno skupino nalog. V splošnem lahko sklepamo, da naj bi učenci z višjimi dosežki, uspešno reševali tudi naloge iz nižjih območji. Učenci v modri skupini naj bi tako uspešno reševali naloge, ki so v modrem, rdečem, rumenem in zelenem območju. Naloge, ki jih niso uspešno reševali niti učenci v modri skupini, uvrstimo v sivo območje. Po končani analizi dobimo štiri barvne skupine učencev ter pet barvnih skupin nalog (Državni izpitni center, b.d.b).

(24)

3 EMPIRIČNI DEL

3.1 OPREDELITEV RAZISKOVALNEGA PROBLEMA

Z rezultati nacionalnega preverjanja znanja želimo pridobiti povratno informacijo o znanju učencev. Vsako leto se kot tretji predmet na posameznih šolah izvaja eden izmed štirih izbranih predmetov. To pomeni, da povratne informacije o znanju fizike ne pridobimo vsako šolsko leto. Zanima nas, ali lahko o znanju fizike v generaciji sklepamo tudi na podlagi rezultatov, ki jih pridobimo na tekmovanju Čmrlj. Zanima nas, ali so rezultati, ki jih dobimo na tekmovanju Čmrlj, primerljivi z rezultati, ki jih dobimo na nacionalnem preverjanju znanja iz fizike.

Učitelji pri preizkusih znanja velikokrat uporabljajo naloge izbirnega tipa. Zanima nas, kako na uspešnost reševanja naloge ter porazdelitev izbranih odgovorov vplivajo ponujeni odgovori. Zanima nas, kako izbrati primerne distraktorje, kjer je ustreznost povezana s tem, da so napačni odgovori mamljivi za tekmovalce oziroma učence in da lahko, zlasti kadar gre za vrednotenje znanja, posamezen napačen odgovor povežemo s specifično napako v razmisleku ali s specifičnim napačnim razumevanjem fizikalnih zakonitosti (Jurić, 2017).

Računske naloge navadno niso oblikovane kot naloge izbirnega tipa. Zanima nas, ali lahko računske naloge oblikujemo v naloge izbirnega tipa, tako da ohranimo veljavnost, zanesljivost ter občutljivost naloge.

3.2 RAZISKOVALNA VPRAŠANJA

V magistrskem delu odgovarjamo na naslednja raziskovalna vprašanja.

1. Raziskovalno vprašanje: Ali smemo ugotovitve o znanju, ki jih pridobimo iz rezultatov, ki jih dosežejo učenci na tekmovanju Čmrlj, posplošiti na celotno generacijo, kot to naredimo pri nacionalnem preverjanju znanja?

2. Raziskovalno vprašanje: Kako vpliva izbor ponujenih odgovorov pri nalogah izbirnega tipa na primernost naloge glede na cilje tekmovanja ter uspešnost ugotavljanja znanja?

3. Raziskovalno vprašanje: Ali je izbirni tip naloge primeren in koristen za naloge računskega tipa?

3.3 METODOLOGIJA

3.3.1 Raziskovalna metoda

Podatke za empirični del magistrske naloge smo pridobili s kvantitativnim pristopom. V raziskavi sta uporabljeni deskriptivna in kavzalna neeksperimentalna metoda raziskovanja.

(25)

3.3.2 Vzorec

Raziskava temelji na neslučajnostnem priložnostnem vzorcu, v katerega so zajeti dijaki iz slovenskih šol, ki so se v šolskih letih 2017/2018, 2018/2019, 2019/2020 ter 2020/2021 udeležili tekmovanja Čmrlj in so pri vsaj eni nalogi izbrali enega od ponujenih odgovorov (glej prvi odstavek v poglavju 3.3.3). Za šolsko leto 2017/2018 obsega vzorec 1221 dijakov, za šolsko leto 2018/2019 1400 dijakov, za šolsko leto 2019/2020 1541 dijakov in za šolsko leto 2020/2021 993 dijakov.

Vsi sodelujoči v raziskavi so v času udeležbe na tekmovanju Čmrlj obiskovali eno izmed srednjih šol v Sloveniji, vpisani pa so bili v letnik, v katerem se glede na njihov srednješolski program učijo fizike prvo leto. Vsi udeleženci so imeli končano osnovnošolsko stopnjo izobrazbe. Ker se tekmovanje Čmrlj izvaja v začetku šolskega leta, je vpliv srednje šole na njihovo znanje fizike ob udeležbi na tekmovanju zanemarljiv.

Podatki o dijakih so anonimizirani. Edini podatki, ki smo jih pridobili in potrebovali za nadaljnjo obravnavo, so kombinacije dvajsetih črk, ki predstavljajo odgovore, ki so jih dijaki izbrali pri posameznih nalogah. Če ima dijak pri posamezni nalogi napisano črko X, pomeni, da pri nalogi ni izbral nobenega odgovora. Podatki so pridobljeni s strani tekmovalne komisije za tekmovanje Čmrlj.

3.3.3 Postopki obdelave podatkov

Pridobljene podatke za vsako posamezno šolsko leto uredimo in obdelamo s programom Excel. Za vsako šolsko leto se pri pridobljenih podatkih s tekmovanja pojavi nekaj dijakov, ki niso izbrali nobenega odgovora pri nobeni nalogi. Teh dijakov ne vključimo v vzorec in jih ne obravnavamo v nadaljnjih analizah, saj predvidevamo, da se ti dijaki niso udeležili tekmovanja in je ocenjevalec, v nasprotju z navodili, pri vseh nalogah za te dijake označil, da naloge niso reševali.

Pridobljene odgovore dijakov točkujemo na tri različne načine. Pri prvem načinu točkovanja naloge točkujemo tako, kot jih točkujejo na tekmovanju Čmrlj. Pravilni odgovor je vreden 4 točke, nepravilni odgovor -1 točko, naloga brez odgovora pa se točkuje z 0 točkami. Pri vsakem dijaku seštejemo vse točke in rezultatu prištejemo še 20 točk, s katerimi začne tekmovanje vsak tekmovalec, da ima na koncu rezultat med 0 in 100 točkami.

Pri drugem načinu točkovanja naloge točkujemo tako, kot točkujejo naloge izbirnega tipa na nacionalnem preverjanju znanja iz fizike. Pravilni odgovor je vreden 1 točko, naloga, ki bodisi ni reševana bodisi je odgovor nepravilen, se točkuje z 0 točkami. Pri vsakem dijaku seštejemo vse točke, kar pomeni končen rezultat med 0 in 20 točkami.

Pri tretjem načinu točkovanja naloge točkujemo podobno kot pri drugem načinu.

Pred samim točkovanjem uporabimo funkcijo v Excelu, ki nam povsod, kjer se pojavi X, naključno vrne enega izmed odgovorov A, B, C, D ali E. Rezultate

(26)

dijakov na ta način priredimo tako, kot da bi dijaki, ko ne bi vedeli odgovora pri nalogi, ugibali in naključno izbrali enega izmed ponujenih odgovorov. Pravilni odgovor nato točkujemo z 1 točko, nepravilni odgovor pa z 0 točkami. Pri vsakem dijaku seštejemo vse točke.

Za vse tri načine točkovanja uredimo rezultate dijakov po velikosti in porazdelimo dijake po doseženem številu točk. Pri prvem načinu točkovanja smo dijake porazdelili glede na intervale, ki obsegajo pet točk. Pri točkovanju, kot ga uporabljajo na tekmovanju Čmrlj, vse vrednosti končnega števila točk niso enako verjetne, zato je smiselno v isti razred zajeti več točk. Pri prvem načinu točkovanja je možno doseči do 100 točk, pri čemer je vsaka naloga v povprečju vredna 5 točk, zato je v isti razred smiselno zajeti 5 točk. Pri drugem in tretjem načinu točkovanja je možno doseči do 20 točk, pri čemer je vsaka naloga vredna 1 točko, zato porazdelimo učence v 21 razredov, za vsako vrednost od 0 do 20 en razred.

Za vsak način točkovanja posebej določimo barvne skupine dijakov tako, kot to storijo na nacionalnem preverjanju znanja (glej poglavje 1.3 Nacionalno preverjanje znanja). Za vsako nalogo pogledamo, kako uspešno jo rešuje posamezna barvna skupina dijakov. Izračunamo, kako uspešno naloge rešujejo vsi dijaki v posamezni barvni skupini tako, da delimo število dijakov, ki nalogo pravilno rešijo, s številom vseh dijakov v barvni skupini. Izračunamo še, kakšna je uspešnost reševanja nalog, če upoštevamo le dijake, ki nalogo rešujejo. Število dijakov, ki nalogo pravilno rešijo, delimo z razliko števila vseh dijakov in števila dijakov, ki naloge ne rešujejo. S tem preverimo, kako na uspešnost reševanja naloge vpliva delež dijakov, ki pri nalogi ne izberejo nobenega odgovora.

Za vsak način točkovanja posebej določimo barvne skupine nalog tako, da pogledamo, v katerih barvnih skupinah dijakov je naloga uspešno reševana.

Naloga je v določeni barvni skupini dijakov uspešno reševana, če jo pravilno reši več kot 65 % dijakov. Pri delitvi nalog v barvne skupine v izjemnih primerih upoštevamo, da je naloga uspešno reševana v določeni barvni skupini tudi, kadar je uspešnost nekoliko nižja od 65 %, če ima naslednja naloga po vrsti glede na uspešnost precej nižjo uspešnost. Takšen kriterij je v nekaterih primerih smiseln, saj želimo, da so v isti barvni skupini čim bolj podobne naloge.

Za potrebe drugega raziskovalnega vprašanja razdelimo dijake glede na njihovo uspešnost na tekmovanju v osem skupin, ki so po velikosti čim bolj primerljive.

Skupina, v kateri so dijaki, ki na tekmovanju dosežejo najslabši rezultat, je označena s številom 1. Skupina, v kateri so dijaki, ki na tekmovanju dosežejo najboljši rezultat, je označena s številom 8. Pri vsaki nalogi za vsako skupino dijakov posebej preštejemo, koliko dijakov izbere posamezen odgovor ali ne izbere nobenega odgovora. Izračunamo deleže dijakov v skupini, ki izberejo posamezen odgovor tako, da delimo število dijakov, ki izberejo odgovor, s številom vseh dijakov v skupini. Podobno, delimo število dijakov, ki naloge ne

(27)

rešujejo, s število vseh dijakov v skupini, da izračunamo delež dijakov v skupini, ki naloge ne rešujejo.

3.4 REZULTATI NA TEKMOVANJU ČMRLJ V PRIMERJAVI Z NACIONALNIM PREVERJANJEM ZNANJA

3.4.1 Vpliv različnih načinov točkovanja

Pridobljene odgovore dijakov s tekmovanj za posamezna šolska leta točkujemo na tri različne načine. Prvi način točkovanja je enak načinu točkovanja, ki ga uporabljajo pri tekmovanju Čmrlj. Drugi način točkovanja je takšen, kot ga uporabljajo pri izbirnem tipu nalog na nacionalnem preverjanju znanja iz fizike, pri tretjem načinu točkovanja pa poskusimo upoštevati še to, da bi več dijakov pri nalogi ugibalo, če pri točkovanju ne bi bilo negativnih točk za nepravilen odgovor.

Ideja treh različnih točkovanj in barvna analiza dijakov ter nalog za vsako točkovanje posebej je, da preverimo, ali pri posameznem načinu točkovanja pride do večjih odstopanj pri rezultatih dijakov ter razdelitvi nalog v barvne skupine.

Slika 1 Graf porazdelitve dijakov po številu doseženih točk po drugem načinu točkovanja za tekmovanje Čmrlj v šolskem letu 2018/2019.

Slika 1 prikazuje porazdelitev dijakov po številu doseženih točk za tekmovanje Čmrlj v šolskem letu 2018/2019, ko odgovore točkujemo po drugem načinu točkovanja. Pri tem načinu točkovanja je možno doseči od 0 do 20 točk. Na abscisni osi je enaindvajset stolpcev, kjer vsak stolpec predstavlja določeno končno število točk. Višina stolpca predstavlja število dijakov, ki dosežejo posamezno končno število točk. Na grafu so označene tudi značilne barvne

1 9

29 78

128 145

182 195

171

137 117

71 55

22 28

14 12

4 1 1 0

0 50 100 150 200 250

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Število učencev

Doseženo število točk

(28)

skupine dijakov. V posameznih barvnih skupinah je nekoliko več kot 10 % vseh dijakov, saj morajo biti v isti barvni skupini vsi dijaki z enakim številom točk. Prav tako se zgodi, da dijak, ki je na prvi četrtini lestvice uspešnosti na tekmovanju, ni povsem na sredini intervala dijakov, ki ga zajema zelena barvna skupina.

Podobno velja tudi za rumeno in rdečo barvno skupino dijakov. Porazdelitev dijakov po številu doseženih točk v šolskem letu 2018/2019 po drugem načinu točkovanja ima obliko podobno Gaussovi krivulji, ki ima vrh pomaknjen v levo.

Mediana porazdelitve nam pove, koliko točk doseže dijak, ki je točno na sredini porazdelitve dijakov glede na doseženo število točk. Mediana porazdelitve dijakov za šolsko leto 2018/2019 po drugem načinu točkovanja je 7 točk. Modus porazdelitve nam pove, kolikšno končno število točk doseže največ dijakov.

Modus porazdelitve dijakov za šolsko leto 2018/2019 po drugem načinu točkovanja je 7 točk. Povprečno število doseženih točk je 7,4 točke.

Slika 2 Graf porazdelitve dijakov po številu doseženih točk po prvem načinu točkovanja za tekmovanje Čmrlj v šolskem letu 2018/2019.

Slika 2 prikazuje porazdelitev dijakov po številu doseženih točk za tekmovanje Čmrlj v šolskem letu 2018/2019, ko odgovore točkujemo po prvem načinu točkovanja. Pri tem načinu točkovanja je možno doseči od 0 do 100 točk. Na abscisni osi je sto in en stolpec, kjer en stolpec predstavlja doseženo končno število točk. Višina stolpca predstavlja število dijakov, ki dosežejo posamezno končno število točk. Na grafu so označene tudi značilne barvne skupine dijakov.

Zaradi možnih negativnih točk pri načinu točkovanja, ki ga uporabljajo na tekmovanju Čmrlj, vse vrednosti končnega števila točk niso enako verjetne. Na grafu porazdelitve dijakov po številu doseženih točk lahko zato opazimo nekaj izrazitih vrhov. Mediana porazdelitve dijakov za šolsko leto 2018/2019 po prvem načinu točkovanja je 39 točk. Modus porazdelitve dijakov za šolsko leto

0 10 20 30 40 50 60 70 80 90

0 4 8 12 16 20 24 28 32 36 40 44 48 52 56 60 64 68 72 76 80 84 88 92 96 100

Število dijakov

(29)

2018/2019 po prvem načinu točkovanja je 35 točk. Povprečno število doseženih točk je 40,0 točke.

Zaradi lažje primerjave grafa porazdelitve dijakov, ki ga dobimo, ko točkujemo tako kot na nacionalnem preverjanju znanja, z grafom porazdelitve dijakov, ki ga dobimo, ko točkujemo tako kot na tekmovanju Čmrlj, narišemo graf porazdelitve dijakov tako, da razdelimo dijake v razrede po 5 točk. Slika 3 prikazuje graf porazdelitve, ki ga dobimo na tak način.

Slika 3 Graf porazdelitve dijakov po številu doseženih točk po prvem načinu točkovanja z združenimi točkami za tekmovanje Čmrlj v šolskem letu 2018/2019.

Pri tem načinu točkovanja je možno doseči od 0 do 100 točk, vendar dosežene točke razdelimo v razrede po 5 točk, z izjemo zadnjega razreda, ki obsega od 95 do 100 točk. Na abscisni osi je dvajset stolpcev, kjer en stolpec predstavlja en razred po 5 točk. Višina stolpca predstavlja število dijakov, ki dosežejo končno število točk v posameznem razredu. Na grafu so označene tudi značilne barvne skupine dijakov. Zgodi se, da dijak, ki je na prvi četrtini lestvice uspešnosti na tekmovanju, ni povsem na sredini intervala dijakov, ki ga zajema zelena barvna skupina. Podobno velja tudi za rumeno in rdečo barvno skupino dijakov. Na grafu porazdelitve zato označimo barvne skupine tako, da je v eni skupini sicer več kot 10 % vseh dijakov, vendar je dijak, ki je na prvi četrtini lestvice uspešnosti, približno na sredini intervala dijakov, ki ga zajema zelena barvna skupina.

Podobno velja tudi za rumeno in rdečo barvno skupino dijakov. Pri nadaljnjih analizah uporabimo barvne skupine dijakov, ki so določene glede na rezultate, ki jih dobimo pri prvem načinu točkovanja, brez združevanja točk. Tako večje barvne skupine, ki smo jih izbrali za grafično predstavitev porazdelitve, ne vplivajo na naše ugotovitve. Porazdelitev dijakov po številu doseženih točk v

1 3 15

57 107

152 176

198 190

151 120

86 57

26 29

14 12

4 1 1

0 50 100 150 200 250

Število dijakov

(30)

šolskem letu 2018/2019 po prvem načinu točkovanja z združenimi točkami v razrede ima obliko podobno Gaussovi krivulji, ki ima vrh pomaknjen v levo.

Največ dijakov doseže med 35 in 39 točk, večina dijakov pa doseže med 20 in 54 točk.

Za vse naloge na tekmovanju pogledamo, kako uspešno jih rešujejo dijaki v posameznih barvnih skupinah dijakov. Naloge razdelimo v barvne skupine tako, kot je opisano v podpoglavju 3.3.3. Preglednica 1 pokaže, da nalogo 8 pri obeh načinih točkovanja uvrstimo v rumeno skupino nalog, kljub temu, da je uspešnost reševanja naloge pri dijakih rumene skupine nižja od 65 %. Podobno, nalogo 7 pri prvem načinu točkovanja uvrstimo v rdečo skupino ter nalogo 5 pri drugem načinu točkovanja v zeleno skupino nalog.

Preglednica 1 Primerjava uspešnosti reševanja ter razdelitve nalog v barvne skupine za tekmovanje Čmrlj v šolskem letu 2018/2019 po prvem (levo) in drugem (desno) načinu točkovanja.

1. NAČIN TOČKOVANJA 2. NAČIN TOČKOVANJA

Naloga Zeleni Rumeni Rdeči Modri Naloga Zeleni Rumeni Rdeči Modri

1 0,74 0,85 0,93 0,95 1 0,72 0,87 0,94 0,95

5 0,63 0,76 0,86 0,97 5 0,61 0,74 0,84 0,96

2 0,46 0,71 0,83 0,92 2 0,46 0,69 0,80 0,92

11 0,57 0,68 0,79 0,94 11 0,43 0,65 0,82 0,95

8 0,47 0,62 0,66 0,88 8 0,45 0,64 0,68 0,91

4 0,31 0,50 0,74 0,91 4 0,26 0,49 0,72 0,91

7 0,27 0,53 0,64 0,83 7 0,32 0,49 0,68 0,82

3 0,29 0,43 0,51 0,78 3 0,27 0,39 0,53 0,80

6 0,06 0,17 0,32 0,78 19 0,22 0,30 0,50 0,77

19 0,20 0,31 0,54 0,77 6 0,10 0,18 0,29 0,77

14 0,17 0,18 0,36 0,74 14 0,10 0,15 0,26 0,76

9 0,22 0,29 0,46 0,72 9 0,21 0,33 0,43 0,73

12 0,27 0,34 0,42 0,63 12 0,30 0,33 0,46 0,63

10 0,06 0,14 0,23 0,60 10 0,09 0,14 0,28 0,59

15 0,18 0,27 0,41 0,59 15 0,17 0,27 0,36 0,58

18 0,08 0,10 0,14 0,49 18 0,06 0,07 0,10 0,51

16 0,04 0,03 0,09 0,28 16 0,03 0,02 0,07 0,30

13 0,06 0,08 0,05 0,22 13 0,06 0,08 0,04 0,22

17 0,10 0,06 0,09 0,19 17 0,08 0,07 0,04 0,20

20 0,09 0,08 0,12 0,17 20 0,06 0,10 0,15 0,18

Preglednica 1 prikazuje, kako uspešno posamezne naloge na tekmovanju Čmrlj v šolskem letu 2018/2019 rešujejo dijaki v zeleni, rumeni, rdeči in modri barvni skupini, ko točkujemo po prvem in drugem načinu. Za oba načina točkovanja razvrstimo naloge v barvne skupine. Pri primerjanju uspešnosti reševanja nalog posameznih barvnih skupin glede na točkovanje lahko opazimo, da je

(31)

sprememba uspešnosti v večini minimalna. Pri večini nalog se za posamezno barvno skupino uspešnost spremeni za manj kot 3 odstotke. Ko razdelimo naloge v barvne skupine, opazimo, da se naloge uvrstijo v iste barvne skupine, ne glede na način točkovanja. Dve nalogi uvrstimo v zeleno skupino, saj jo uspešno rešujejo dijaki vseh štirih barvnih skupin. Tri naloge uvrstimo v rumeno skupino ter dve nalogi v rdečo skupino nalog. Pet nalog uvrstimo v modro skupino, saj jo uspešno rešujejo le dijaki v modri skupini, preostale naloge pa sodijo v sivo skupino nalog, saj jo neuspešno rešujejo dijaki vseh barvnih skupin.

Na tekmovanju Čmrlj se nepravilni odgovori točkujejo z negativnimi točkami, zato se velikokrat zgodi, da dijaki naloge ne rešujejo, če niso v svoj odgovor popolnoma prepričani. Zanima nas, ali se razdelitev nalog v barvne skupine bistveno spremeni, če pri računanju uspešnosti reševanja naloge upoštevamo samo tiste dijake, ki posamezno nalogo rešujejo.

Preglednica 2 Primerjava razdelitve nalog v barvne skupine za tekmovanje Čmrlj v šolskem letu 2018/2019 za prvi in drugi način točkovanja ob upoštevanju vseh dijakov (1. in 3. stolpec) ter le dijakov, ki so nalogo reševali (2. in 4. stolpec).

1. NAČIN TOČKOVANJA 2. NAČIN TOČKOVANJA

Vsi Reševani Vsi Reševani

1 1 1 1

5 5 5 5

2 2 2 2

11 11 11 8

8 8 8 11

4 4 4 4

7 7 7 7

3 14 3 14

6 3 19 3

19 19 6 19

14 6 14 6

9 12 9 9

12 9 12 12

10 18 10 18

15 10 15 10

18 15 18 15

16 16 16 16

13 20 13 20

17 13 17 13

20 17 20 17

Preglednica 2 prikazuje primerjavo razdelitve nalog v barvne skupine za tekmovanje Čmrlj v šolskem letu 2018/2019 za prvi in drugi način točkovanja

(32)

glede na dijake, ki jih vzamemo za celoto. V prvem stolpcu je prikazana delitev nalog v barvne skupine, ko pri računanju uspešnosti reševanja naloge upoštevamo vse dijake, ki sodelujejo na tekmovanju. V drugem stolpcu je prikazana delitev nalog v barvne skupine, ko pri računanju uspešnosti reševanja naloge upoštevamo samo dijake, ki rešujejo posamezno nalogo. Očitno je, da se uspešnost reševanja nalog v drugem stolpcu poveča ali kvečjemu ostane enaka, saj je uspešnost reševanja naloge definirana kot količnik števila dijakov, ki nalogo rešijo prav, ter števila dijakov, jih pri nalogi upoštevamo kot celoto. Kljub spremembi uspešnosti reševanja nalog, večina nalog ostane v isti barvni skupini.

Izjema pri obeh načinih točkovanja sta nalogi 12 in 18, ki sta v sivi skupini nalog, ko za celoto vzamemo vse dijake, ter v modri skupini nalog, ko za celoto vzamemo le dijake, ki nalogo rešujejo. Predvidevamo lahko, da je razlog to, da so te naloge težje in jih več dijakov ne rešuje. Posledično je sprememba uspešnosti reševanja precej višja, ko za celoto upoštevamo samo dijake, ki nalogo rešujejo.

Preglednica 3 Primerjava razdelitve nalog v barvne skupine za tekmovanje Čmrlj v šolskem letu 2018/2019 po prvem, drugem in tretjem načinu točkovanja.

1. NAČIN TOČKOVANJA

1 1 1

5 5 5

2 2 2

11 11 11

8 8 8

4 4 4

7 7 7

3 3 3

6 19 19

19 6 6

14 14 14

9 9 9

12 12 12

10 10 10

15 15 15

18 18 18

16 16 16

13 13 20

17 17 13

20 20 17

Če na tekmovanju Čmrlj ne bi bilo negativnih točk, bi dijaki verjetno izbrali odgovor tudi, če ne bi bili popolnoma prepričani, da je pravilen. Ker so naloge na tekmovanju izbirnega tipa, bi dijaki verjetno naključno izbrali en odgovor tudi, če