Udeleženci so bili od zaslona oddaljeni približno 60 cm. Udeležencem nismo omejili časa branja, zato so se po zaključku branja posameznega besedila premaknili na naslednjo besedilo tako, da so pritisnili tipko tabulator. Branje posameznega besedila ni bilo časovno omejeno, smo pa v začetku testirance obvestili, da berejo za razumevanje, vsebine celotnega besedila pa si ni treba zapomniti. Opozorili smo jih, naj vsako besedilo preberejo samo enkrat in po končanem branju celotnega besedila branja ne ponovijo, ampak nadaljujejo z branjem naslednjega besedila.
Posamezen preizkus je bil sestavljen iz branja treh besedil. Udeleženci preizkusa so najprej brali nepopravljeni strojni prevod, nato popolnoma popravljen strojni prevod in nazadnje še deloma popravljen strojni prevod. S pritiskom preslednice po končanem branju zadnjega besedila se je prav tako končalo snemanje in zaključil preizkus.
Udeležence smo po opravljenem preizkusu prosili naj izpolnijo še vprašalnik o
35
subjektivni oceni prebranih besedil. V povprečju je celoten potek posameznega preizkusa, vključno s pripravo, trajal 30 min.
6 Eksperiment
V poglavju predstavimo rezultate študije pričujoče magistrske naloge. Na kratko opišemo program za obdelavo meritev. Opišemo rezultate meritev, opravljenih s sledilcem očesnih gibov, in podamo analizo subjektivnih ocen udeležencev, ki smo jo izluščili iz odgovorov udeležencev na podlagi vprašanj z večstopenjskimi lestvicami in vprašanji odprtega tipa.
6.1 Meritve in kvantitativni prikaz rezultatov
Meritve očesnih gibov, ki smo jih opravili s sledilcem očesnih gibov EyeLink 1000 smo pred statistično obdelavo najprej pregledali in obdelali s programom Data Viewer.
Upoštevanje priporočil predhodne študije se je izkazalo za pravilno izbiro, saj so se fiksacije ustrezno prikazovale v posameznih interesnih območjih in v ustreznem zaporedju na ravni besedilnih vrstic, pri rezultatih sledilca očesnih gibov pa smo se srečali zgolj z minimalnim zdrsom, ki pa je bil zaradi uspešne kalibracije kamere pred snemanjem posameznega preizkusa, ustrezne obdelave besedil in določitve interesnih območij razmeroma majhen ter ni presegel posameznih interesnih območij.
Kljub temu smo v okolju Data Viewer opravili samodejno popravo zdrsa.
Program Data Viewer omogoča izvoz različnih meritev gibanja oči. Meritve lahko razdelimo v splošne ali specifične. Med splošne meritve uvrščamo parametre, kot so skupni čas branja, povprečno trajanje fiksacij, skupno število fiksacij, skupno število sakad (premikov naprej in nazaj v besedilu. Splošne meritve odražajo gibanje oči na ravni celotnega preizkusa. Med specifične meritve uvrščamo parametre, ki se nanašajo na določeno interesno območje. Interesna območja določimo že v fazi grafičnega programiranja skripte za izvedbo preizkusa. Parametri, ki jih lahko izmerimo v določenem interesnem območju so, na primer, trajanje fiksacij v določenem interesnem območju, število fiksacij v določenem interesnem območju, število regresij iz ali v določeno interesno območje. Specifične meritve vključujejo tudi podatke o tem, kolikokrat in v kakšnem zaporedju se je oko fiksiralo v določeno interesno območje. V našem preizkusu, kjer je bilo posamezni besedi določeno eno interesno območje, si lahko predstavljamo, da je prva fiksacija prva seznanitev z besedo. Če se je tekom branja oko fiksiralo ponovno na isto besedo oziroma isto interesno območje (v smeri
36
levo oziroma v smeri gor), nam ta podatek pove, da se je zgodila regresija oziroma vrnitev na predhodni del besedila. (Raney idr. 2014).
6.1.1 Prikaz rezultatov na skupni ravni besedil
Kvantitativne podatke meritev smo najprej primerjali na ravni besedil za vsako različico strojnega prevoda glede na čas in hitrost branja, trajanja in števila fiksacij ter števila sakad in regresij. Nepopravljen strojni prevod je označen s kratico SP, deloma popravljen strojni prevod s kratico DP in popolnoma popravljen strojni prevod s kratico PP.
Graf 1 prikazuje število besed za vse tri različice vseh treh besedil.
Graf 1: Število besed v besedilih 6.1.1.1 Čas branja
Na čas in hitrost branja besedila vpliva več različnih dejavnikov, kot so razumevanje besedila, način branja, raven specializiranosti jezika, poznavanje tematike vsebine in izrazov (Pečjak 1993), zato lahko ta podatek povežemo tudi z berljivostjo besedila.
Tabela 1 prikazuje povprečni čas branja strojnega prevoda (SP), deloma popravljenega strojnega prevoda (DP) in popolnoma popravljenega strojnega prevoda (PP) za tri besedila iz preizkusa. Število N označuje število udeležencev, podana sta povprečni čas branja (M) in standardni odklon (SD).
173 182 196
161
182 178
166 182 184
0 50 100 150 200 250
Čebele Leopardi Želve
SP DP PP
37
Graf 2: Grafični prikaz povprečnega trajanja branja
Najkrajši čas branja smo zabeležili pri popolnoma popravljenem strojnem prevodu vseh treh besedil. Pri besedilih o čebelah in leopardih se rezultat časa branja ne sklada s postavljeno hipotezo, saj je bil čas branja daljši pri deloma popravljenih strojnih prevodih v primerjavi s nepopravljenimi strojnimi prevodi. Zgolj rezultati besedila o želvah se skladajo s postavljeno hipotezo, saj se čas trajanja branja z relativno Tabela 2: Povprečna hitrost branja (besede na minuto)
58 64
38
Graf 3: Grafični prikaz popvrečne hitrosti branja
Najvišjo povprečno hitrost branja smo zabeležili pri popolnoma popravljenem strojnem prevodu besedil o leopardih in želvah. Pri besedilu o čebelah je hitrost branja najhitrejša pri nepopravljenem strojnem prevodu. Pri besedilih o čebelah in leopardih se hitrost branja zato ne sklada s postavljeno hipotezo, saj je bila hitrost branja pri deloma popravljenih strojnih prevodih v primerjavi z nepopravljenimi strojnimi prevodi nižja. Zgolj rezultati besedila o želvah se skladajo s postavljeno hipotezo, saj se čas trajanja branja z relativno izboljšavo kvalitete različice prevoda krajša.
6.1.1.3 Število fiksacij
Tabela 4 prikazuje število fiksacij udeležencev v besedilih strojnega prevoda (SP), deloma popravljenega strojnega prevoda (DP) in popolnoma popravljenega strojnega prevoda (PP) za tri besedila iz preizkusa. Število N označuje število udeležencev, podana sta povprečna vrednost števila fiksacij (M) in standardni odklon (SD). Iz tabele je razvidno, da je število fiksacij najmanjše za PP pri vseh besedilih. Padajoč trend velja le za različice strojnega prevoda pri besedilu o želvah, medtem ko pri besedilih o čebelah in leopardih ni padajočega trenda, saj je število fiksacij manjše pri
39
Graf 4: Grafični prikaz števila fiksacij 6.1.1.4 Povprečno trajanje fiksacij
Tabela 5 zajema povprečne čase fiksacij udeležencev v besedilih strojnega prevoda (SP), deloma popravljenega strojnega prevoda (DP) in popolnoma popravljenega strojnega prevoda (PP) za tri besedila iz preizkusa. Število N označuje število udeležencev, podana sta povprečna vrednost trajanja fiksacij (M) in standardni odklon (SD).
40
Graf 5: Grafični prikaz povprečnega trajanja fiksacij
Najkrajše povprečno trajanje fiksacij smo zabeležili pri popolnoma popravljenem strojnem prevodu besedila o želvah. Pri besedilu o čebelah je najkrajše povprečno trajanje fiksacij zabeleženo pri deloma popravljenem strojnem prevodu, medtem ko je pri besedilu o leopardih pri nepopravljenem strojnem besedilu. Zgolj rezultati besedila o želvah se skladajo s predpostavko, da daljše fiksacije nakazujejo večji kognitivni napor.
Tabela 6 povzema povprečne čase najdaljše fiksacije v določeni različici besedila.
Najkrajše povprečno trajanje najdaljših fiksacij smo zabeležili pri popolnoma
popravljenem strojnem prevodu besedila o želvah. Pri besedilu o čebelah je najkrajše povprečno trajanje fiksacij zabeleženo pri deloma popravljenem strojnem prevodu, medtem ko je pri besedilu o leopardih pri nepopravljenem strojnem besedilu. Zgolj rezultati besedila o želvah se skladajo s predpostavko, da daljše fiksacije nakazujejo večji kognitivni napor. Tabela 5: Povprečni časi najdaljše fiksacije
237,28
41
Graf 6: Grafični prikaz povprečnega trajanja najdaljše fiksacije 6.1.1.5 Število sakad in regresij
V tabelah 7 in 8 je predstavljeno povprečno število sakad in regresij v besedilih strojnega prevoda (SP), deloma popravljenega strojnega prevoda (DP) in popolnoma popravljenega strojnega prevoda (PP) za tri besedila iz preizkusa. Število N označuje število udeležencev, podana sta povprečno število sakad (M) in standardni odklon (SD).
Čebele Leopardi Želve
N M SD N M SD N M SD
SP 13 215,80 51,42 11 257,00 33,90 12 303,80 49,17 DP 11 242,20 52,05 12 266,20 41,77 13 230,20 67,67 PP 12 205,80 34,37 13 208,00 50,19 11 224,20 21,58 Tabela 6: Povprečno število sakad
823,6 784,4
1240,8
734 794,4
944,8 684,8
812,4
675,6
0 200 400 600 800 1000 1200 1400
Čebele Leopardi Želve
Trajanje [ms]
SP DP PP
42
Graf 7: Grafični prikaz povprečnega števila sakad
Tabela 7 povzema povprečno število premikov med posameznimi fiksacijami, ko se oko ne fiksira na določeno točko. Podatek je neposredno povezan s številom fiksacij za posamezno besedilo in tabelo 4. Iz tabele 7 je razvidno, da je število sakad najmanjše za popolnoma popravljen prevod pri vseh besedilih. Padajoč trend velja le za različice strojnega prevoda pri besedilu o želvah, medtem ko pri besedilih o čebelah in leopardih ni padajočega trenda, saj je število sakad manjše pri nepopravljenem strojnem prevodu.
Premikanje očesa v levo oziroma navzgor označuje regresivne sakade oziroma regresije. Tabela 8 povzema povprečno število regresij za posamezno besedilo. Iz nje je razvidno, da smo zabeležili največ regresij na predhodne dele besedila pri deloma popravljenih prevodih za besedili o čebelah in želvah. Pri besedilu o leopardih je povprečno število regresij najvišje za popolnoma popravljen prevod, vendar se podatek zanemarljivo razlikuje od števila regresij za ostali dve različici strojnega prevoda.
43
Graf 8: Grafični prikaz povprečnega števila regresij 6.1.2 Prikaz rezultatov za deloma popravljene strojne prevode
V predpripravi na popravljanje strojnih prevodov smo analizirali napake v nepopravljenih različicah strojnih prevodov vseh treh besedil. Ugotovili smo, da se v besedilih o leopardih in želvah najpogosteje pojavljajo pomenske napake, v besedilu o čebelah pa ujemalne napake. Spodnji graf povzema število napak v posameznih besedilih.
Graf 9: Število napak v nepopravljenih strojnih prevodih
61 62,2 62 62,8 64,6
44
Nepopravljenih strojnih prevodov ne bomo analizirali na ravni posameznih napak, saj smo med analizo nepopravljenih strojnih prevodov ugotovili, da so napake preveč zgoščene v povedih, pojavljajo se v različnem številu, problematiko analize rezultatov sledilca očesnih gibov pa smo predvideli predvsem zaradi prekrivanja dveh kategorij in razširjenosti napak na večjih segmentih povedi hkrati. Zaradi omenjenih omejitev smo se odločili, da podrobno analizo na ravni napak opravimo zgolj na deloma popravljenih strojnih prevodih, kjer smo imeli možnost nadzorovati število, kategorijo ter mesto napake. Strojne prevode smo deloma popravili glede na predhodno kategorizacijo napak, navedeno v podpoglavju 4.5, ki smo jo povzeli po vzoru predhodnih študij.
Naslednja tabela povzema povprečne skupni čase fiksacij za posamezno kategorijo napak za tri različice deloma popravljenih strojnih prevodov. Iz tabele je razvidno, da smo najdaljše skupne čase fiksacij zabeležili za neprevedene besede, pomenske napake, ujemalne napake in izpuščene besede.
DP1 (čebele) DP2 (leopardi) DP3 (želve)
N M [ms] SD [ms] N M [ms] SD [ms] N M [ms] SD [ms]
Neprevedene
besede 11 1004,9 374,33 12 1064,1 447,51 13 1111,1 227,69 Pomenske
napake 11 1032,6 295,67 12 1046 712,51 13 812,07 646,11 Ujemalne
napake 11 817,37 429,18 12 1011,9 246,63 13 565,43 93,01 Izpuščene
besede 11 943,35 157,38 12 686,94 458,63 13 656 361,07 Skladnja in
besedni red 11 368,69 133,37 12 581,63 202,51 13 357,65 110,82 Stilistične
napake 11 506,41 195,82 12 525,13 411,87 13 401,33 285,03 Pravopisne
napake 11 518 198,03 12 168,1 46,6 13 272,67 92,72 Vrinjene
besede 11 168 151,43 12 146,19 135,69 13 81,63 140,87 Tabela 8: Povprečni skupni časi fiksacij za posamezno kategorijo napake
45
Graf 10: Graf. prikaz povprečnih skupnih časov fiksacij za posam. kat. napak 6.2 Rezultati vprašalnika
Udeležence smo po zaključenem preizkusu prosili, da izpolnijo vprašalnik o razumevanju in subjektivni oceni besedil. Razumljivost besedil smo merili s 5-stopenjsko mersko lestvico. Poleg lestvice smo spraševali po razlagi za oceno, obenem pa smo udeležence povprašali o mnenju glede napak v besedilih. Lestvica je bila razdeljena glede na naslednje stopnje:
1 – povsem nerazumljivo 2 – deloma nerazumljivo
3 – niti nerazumljivo, niti razumljivo 4 – deloma razumljivo
5 – popolnoma razumljivo 6.2.1 Prva skupina
V prvi skupini je bilo 11 udeležencev. Temo besedila so vsi udeleženci navedli pravilno.
Devet udeležencev je strojni prevod ocenilo z oceno 2. Eden udeleženec je strojni prevod ocenil z oceno 1, eden pa je strojni prevod ocenil z oceno 3. 11 udeležencev je popolnoma popravljeno besedilo ocenilo z oceno 5. Pet udeležencev je deloma popravljeno besedilo ocenilo z oceno 4, šest pa z oceno 3.
1004,9 1064,1 1111,1
1032,6 1046 812,07
817,37 1011,9 565,43
943,35 686,94 656
368,69 581,63 357,65
506,41 525,13 401,33518 168,1 272,67
168 146,19 81,63
D P 1 ( Č E B E L E ) D P 2 ( L E O P A R D I ) D P 3 ( Ž E L V E )
Neprevedene besede Pomenske napake Ujemalne napake Izpuščene besede Skladnja in besedni red Stilistične napake Pravopisne napake Vrinjene besede
46
Graf 11: Grafični prikaz subjektivnih ocen prve skupine 6.2.2 Druga skupina
V drugi skupini je bilo 12 udeležencev. Vsi udeleženci so pravilno izrazili temo besedila.
Osem udeležencev je strojni prevod ocenilo z oceno 2, štirje udeleženci pa z oceno 3.
Deset udeležencev je popolnoma popravljeno besedilo ocenilo z oceno 5, dva pa z oceno 4. Šest udeležencev je deloma popravljeno besedilo ocenilo z oceno 4, šest pa z oceno 3.
Graf 12: Grafični prikaz subjektivnih ocen druge skupine 6.2.3 Tretja skupina
V tretji skupini je bilo 13 udeležencev. Tema besedila je bila v vseh primerih pravilno navedena. Devet udeležencev je strojni prevod ocenilo z oceno 3, pet udeležencev pa z oceno 2. Vseh trinajst udeležencev je popolnoma popravljeno besedilo ocenilo z
47
oceno 5. Deset udeležencev je deloma popravljeno besedilo ocenilo z oceno 4, trije pa z oceno 3.
Graf 13: Grafični prikaz subjektivnih ocen tretje skupine
7 Razprava
Za pričujočo magistrsko nalogo smo opravili preizkus vpliva napak strojnega prevajalnika na berljivost besedila. Uporabili smo tri angleška poljudnoznanstvena besedila z naravoslovnega področja in jih prevedli z nevronskim strojnim prevajalnikom Google iz angleščine v slovenščino ter dobili nepopravljeni strojni prevod (SP).
Besedila smo nato popravili v dveh fazah. V prvi fazi smo besedila deloma popravili tako, da smo v besedilu dovoljevali eno napako na poved kot tudi po eno napako iz vsake kategorije. Ker smo želeli ugotoviti vpliv posamezne napake na berljivost besedila, smo določene napake dodali v deloma popravljen strojni prevod (DP). V drugi fazi smo besedila popolnoma popravili do te mere, da so slovnično, pomensko in pravopisno ustrezna in tako pripravili popolnoma popravljen strojni prevod (PP).
7.1 Kvantitativna analiza
Z analizo pridobljenih rezultatov smo želeli odgovoriti na tri zastavljene hipoteze.
Predpostavili smo, da bosta čas in hitrost najkrajša za popolnoma popravljeno besedilo, krajša za deloma popravljeno in najdaljša za nepopravljeni strojni prevod.
Število fiksacij in regresij bo največje pri nepopravljenem strojnem prevodu, manjše pri deloma popravljenem strojnem prevodu in najmanjše pri popolnoma popravljenem strojnem prevodu. Obe hipotezi sta povezani s predpostavko, da je popolnoma popravljeno besedilo najbolj berljivo, deloma popravljeno manj berljivo ter
0
48
nepopravljeno besedilo najmanj berljivo. Za namen analize vpliva napak na berljivost strojnega prevoda, smo predpostavili, da bosta v deloma popravljenih strojnih prevodih največje število in čas fiksacij prisotna za kategorijo pomenskih napak.
7.1.1 Analiza na ravni besedil
Pri primerjavi besedil glede na čas in hitrost branja je bila hipoteza potrjena pri besedilu o želvah, pri besedilih o čebelah in leopardih pa jo je bilo treba zavreči. Kot je razvidno iz tabele 1, pri vseh besedilih zabeležili najkrajši čas branja popolnoma popravljenega strojnega prevoda. Pri besedilu o čebelah in leopardih se rezultat časa branja ne sklada s postavljeno hipotezo, saj je bil čas branja daljši pri deloma popravljenih strojnih prevodih kot pri nepopravljenih strojnih prevodih.
Glede na predhodna dognanja besedilo z napakami predstavlja za bralca večji kognitivni napor in slabšo berljivost. Branje besedil, ki vsebujejo manj napak oziroma jih sploh ne vsebujejo, bo bolj tekoče, kar se bo odražalo v spremenjenih vrednostih spremenljivk, izmerjenih s sledilcem očesnih gibov (število fiksacij, čas branja, trajanje fiksacij). Na hitrost branja besedila vpliva več različnih dejavnikov, kot so razumevanje besedila, način branja, raven specializiranosti jezika, poznavanje tematike vsebine in izrazov (Pečjak 1993), zato lahko ta podatek povežemo tudi z berljivostjo besedila.
Menimo, da so morda na skladnost rezultatov s postavljenimi hipotezami vplivale tudi različne individualne bralne strategije udeležencev, kar je razvidno iz podatka o hitrosti branja besedil. Podatek o hitrosti branja iz tabele 3 pove, da ima najvišjo hitrost branja besedil popolnoma popravljen prevod, kar potrjuje, da je branje te različice besedil zahtevalo najmanj kognitivnega napora. Pri besedilih o leopardih in 3 se rezultati skladajo s hipotezo, saj je bila hitrost branja najvišja pri popolnoma popravljenih besedilih. Pri besedilu o čebelah je hitrost branja najhitrejša pri nepopravljenem strojnem prevodu. Pri besedilu o čebelah in leopardih se hitrost branja zato ne sklada s postavljeno hipotezo, saj je bila hitrost branja pri deloma popravljenih strojnih prevodih v primerjavi z nepopravljenimi strojnimi prevodi nižja. Kljub nepričakovanim rezultatom pri SP in DP lahko potrdimo, da se parametri med različicami besedil, ki vsebujejo napake in različico brez napak skladajo z izsledki predhodnih študij.
Podoben trend opazimo tudi pri številu fiksacij, kot je razvidno iz tabele 4. Število fiksacij je najmanjše za popolnoma popravljen strojni prevod pri vseh besedilih.
Padajoč trend velja le za različice strojnega prevoda pri besedilu o želvah, medtem ko
49
pri besedilih o čebelah in leopardih ni padajočega trenda, saj je število fiksacij manjše pri nepopravljenem strojnem prevodu. Enako velja za neposredno povezano meritev povprečnega števila sakad.
Najkrajše povprečno trajanje fiksacij iz tabele 6 smo zabeležili pri popolnoma
popravljenem strojnem prevodu besedila o želvah. Pri besedilu o čebelah je najkrajše povprečno trajanje fiksacij zabeleženo pri deloma popravljenem strojnem prevodu, medtem ko je pri besedilu o leopardih pri nepopravljenem strojnem besedilu.
Rezultati besedila o želvah ponovno prikazujejo padajoč trend povprečnega trajanja fiksacij, ki se sklada s postavljeno hipotezo, da je trajanje fiksacij premo sorazmerno z višino kognitivnega napora.
Tabela 7 povzema povprečne čase najdaljše fiksacije v določeni različici besedila.
Najkrajše povprečno trajanje najdaljših fiksacij smo zabeležili pri popolnoma
popravljenem strojnem prevodu besedila o želvah. Pri besedilu o čebelah je najkrajše povprečno trajanje fiksacij zabeleženo pri deloma popravljenem strojnem prevodu, medtem ko je pri besedilu o leopardih pri nepopravljenem strojnem besedilu. Zgolj rezultati besedila o želvah se ponovno skladajo s postavljenimi hipotezami.
Iz tabele 10 je razvidno povprečno število regresij za posamezno besedilo. Največ regresij na predhodne dele besedila smo zabeležili pri deloma popravljenih prevodih za besedili o čebelah in želvah. Pri besedilu o leopardih je povprečno število regresij najvišje za popolnoma popravljen prevod, vendar se podatke zanemarljivo razlikuje od števila regresij za ostali dve različici strojnega prevoda. Premikanje očesa v levo oziroma navzgor označuje regresivne sakade oziroma regresije, ki lahko pomenijo vračanje na predhodni del besedila zaradi nerazumevanja oziroma problematičnega dela besedila. Pri vseh besedilih vidimo najnižje število sakad pri različici popolnoma popravljenega strojnega prevoda, pri dveh besedilih pa vidimo trend najmanjšega števila regresij pri popolnoma popravljenem prevodu, kar potrjuje hipotezo, da je pri besedilu brez napak omogočeno tekoče branje in nizek kognitivni napor. Rezultati sledilca očesnih gibov so razmeroma skladni s subjektivno oceno z rezultati izmerjenih parametrov. Opazna je razlika med popolnoma popravljenim strojnim prevodom, ki je ocenjen kot najbolj razumljivo besedilo, medtem ko ni jasne razlike med stopnjo razumevanja nepopravljenega strojnega prevoda in deloma popravljenega strojnega prevoda. Menimo, da je morda razlog za takšno podobnost med rezultati
50
nepopravljenega in deloma popravljenega prevoda v tem, da se je kvaliteta strojnih prevajalnikov z uvedbo modela nevronskih mrež močno približala kvaliteti človeškega prevoda, kar potrjuje tudi podatek, pridobljen z metriko BLEU, da se je kvaliteta prevajalnika Google povečala iz 3.694 na 4.263 z uvedbo umetnih nevronskih mrež, pri čemer je rezultat ocene človeškega prevoda 4.636 od največ 6 (Aiken 2019).
Kljub nepričakovanim rezultatom pa lahko opazimo, da so parametri med seboj povezani in trendi parametrov za posamezne različice strojnih prevodov ostajajo enaki.
Medtem ko opazimo minimalna odstopanja v trendu obeh različici strojnih prevodov z napakami za besedili o čebelah in leopardih, se trend meritev za vse različice besedila o želvah ne spreminja in se sklada s postavljenimi hipotezami.
7.1.2 Analiza na ravni deloma popravljenega strojnega prevoda
Po pregledu rezultatov meritev v deloma popravljenih strojnih prevodih smo želeli primerjati trajanje fiksacij na interesnih območjih, ki so označevala napake in jih med seboj primerjati. Večjih razlik, ki bi jih bilo moč povezati s teoretičnimi temelji in dognanji predhodnih raziskav s področja psiholingvistike in prevajalstva iz podatkov ni bilo mogoče razbrati, zato smo primerjali skupni čas fiksacij (ang. dwell time) v posameznem interesnem območju z napako oziroma interesnem območju levo in desno od predvidene napake (pri izpustu) in pridobili zanimive podatke.
Pri vseh treh deloma popravljenih prevodih se kljub nekaterim razlikam v meritvi posamezne napake kaže enak trend razporeditve kategorij napak. Najdaljše povprečne skupne čase fiksacij smo zabeležili za ujemalne napake, pomenske napake, ujemalne napake in izpuščene besede. Najmanjše čase smo zabeležili za
Pri vseh treh deloma popravljenih prevodih se kljub nekaterim razlikam v meritvi posamezne napake kaže enak trend razporeditve kategorij napak. Najdaljše povprečne skupne čase fiksacij smo zabeležili za ujemalne napake, pomenske napake, ujemalne napake in izpuščene besede. Najmanjše čase smo zabeležili za