Laura Kocet AVTOMATSKA PREPOZNAVA ARTEFAKTA ZVONJENJA PRI PREISKAVAH MAGNETNE RESONANCE

UNIVERZA V LJUBLJANI ZDRAVSTVENA FAKULTETA

RADIOLOŠKA TEHNOLOGIJA, 2. STOPNJA

Laura Kocet

AVTOMATSKA PREPOZNAVA ARTEFAKTA ZVONJENJA PRI PREISKAVAH MAGNETNE

RESONANCE

magistrsko delo

AUTOMATIC DETECTION OF RINGING ARTEFACT IN MAGNETIC RESONANCE IMAGING

master thesis

Mentor: izr. prof. dr. Janez Žibert Somentorica: asist. Katja Romarić Recenzent: doc. dr. Nejc Mekiš

Ljubljana, 2021

ZAHVALA

Zahvaljujem se predvsem svojemu mentorju, izr. prof. dr. Janezu Žibertu za vso strokovno pomoč, vložen čas, trud, posredovanje ogromne količine znanja, usmerjanje in svetovanje pri izvedbi raziskave ter pisanju magistrskega dela.

Zahvaljujem se somentorici asist. Katji Romarić za pomoč pri izvedbi zajema podatkov za raziskavo, kot tudi za nenehno sodelovanje in napotke pri nastajanju zaključnega dela. Za pregled in vse strokovne nasvete z recenzijo se prav tako zahvaljujem recenzentu doc. dr.

Nejcu Mekišu. Iskreno zahvalo namenjam tudi lektorici diplomske naloge Andrejki Močnik.

Za možnost izvajanja raziskave se zahvaljujem vodji Centra za klinično fiziologijo Medicinske fakultete Univerze v Ljubljani.

Posebna zahvala gre moji družini za vso podporo, vzpodbudo in veliko mero potrpežljivosti med študijem in ob koncu študija. Hvala tudi vsem prijateljem, ki mi nenehno stojite ob strani in me vzpodbujate.

IZVLEČEK

Uvod: Prisotnost popačenj oziroma artefaktov na magnetnoresonančnih slikah lahko poslabša kakovost preiskave, prikrije ali prikaže lažno patološko stanje. Artefakt zvonjenja ali Gibbsov artefakt je artefakt, ki nastane zaradi napak pri kodiranju signala. Na magnetnoresonančnih slikah se izraža kot dodatni signal v obliki svetlih ali temnih koncentričnih krožnih črt, ki so vzporedne z robovi na sliki. Globoko učenje je vrsta računalniškega algoritma, ki vhodne metapodatke uporabi za izračun izhodnih podatkov.

Uporabi se lahko za zaznavanje določenih struktur na slikovnih podatkih, za delovanje pa uporablja strukturo konvolucijskih nevronskih mrež. Poznamo različne metode globokega učenja, za uporabo algoritma na majhni količini podatkov pa je najbolj uporaben pristop z adaptacijo. Namen: Namen magistrske naloge je izgradnja procesa avtomatske prepoznave artefakta zvonjenja pri slikanju z magnetno resonanco za magnetno resonančni tomograf Philips Achieva 3.0 T TX z dStream sistemom. Za izgradnjo metode prepoznave se uporabi metoda globokega učenja z adaptacijo. Metode dela: V raziskavi smo ustvarili bazo podatkov magnetnoresonančnih slik fantoma za kontrolo kakovosti, zajetih na magnetnoresonančnem tomografu Philips Achieva 3.0 T TX z dStream sistemom, ki se nahaja na Medicinski fakulteti, Univerze v Ljubljani v Centru za klinično fiziologijo. Slike smo zajemali s turbo spin echo pulznim zaporedjem v transverzalni ravnini, pri čemer smo spreminjali določene slikovne parametre. Izbrane rezine sta dve neodvisni ocenjevalki označili v dve kategoriji slik brez prisotnega artefakta zvonjenja in z njim. Na označeni bazi magnetnoresonančnih slik izbranih rezin smo izvedli prepoznavo artefakta zvonjenja z globokim učenjem z doučevanjem. Uporabili smo že obstoječo konvolucijsko nevronsko mrežo VGG16 in ji dodali dve novi plasti, ki smo ju učili z uporabo učne baze slik.

Rezultati: Izgrajeni model prepoznave artefakta zvonjenja na magnetnoresonančnih slikah smo preverili na testni bazi rezin magnetnoresonančnih slik in dobili izjemne rezultate.

Prepoznava na prvi rezini je bila glede na referenčno vrednost prisotnosti artefakta zvonjenja natančna v 98 %, na drugi rezini v 93 % in na tretji rezini v 98 %. Vrednosti AUC, ki odražajo kakovost izdelanega modela, presegajo vrednost 0,98. Razprava in zaključek: Točnost prepoznave artefakta zvonjenja izdelanega modela je skladna s pregledanimi študijami, saj avtorji opisujejo podobne vrednosti točnosti prepoznave z njihovimi modeli. Vrednosti se ne razlikujejo bistveno glede na to, katere vrste artefakta smo prepoznavali, prav tako se ne razlikujejo glede na uporabljeno vrsto obstoječe konvolucijske nevronske mreže. S spreminjanjem slikovnih parametrov smo sklenili, da na pojavnost Gibbsovega artefakta vplivajo velikost matrike, velikost voksla in število povprečenj. Smer zajemanja signala na pojavnost omenjenega artefakta ne vpliva. Z avtomatsko prepoznavo prisotnosti artefaktov na magnetnoresonančnih slikah se izognemo zamudnemu pregledu posameznih serij slik in olajšamo odstranjevanje in zmanjševanje pojavnosti artefaktov ter s tem posledično izboljšamo kakovost magnetnoresonančnih slik in preiskav.

Ključne besede: artefakt zvonjenja, kakovost MR-slik, metode globokega učenja, pristop z doučevanjem, konvolucijske nevronske mreže

ABSTRACT

Introduction: Artefacts appearing on magnetic resonance images can affect the quality of examination in a way to be confused with pathology or to cover the important information.

Gibbs or ringing artefact is caused by the way in which the data are sampled and processed.

On magnetic resonance images appears as multiple bright or dark lines parallel to edges of intensity change. Deep learning is a computer algorithm that takes metadata as an input and processes the data to compute the output. It can be used for detection of structures in images with use of convolutional neural networks. There are different methods of deep learning, but when no large dataset is available, the most useful method is transfer learning. Purpose: The aim of this study was to develop process of automatic detection of ringing artefact in magnetic resonance imaging for magnetic resonance scanner Philips Acieva 3.0 T TX with dStream system. Deep learning method that was used for detection is transfer learning.

Methods: Dataset containing magnetic resonance images of phantom for quality assurance was produced for our research. Turbo spin echo pulse sequence in transversal plane was used for scanning, while we changed some of the scanning parameters. Slices, chosen for the research, were annotated by two independent observers in two categories: images with and without ringing artefact. With use of labelled dataset, we designed algorithm of detection of ringing artefact with use of transfer learning. As pretrained network to do transfer learning, we used convolutional neural network VGG16 and added two new layers, which we trained with use of our training dataset. Results: Automatic detection model for detecting ringing artefact on magnetic resonance imaging was tested on testing dataset and it showed great results. Accuracy of detecting ringing artefact on first type of magnetic resonance slice was 98 %, on second type 93 % and on third 98 %. All AUC values showing the quality of our build detection model, are above value 0,98. Discussion and conclusion: The accuracy of our build model can be compared with detection models in reviewed literature. There are no differences between models detecting different types of artefact or between models of detection algorithm using different type of pretrained convolutional neural network.

Changing different scan parameters result in appearance of ringing artefact. Those parameters are matrix size, voxel size and number of averages. Phase encode direction does not affect on Gibbs artefact appearance. Automatic detection of artefacts on magnetic resonance images helps us to avoid the need for time-consuming manual review of images and it enables us to correct artefact with use of computer algorithms. With using automatic detection of artefact, we can ensure higher image quality of magnetic resonance imaging.

Keywords: Gibbs artefact, MR image quality, deep learning, transfer learning, convolutional neural networks

KAZALO VSEBINE

1 UVOD ... 1

1.1 Nastanek magnetnoresonančnih slik ... 2

1.2 Lokalizacija signalov ... 3

1.3 Fourierjeva transformacija ... 4

1.3.1 k-prostor ... 5

1.4 Artefakti pri magnetnoresonančnih slikah ... 7

1.4.1 Artefakt zvonjenja ... 9

1.5 Metoda globokega učenja ... 11

1.5.1 Konvolucijske nevronske mreže ... 12

1.5.2 Globoko učenje z adaptacijo... 14

1.5.3 Nevronska mreža VGG16 ... 15

1.6 Teoretična izhodišča ... 16

2 NAMEN ... 19

3 METODE DELA ... 20

3.1 Zajem MR-slik ... 21

3.2 Označevanje baze podatkov ... 25

3.3 Izvedba globokega učenja z doučevanjem ... 25

3.4 Potrebna dovoljenja ... 28

4 REZULTATI ... 29

5 RAZPRAVA ... 32

6 ZAKLJUČEK ... 36

7 LITERATURA ... 38

KAZALO SLIK

Slika 1: Zapis v k-prostor ... 6

Slika 2: MR-slika fantoma s prisotnim artefaktom zvonjenja (levo) in k-prostor slike po izvedeni FT (desno) ... 6

Slika 3: Delitev artefaktov glede na izvor nastanka (Erasmus et al., 2004) ... 7

Slika 4: Delitev artefaktov glede na razlog nastanka (Krzeszowiec et al., 2017) ... 8

Slika 5: Shema globokih nevronskih mrež (Gill, 2020) ... 12

Slika 6: Shema VGG16 (povzeto po: Hassan, 2018) ... 16

Slika 7: MR-tomograf Philips Achieva 3.0 T TX z dStream sistemom ... 20

Slika 8: Uporabljen fantom za pridobivanje podatkov – MR-slik... 21

Slika 9: Prikaz treh izbranih rezin iz vsakega seta slik (levo: rezina 1, na sredini: rezina 2, desno: rezina 3) ... 24

Slika 10: Povečane MR-slike – prikaz artefakt zvonjenja različnih intenzivnosti ... 25

Slika 11: Postopek predobdelave MR-slik ... 26

KAZALO TABEL

Tabela 1: Slikovni parametri uporabljenih pulznih zaporedij zajemanja slik ... 23 Tabela 2: Ujemanje ocenjevalk ... 29 Tabela 3: Kakovost izdelanega modela prepoznave artefakta zvonjenja ... 30

SEZNAM UPORABLJENIH KRATIC IN OKRAJŠAV

AP Anteroposterioren

AUC Področje pod krivuljo (angl. Area under curve)

CNN Konvolucijske nevronske mreže (angl. Convolutional neural networks) FA Odklonski kot (angl. Flip angle)

FOV Področje zanimanja (angl. Field of view) FT Fourierjeva transformacija

MR Magnetna resonanca

MRI Magnetnoresonančno slikanje (angl. Magnetic resonance imaging) PNG Format slik PNG (angl. Portable Network Graphics)

RF Radiofrekvenčni

RL Od desne proti levi (angl. Right-left)

TE Čas odmeva

TL Metoda globokega učenja z adaptacijo (angl. Transfer learning)

TR Čas ponavljanja

1

1 UVOD

Razvoj magnetnoresonančnega slikanja (angl. Magnetic resonance imaging – MRI) je prinesel velik napredek na področju slikovne diagnostike. Velika prednost MR-slikanja je v tem, da pacient ni izpostavljen potencialno nevarnemu ionizirajočemu sevanju. Z zniževanjem stroškov in boljšo dostopnostjo postaja MR-tomografija vse pogostejša slikovna metoda v klinični praksi. Razumevanje osnovnega principa delovanja nam pomaga izkoristiti njene prednosti in širino uporabe ter razumeti njene pomanjkljivosti (Grover et al., 2015).

Zagotavljanje visokokakovostnih medicinskih slik bistveno vpliva na pravilno interpretacijo klinično pomembnih informacij. MR-slike lahko vsebujejo različne slikovne artefakte, ki zmanjšajo natančnost klinične analize. Zaradi kompleksnosti zajema signala, izboljšava kakovosti slik z artefakti, zajetih na MR-tomografih, predstavlja precejšen izziv (Oksuz et al., 2019).

Neželeno strukturo na sliki, ki se ne ujema s slikanim objektom in hkrati ni naključni šum, imenujemo artefakt. Vir artefakta na MR-sliki je lahko pomanjkljivost v strojni opremi, strukturna lastnost slikanega tkiva ali njegovo biološko vedenje, postopek pridobivanja in rekonstrukcija slike ter slaba izbira parametrov slikanja (Smith, Nayak, 2010). Prisotnost artefakta na sliki lahko vodi do napačne interpretacije ali napačne diagnoze, še posebej če ta prikaže lažno patološko stanje. Prvi pogoj prepoznave slikovnega artefakta na sliki je razumevanje fizikalnih osnov MR-delovanja in teorije zajemanja slike. Številne artefakte lahko na podlagi razumevanja njihovega nastanka popravimo, minimiziramo ali se povsem izognemo njihovemu nastanku (Stadler et al., 2007).

Artefakt zvonjenja ali Gibbsov artefakt je artefakt, ki nastane zaradi načina procesiranja zajetega signala v dvodimenzionalno sliko na zaslonu. Kaže se kot svetel ali temen signal v obliki številnih linij, ki potekajo vzporedno z robovi nenadnih sprememb. Pogosto se pojavi pri MR-slikanju glave in hrbtenice (Stadler et al., 2007).

Visoka kakovost slik pri slikovnih metodah bistveno vpliva na končen rezultat klinične presoje o diagnozi (Oksuz, 2020). Vzrok nepravilnih diagnoz je lahko prav v MR-sliki nižje kakovosti (Oksuz et al., 2019). Za vzdrževanje visokega nivoja delovanja MR-tomografa je nujna rutinska kontrola kakovosti. Vsebuje preverjanje različnih komponent, med drugim tudi kontrolo kakovosti MR-slik, med katero spada prisotnost artefaktov na sliki. Vendar pa

2

je lahko redno preverjanje kakovosti zelo zamudno, zato se razvija kontrola kakovosti z uporabo avtomatskega procesa, ki skrajša časovno zamudnost kontrole kakovosti, hkrati pa zmanjša napake zaradi človeškega faktorja (Oksuz, 2020; Sun et al., 2015).

V današnji dobi lahko pri avtomatizaciji procesov uporabljamo postopke strojnega učenja in umetne inteligence na različnih področjih. Globoko učenje je trenutno ena izmed najboljših metod strojnega učenja in ga uporabljamo predvsem na področju računalniške obdelave slik (Carrio et al., 2017). Osrednji modeli globokega učenja so nevronske mreže z več povezanimi sloji in posledično z veliko parametri, ki jih je potrebno določati s postopki učenja na velikih količinah podatkov (Gilll, 2020). V primeru slik tako potrebujemo veliko količino označenih slik in izjemno računsko moč, da takšne mreže učimo. V primeru manjše količine podatkov pa lahko uporabimo metode globokega učenja, ki teh dveh pogojev ne potrebujejo. Primer take metode je metoda globokega učenja z doučevanjem.

Z magistrsko nalogo želimo ustvariti model avtomatske prepoznave artefakta zvonjenja na MR-slikah z uporabo MR-slik fantoma za kontrolo kakovosti MR-aparata in uporabo ustreznih metod globokega učenja. Izdelan model lahko posledično uporabimo za izboljšavo kakovosti MR-slik z odpravo zaznanega artefakta, ga izpopolnimo za zaznavo in odpravo drugih artefaktov, hkrati pa bi se dodelan model prepoznave različnih artefaktov lahko dodal avtomatski kontroli kvalitete MR-tomografa.

1.1 Nastanek magnetnoresonančnih slik

Slikanje z magnetno resonanco temelji na osnovah jedrske magnetne resonance. Beseda ''jedrska'' se je pri slikanju z magnetno resonanco sčasoma ovrgla zaradi nepravilnega povezovanja magnetnoresonančnega slikanja z radioaktivnostjo (Doan et al., 2013). Vzrok za nastanek signala pri magnetni resonanci je vrtenje (angl. spin) protonov v atomskih jedrih okoli svoje osi in okoli osi osnovnega magnetnega polja z gostoto B0 (Joseph, 2009).

Rotacijo magnetizacije brez spreminjanja njene magnitude imenujemo precesija (Buxton, 2009).

Za tvorbo signala MR-slike potrebujemo močno magnetno polje, enega ali več radiofrekvenčnih (RF) pulzov ter šibkejša magnetna polja, ki jih ustvarjajo gradientne tuljave (Smith, Nayak, 2010). Ko objekt izpostavimo močnemu magnetnemu polju, protoni precesirajo okoli magnetnega polja in se poravnajo z njegovo smerjo. Del se jih poravna

3

paralelno s smerjo magnetnega polja, del pa paralelno v nasprotni smeri magnetnega polja in tako nastane magnetizacija v longitudinalni smeri. Jakost magnetizacije je odvisna od števila protonov na kubični centimeter in gostote magnetnega polja B0. Signal, ki ga je mogoče izmeriti, se pojavi ob dovajanju RF-pulza, ki vektor magnetizacija obrne za 90° in s tem producira magnetizacijo v transverzalni smeri. Po izklopu RF-pulza začne transverzalna magnetizacija eksponentno padati, saj se protoni vračajo v osnovno stanje.

Istočasno se znova pojavi longitudinalna magnetizacija, ki jo tvorijo precesijski protoni v osnovnem magnetnem polju (Buxton, 2009). Ob tem se sprošča energija, ki jo lahko merimo kot dušeno nihanje. Izmerjen signal pretvorimo z matematično funkcijo, imenovano Fourierjeva transformacija (FT), v MR-sliko ali frekvenčni spekter (Grover et al., 2015).

1.2 Lokalizacija signalov

Prostorski izvor signala pravilno določimo z uporabo gradientnih polj v različnih smereh.

To so dodatna polja, ki prostorsko linearno spreminjajo moč osnovnega statičnega magnetnega polja v določeni smeri (Grover et al., 2015). Če kodiramo tridimenzionalen objekt, uporabimo tri gradiente: gradient za izbiro rezine za kodiranje po osi z, frekvenčni gradient za kodiranje po osi x in fazni gradient za kodiranje signala po osi y (Doan et al., 2013).

Gradientno polje v MR se uporablja za linearno spremembo v eni smeri in je centrirano okoli izocentra gantryja MR-tomografa. Na eni strani izocentra bodo tako vrednosti magnetnega polja manjše kot v izocentru B0, na drugi strani izocentra pa bodo vrednosti večje od B0. Prisotnost gradienta s tem razdeli magnetno polje na ravnine konstantnih vrednosti, ki vsebujejo eno izmed variacij vrednosti B1 in so povezane z njihovo prostorsko informacijo.

Edina zahteva za gradienta polja, ki se uporabljajo za kodiranje signala v MR, je, da so ta med seboj pravokotna (Dale et al., 2015).

Gradient za izbiro rezine spremeni frekvence magnetnega polja po z osi. Vključen je istočasno kot RF-pulz, ki je oblikovan pulz določenega obsega frekvenc. V celotnem magnetnem polju se ob uporabi gradienta za izbiro rezine in RF-pulza vzbujajo le protoni določenih frekvenc, ki nam določijo izbrano rezino. Na podlagi vrednosti znanih frekvenc lahko izvemo, v kateri rezini se protoni nahajajo (Joseph, 2009).

4

Ko je rezina izbrana, je treba razlikovati signale iz posameznega voksla v rezini. Ta postopek imenujemo prostorsko kodiranje slike in zanj uporabimo še dva dodatna gradienta:

frekvenčni in fazni gradient (Doan et al., 2013). Frekvenčni gradient povzroči različno hitrost precesiranja protonov v smeri x in zagotovi prostorsko informacijo posameznih protonov v tej smeri. Informacija o položaju se kodira v frekvenčni prostor. V smeri y informacijo kodiramo s faznim gradientom v fazni prostor. Fazni gradient je vklopljen pred zajemom podatkov in povzroči precesiranje protonov z različnimi frekvencami. Z začetkom zajemanja podatkov se ta izključi, kar povzroči, da imajo precesijski protoni spet enako frekvenco, a različno fazo. S tem postopkom zakodiramo signal ene rezine (Seiberlich, Jordan, 2017).

1.3 Fourierjeva transformacija

Jean-Baptiste Joseph Fourier, po katerem je Fourierjeva transformacija dobila ime, je razvil zapis neznanih funkcij v znano obliko zapisa kombinacije sinusov in kosinusov. Vsako sinusno nihanje, ki je osnova FT, zapišemo po enačbi (1) in mu lahko določimo njegovo amplitudo (A), krožno frekvenco (ω) in fazni zamik (φ). Različna sinusna nihanja se razlikujejo po amplitudah, krožnih frekvencah in faznih zamikih (Bourne, 2010).

𝑓(𝑥) = 𝐴 ⋅ sin(𝜔𝑡 + 𝜑) (1)

Sinusno funkcijo lahko zapišemo v časovnem ali v frekvenčnem prostoru, pri čemer podamo enako informacijo. Frekvenčni prostor nosi podatek o amplitudi in fazi pri številu sprememb (krožna frekvenca) sinusnega nihanja, interpretacija tega pa je v nekaterih primerih lahko bolj berljiva kot v časovnem prostoru. Signali, ki jih pridobimo pri MR-slikanju, so zato zapisani v frekvenčnem prostoru v t.i. k-prostoru z magnitudnim in faznim spektrom. Takšne signale v frekvenčnem prostoru lahko zapišemo z naslednjo zvezo (Bourne, 2010):

𝑓(𝑥) =¹

2𝑎₀+ ∑^∞_𝑛=1𝑎_𝑛cos(𝑛𝜔₀𝑥)+ ∑^∞_𝑛=1𝑏_𝑛sin(𝑛𝜔₀𝑥) (2) V tem primeru signal 𝑓(𝑥) zapišemo s kombinacijo sinusnih in kosinusnih nihanj, pri čemer določamo amplitudo 𝑎_𝑛 pri kosinusnem nihanju in amplitudo 𝑏_𝑛 pri sinusnem nihanju pri različnih frekvencah 𝑛𝜔₀. Ta zapis lahko enačimo le v primeru, ko vzamemo neskončno število signalov, kar je sicer matematično pravilno, a praktično neizvedljivo. Ker pa pri zapisu periodičnega signala namesto neskončne vrste uporabimo končno vrsto, govorimo le

5

o aproksimaciji neznanega signala. Zaradi te aproksimacije nastane t. i. Gibbsov fenomen (Bourne, 2010).

MR-signal odčitamo iz celotnega slikanega volumna z uporabo sprejemne tuljave. Zajeti podatki vsebujejo kompleksen večfrekvenčni signal, ki ga je za prikaz MR-slike treba ločiti na posamezne frekvence. FT loči signal posameznih frekvenc in jih oblikuje v ''mapo'' signalov. Frekvence zajetega signala pa vsebujejo tudi podatek o prostorskem izvoru spinov, zato je ta ''mapa'' frekvenc ekvivalentna enodimenzionalni sliki spinov jeder (Seiberlich, Jordan, 2017).

1.3.1 k-prostor

MR-slika predstavlja prostorsko porazdelitev transverzalne magnetizacije v določeni časovni točki po vzbujanju protonov. Dvodimenzionalna FT signala je definirana kot k- prostor in vsebuje surove podatke o sliki. K-prostor se polni s podatki, ki jih pridobimo s frekvenčno in fazno kodirajočima gradientoma. Sestavljen je iz vrstic in stolpcev, z inverzno FT k-prostora pa dobimo končno dvodimenzionalno MR sliko (Doan et al., 2013). Vsaka točka v k-prostoru vsebuje vse podatke o signalu, ki prihaja iz določenega voksla znotraj rezine: frekvenco, fazo in amplitudo (Dale et al., 2015).

Pri pulznem zaporedju zajemanja MR-slike je najprej sprožen določen RF-pulz, ki se uporablja za vzbujanje protonov v telesu, istočasno pa je vklopljen tudi gradient za izbiro rezine. Vsaka rezina ima svoj zapis v k-prostoru, ki se polni z izbiro različnih frekvenčnih in faznih gradientov. Fazni gradient je za nekaj časa vklopljen po izklopu RF-pulza in gradienta za izbiro rezine. Ob izklopu faznega gradienta se vklopi frekvenčni gradient in podatek se zapiše na eno mesto v k-prostoru. Fazni gradient določa, v katero vrstico k- prostora se bo posamezen podatek zapisal. Frekvenčni gradient pa določa, v kateri stolpec k-prostora bo podatek vpisan (Moratal et al., 2008). Slika 1 prikazuje smeri vpisovanja podatkov glede na vključene gradiente. Podatek v sredini k-prostora je pogoj za nastanek MR-slike, ki pa predstavlja določeno rezino slikanega predela.

6

Slika 1: Zapis v k-prostor

K-prostor ima enako število vrstic in stolpcev kot MR-slika. Eno vrstico v k-prostoru zajamemo v enem TR-času. Osrednji del k-prostora vsebuje signal nizkih frekvenc in s tem informacijo o kontrastu slike, periferni del k-prostora pa signal visokih frekvenc, torej informacijo o resoluciji slike. K-prostor se s podatki lahko polni na različne načine. Ta vpliva na način vzorčenja podatkov in na skrajšanje časa zajemanja signala (Doan et al., 2013).

Spodnja slika prikazuje prikaz rezine MR-slike s prisotnim artefaktom zvonjenja pri slikanju homogenega dela fantoma (slika 2 – levo) in pripadajoči k-prostor signalov omenjene rezine (slika 2 – desno). Artefakt na sliki nastane zaradi izbranih slikovnih parametrov, natančneje zaradi majhne velikosti matrike, ki določa velikost k-prostora in posledično omejuje zapis večjega števila kombinacij sinusov in kosinusov.

Slika 2: MR-slika fantoma s prisotnim artefaktom zvonjenja (levo) in k-prostor slike po izvedeni FT (desno)

--- --- --- --- --- --- ---

Legenda:

gradient za izbiro rezine fazni gradient

frekvenčni gradient

7

1.4 Artefakti pri magnetnoresonančnih slikah

Artefakt je definiran kot struktura, ki se pojavi na sliki in je v resnici ni na izvirnem objektu.

Njegova prisotnost lahko poslabša kakovost preiskave, prikrije patologijo ali pa jo zamenja za patologijo (Oksuz, 2020; Erasmus et al., 2004). Pri vsaki slikovni metodi artefakti izhajajo iz načina delovanja diagnostičnih naprav (Krzeszowiec et al., 2017).

Različni avtorji kategorizirajo artefakte glede na njihove značilnosti v posamezne skupine.

Erasmus in sodelavci (2004) delijo artefakte pri MR-slikanju na podlagi njihovega izvora v tri glavne skupine (slika 3): artefakte, povezane s pacientom, artefakte, povezane s procesiranjem signala, in artefakte, povezane s strojno opremo. V prvo skupino uvrščamo artefakte zaradi premika, pretoka in zaradi kovine in jih najlažje ter najbolj učinkovito lahko odpravimo. Druga skupina artefaktov je posledica načina vzorčenja, obdelave in procesiranja slikovne matrike. Najširša skupina artefaktov so artefakti, povezani s strojno opremo, ki jih je treba obravnavati ločeno. Ti so najzahtevnejši za odpravo in razumevanje njihovega nastanka.

Slika 3: Delitev artefaktov glede na izvor nastanka (Erasmus et al., 2004)

Krzeszowiec in sodelavci (2017) pa artefakte pri MR razdelijo na artefakte, povezane z gibanjem, artefakte, povezane s tkivi, in artefakte, povezane z uporabo slikovnih tehnik

Izvor nastanka

ARTEFAKTI PRI MR

SLIKANJU

8

(slika 4). Artefakti, povezani z gibanjem, so posledica premikanja slikanega predela in so tesno povezani s pacientom. Delimo jih na dve skupini: na tiste, na katere pacient ima vpliv, in na tiste, na katere pacient ne more vplivati. Prva skupina predstavlja artefakte zaradi dihanja, zavestnega premikanja pacienta in požiranja. Artefakti, ki nastanejo zaradi gibanja pacienta, na katerega ta ne more vplivati, so artefakti zaradi pretoka, pulziranja žil, kroženja likvorja, peristaltike in tremorja. Artefakti, ki so povezani s tkivi, so posledica njihovih lastnosti. Primera artefaktov, ki spadajo v to skupino, sta artefakt kemijskega premika in artefakt zaradi susceptibilnosti. Zaradi pomanjkljivosti slikovnih tehnik, napak komponent MR-tomografa in zunanjih dejavnikov nastanejo artefakti, povezani z uporabo slikovnih tehnik.

Slika 4: Delitev artefaktov glede na razlog nastanka (Krzeszowiec et al., 2017)

Artefakti se pri slikovnih tehnikah pojavijo predvsem zaradi napak pri slikovnem zajemanju.

Pogosto se na sliki pojavi več različnih vrst artefaktov. Čeprav se nekaterim artefaktom Razlog nastanka

ARTEFAKTI PRI MR-SLIKANJU

9

lahko izognemo z uporabo ustreznih tehnik slikanja, vseh ne moremo preprečiti kljub dobro oblikovanim protokolom slikanja in dobro vzdrževanim ter kalibriranim sistemom za zajem slike. Zaradi tega so se začeli razvijati številni postopki izboljšave slike za zmanjšanje ali popolno odpravo artefaktov. Metode izboljšave slike običajno vključujejo eno ali več strategij: izboljšanje delovanja strojne opreme, optimizacija pulznih zaporedij in parametrov skeniranja in naknadna obdelava slik. Prepoznava artefaktov in razumevanje njihovega vzroka nastanka je ključnega pomena pri pripravi robustnih protokolov skeniranja, oblikovanju pulznih zaporedij in oblikovanju algoritmov za obdelavo podatkov (Smith, Nayak, 2010).

1.4.1 Artefakt zvonjenja

Artefakt zvonjenja ali Gibbsov artefakt spada v skupino artefaktov, ki nastanejo zaradi napak pri kodiranju signala (Erasmus et al., 2004). Pri rekonstrukciji signalov v MR-slike uporabljamo FT, ki je zapis neskončne vrste kombinacije sinusnih nihanj. Ker pa smo pri MR slikanju omejeni na vzorčenje končnega števila frekvenc sinusnih nihanj in posledično uporabljamo aproksimacijo z zapisom končne vrste kombinacij sinusnih nihanj, se pojavi popačenje (Bourne, 2010). Vzrok za nastanek artefakta zvonjenja je torej neustrezno vzorčenje frekvenc slike in se izraža kot svetle ali temne koncentrične krožne črte vzporedne z robovi, ki predstavljajo nenadne spremembe intenzivnosti signala (Stadler et al., 2007).

Prikaz spominja na valove, ki se širijo ob padcu kamna v vodo (Bajc, Benko, 2019), in na prikaz nihajočega zvona, zato ga imenujemo artefakt zvonjenja. Pogosto se pojavi pri slikanju možganov in hrbtenice, občasno pa povzroča težavo pri interpretaciji slike (Stadler et al., 2007).

MR-slika je rekonstrukcija linearnih kombinacij nabora neodvisnih prostorskih frekvenčnih komponent. Podrobnih struktur MR-slike ne moramo prikazati pravilno, če visokofrekvenčne komponente niso ustrezno vzorčene. Najizrazitejše je to na predelih slike, kjer so robovi, saj zahtevajo večje število frekvenčnih komponent kot predeli, kjer so spremembe signalov bolj gladke (Worthoff et al., 2018). Posledica premajhnega vzorčenja visokih prostorskih frekvenc ostrih mej na sliki, katere predstavljajo robovi, se odraža kot artefakt zvonjenja. Na sliki se pojavi dodaten signal, v obliki številnih nepravilno lociranih črt bodisi močnega bodisi šibkega signala, ki bledijo z razdaljo. Najbolj je izražen pri manjših velikostih matrike, zato ga s povečanjem matrike ob enakem slikovnem polju lahko

10

tudi popravimo. Druge metode korekcije, uporabne za odstranjevanje Gibbsovega artefakta, sta filtriranje k-prostora pred inverzno FT in uporaba različnih rekonstrukcij (Erasmus et al., 2004). Bajc in Benko (2019) navajata uporabo filtrov v k-prostoru pred samo rekonstrukcijo slike ali zajemanje visoko prostorsko ločljivih podatkov za zmanjševanje artefakta zvonjenja. Filtriranje je namreč najpogostejša obdelava slik, s katero odstranimo ali zmanjšamo določene komponente na sliki z namenom izboljšave kakovosti slike (Bourne, 2010). Filtriranje slik v frekvenčnem prostoru je množenje k-prostora osnovne slike z masko.

Poznamo visokofrekvenčne filtre in nizkofrekvenčne filtre. Z nizkofrekvenčnimi filtri zmanjšamo količino šuma na sliki, posledično pa izgubimo ostrino robov (Moratal et al., 2008). Ker se Gibbsov artefakt na sliki pojavlja kot dodatne koncentrične črte, pa ga z uporabo nizkofrekvenčnega filtra k-prostora zmanjšamo, saj izgubimo ostrino teh črt in so slabše vidne.

Za razumevanje nastanka artefakta zvonjenja je pomembno, da vemo, da so ostre meje med visokokontrastnima predeloma predstavljene z visokofrekvenčnimi podatki. Največja vzorčena frekvenca je obratno sorazmerna z velikostjo slikovnih elementov (angl. pixel), kar pomeni, da manjša kot je velikost slikovnih pik, večja je frekvenca vzorčenja. Nastanek artefakta zvonjenja je povezan s končnim številom korakov kodiranja, ki jih FT uporabi za rekonstrukcijo slike. Pri vzorčenju lahko uporabimo manjše število korakov faznega kodiranja z namenom prihranka časa skeniranja, s čimer odrežemo najvišje frekvence. To povzroči nepravilno zapisovanje drobnih linij ostrih robov. Več korakov kot bomo uporabili pri faznem kodiranju, manj bo artefakt zvonjenja viden, a bo čas skeniranja daljši (Stadler et al., 2007).

Za odpravo problema premajhnega vzorčenja so bile razvite matematične metode ekstrapolacije višjih frekvenc podatkov, ki pa se klinično niso razširile. Artefakt zvonjenja lahko odpravimo z zmanjšanjem velikosti slikovnega elementa tako, da zmanjšamo področje zanimanja (angl. Field of view – FOV) ali povečamo matriko zajemanja (Stadler et al., 2007). Ob konstantni slikovni matriki se velikost slikovnega elementa namreč zmanjšuje, če zmanjšujemo področje zanimanja in obratno. Ob konstantnem FOV pa zmanjšamo velikost slikovnega elementa tako, da povečamo velikost slikovne matrike.

Ena izmed potencialno enostavnih rešitev prikaza artefakta zvonjenja je nizko pasovno filtriranje. Slednje je zelo učinkovito pri blaženju nihajnih struktur, ki je v našem primeru zvonjenje. Slaba lastnost takega filtriranja k-prostora pa je zameglitev ostrih struktur in s

11

tem poslabšanje prostorske ločljivosti MR-slike (Worthoff et al., 2018). Kot alternativa se lahko uporabi zajem visoko prostorsko ločljivih podatkov z večjim k-prostorom, ki pa podaljša čas zajemanja slik in zmanjša razmerje signal–šum ter s tem poslabša kakovost slike (Bajc, Benko, 2019).

Ideja magistrske naloge je, da se razvije avtomatski model prepoznave artefakta zvonjenja na MR-slikah fantoma za preverjanje kakovosti MR-tomografa z uporabo tehnik globokega učenja. V primeru uspešne prepoznave bi razvoj lahko potekal v smeri odprave na podlagi prepoznave določenega artefakta, brez posledičnega poslabšanja kakovosti slike.

1.5 Metoda globokega učenja

Globoko učenje je tehnika strojnega učenja, s katerim učimo računalniško opremo stvari, ki se jih ljudje naučimo z izkušnjami. Metoda globokega učenja v zadnjem času kaže izjemne rezultate na različnih področjih uporabe strojnega učenja. Čeprav je bila metoda globokega učenja opisana že leta 1971, pa takrat zbirke podatkov niso bile dovolj velike, hkrati pa je bila računska moč prešibka, da bi metodo lahko uspešno uporabili. S povečevanjem zbirk podatkov in večjo računsko močjo pa danes z metodami globokega učenja dosegamo visoke natančnosti pri analizi in obdelavi signalov, kot so prepoznave slik, govora in drugih biomedicinskih signalov (Carrio et al., 2017).

Modeli globokega učenja predstavljajo nevronske mreže, ki so sestavljene iz mnogih plasti (angl. layers) in naučene z različnimi postopki z uporabo velikih zbirk označenih podatkov.

Ti modeli dajejo med vsemi modeli strojnega učenja boljše rezultate, zato jih tudi v zadnjem času intenzivno uporabljamo (Gill, 2020).

Kako pa pravzaprav metoda globokega učenja deluje? Večina jih uporablja strukturo nevronskih mrež, zaradi česa se modeli večkrat poimenujejo kot globoke nevronske mreže.

Izraz ''nevronske'' se nanaša na to, da se računalniška metoda zgleduje po delovanju možganov. Nevroni si namreč prek medsebojnih povezav pošiljajo signale, ki na podlagi izračuna končne vrednosti sprožijo aktivacijsko funkcijo. Izraz ''globoke'' se nanaša na število skritih plasti v nevronskih mrežah (slika 5). Vsaka skrita plast je odgovorna za izvedbo nabora funkcij, ki temelji na izhodnem podatku iz prejšnje plasti. Tradicionalna nevronska mreža vsebuje 2 do 3 skrite plasti, medtem ko jih globoke mreže lahko imajo tudi 150. Vsaka naslednja skrita plast poviša kompleksnost in abstraktnost podatkov, kar

12

omogoča uporabo globokega učenja za zahtevnejše probleme. Takšni modeli nevronskih mrež pa imajo še eno zelo pomembno lastnost. Zaradi številnih plasti ni potrebno vnaprej pripravljati oziroma pridobivati značilk (ang. features) iz obravnavanih signalov (slik ipd.), ampak prepustimo nevronski mreži, da sama določa značilke direktno iz signalov, s čimer presežemo osnovno paradigmo strojnega učenja, pri kateri je treba najprej pridobiti značilke in nato graditi modele iz teh značilk (Gill, 2020).

Slika 5: Shema globokih nevronskih mrež (Gill, 2020)

Slika 5 prikazuje shemo globokih nevronskih mrež, kjer so prikazane tri glavne vrste plasti.

Vstopna plast predstavlja metapodatke, ki jih uporabnik vstavi z namenom pridobitve izhodne plasti z izhodnimi podatki (npr. klasifikacija slik). Skritih plasti je lahko veliko, kjer običajno začetne plasti uporabimo za določanje značilk iz signalov ali slik, končne plasti pa za klasifikacijo.

1.5.1 Konvolucijske nevronske mreže

Ena najbolj znanih tipov globokih nevronskih mrež so konvolucijske nevronske mreže (angl.

convolutional neural networks – CNN). Ime so dobile po linearni matematični operaciji konvoluciji, ki vedno predstavlja vsaj eno izmed plasti mreže. Konvolucijske nevronske mreže uporabljajo dvodimenzionalne konvolucijske plasti za učenje iz zbirke podatkov, zato so primerne za obdelavo dvodimenzionalnih podatkov, kot so slike, in omogočajo iskanje vzorcev oziroma značilk na njih brez odvečnega predprocesiranja (Carrio et al., 2017). Te plasti so glavni del opisanih mrež, ki pa vsebujejo tudi druge plasti.

Skrita plast

Vstopna plast Izstopna plast

13

Konvolucijske plasti CNN sestavljajo filtri matrične oblike, s katerimi izvajamo operacije konvolucije na slikah oziroma na prejšnjih plasteh nevronske mreže. S tem pridobivamo ustrezno vrednost na vsakem od filtrov, tako da vhodna slika ob prehodu skozi plasti aktivira določene nevrone, ko prehaja skozi mrežo, vse do zadnje plasti, ki je odgovorna za pravilno klasifikacijo v razrede (Ananthram, 2018).

Štiri osnovne operacije, ki se pojavijo pri vsaki konvolucijski nevronski mreži so:

• Konvolucija

Naloga konvolucijskih plasti je iskanje tipičnih odzivov na vhodni sliki. Vsako sliko lahko predstavimo kot matriko vrednosti slikovnih elementov. Konvolucija je matematična operacija, ki se na sliki izvede s pomočjo t. i. konvolucijskega filtra, ki drsi čez celotno matriko slike. Obstaja več različnih konvolucijskih filtrov, ki pa izvedejo različne operacije, kot so: zaznava robov na sliki, ostrenje slike, zameglitev slike. To raznolikost izrabljamo za zaznavo različnih odzivov iz vhodnih slik.

• Operacija ReLU

Operacija ReLU sledi vsaki konvolucijski operaciji in deluje tako, da iz vhodnih podatkov vse negativne vrednosti nadomesti z vrednostjo nič, ostale vrednosti pa pusti nespremenjene. Operacija tako popravlja vhodne podatke, da postanejo nič ali ostanejo pozitivni.

• Združevanje (angl. pooling)

Prostorsko združevanje je operacija, ki zmanjša dimenzijo vsake izvedene funkcije, a ohrani njene najpomembnejše informacije. Njena funkcija je postopno zmanjševanje prostorske velikosti vhodnih podatkov, s čimer zmanjša število funkcij na vhodnih slikah in jih pretvori v bolj obvladljive, hkrati pa zmanjša število parametrov in izračunov v omrežju. Omrežje je s tem tudi manj občutljivo na majhne spremembe, popačenja in premike na vhodnih slikah. To nam omogoča zaznavo tipičnih elementov na slikah, ne glede na katerem delu se ti nahajajo.

• Klasifikacija

14

Klasifikacija poteka v zadnjih izhodnih plasteh. Te plasti so običajno polno povezane in z njimi izvajamo razvrščanje oziroma ločevanje vhodnih podatkov v različne razrede, ki jih definiramo na učnih podatkih (Karn, 2016).

Zaradi številnih plasti imajo takšne mreže veliko parametrov, ki jih je treba določati v fazi učenja nevronske mreže. Za določanje tako velikega števila parametrov potrebujemo velike podatkovne zbirke z označenimi slikami in veliko računsko moč za učenje takšnih mrež.

Običajno za take mreže potrebujemo tudi nekaj milijonov označenih slik, na katerih se potem mreža uči tudi nekaj dni oz. tednov na izjemno zmogljivih računalnikih. V primeru, ko imamo majhne učne zbirke podatkov, zato uporabljamo drugačne pristope globokega učenja (Ananthram, 2018).

1.5.2 Globoko učenje z adaptacijo

V primeru, ko nimamo zelo velike količine podatkov, je najbolj primerna metoda globokega učenja pristop z adaptacijo (angl. transfer learning – TL). Pri tem pristopu vzamemo že obstoječ naučeni model nevronske mreže in ga prilagodimo problemu, ki ga rešujemo. Tako npr. vzamemo nevronsko mrežo, ki je naučena na večji zbirki slik in jo samo doučimo tako, da ji dodamo v učenje slike, ki jih želimo klasificirati. Pri tem moramo popraviti še plasti nevronske mreže, ki so namenjene sami klasifikaciji, da prepoznavajo samo tiste razrede, ki jih imamo v našem primeru.

Na ta način dosežemo dvoje: potrebna je manjša količina označene zbirke podatkov in manjša računska moč, saj že obstoječo mrežo le adaptiramo na določen problem klasifikacije tako, da spremenimo nekaj plasti namesto celotne nevronske mreže (Ananthram, 2018).

Razlog za odlično delovanje globokega učenja z adaptacijo je predvsem v tem, da uporabimo omrežje, ki je predhodno naučeno na veliki količini podatkov in je tako že naučeno prepoznavati osnovne in majhne dele različnih predmetov v svojih začetnih plasteh mreže.

Temu omrežju dodamo nekaj plasti na koncu predhodno usposobljenega omrežja in opazujemo, katere kombinacije že naučenih funkcij pomagajo pri prepoznavanju predmetov v našem novem naboru podatkov. Vse to omogoča, da je proces učenja krajši in zahteva manjše količine podatkov v primerjavi z učenjem nove nevronske mreže. Primeri obstoječih nevronskih mrež za uporabo pri globokem učenju z adaptacijo so npr. CNN mreže VGG-16, VGG-19 in Inception V3 (Ananthram, 2018).

15

1.5.3 Nevronska mreža VGG16

Nevronsko mrežo, imenovano VGG16, sta razvila Karen Simonyan in Andrew Zisserman leta 2014. Je zelo široko in enostavno uporabna konvolucijska nevronska mreža, naučena iz slikovne baze podatkov imenovane ImageNet. Ta vsebuje 14 milijonov označenih slik s 1000 različnimi razredi klasifikacije, ki vključujejo predvsem različne pasme psov in mačk.

ImageNet slikovna baza je zasnovana za uporabo pri raziskovanju globokega in strojnega učenja, predvsem CNN, za prepoznavo struktur in je prosto dostopna raziskovalcem za nekomercialno rabo (https://www.image-net.org/download.php). Sestavljena je iz treh delov: učne zbirke podatkov, testne zbirke podatkov in oznak (angl. image labels). Z namenom ocenjevanja uspešnosti različnih algoritmov pri zaznavanju predmetov in klasifikacije slik v velikem obsegu se organizira izziv prepoznavanja slik ImageNet (angl.

ImageNet large scale visual recognition challenge – ILSVRC). Raziskovalcem omogoča prikaz rezultatov uspešnosti in medsebojno primerjavo napredka. Model VGG16 dosega 92,7 % točnost pri določevanju posameznih razredov klasifikacij ImageNeta in spada med 5 najboljših modelov prepoznave pri ImageNetu (Hassan, 2018).

Vhodne slike v prvo konvolucijsko plast so barvne slike fiksne velikosti 224 x 224.

Posamezna slika v modelu potuje skozi niz konvolucijskih slojev, kjer so uporabljeni filtri majhnih velikosti (3 x 3). Prvi dve plasti modela imata 64 kanalov filtrov velikosti 3 x 3, ki jima sledi združevalna plast (2,2). Nato sledita dve plasti, ki imata konvolucijsko plast 128 filtrov enake velikosti 3 x 3 s sledečo združevalno plastjo, ki je po velikosti enaka prvi. Tri konvolucijske plasti, z 256 filtri velikosti 3 x 3 in končno združevalno plastjo so naslednje plasti, skozi katere slika potuje. Sledita dva seta treh zaporednih konvolucijskih plasti s končno združevalno plastjo. Vsaka plast vsebuje 512 filtrov velikosti 3 x 3. Tri polno povezane plasti (angl. fully-connected layers) sledijo omenjenim konvolucijskim plastem.

Prvi dve vsebujeta 4096 kanalov vsaka, tretja vsebuje 1000 kanalov za vsako klasifikacijo slik, vse pa so namenjene klasifikaciji slik. Zadnja plast (angl. soft-max layer) določi izračunan pripadajoč razred posamezni sliki. Vse skrite plasti vsebujejo tudi ReLU popravke (Hassan, 2018).

Na sliki 6 je shematski prikaz zgradbe uporabljene konvolucijske nevronske mreže VGG16 s 16 plastmi. Temno zelene plasti predstavljajo konvolucijske plasti, modre so združevalne plasti, polno povezane plasti so svetlo zelene, zadnja klasifikacijska plast pa je rdeče barve.

Plasti ReLU, s katerimi popravljamo negativne vrednosti, na shemi niso prikazane. Vhodna

16

slika na shemi je sivinska slika MR-fantoma za preverjanje kakovosti, ki ima vse tri vrednosti kanala RGB enake, smo pa umetno ustvarili tudi barvne slike, saj smo želeli izkoristiti vse tri kanale RGB, na katerih je VGG16 naučena.

Slika 6: Shema VGG16 (povzeto po: Hassan, 2018)

1.6 Teoretična izhodišča

V študiji Oksuz (2020) so želeli z uporabo konvolucijskih nevronskih mrež zaznati artefakt zaradi gibanja, ki se pojavi pri MR-slikanju glave, in ga z uporabo korekcijskega algoritma odpraviti. Uporabili so nabor podatkov MR-slik subakutnih ishemičnih možganskih kapi, ki je javno dostopen (http://www.isles-challenge.org/ISLES2015/). Na slikah so z metodo, ki temelji na fizikalnem ozadju delovanja magnetne resonance, umetno ustvarili artefakt zaradi gibanja. Njihova mreža zaznavanja artefakta je temeljila na konvolucijski nevronski mreži Densenet-201. Prvi del izgrajene mreže zaznave in odprave artefakta zaradi gibanja na MR- slikah glave so v študiji predstavljale vhodne 2D MR-slike glave, ki so bile vnesene v mrežo zaznave (angl. detection network). V primeru, da je model zaznal slabo kakovost slik, v smislu prisotnosti artefakta, je slika potovala v korak korekcije artefakta (angl. correction network) in nato v zadnji korak, če pa model prisotnosti artefakta zaradi gibanja na MR-sliki ni prepoznal, pa je slika potovala takoj v zadnji razvrstitveni korak mreže (angl.

segmentation network). Končni izhodni podatki takega modela so bile visokokvalitetne slike z odpravljenim artefaktom zaradi gibanja pri MR-slikanju glave, čeprav so vhodni podatki vsebovali omenjen artefakt. Rezultate zaznave omenjenega artefakta so predstavili kot

konvolucija + nelinearnost združevanje

polno povezane plasti namenjene klasifikaciji

17

točnost in je znašala 97,8 %. Z uporabljenim modelom so uspešno omogočili boljšo kakovost MR-slik in posledično lažjo prepoznavo infarkta na kakovostnejših slikah.

Parry in sodelavci (2019) so v prospektivno raziskavo vključili številne različne MR- preiskave, pri katerih so ocenjevali morebitne artefakte na slikah in jih poskušali zmanjšati ali celo povsem odpraviti. Cilji njihove raziskave so bili prepoznava različnih artefaktov na MR-slikah, iskanje razloga nastanka artefakta, izbira metode korekcije prisotnega artefakta in ugotavljanje uspešnosti uporabljene metode za zmanjšanje ali odpravo artefakta.

Raziskava je vključevala vse paciente, ki so bili napoteni na njihov radiološki oddelek, podatke pa so zbirali na MR-tomografu Magnetom Avanto Siemens 1.5 T v Nemčiji. Vse preiskave so izvedli radiološki inženirji, prisoten pa je bil tudi izkušen radiolog. Med zajemanjem MR-slik so sproti ocenili prisotnost artefaktov pri vsaki preiskavi. V primeru pojava artefakta na sliki so izvajalci preiskave zapisali uporabljene parametre slikanja in podatke o preiskavi, kot so: predel slikanja, uporabljeno pulzno zaporedje, smer faznega in frekvenčnega kodiranja, področje zanimanja, čas ponavljanja (TR – angl. time repetition), čas odmeva (TE – angl. time echo), debelina reza in velikost matrike. Vsakič se je prav tako preverila pravilna namestitev tuljave in možni zunanji motilci magnetnega polja (npr.

mobilni telefon in druge elektronske naprave). Naknadno so se uporabile metode za zmanjšanje in odpravo artefakta za določeno vrsto artefakta. V raziskavo so zajeli 209 pacientov, najpogostejši artefakt pa je bil artefakt zaradi premika (20,6 %). Avtorji so ugotovili, da je pojavnost artefakt zvonjenja oz. Gibbsovega artefakta v njihovi raziskavi redka (2,4 %), pojavi se pa večinoma pri slikanju različnih segmentov hrbtenice. Vzrok za nastanek artefakta so pripisali nepravilnemu vzorčenju podatkov, na sliki pa se je izražal kot dodatne serije linij, ki so potekale paralelno z nenadnimi spremembami v objektu. Uspešno zmanjšanje artefakta so izvedli z uporabo zglajevalnih filtrov, povečanjem velikosti matrike in uporabo tehnik zasičenja maščob.

Oksuz s sodelavci (2019) opisuje uporabo metode avtomatične detekcije in korekcije artefaktov, povezanih s premikanjem pri kardiovaskularnem MR-slikanju, med rekonstrukcijo podatkov iz k-prostora. S pomočjo globokih nevronskih mrež so uporabili metodo, ki prepoznava artefakt v k-prostoru in pretvori nalogo popravljanja artefakta na sliki v rekonstrukcijski problem podvzorčene slike. Metoda korekcije se nato izvede na podvzorčenih rekonstrukcijah kino MR-posnetkov srca. Svojo metodo odprave artefaktov so primerjali z drugimi uspešnimi metodami odpravljanja artefaktov in ugotovili, da opisana

18

metoda ohranja kakovost prvotnih slik, zato jo predlagajo kot splošni algoritem za rekonstrukcijo slike.

Kelly in sodelavci (2017) so v svoji raziskavi želeli z uporabo računalniških tehnik pregledovanja slik najti rešitev, ki bi odpravila problem ročnega pregleda MR-slik s strani človeka. Časovna zamuda pregleda in odločanja o ustreznosti zajetih MR-slik bi bila povsem odpravljena z avtomatiziranim računalniškim pregledom slik. S pomočjo globokega učenja z doučevanjem so avtorji izgradili model prepoznave artefakta zaradi gibanja. Baza podatkov, ki so jo uporabili za izgradnjo modela, je bila sestavljena iz difuzijsko obteženih MR-slik glav novorojenčkov, zajetih v spontanem spancu, na MR-tomografu Philips Achieva 3 T intenzivne enote bolnišnice Saint Thomas v Londonu. Za zajem signala so uporabili 32-kanalno tuljavo za glavo, prilagojeno za novorojenčke. MR-slike so ocenjevalci razvrstili v tri različne kategorije: sprejete slike, mejne slike in zavrnjene slike. Nabor MR- slik, ki so spadale v kategorijo mejnih slik, niso uporabili, zato je njihova baza MR-slik predstavljala 207.249 označenih slik, kategoriziranih v skupino sprejetih ali zavrnjenih slik.

Konvolucijska nevronska mreža, ki so jo uporabili v opisani raziskavi, je Inception V3, ki so jo prilagodili svojemu problemu. Opisani rezultati prikazujejo točnost kategorizacije v ustrezno skupino med 96,8 % in 98 % v različnih kategorijah difuzijsko obteženih MR-slik.

Z uporabo računalniškega pregleda slik z izgrajenim modelom v kliničnem delu bi, poleg prihranjenega časa potrebnega za pregled slik, zmanjšali tudi prispevek človeške napake pri odločitvah o ustreznosti slik glede na prisotnost artefakta.

Huang in Chen (2005) v svoji raziskavi opisujeta izboljšavo metode zmanjšanja oziroma odprave Gibbsovega artefakta zvonjenja, imenovano Gegenbauerjeva rekonstrukcijska metoda. Čeprav omenjena metoda uspešno odstrani artefakte brez pomembnega poslabšanja ločljivosti slike, je njena glavna pomanjkljivost zahtevna izbira parametrov in čas, potreben za izračune. Gegenbauerjevo metodo izboljšata z uporabo polinomov Chebysheva, izboljšana metoda pa učinkovito zmanjša napake zaradi izračunov, hkrati pa izbira parametrov ni potrebna. Prednost izboljšane metode je tudi boljša zaznava robov, ki pripomore k učinkovitosti odprave Gibbsovega artefakta zvonjenja.

19

2 NAMEN

Namen magistrske naloge je razvoj in izgradnja metode avtomatske prepoznave artefakta zvonjenja pri slikanju z magnetno resonanco pri MR-slikanju. MR-slike bomo pridobili z MR-tomografom Philips Achieva 3.0 T TX z dStream sistemom, ki se nahaja na Medicinski fakulteti Univerze v Ljubljani, v Centru za klinično fiziologijo. Z uporabo slik fantoma za kontrolo kakovosti MR-tomografa in ustreznih tehnik metod globokega učenja želimo ustvariti prototipni postopek avtomatske prepoznave artefakta zvonjenja.

Cilj raziskovalne naloge je izgradnja procesa avtomatske prepoznave Gibbsovega artefakta z uporabo metode globokega učenja na MR-slikah, narejenih pri določenih eksperimentalnih pogojih. Model se lahko uporabi za izgradnjo avtomatskega procesa prepoznave istega in ostalih artefaktov pri MR-slikanju pacientov. Z vpeljavo samodejne detekcije in posledično odprave artefakta zvonjenja na MR se bo kakovost slik bistveno izboljšala in število nepravilno postavljenih diagnoz zaradi prisotnosti artefakta se bo zmanjšalo.

V magistrski nalogi bomo skušali odgovoriti na naslednji raziskovalni vprašanji:

1. Ali lahko z metodami globokega učenja prepoznamo Gibbsov artefakt?

V raziskavi bomo z uporabo tehnike globokega učenja z adaptacijo zgradili model prepoznave artefakta zvonjenja na pridobljenih slikah. Posledično želimo s tem modelom avtomatično zaznati prisotnost artefakta na sliki in tako omogočiti odpravo artefakta brez zmanjšanja kakovosti MR-slike.

2. Katere nastavitve MR-aparata vplivajo na pojav Gibbsovega artefakta?

Artefakt zvonjenja je posledica rekonstrukcije MR-slike, ki se kaže kot dodatne linije na MR-sliki in se izrazi ob določenih slikanih parametrih. Če določene parametre prilagodimo, lahko artefakt odpravimo. V raziskavi bomo ugotavljali, kako spreminjanje številnih parametrov, npr. velikosti matrike in posledično velikosti voksla ter spreminjanje smeri zajemanja, vplivajo na prikaz Gibbsovega artefakta.

20

3 METODE DELA

Literaturo, ki se uporablja za predstavitev teoretičnega ozadja in relevantnih raziskav, smo pregledovali od aprila 2020 in čez celoten potek izvajanja magistrske naloge. Uporabili smo podatkovne baze digitalne knjižnice Zdravstvene fakultete Univerze v Ljubljani. Slovensko literaturo smo iskali z različnimi kombinacijami ključnih besed: magnetnoresonančna tomografija, artefakt zvonjenja, detekcija, kakovost MR-slik, metode globokega učenja, konvolucijske nevronske mreže. Pri iskanju angleške literature smo uporabili kombinacije ključnih besed: magnetic resonance imaging, image formation, Gibbs artefact, image processing, detection of MR artefacts, deep learning, transfer learning, convolutional neural networks. Kriteriji izbora so bili dostopnost besedila, navedba avtorjev, objava v recenzirani reviji in zapis raziskave v slovenskem ali angleškem jeziku. Članke, ki niso vsebovali navedbe avtorjev, smo izključili.

Raziskovalna metoda, ki smo jo uporabili pri magistrski nalogi, je eksploratorna metoda.

Podatki za raziskavo so MR-slike fantoma, narejene na MR-tomografu Philips Achieva 3.0 T TX z dStream sistemom, ki se nahaja na Medicinski fakulteti Univerze v Ljubljani, v Centru za klinično fiziologijo (slika 7).

Slika 7: MR-tomograf Philips Achieva 3.0 T TX z dStream sistemom

Pri zajemu MR-slik smo uporabili fantom za kontrolo kvalitete MR-tomografa in dStream 32-kanalno tuljavo za slikanje glave. Fantom (slika 8) je sestavljen iz treh delov, ki so

21

polnjeni s tekočino. Prvi del je homogen in je celotno izpolnjen s tekočino, drugi del vsebuje s tekočino izpolnjene razporejene palčke, tretji del pa vsebuje strukturo pravokotnika za kontrolo kvalitete delovanja MR-aparata.

Slika 8: Uporabljen fantom za pridobivanje podatkov – MR-slik

3.1 Zajem MR-slik

MR-slikanja fantoma smo izvedli s turbo spin echo pulznim zaporedjem v transverzalni ravnini z različno nastavljenimi slikovnimi parametri. Vrednost časa ponavljanja (TR) je 4933 ms, vrednost časa odmeva (TE) pa 100 ms in ju nismo spreminjali. Debelina reza je bila pri vseh slikanjih 3 mm, velikost polja je bila 210 cm², odklonski kot (FA– angl. flip angle) je bil 90°, število rezin pri posameznem pulznem zaporedju pa je bilo 36. Število povprečenj je bilo 2, razen v primeru zajemanja slik brez artefakta, ko smo izbrali število povprečenj 3. Za prikaz artefakta zvonjenja v različnih intenzivnostih smo spreminjali velikost matrike, smer zajemanja in velikost vokslov.

Za prikaz artefakta zvonjenja smo uporabili tri različne matrike: 140 × 135, 256 × 255, 364 × 285 in tri rekonstrukcijske matrike: 256, 320, 560; dve smeri zajemanja: anteriorno posteriorna (AP) smer zajemanja in smer zajemanja od desne proti levi (RL); tri različne

22

velikosti vokslov: 0,58 × 0,74; 0,82 × 0,82; 1,5 × 1,56 in tri rekonstrukcijske voksle: 0,38 × 0,38; 0,66 × 0,66; 0,82 × 0,82. Za slike brez prisotnosti artefakta zvonjenja smo uporabili dodatno rekonstrukcijsko matriko 768; rekonstrukcijski voksel 0,27 × 0,27. Slikovni parametri posameznega uporabljenega pulznega zaporedja so prikazani v tabeli 1.

Dodatno rekonstrukcijsko matriko smo uporabili zato, ker s povečanjem matrike lahko vplivamo na pojavnost artefakta zvonjenja. Dodatni rekonstrukcijski voksel 0,27 × 0,27 smo uporabili zato, ker ne mora biti večji od zajetega voksla 0,58 × 0,74. Število povprečitev smo povečali, saj vpliva na pojavnost artefakta zvonjenja.

23

Tabela 1: Slikovni parametri uporabljenih pulznih zaporedij zajemanja slik

Sekvenca FOV [cm²]

Akvizicijska matrika

Rekonstrukcijska matrika

Akvizicijski voksel

Rekonstrukcijski voksel

Debelina reza [mm]

Število povprečenj

TR [ms]

TE

[ms] FA [°] Smer zajemanja

Število rezin

1 210 140 × 135 256 1,50 × 1,56 0,82 × 0,82 3 2 4933 100 90 AP 36

2 210 140 × 135 256 1,50 × 1,56 0,82 × 0,82 3 2 4933 100 90 RL 36

3 210 140 × 135 320 1,50 × 1,56 0,66 × 0,66 3 2 4933 100 90 AP 36

4 210 140 × 135 320 1,50 × 1,56 0,66 × 0,66 3 2 4933 100 90 RL 36

5 210 140 × 135 560 1,50 × 1,56 0,38 × 0,38 3 2 4933 100 90 AP 36

6 210 140 × 135 560 1,50 × 1,56 0,38 × 0,38 3 2 4933 100 90 RL 36

7 210 256 × 255 256 0,82 × 0,82 0,82 × 0,82 3 2 4933 100 90 AP 36

8 210 256 × 255 256 0,82 × 0,82 0,82 × 0,82 3 2 4933 100 90 RL 36

9 210 256 × 255 320 0,82 × 0,82 0,66 × 0,66 3 2 4933 100 90 AP 36

10 210 256 × 255 320 0,82 × 0,82 0,66 × 0,66 3 2 4933 100 90 RL 36

11 210 256 × 255 560 0,82 × 0,82 0,38 × 0,38 3 2 4933 100 90 AP 36

12 210 256 × 255 560 0,82 × 0,82 0,38 × 0,38 3 2 4933 100 90 RL 36

13 210 364 × 285 384 0,58 × 0,74 0,55 × 0,55 3 2 4933 100 90 AP 36

14 210 364 × 285 384 0,58 × 0,74 0,55 × 0,55 3 2 4933 100 90 RL 36

15 210 364 × 285 560 0,58 × 0,74 0,38 × 0,38 3 2 4933 100 90 AP 36

16 210 364 × 285 560 0,58 × 0,74 0,38 × 0,38 3 2 4933 100 90 RL 36

17 210 364 × 285 768 0,58 × 0,74 0,27 × 0,27 3 3 4933 100 90 AP 36

18 210 364 × 285 768 0,58 × 0,74 0,27 × 0,27 3 3 4933 100 90 RL 36

MR-slikanja smo izvedli z 18 različnimi kombinacijami nastavitev in iz vsakega seta slik vzeli tri določene rezine. Ena izmed rezin je predstavljala homogen del fantoma – rezina 1, drugi dve pa nehomogen del fantoma – rezina 2 in rezina 3 (slika 9). Rezine smo določili tako, da je posamezna rezina pri vseh setih slik predstavljala približno enak predel fantoma.

Ker smo želeli, da baza podatkov vsebuje okrog 90 % slik brez artefakta in 10 % slik z artefaktom, smo pulzna zaporedja, pri katerih so nastavitve take, da artefakta zvonjenja naj ne bi bilo, ponovili večkrat. Nato smo sete slik poimenovali tako, da iz njih ni bilo razvidno, ali smo uporabili slikovne parametre, pri katerih artefakt zvonjenja nastaja, ali tiste, pri katerih naj artefakta zvonjenja ne bi bilo.

Slika 9: Prikaz treh izbranih rezin iz vsakega seta slik (levo: rezina 1, na sredini: rezina 2, desno: rezina 3)

Posledica izbire več različnih vrednosti posameznega slikovnega parametra se izraža v različnih intenzivnosti prikaza artefakta zvonjenja na MR-slikah. Slika 11 prikazuje primere MR-slik s prisotnim artefaktom zvonjenja v različnih intenzivnostih. Deli slik so povečani, da se bolje razbere artefakt. Levi del slike prikazuje najšibkejši artefakt zvonjenja, ki ga brez povečave težje opazimo, med tem ko srednji in desni del prikazujeta intenzivnejši artefakt zvonjenja.

Slika 10: Povečane MR-slike – prikaz artefakt zvonjenja različnih intenzivnosti

3.2 Označevanje baze podatkov

Zbirko slik sta neodvisno označili dve označevalki – ekspertka radiološke tehnologije in študentka radiološke tehnologije 2. stopnje. Slike sta označevali pod istimi pogoji na isti delovni postaji. Označevanje je potekalo tako, da je označevalka odprla posamezen set slik, izbrala prej določene 3 rezine in ocenila, ali je na posamezni rezini artefakt zvonjenja prisoten ali ne (0 = artefakt zvonjenja ni prisoten, 1 = artefakt zvonjenja je prisoten).

Rezultati so se vpisovali v program za preglednice Microsoft Office Excel. Za statistično analizo podatkov označevanja slik smo uporabili program IBM SPSS Statistics 26. Ujemanje med označevalkama smo preverili z izračunom Cohenovega koeficienta kappa.

V primeru nestrinjanja med ocenjevalkama je prisotnost artefakta ocenila tretja neodvisna ocenjevalka – ekspertka radiološke tehnologije. Končno bazo podatkov MR-slik smo v programu za preglednice uredili tako, da je vsebovala oznako posamezne slike rezine in ustrezno oznako pripadajočega artefakta (da = 1 ali ne = 0).

3.3 Izvedba globokega učenja z doučevanjem

Urejeno bazo podatkov smo v programu R pripravili za delo s programsko knjižnico Keras (https://keras.io/), ki predstavlja vmesnik za delo s programsko knjižnico Tensorflow (https://www.tensorflow.org/). Naš nabor označenih slik smo razdelili na tri skupine, ki so se med seboj razlikovale glede na vrsto rezine zajetih MR-slik. Skupina 1 je vsebovala MR- slike z rezino, ki prikazuje homogen del fantoma (rezina 1), skupina 2 je vsebovala MR-

slike z rezino, ki prikazuje prvi del nehomogenega dela fantoma (rezina 2), skupina 3 pa je vsebovala MR-slike z rezino, ki prikazuje drugi del nehomogenega dela fantoma (rezina 3).

Slike v vsaki skupini smo razdelili na tri enake dele, pri čem smo dve tretjini označenih slik uporabili za učno zbirko slik, eno tretjino pa kot testno zbirko slik. Razdelitev je bila izvedena naključno.

Za pravilni potek procesa razvijanja modela avtomatske prepoznave artefakta zvonjenja na MR-slikah fantoma za preverjanje kakovosti smo MR-slike fantoma najprej ustrezno predobdelali (slika 11). Slike so bile različnih velikosti, zato smo jih preoblikovali na velikost 256 x 256 ter jih pretvorili v format za obdelovanje slik PNG (angl. Portable Network Graphics). Vse slike v bazi smo ostrili z namenom poudarka efekta zvonjenja.

Uporabili smo filter ostrenja z uporabo inverzne difuzije, pri katerem smo kot amplitudo ostrenja določili 3. Vhodne slike v obstoječi nevronski mreži VGG16 so barvne slike, zato smo pri sivinskih slikah najprej izvedli psevdobarvanje z linearnim dodajanjem barvne palete od modre prek zelene do rumene. Za učenje modela smo kot vhodne slike posebej uporabili tudi sivinske MR-slike fantoma za preverjanje kakovosti. Psevdobarvanja pri končni izgradnji modela nismo uporabili, saj so bili rezultati v primeru uporabe slik brez psevdobarvanja boljši. Slika 11 prikazuje shemo poteka pred obdelave slik z dodanimi primeri posameznih slik.

Slika 11: Postopek predobdelave MR-slik

Za izdelavo in izvedbo modela avtomatske zaznave artefakta zvonjenja smo uporabili metodo globokega učenja z adaptacijo (angl. transfer learning) konvolucijske nevronske mreže. Kot že obstoječo nevronsko mrežo smo izbrali in uvozili konvolucijsko nevronsko mrežo VGG16. Nato smo uvozili generator slik (angl. Image data generator), katerega cilj

sivinske slike različnih velikosti v formatu DICOM

sivinske slike velikosti 256 x 256

v formatu PNG

ostrenje slik s filtrom ostrenja,

amplituda 3

psevdobarvanje ohranitev sivine

je enostaven uvoz podatkov z oznakami v model. Vsebuje številne funkcije spreminjanja velikosti, vrtenja, povečave, obračanja slik ipd. Generator slik ne vpliva na podatke, ki so shranjeni na disku, funkcije spreminjajo slike sproti, medtem ko so posredovane modelu. Z uporabo generatorja slik smo oblikovali učno in testno zbirko slik. Učno zbirko slik smo uporabili za določanje parametrov CNN, testno zbirko pa za validacijo modela.

Učno bazo slik smo oblikovali z učnim generatorjem. S tem smo priredili naše podatke, da je pod določenimi pogoji sprocesiral izbrane podatke tako, da jih je nastalo več in so predstavljali različne variacije obstoječih podatkov. Najprej smo sliko skalirali na velikost 150 × 150. Kot vrednost kota rotacije slike v bodisi levo ali desno stran smo določili kot 40°, vrednost premika po širini in višini smo določili 0,2 v katerokoli smer, vrednost povečave na katerem koli delu slike znaša 0,2, pri tem smo uporabljali interpolacijo tehniko najbližjega soseda (angl. nearest neighbour). Zrcaljenja preko horizontalne osi nismo izvedli zaradi simetričnosti artefaktov in slik, ki jih obdelujemo. S temi funkcijami, izvedenimi na naših podatkih, smo želeli doseči, da bo končni model sposoben prepoznave artefakta zvonjenja tudi, če bo ta npr. na drugem predelu slike.

Generator smo uporabili tudi za generiranje testne zbirke slik, vendar pa tu nismo izvajali preoblikovanja slik kot v primeru učne zbirke. Testna zbirka se namreč uporablja za validacijo modela in tu ne smemo preoblikovati slik za prepoznavanje artefaktov, saj morajo ostati v originalnem stanju. Edina funkcija, ki smo jo izvedli pri testni zbirki slik, je bila skaliranje na velikost 150 × 150.

Obstoječi konvolucijski mreži VGG16 smo na konec dodali dve novi plasti: prva dodana plast je vsebovala 256 enot tipa ReLU, druga dodana plast pa je plast za končno klasifikacijo artefakta s sigmoidno funkcijo. Zadnja plast je sprememba zadnje plasti obstoječe CNN VGG16 iz velikosti 1 × 1 × 1000, kjer je 1000 različnih klasifikacijskih razredov, v velikost 1 × 1 × 2, saj imamo dva klasifikacijska razreda: slika z artefaktom in slika brez artefakta Ostale plasti nevronske mreže VGG16 smo pustili nespremenjene in jih tudi nismo spreminjali v procesu učenja. Tako smo v procesu učenja učili le dve dodani plasti.

Učenje dodanih plasti je potekalo z uporabo učne baze slik. Prvo učenje je potekalo tako, da smo dodani dve plasti učili v 20 epohah (angl. epoch) po 15 korakov. Rezultat učenja je predstavljala verjetnost, ali je na sliki prisoten artefakt. Mejna vrednost je bila 0,5. Ob rezultatu verjetnosti večje od mejne vrednosti je naša naučena mreža sliki določila, da ima