UNIVERZA V LJUBLJANI ZDRAVSTVENA FAKULTETA
RADIOLOŠKA TEHNOLOGIJA, 1. STOPNJA
Blaž Palčnik
PREGLED UPORABE CAD APLIKACIJ V RAČUNALNIŠKI TOMOGRAFIJI:
diplomsko delo
AN OVERVIEW OF THE USE OF CAD
APPLICATIONS IN COMPUTED TOMOGRAPHY
diploma work
Mentor: izr. prof. dr. Janez Žibert Recenzent: doc. dr. Nejc Mekiš
Ljubljana, 2021
ZAHVALA
Iskreno se zahvaljujem mentorju izr. prof. dr. Janezu Žibertu za vso pomoč in koristne napotke pri pisanju diplomskega dela. Prav tako se zahvaljujem tudi doc. dr. Nejcu Mekišu za recenzijo.
Ob tej priliki bi se rad zahvalil tudi Alešu Kaučiču, dipl. inž. rad., za zelo aktivno pomoč in vse nasvete pri pisanju diplomskega dela.
Zahvaljujem se tudi Urški Jaušovec Kolar za lektoriranje diplomskega dela.
Še posebno veliko zahvalo izrekam svoji družini, punci in prijateljem za vso pomoč, skrb in podporo med študijem.
IZVLEČEK
Uvod: Sistemi za računalniško podprto diagnozo (CAD) so se razvili za pomoč zdravnikom radiologom pri interpretaciji računalniško-tomografskih (CT) slik. V tem diplomskem delu sta opisana CAD sistem za klasifikacijo pljučnih vozličkov in CAD sistem za klasifikacijo jetrnih patologij. Sistemi so nastali s pomočjo strojnega učenja. Običajno so sestavljeni iz štirih stopenj. Prva stopnja je postopek predhodne obdelave, ki se izvaja z namenom izboljšanja kakovosti CT slik. Naslednji korak je postopek segmentacije, ki je pomemben za izločitev pomembnih lastnosti s CT slik. Ta korak nam omogoča, da smo lahko na sliki pozorni le na njene pomembne dele. Postopek klasifikacije pomeni združevanje slik z enakimi lastnostmi v razrede. Je zelo kompleksen proces, za katerega moramo zagotoviti ogromno količino podatkov za učenje algoritmov. To dosežemo s podatkovnimi zbirkami, ki so lahko prosto dostopne ali ne. Ločiti jih moramo na učne in testne podatke. Uspešnost CAD sistemov merimo s kontingentično tabelo, iz katere izračunamo specifičnost, senzitivnost in točnost. Zaželena je tudi ROC krivulja in izračun območja pod krivuljo (AUC). Namen: Namen diplomskega dela je bil pregled strokovne literature, ki se navezuje na uporabo CAD aplikacij v računalniški tomografiji pri slikanju prsnih organov in jeter.
Glavni cilj je bil s pomočjo sistematičnega pregleda literature poiskati uporabo, delovanje, uspešnost in ključne sestavne dele CAD sistemov. Metode dela: Uporabljena je bila deskriptivna metoda dela, s sistematičnim pregledom literature na področju medicine in računalništva. V rezultate smo vključili 5 člankov, ki so se nam zdeli najbolj ustrezni.
Rezultati: V rezultatih je predstavljeno: 2 CAD sistema za odkrivanje pljučnih vozličkov in 3 sistemi za odkrivanje različnih patologij na jetrih. Sistemi so bili testirani v različnih podatkovnih bazah. Opis in uspešnost sistemov je predstavljena v obliki tabele. Razprava in zaključek: CAD sistemi dosegajo glede na pregledano literaturo izjemne rezultate. Imajo pa tudi določene slabosti. Sklepamo, da najboljše rezultate dosegajo sistemi, ki uporabljajo algoritme globokega učenja. Omejitve pri primerjanju rezultatov predstavljajo raznolikost CT slik in podatkovnih baz. Večje implementacije CAD sistemov v klinični praksi še nismo zasledili. Za to bo potrebno še nekaj časa, vendar verjamemo, da se bodo uporabljali.
Ključne besede: računalniška tomografija, strojno učenje, CAD sistemi, pljučni vozlički, jetra.
ABSTRACT
Introduction: Computer-aided diagnosis (CAD) systems have been developed with purpose to help doctors, primarily radiologists, in computer tomography (CT) image interpretation.
In this diploma work, CAD systems for lung nodule classification and classification of liver pathologies are described. CAD systems were developed using machine learning. It usually contains four stages. The first stage is image preprocessing, to enhance image quality. The next stage is segmentation, to remove interesting objects from other image data. In the classification process, images with the same properties are combined into classes. It is a very complex process, for which we need to provide a huge amount of data to learn the relevant algorithms. We can provide it, using public or private databases. We need to seperate the information into training and testing data. We can calculate performance of systems using a confusion matrix. We can calculate sensitivity, specificity and accuracy. We can also measure performance using receiver operating characteristics curve (ROC) and value of area under the curve (AUC). Purpose: In this diploma work, systematic overview has been performed for CAD applications in CT lung and liver imaging. The main purpose was to review the architecture of CAD systems, its implementation in clinical practice and evaluate its performance Methods: In diploma work, we used a descriptive method and systematic analysis of numerous scientific articles from computer science and medicine. The five most relevant articles are included in the results. Results: Two CAD systems for lung nodule classification and three systems for the diagnosis of various liver pathologies are presented and systems have been tested on different databases. The description and evaluation of the system are tabulated. Discussion and conclusion: CAD systems are achieving great results.
However, we have to bear in mind that there are some limitations. We conclude that the best results are achieved by systems that use deep learning algorithms. There are also problems in comparing results of CAD systems, because of the diversity of CT images and databases.
A huge number of potentional application of CAD systems in clinical practice have not been reported yet, but we believe they will be applied in the future.
Keywords: Computed tomography, machine learning, CAD systems, lung nodules, liver.
KAZALO VSEBINE
1 UVOD ... 1
1.1 Strojno učenje ... 1
1.1.1 Nadzorovano strojno učenje ... 2
1.1.2 Nenadzorovano strojno učenje ... 3
1.1.3 Globoko učenje ... 4
1.2 CAD sistemi ... 6
1.2.1 Predhodna obdelava ... 9
1.2.2 Segmentacija ... 11
1.2.2.1 Postopek segmentacije z upragovljenjem ... 11
1.2.2.2 Postopek segmentacije na podlagi robov ... 12
1.2.2.3 Postopek segmentacije na podlagi področij ... 13
1.2.2.4 Metoda aktivnih kontur ... 14
1.2.2.5 Segmentacija po principu rojenja podatkov ... 15
1.2.3 Postopki klasifikacije na slikah ... 15
1.2.3.1 Metode pridobivanja značilk ... 16
1.2.3.2 Slikovne podatkovne zbirke za klasifikacijo ... 17
1.2.4 Vrednotenje CAD sistemov ... 18
1.2.4.1 ROC in AUC ... 19
2 NAMEN ... 20
3 METODE DELA ... 21
3.1 Vključitveni kriteriji ... 21
3.2 Izključitveni kriteriji ... 21
3.3 Rezultati pregleda ... 22
4 REZULTATI ... 23
4.1 CAD sistemi pri CT slikanju prsnih organov ... 23
4.2 CAD sistemi pri CT slikanju jeter ... 25
5 RAZPRAVA ... 29
6 ZAKLJUČEK ... 32
7 LITERATURA IN DOKUMENTACIJSKI VIRI... 33
7.1 Viri slik ... 38
KAZALO SLIK
Slika 1: Preprost prikaz sheme nevronske mreže z enim skritim slojem (Vir: Csáji, 2001) . 3 Slika 2: Konvolucijska nevronska mreža z 10 plastmi (Vir: Pongrac et al., 2017) ... 5 Slika 3: Shema prikazuje 2 metodi za klasifikacijo medicinskih slik, na primer podajanje diagnoze. (a) metoda temelji na klasifikaciji interesnih območji ali značilk, ki jih predhodno označi strokovni operater. Metoda na podlagi obsega, oblike, teksture in intenzivnosti lokacije interesnega območja, poda rezultate o klasifikaciji patologije. (b) metoda globokega učenja ne zahteva označitve interesnega območja. Sestavljena je iz več plasti, kjer se med učenjem algoritmov istočasno izvaja ekstrakcija, izbira interesnega območja in na koncu klasifikacija ali detekcija. Plasti se morajo naučiti višjih računskih funkcij, istočasno pa se učijo abstraktnih oblik (črte, sence,…), ostale plasti pa se učijo oblike celotnih organov ali predmetov (vir: Hosny et al., 2018) ... 6 Slika 4: Poenostavljena shema delovanja CAD sistema (vir: Yanase, Triantaphyllou, 2019) ... 8 Slika 5: Postopek CAD(e) sistema (vir: Parveen, Kavitha, 2012) ... 8 Slika 6: Rezultati različnih primerov izboljšav CT slik abdomna (a) originalna slika (b) slika z uporabo medianinega filtra (c) slika z uporabo izravnave histograma (vir: Anter, Hassenian, 2019) ... 10 Slika 7: slika (a) originalna CT slika, (b) slika po postopku segmentacije z upragovljanjem na celotni sliki (Vir: Neri et al., 2008) ... 12 Slika 8: Aplikacija segmentacije na podlagi robov (Sobel filter) na CT sliko abdomna.
Uporabljena je bila maska velikosti 3x3 (Vir: Neri et al., 2008) ... 13 Slika 9: Shematični prikaz algoritma segmentacije z razvodnicami: (a) dva med seboj povezana zrna; (b) mapa razdalje po oblikovanju središča zrna; (c) mapa barvne globine slike (b); (d) segmentacija zrn s črto razvodnice na sliki (c). (vir: Fu et al., 2020) ... 14 Slika 10: Kontingenčna tabela ... 18 Slika 11: Osnovni ROC graf, ki simbolno prikazuje pet klasifikatorjev (Vir slike: Fawcett, 2006) ... 19 Slika 12: Diagram poteka izbire člankov ... 22
KAZALO TABEL
Tabela 1:CAD sistemi pri slikanju prsnih organov ... 24 Tabela 2: CAD sistemi pri slikanju jeter ... 26
SEZNAM UPORABLJENIH KRATIC IN OKRAJŠAV
AUC CCA CIRR GLCM HEM HU MET NCCT NPR LR ReLU
Površina pod krivuljo (ang. Area under the curve)
Analiza povezanih komponent (ang. Connected component analysis) Ciroza jeter
Matrika sočasnega pojavljanja (ang. Gray level co-occurrence matrix) Hemangiom jeter
Hounsfieldove enote (ang. Hounsfield unit) Metastatski rak jeter
CT slikanje brez uporabe kontrasta (ang. non-contrast CT) Na primer
Logistična regresija (ang. logistic regression) Popravljalna linearna aktivacijska funkcija
ROC Graf operativnih značilnosti sprejemnika (ang. Receiver operating characteristic curve)
ROI Področje zanimanja (ang. Region of interest)
RSŠ Razmerje signal-šum
SVM Supported vector machine
WGLD Watershed gaussian based deep learning
1
1 UVOD
Računalniška tomografija je slikovna metoda, s katero natančno slikamo posamezne dele telesa po rezinah s pomočjo rentgenskih žarkov in sodobne računalniške opreme. Celo telo ali samo del telesa lahko pregledamo v zelo tankih rezinah. Doza sevanja je pri tej preiskovalni metodi višja kot pri klasičnem rentgenskem slikanju. Uporabljamo jo, kadar nam klasično rentgensko slikanje ne poda zadostne informacije o prisotnosti, obsegu in lokaciji bolezenskega procesa (Klasinc et al., 2011).
V zadnjih nekaj letih se je razvoj novih načinov slikanja pomembno povečal, zato se v prihodnosti pričakuje razvoj računalniške analize medicinskih slik. Sprva so bili računalniški podporni sistemi razviti za odkrivanje raka na dojki pri mamografskem slikanju, nato pa so se ti sistemi začeli uporabljati tudi pri drugih diagnostikah, na primer pri diagnosticiranju pljučnega raka na CT slikah ipd. (Takahashi, Kajikawa, 2017).
Za pomoč radiologu pri interpretaciji CT slik je bilo razvitih nekaj računalniško podprtih sistemov, to so: Computer Aided Diagnosis (CADx), Computer aided detection (CADe) in Content-Based Medical Image Retrieval (CBMIR), (Nayantara et al., 2020).
Kotter in Langer (2011) opisujeta implementacijo CAD sistemov pri interpretaciji CT slik v sledečih anatomskih področjih:
• CT slikanje prsnih organov
• CT slikanje koronarnih arterij
• CT slikanje jeter
• CT slikanje debelega črevesja
• CT slikanje možganov
• CT slikanje skeleta
1.1 Strojno učenje
Strojno učenje je področje računalništva, ki se je razvilo na podlagi preučevanja in prepoznavanja vzorcev ter teorije računalniškega učenja v umetni inteligenci. Je proces ustvarjanja in učenja algoritmov, ki se lahko učijo ali napovedujejo podatkovne nize (Simon et al., 2015).
2
Obstajata dve glavni družini pristopov strojnega učenja – nadzorovano strojno učenje in nenadzorovano strojno učenje. Oba pristopa uporabljata nabore podatkov za učenje modelov, ki jih lahko nato uporabimo na novih podatkih za klasifikacijo ali napovedovanje (Yanase, Triantaphyllou, 2019).
1.1.1 Nadzorovano strojno učenje
Pri tem postopku je program naučen na že vnaprej določenih podatkih in jih nato uporabi za klasifikacijo ali napovedovanje na novih podatkih (Simon et al., 2015).
Pod nadzorovano strojno učenje spadajo naslednji postopki in modeli: metoda podpornih vektorjev (ang. support vector machines (SVM)), odločitvena drevesa (ang. decision trees), umetne nevronske mreže (ANN), z globokimi nevronskimi mrežami kot npr. konvolucijska nevronska mreža (CNN), regresijski modeli (logistična in linearna regresija) (Yanase, Triantaphyllou, 2019).
Modeli nevronskih mrež delujejo po principu človeških možganov. Sestavljeni so iz množice umetnih nevronov. Lahko se jih organizira tako, da lahko mreža izvaja določene naloge (npr.
prepoznavanje vzorcev, obdelavo signalov ipd.), zato se lahko uporablja na različnih strokovnih področjih. Imajo sposobnost učenja s pomočjo vhodnih podatkov ali brez njih.
Osnovni elementi nevronske mreže so umetni nevroni, ki so sestavljeni iz slojev. Morajo imeti vsaj dva (vhodni in izhodni) ter vmesne sloje, ki se imenujejo skriti sloji, med katerimi potekajo signali. Vhodni signal mora biti dovolj velik, da signal steče od enega nevrona do drugega. Nevroni so sestavljeni iz štirih osnovnih elementov: sinapse ali komunikacijske povezave, seštevalnika za seštevanje vhodnih signalov, aktivacijske funkcije za omejevanje amplitude izhodnega nevrona in zunanjo utežjo vhodov. Preprost prikaz sheme nevronske mreže z enim skritim slojem je prikazan na Sliki 1 (Csáji, 2001).
3
Slika 1: Preprost prikaz sheme nevronske mreže z enim skritim slojem (Vir: Csáji, 2001) Pristop podpornih vektorjev (SVM) temelji na optimizaciji. Osnovna ideja te metode je, da loči med seboj dva razreda podatkov z iskanjem meje v obliki hiperravnin v višje dimenzionalnih prostorih. Pri tem uporabljamo različne jedrne funkcije, ki pretvarjajo podatke v višje dimenzionalne prostore, kjer jih lahko ločujemo z linearnimi mejami (Tan et al., 2006).
Pri regresijskih metodah gradimo statistične modele, ki jih uporabimo za napovedovanje odzivne spremenljivke (običajno Y) na podlagi ene ali več opisnih spremenljivk (običajno X). Pri linearni regresiji je napovedni model v obliki linearne funkcije, kjer ugotavljamo osnovne povezave med opisnimi in odzivnimi spremenljivkami (Žibert, 2020).
Regresijski model, ki se najpogosteje uporablja pri strojnem učenju, je model logistične regresije, kjer je odzivna spremenljivka kategorijska (običajno binarna) in z modelom napovedujemo verjetnost odziva v eni izmed stopenj kategorije na podlagi več opisnih spremenljivk (Žibert, 2020).
Odziv modela logistične regresije je funkcija v obliki črke S, zato ji pravimo tudi ''sigmoidna funkcija'' (Rangayyan et al., 2010).
1.1.2 Nenadzorovano strojno učenje
Pri tej metodi učenja so podane vhodne vrednosti podatkov, ne pa tudi želene vrednosti izhodnih podatkov. Algoritmi v procesu učenja pregledajo vhodne podatke in jih po svojih
4
kriterijih razvrstijo v različne skupine. Rezultat nenadzorovanega učenja ni vnaprej določen (Ploj, 2019).
Med postopke nenadzorovanega učenja spada postopek rojenja podatkov (ang. Clustering), kjer se učni podatki z isto želeno izhodno vrednostjo in na podlagi mere podobnosti združujejo v skupine, ki jim pravimo roji (Ploj, 2019).
Postopkov rojenja je več. Postopek K-tih povprečij je eden izmed standardnih in najbolj uporabljenih postopkov. Pri tem postopku rojimo podatke k središčnim točkam rojev, ki jih računamo kot povprečja rojev. Vnaprej izberemo število rojev oziroma povprečij in okoli njih rojimo podatke po kriteriju najkrajše podobnostne razdalje. Postopek je iterativen, kjer v prvi iteraciji izberemo K-naključno izbranih točk v množici točk, ki jih rojimo in nato popravljamo izračune povprečij toliko časa, dokler se podatki ne uredijo okoli teh točk. Na ta način dobimo K-rojev okoli K-središčnih točk. Tak postopek rojenja pogosto uporabljamo pri segmentacijah medicinskih in ostalih slik (Yanase, Triantaphyllou, 2019).
1.1.3 Globoko učenje
Metoda globokega učenja je pridobila v zadnjih nekaj letih zelo veliko pozornosti. Zaradi vse večje računske moči računalnikov in velikih količin slikovnih podatkov se ti sistemi zelo hitro razvijajo. Imajo sposobnost samostojnega učenja ''značilk'', ki jih ni potrebno vnaprej definirati, kot je to običajno pri ostalih postopkih strojnega učenja, poleg tega pa izvajajo še klasifikacijo. V primeru dovolj velikega nabora medicinskih slikovnih podatkov lahko sistemi samostojno prepoznajo obolela tkiva brez predhodne strokovne obdelave podatkov (Hosny et al., 2018).
Metoda dosega izjemne rezultate klasifikacije na več področjih (Pongrac et al., 2017).
Konvolucijska nevronska mreža (ang. convolution neural network, CNN) je ena izmed tipičnih metod globokega učenja. Poznamo veliko različnih modelov globokih konvolucijskih nevronskih mrež. Vsak izmed njih pa je namenjen za opravljanje specifičnega problema. V splošnem pa je konvolucijska nevronska mreža večplastna.
Sestavljena je iz vhodne plasti, sledijo ji izbirne plasti, namenjene pod-vzorčenju in regularizaciji. Končajo se s popolnoma povezanimi plastmi. Vhodni podatek lahko predstavlja slika, ki jo obdelamo z več filtri. Odziv filtra določimo s konvolucijo, ki kodira
5
vhodne podatke in določa značilke, z uporabo pod-vzorčenja pa zmanjšuje dimenzijo. Odziv filtrov predstavljajo vhodni podatki aktivacijskih funkcij brez nasičenja, izvajamo npr. z usmernimi linearnimi enotami (ReLU), ki so vključene v nelinearne procese nasičenja.
Funkcije so uporabljene po vsaki konvoluciji in povezani plasti. Zadnja plast uporablja normalizirano eksponentno funkcijo, npr. ''Softmax'' kot izhodno aktivacijsko funkcijo.
Rezultat je po navadi pod-vzorčen, saj se s tem zmanjšajo dimenzije značilk. Kadar uporabimo ''max-pool'' diskretizacijo, ta 2x2 plast razdeli izhod v vzorce z 2x2 celici, katere se ne prekrivajo (Pongrac et al., 2017).
Na sliki je prikazana globoka konvolucijska nevronska mreža z 10 sloji, avtorjev Pongrac in njegovih sodelavcev (2017). Ima dve konvolucijski plasti, dve ''Max-pool'' plasti, dve polno povezani plasti in na izhodni strani je povezava med ''Softmax'' funkcijo in klasifikatorjem.
Vhodna slika je potisnjena v vhodni sloj kot produkt števila stolpcev (h) in števila vrstic (w).
Sliko so filtrirali s 30 konvolucijskimi filtri velikosti 2x2 v prvi konvolucijski plasti. Filter v drugi konvolucijski plasti ima velikost 2x2. Rezultat je 50 značilk velikosti (h/2) x (h/2), po drugi ''max-pool'' plasti postanejo te velikosti (h/4) x(h/4). Nato so uporabili ReLU nelinearnost v drugi polno povezani pasti. Dobili so 6 enot oz. število razredov. Na koncu so uporabili klasifikator s ''softmax'' funkcijo, s čimer so določili verjetnost vsakega razreda (Pongrac et al., 2017).
Slika 2: Konvolucijska nevronska mreža z 10 plastmi (Vir: Pongrac et al., 2017) Na Sliki 3 je shematsko prikazana razlika med najpogosteje uporabljenima metodama umetne inteligence. Prva metoda temelji na ročno označenih značilkah, ki jih označujejo inženirji, in so opredeljene z matematičnimi enačbami (npr. oris oblike tumorja). Zato jih je mogoče opredeliti z računalniškimi programi. Uporabljajo se kot vhodni podatki za učenje metod strojnega učenja, ki prepoznavajo patologije na medicinskih slikah. Ker se vnaprej določene funkcije ne morejo v vseh primerih prilagoditi na različne podatke, to predstavlja njihovo slabost (Hosny et al., 2018).
6
Metode globokega učenja ne zahtevajo predhodno označenih značilk. Samodejno lahko prepoznajo značilnosti človeških tkiv in so odporne na neželene spremembe, npr.
variabilnost med ocenami CT slik različnih bralcev, kar predstavlja večjo objektivnost. Za razliko od prejšnje metode se ti algoritmi lahko prilagajajo najrazličnejšim vhodnim podatkom. Uporabniku prihranijo čas zaradi samostojnega učenja in označevanja (Hosny et al., 2018).
Slika 3: Shema prikazuje 2 metodi za klasifikacijo medicinskih slik, na primer podajanje diagnoze. (a) metoda temelji na klasifikaciji interesnih območji ali značilk, ki jih predhodno označi strokovni operater. Metoda na podlagi obsega, oblike, teksture in intenzivnosti lokacije interesnega območja, poda rezultate o klasifikaciji patologije. (b) metoda globokega učenja ne zahteva označitve interesnega območja. Sestavljena je iz več
plasti, kjer se med učenjem algoritmov istočasno izvaja ekstrakcija, izbira interesnega območja in na koncu klasifikacija ali detekcija. Plasti se morajo naučiti višjih računskih
funkcij, istočasno pa se učijo abstraktnih oblik (črte, sence,…), ostale plasti pa se učijo oblike celotnih organov ali predmetov (vir: Hosny et al., 2018)
1.2 CAD sistemi
V tem poglavju bomo opredelili naslednje izraze CAD(e), CAD(x), CAST in CBMIR.
7
• CADe: COMPUTER AIDED DETECTION: računalniško prepoznavanje področij, ki so predmet obravnave in zahtevajo nadaljnjo obravnavo. Ne poda pa diagnoze (Kanabolo, Gundeti, 2020).
• CADx (COMPUTER AIDED DIAGNOSIS): sposobnost računalnika, da navede več diagnoz (diferencialno) ali posamezno (singularno) (Kanabolo, Gundeti, 2020).
• CAST (COMPUTER AIDED TRIAGE): sistem CAST služi kot pomožno triažno orodje, ki samostojno analizira slike in razvrsti bolnike ali poškodbe glede na nujnost. Za tem odgovorni ekspert slike takoj analizira. Sistem lahko celo avtomatsko pošlje rezultate obdelav zdravniku ter ga opozori na časovno kritično študijo. Zato se s tem programom zmanjša čas za ukrepanje pri bolnikih s kritičnimi stanji.
Samodejno ocenjevanje kakovosti slike in zapletenosti študije je lahko ključ za določanje prioritete branja (Goldenberg, Peled, 2011).
• CBMIR (CONTENT-BASED MEDICAL IMAGE RETRIEVAL): razvrstimo ga v dve ravni. Nizka raven metod CBMIR dokonča iskanje medicinskih slik glede na podobnosti med slikovnimi funkcijami nizkega nivoja. Metode na visoki ravni pridobijo slike glede na njihove pomenske kategorije, kot so kategorija bolezni, diagnoza bolezni itd. (Ma et al., 2017).
Yanase in Triantaphyllou (2019) navajata, da za kratice podpornih računalniških sistemov (CAD(x), CAD(e),…) uporabljamo skupen izraz sistemi CAD. Ta kratica se tudi lahko uporablja za opis katerokoli računalniške tehnologije, ki se uporablja za podporo zdravnikom pri natančnem diagnosticiranju.
Sistemi CAD temeljijo na zgoraj opisanih inteligentnih sistemih. Groba struktura delovanja je prikazana na Sliki 4. Ponavadi uporabnik upravlja z bazo znanja sistema preko mehanizma za sklepanje. Ta mehanizem lahko uporabi pristop veriženja naprej ali pa nazaj, da sprejme odločitev oziroma priporočilo. Baze znanja sestavljajo nabor resničnih dejstev in ustreznih diagnoz (Yanase, Triantaphyllou, 2019).
8
Slika 4: Poenostavljena shema delovanja CAD sistema (vir: Yanase, Triantaphyllou, 2019) Sistem CAD običajno vsebuje šest stopenj: predhodna obdelava (ang. PREPROCESSING), tehnike segmentacije slike, postopek klasifikacije (ang. CLASSIFICATION) in vrednotenje sistema (ang. PERFORMANCE ANALYSIS) (Parveen, Kavitha, 2012).
Posamezne komponente CAD(e) sistema in zaporedje posameznih faz prikazuje Slika 5.
Slika 5: Postopek CAD(e) sistema (vir: Parveen, Kavitha, 2012)
9
1.2.1 Predhodna obdelava
Predhodna obdelava (ang. preprocessing) se izvaja z namenom izboljšanja kakovosti slik in posledično doseganja boljših rezultatov (Shariaty, Mousavi, 2019).
Osnovni elementi digitalne slike so slikovni elementi ali piksli. Vsak slikovni element te matrike predstavlja število ali vrednost. Višje vrednosti pomenijo višjo svetlost. Pri 8-bitnih slikah je tako najvišja vrednost barvne globine 256, najmanjša pa 0. Slikovni elementi z vrednostjo 256 so na sliki prikazani z belo barvo, tisti z vrednostjo 0 pa črno. Vmesne vrednosti pa so stopnje sivine (Neri et al., 2008).
Slike lahko obdelamo na tri načine. Lahko izvajamo operacije točkovno na posameznem slikovnem elementu, lokalno na področju slikovnega elementa in njegovih sosednjih elementih, ter globalno na področju celotne slike (Neri et al., 2008).
Pri predhodni obdelavi slik popravljamo slike predvsem na treh nivojih: izboljšava kontrasta, odstranjevanje ali zmanjševanje vpliva šuma in ostrenje slike ali poudarjanje robov (Žibert, 2020).
Kontrast na sliki lahko izboljšamo na več načinov. Eden izmed njih je normalizacija. Pri tej tehniki širimo histogram sivinskih nivojev tako, da dosežemo maksimalen razpon sivinskih nivojev. Na ta način na histogramu sivinskih nivojev naredimo večje razmake med sivinskimi nivoji. S tem postanejo razlike med sivinami bolj očitne (Neri et al., 2008).
Druga tehnika je izravnava histograma. Tudi tu širimo histogram sivinskih nivojev, vendar neenakomerno, in sicer tako, da sivine tistih pikslov, ki jih je več, širimo bolj. Na ta način dosežemo enakomerno naraščajočo kumulativno porazdelitev sivinskih nivojev in s tem boljši kontrast (Neri et al., 2008; Žibert, 2020).
Šum na sliki poskušamo odstraniti s filtriranjem slike. Filtriranje lahko izvajamo v osnovnem prostoru slike s konvolucijo med masko filtra in sliko ali v frekvenčnem prostoru slike s pasovnimi filtri (Žibert, 2020).
Za glajenje slike lahko uporabimo maske povprečenja, med katere spadajo tudi Gaussove maske ali filtri (Neri et al., 2008).
10
Z glajenjem z masko povprečenja dosežemo manjšo vidljivost šuma na sliki, vendar robovi na sliki niso več ostri (Žibert, 2020).
Za ohranjanje robov in hkrati odstranjevanje šuma je primerna tudi medianina maska. Tu izvajamo konvolucijo tako, da na področju maske izračunamo mediano in to vrednost vpišemo kot novo vrednost na sliko. Postopek se uporablja predvsem za odstranjevanje impulznega šuma oziroma »salt and pepper« šuma. Ima pa to dobro lastnost, da v večji meri ohranja ostrino robov kot pa običajne maske povprečenja (Žibert, 2020).
Postopek ostrenja slike pa je obratna operacija glajenju slike, pri čemer odštevamo vrednosti sosednjih slikovnih elementov od obravnavanega slikovnega elementa. Dobimo novo sliko.
Slabost ostrenja je poudarjen šum na sliki. Maske ostrenja slike temeljijo na podlagi odštevanja in odvodov. Poznamo maske prvega in drugega odvoda. Najbolj osnovna maska ostrenja na podlagi prvega odvoda je Robertsonov gradientni operator, ki je aproksimacija gradienta. Velikost maske je 2x2, zaradi česar je zelo občutljiva na šum. Zato se uporabljajo večje maske, velikosti 3x3, npr. Prewittova operatorja in Sobelova operatorja po x in y osi.
Laplaceova maska temelji na drugem odvodu, pri čemer osnovni sliki odštejemo vrednost drugega odvoda slike (Žibert, 2020).
Slika 6 prikazuje primerjavo izboljšanja osnovne CT slike abdomna z uporabo medianinega filtra in uporabo postopka izravnave histograma (Anter, Hassenian, 2019).
Slika 6: Rezultati različnih primerov izboljšav CT slik abdomna (a) originalna slika (b) slika z uporabo medianinega filtra (c) slika z uporabo izravnave histograma (vir: Anter,
Hassenian, 2019)
11
K prehodni obdelavi slike spada tudi postopek odstranjevanja artefaktov. Artefakt je pojav na sliki, ki ne predstavlja objekta slikanja. Lahko nastanejo zaradi fizikalnih učinkov, pacienta ali delovanja opreme. Prepoznavanje artefaktov na sliki in njihovo odstranjevanje je pomemben del zagotavljanja kakovosti in kontrole slikanja (Mišič, 2019).
1.2.2 Segmentacija
Zelo pomemben korak pri obdelavi medicinskih slik je izločitev pomembnih lastnosti, t. i.
značilk z medicinskih slik, saj lahko nato samo z uporabo računalnika podamo opis ali interpretacijo podatkov slike ter razumemo dogodke na sliki (Parveen, Kavitha, 2012).
Segmentacija je postopek ločevanja podatkov na sliki v več podskupin ali segmentov, ki imajo podobne lastnosti. Podatke (slikovne elemente) ločujemo med seboj po določenih lastnostih in pogojih. To nam omogoča, da lažje analiziramo tiste podatke na sliki, ki nas zanimajo. Pomembno je, da so uspešno razdeljeni na posamezne segmente. S primerno tehniko segmentacije slike lahko dosežemo boljše diagnosticiranje. Če je postopek segmentacije neustrezen ali neuspešen, lahko posledično sistem CAD napačno diagnosticira posamezno obolenje (Yanase, Triantaphyllou, 2019).
Poznamo veliko različnih metod segmentacije, ki se med seboj razlikujejo po občutljivosti na prisotnost šuma na sliki, velikosti preiskovanega polja in homogenost ozadja (Yong et al., 2005).
1.2.2.1 Postopek segmentacije z upragovljenjem
Postopek segmentacija z upragovljenjem (ang. thresholding) je pogosto uporabljen algoritem, ki neposredno loči informacije na sivinski skali glede na vrednost sivinskih nivojev različnih tarčnih območij. Deli se na lokalno in globalno. Globalno upragovljanje razdeli sliko na dva dela, ozadje in območje zanimanja, loči pa ju samo en prag sivinskih nivojev. Pri metodi lokalnega upragovljanja določamo več pragov tako, da sliko razdelimo na podslike in na njih iščemo pragove sivinskih nivojev. Tako dobimo več različnih pragov in slike lahko ločimo na veliko področij zanimanja in ozadij (Yuheng, Hao, 2017).
12
Posamezne vrednosti slikovnih elementov se primerjajo z določeno mejno vrednostjo, ki jo prej določimo. Če je njihova vrednost pod mejno vrednostjo, jih razvrstimo v en segment, če pa je višja od mejne vrednosti, pa se razvrstijo v drug segment. Tako dobimo dva segmenta, ki običajno predstavljata ozadje in ospredje slike. Najbolj pomembno je določati mejno vrednost ali prag. Vrednost določimo z določanjem lokalnega minimuma na histogramu sivinskih nivojev. V nekaterih primerih se meja med dvema vrstama tkiv pogosto prekriva, zato nastane efekt delnega volumna. Zaradi tega postopek upragovljanja na histogramu ne zazna lokalnega minimuma. Napredne tehnike upragovljanja imajo izboljšano ločevanje med različnimi pragovnimi razredi. Pogosto je poleg postopka upragovljanja uporabljena tudi analiza povezanih komponent (ang. Connected-component analysis, CCA), ki z binarne slike razbere posamezna območja povezanih slikovnih elementov. Ta tehnika se izvaja za prepoznavanje tkiv. Ko je posamezno območje tkiva označeno, se postopek ponovi za naslednjo generirano binarno sliko. Uporabi se nova vrednost upragovljanja za prepoznavanje drugega tkiva (Neri et al., 2008).
Spodnja slika prikazuje rezultat postopka segmentacije z upragovljanjem.
Slika 7: slika (a) originalna CT slika, (b) slika po postopku segmentacije z upragovljanjem na celotni sliki (Vir: Neri et al., 2008)
1.2.2.2 Postopek segmentacije na podlagi robov
Tehnike segmentacije na podlagi robov (ang. Edge-Based segmentation) temeljijo na zaznavanju nepovezanosti slikovnih elementov na tarčnih strukturah. Zaznajo meje med dvema regijama, kjer se vrednosti slikovnih elementov zelo spremenijo. To pa so robovi.
13
Osnovna metoda zaznavanja robov je aplikacija različnih filtrov ostrenja 1. in 2. odvoda, ki so na kratko opisani zgoraj v poglavju 1.2.1. Visoke vrednosti filtra zagotavljajo prikaz meje robov, ki morajo biti sklenjene, da prikažejo meje med dvema regijama. Za prikaz mej na 3D CT slikah se mora uporabljati za vsako rezino posebej (Neri et al., 2008).
Uporablja se pri slikah, ki imajo dobro kontrastno ločljivost med objekti. Ni pa primerna za objekte, ki imajo preveč robov na sliki ali pa veliko šuma (Kaur, Kaur, 2014).
Slika 8: Aplikacija segmentacije na podlagi robov (Sobel filter) na CT sliko abdomna.
Uporabljena je bila maska velikosti 3x3 (Vir: Neri et al., 2008)
1.2.2.3 Postopek segmentacije na podlagi področij
Postopki segmentacije na podlagi področij (ang. Region-based segmentation) upoštevajo tarčne strukture kot homogeno področje, ki ga določimo s procesom iskanja. Temeljna ideja metode je bila osnovna razdelitev in nato združevanje področij. Začne se z začetno predpostavko, da je celotna slika homogeno področje. Nato pa algoritem išče tiste regije, ki ne izpolnjujejo merila homogenosti. Če področje ne izpolnjuje meril, algoritem nehomogeno področje razdeli na 4 ali več manjših regij ter ponovi postopek za vsako naslednjo regijo, dokler nadaljnja delitev ni več potrebna. Regije se nato primerjajo in združijo, če se ujemajo med seboj (Neri et al., 2008).
Veliko prednost predstavlja njena neobčutljivost na šum. Zahteva pa veliko računskega časa in zavzame veliko pomnilniškega prostora na računalniku (Kaur, Kaur, 2014).
14
Na tem algoritmu temeljita tudi segmentacija z razvodnicami (ang. Watershed segmentation) in postopek razraščanja področij (ang. Region growing) (Neri et al., 2008).
Algoritem segmentacije z razvodnicami (ang. Watershed method) deluje po principu vode, ki se preliva v globeli, podobno kot pri pokrajinah. Podatke na slikah smatramo kot topografsko površje, kjer je intenzivnost nivoja predstavljena kot nadmorska višina. Voda, ki stoji v kotlinah, bo rasla, dokler se ne razlijejo ena v drugo. Najnižja točka na dnu korita, predstavlja lokalni minimum sivinske skale. Med seboj pa moramo različne globine korit ločiti z navideznimi razvodnicami, katerim moramo določiti višino, saj s tem kontroliramo stopnjo segmentacije (John, 2008).
Primer segmentacije z razvodnicami prikazuje Slika 9. Na sliki je shematsko prikazan postopek, kjer so Fu in sodelavci (2020) skušali segmentirati dva med seboj povezana zrna na sliki. Najprej so izračunali intenziteto barve posameznega zrna, ekvivalent njune površine in mapo razdalje med njunima središčema. Nato so določili mapo barvne globine slike ter nato zrna ločili in označili z različno barvo.
Slika 9: Shematični prikaz algoritma segmentacije z razvodnicami: (a) dva med seboj povezana zrna; (b) mapa razdalje po oblikovanju središča zrna; (c) mapa barvne globine
slike (b); (d) segmentacija zrn s črto razvodnice na sliki (c). (vir: Fu et al., 2020)
1.2.2.4 Metoda aktivnih kontur
Metoda segmentacije aktivnih kontur (ang. Active contours) je niz točk, ki opisujejo dvodimenzionalno krivuljo. Postopek se začne z označitvijo točk okoli interesnega objekta na sliki, ki jih običajno označi ekspert. Algoritem aktivnih kontur poskuša minimizirati energijo kontur s težkanjem energij med energijo znotraj segmentiranega objekta in zunanjo energijo okolice. Konture se morajo čimbolj prilegati robovom objekta (Neri et al., 2008).
15
1.2.2.5 Segmentacija po principu rojenja podatkov
Segmentacija po principu rojenja podatkov (ang. clustering method) je metoda, ki razdeli objekte na sliki glede na podobne skupne značilnosti objektov (Kaur, Kaur, 2014).
Yuheng in Hao (2017) navajata, da je postopkov rojenja več. Eden izmed najbolj pogosto uporabljenih metod je metoda k-tih povprečij (ang. K-means clustering). Postopek k-tih povprečij je opisan zgoraj v poglavju 1.1.2.
Metoda mešanice Gaussovih porazdelitev namesto merjenja lastnosti vzorca v segmentiranih slikovnih podatkih uporablja informacije o intenzivnosti vokslov, torej porazdelitev sivinskih nivojev vokslov. Voksli pa se smatrajo kot naključne spremenljivke x, ki zavzemajo vrednosti sivinskih nivojev. Glavna pomanjkljivost te metode je, da ne upošteva zamegljenih robov med objekti (Brenne et al., 2021).
Pri segmentaciji po principu mehkega rojenja so slikovni elementi razdeljeni na posamezne
»roje«. Slikovni elementi lahko pripadajo več skupinam (rojem) hkrati. Tehnika je zelo prilagodljiva glede na druge tehnike segmentacije (Kaur, Kaur, 2014).
Ta metoda vsebuje prostorske informacije in informacije o stopnji sivine, na podlagi katerih se potem v postopku določajo roji glede na »mehke« funkcije pripadnosti (Naz et al., 2010).
1.2.3 Postopki klasifikacije na slikah
S postopki klasifikacije prepoznavamo objekte ali določene elemente na slikah. Najbolj osnovna je delitev slike na dva razreda. Pri razvrščanju zapletenih prizorov je potrebno zagotoviti veliko količino učnih slik. To so slike, ki so predhodno označene z oznakami, ki opisujejo elemente na slikah. Takšne slike potem vključimo v učne zbirke slik, ki jih uporabimo za učenje oziroma določanje modelov, ki jih potem uporabljamo za klasifikacije neoznačenih oziroma novih slik (Zhao et al., 2019).
Glede na potrebe CAD sistema se uporabijo različne tehnike klasifikacije. Zato je zelo pomembno, da so naloge CAD sistema natančno opredeljene. Torej natančno moramo določiti, kaj mora sistem CAD prepoznati na sliki (Leng et al., 2015).
16
Osnovni modeli strojnega učenja za klasifikacijo so: nevronske mreže, globoke nevronske mreže, metoda podpornih vektorjev SVM, odločitvena drevesa in še mnoge druge metode, ki jih je zelo veliko. Pri vseh metodah moramo določati parametre modelov. To delamo v procesu učenja modelov, kjer se na podlagi učnih zbirk (npr. medicinske slike) po določenih postopkih določajo parametri modela (Zhao et al., 2019).
Za dobre modele so zelo pomembne učne zbirke slik, ki jih potrebujemo tako za določanje modelov kot tudi za testiranje ali vrednotenje delovanja modelov (Zhao et al., 2019).
1.2.3.1 Metode pridobivanja značilk
Pred postopkom klasifikacije se izvede postopek pridobivanja ''značilk'' (ang. Feature extraction). To je izračun najpomembnejših deskriptorjev iz segmentirane slike. S tem dosežemo zmanjšano variacijo znotraj razreda in izboljšano natančno razvrstitev (Nayantara et al., 2020).
Za ekstrakcijo slikovnih značilk se po pregledu literature uporabljajo različne metode.
Običajno uporabljajo statistične značilnosti intenzivnosti slikovnih elementov, gradientne in geometrijske značilnosti. Ena izmed najbolj priljubljenih metod ekstrakcije pri CT slikah prsnega koša je SGLDM (ang. Spatial gray level dependent method), ki pridobiva značilke o teksturi s pomočjo prostorske porazdelitve parov sivih ravni z določeno razdaljo in orientacijo (Peng et al., 2010).
Za jetrne lezije se uporabljajo večinoma deskriptorji teksture z uporabo statističnih pristopov. Ena izmed njih je matrica sočasnih pojavov (ang. Grey Level Co-occurence Matrix (GLCM)), ki preučuje korelacije, torej poda nam statistično vrednost povezanosti med pari slikovnih elementov z določenim prostorskim razmerjem. Izračuna število pojavov določenega para slikovnih pik s specifično vrednostjo v prostoru. S pomočjo GLCM algoritmov lahko pridobimo značilke o kontrastu, korelaciji, energiji in homogenosti.
Obstajajo še druge metode, ki temeljijo na energijskih teksturah, histogramu, lokalnem binarnem vzorcu in podobno (Nayantara et al., 2020).
Korchiyne in sodelavci (2014) navajajo, da lahko s tehniko GLCM določamo značilke glede na sledeče dejavnike:
17
• Kontrast, kjer merimo intenzivnost kontrasta med obravnavanim slikovnim elementom in sosednjim elementom čez celotno sliko.
• S korelacijo merimo povezanost med slikovnimi elementi na sliki.
• Energija se določi glede na vsoto kvadriranih slikovnih elementov.
• Glede na homogenost merimo bližino razporeditve elementov v GLCM.
1.2.3.2 Slikovne podatkovne zbirke za klasifikacijo
Slikovne podatkovne zbirke pri CT klasifikacijah morajo biti, podobno kot ostale podatkovne zbirke za izgradnjo modelov, sestavljene iz veliko ustrezno označenih slik. Zato moramo zagotoviti veliko število CT slik. Saj večje število slik zagotavlja boljše učenje modelov. Slike hranijo številne slikovne baze, ki so lahko prosto dostopne, ali pa tudi ne, saj si jih lastijo npr. znanstveni inštituti ali zasebne bolnišnice (Parveen, Kavitha, 2012).
Izgradnja modelov poteka tako, da se podatkovno zbirko razdeli na del, ki ga uporabljamo za učenje modela, in del, ki ga uporabljamo za testiranje modelov. Modela ne smemo testirati na istih podatkih, na katerih je bil le-ta razvit. Označevanje na slikah poteka samostojno ali pa s pomočjo strokovnjakov (Ardila et al., 2019).
Primer prosto dostopne podatkovne baze za CT slike prsnega koša je LIDC, za CT slike abdomna pa 3D-IRCADb.
Podatkovna baza LIDC (ang. Lung Image Database Consortium) je javno dostopna podatkovna baza medicinskih slik za potrebe medicinske raziskovalne skupnosti. Nastala je na pobudo NCI inštituta (National Cancer Institute) in nato še FNIH (Foundation for the National Institutes of health) in FDA (Food and Drug Administration). Pri ustanovi je sodelovalo sedem akademskih centrov in osem podjetij za medicinsko slikanje za potrebe zagotavljanja medicinskih slik in reševanje zahtevnih organizacijskih, tehničnih, ter kliničnih vprašanj. Podatkovna baza vsebuje 1080 serij različnih kliničnih CT slik prsnega koša v obliki DICOM datoteke. Slike so ročno označevali štirje izkušeni zdravniki radiologi, specializirani za preiskave prsnega koša. Zbirka zagotavlja medicinske slike z namenom raziskovanja in spodbujanja razvoja, testiranja in širjenja CAD sistemov v klinični praksi (Armato et al., 2011).
18
Podatkovna baza 3D-IRCADb vsebuje anonimne medicinske slike pacientov in ročno segmentirane segmente interesnih področij in patologij s strani kliničnih strokovnjakov.
Slike so na voljo v obliki DICOM datoteke. Prvi dve podatkovni bazi sta bili ustvarjeni v okviru evropskega projekta PASPORT. Prva podatkovna zbirka vsebuje 3D CT slike desetih žensk in desetih moških z jetrnimi tumorji. Druga podatkovna zbirka pa zajema anonimne 3D slike dveh CT preiskav prsnega koša in abdomna. Medicinske slike se postopoma dodajajo in se tako širi nabor podatkov te podatkovne baze. Namen te podatkovne baze je zagotoviti medicinske slike za testiranje in primerjanje različnih metod segmentacije, razvoj CAD sistemov in simulacijskih algoritmov (Soler et al., 2012).
1.2.4 Vrednotenje CAD sistemov
Diagnostično učinkovitost sistemov lahko merimo s kontingenčno tabelo, s pomočjo katere lahko nato izračunamo senzitivnost, specifičnost in točnost. Prikazana je na spodnji sliki (Žibert, 2020).
Slika 10: Kontingenčna tabela
Glede na tabelo so možni štirje različni scenariji, ki jih klasifikator lahko napove: resnično pozitiven rezultat (v tabeli TP), lažno pozitiven rezultat (v tabeli FP), lažno negativen rezultat (v tabeli FN) in resnično negativen rezultat (v tabeli TN). Ugotovimo tudi skupno število primerov, ki so bili zajeti v študijo (Yanase, Triantaphyllou, 2019).
Iz dobljenih vrednosti lahko izračunamo senzitivnost, specifičnost in točnost. Senzitivnost nam pove, s kakšno verjetnostjo bo CAD sistem pravilno prepoznal in klasificiral patološko spremembo na CT sliki, ki je zares prisotna. Specifičnost nam pove, s kakšno verjetnostjo bo CAD sistem pravilno klasificiral CT slike brez patologij, na katerih resnično ne bo prisotne patološke spremembe. Točnost pa je skupna mera, torej merimo, kako uspešen je
19
CAD sistem pri klasifikaciji CT slik s prisotnostjo patologije in brez prisotnosti patologije na slikah (Žibert, 2020).
1.2.4.1 ROC in AUC
Grafi operativnih značilnosti sprejemnika (ROC, ang. Receiver operating characteristics) so dvodimenzionalni grafi, ki prikazujejo odvisnost specifičnosti in senzitivnosti določenega modela klasifikacije (Fawcett, 2006).
Z ROC krivuljo ocenjujemo učinkovitost CAD sistemov. Želimo si CAD sistem, ki bo imel visoko vrednost senzitivnosti in specifičnosti. Torej učinkovit CAD sistem bo imel ROC krivuljo v bližini zgornjega levega kota (vrednost 0 po x osi in vrednost 1 po y osi na grafu) (Yanase, Triantaphyllou, 2019).
Slika 11 prikazuje ROC graf, ki simbolično prikazuje vrednosti petih klasifikatorjev. Bolj učinkoviti CAD sistemi bodo imeli ROC krivuljo v bližini točke D na grafu.
Slika 11: Osnovni ROC graf, ki simbolno prikazuje pet klasifikatorjev (Vir slike: Fawcett, 2006)
Območje pod krivuljo ali AUC (ang. Area under an ROC curve) je izračun površine pod krivuljo ROC. Vrednost AUC znaša vedno med 0 in 1. Če ima klasifikator večjo vrednost AUC, torej vrednost bližje 1, je bolj zanesljiv. Noben klasifikator pa ne sme imeti AUC vrednosti manjše od 0,5 (Fawcett, 2006).
20
2 NAMEN
Namen diplomske naloge je bil pregled strokovne literature, ki se navezuje na uporabo CAD aplikacij v računalniški tomografiji pri slikanju prsnih organov in jeter. Sistematično smo pregledali literaturo ter rezultate in ugotovitve tudi predstavili.
Glavni cilj je bil s pomočjo sistematičnega pregleda literature poiskati uporabo, predstaviti delovanje sistema, uspešnost in ključne sestavne dele.
Zastavili smo si naslednja raziskovalna vprašanja:
• Kako delujejo CAD sistemi pri interpretaciji CT slik jeter in pljuč in kakšni so njihovi rezultati?
• Ali so CAD sistemi prisotni v klinični rabi?
• Katere oblike strojnega učenja so najbolj učinkovite?
• Kakšne prednosti predstavlja uporaba CAD sistemov?
• Kakšne so slabosti CAD sistemov?
21
3 METODE DELA
Uporabili smo deskriptivno metodo dela s sistematičnim pregledom literature na področju medicine in računalništva.
Pri raziskovanju so nam bile v pomoč sledeče ključne besede v angleščini: computer aided diagnosis, CAD systems, computed tomography, liver in lung nodules. V slovenščini smo uporabili: računalniška tomografija, jetra, pljučni vozlički, CAD sistemi.
Med ključnimi besedami smo uporabili operator AND (slovensko IN) in OR (slovensko ALI).
Raziskovali smo v sledečih podatkovnih bazah: CINAHL, MEDLINE, SCIENCEDIRECT, SPRINGER, Google učenjak in COBISS, od oktobra 2020 do avgusta 2021.
3.1 Vključitveni kriteriji
• Besedila, napisana v slovenskem ali angleškem jeziku.
• Dostopnost celotnega besedila.
• Objavljena besedila med letom 2000 in 2021.
• Članki, ki obravnavajo CAD sisteme.
• Besedila, ki obravnavajo računalniško tomografijo.
3.2 Izključitveni kriteriji
• Besedila, ki niso napisana v slovenskem ali angleškem jeziku.
• Besedila, ki niso dostopna v celoti.
• Besedila, ki so bila objavljena pred letom 2000.
• Besedila, ki ne obravnavajo CAD sistemov v računalniški tomografiji.
22
3.3 Rezultati pregleda
Literaturo smo iskali v zgoraj omenjenih podatkovnih bazah preko oddaljenega dostopa Digitalne knjižnice Univerze v Ljubljani, in sicer z vnašanjem ključnih besed in upoštevanjem vključitvenih in izključitvenih kriterijev.
Iz vseh podatkovnih baz smo skupno dobili 1176 virov. Najprej smo pregledali ustreznost naslovov in izvlečkov. Nato smo izključili tiste članke, ki niso ustrezali našim merilom.
Izključili smo 1123 člankov. Ostalih 53 smo pregledali v celoti in ocenili ustreznost celotnega besedila. V rezultate smo vključili 5 člankov, ki so se nam zdeli najbolj ustrezni.
Potek iskanja prikazuje spodnji diagram.
Slika 12: Diagram poteka izbire člankov
23
4 REZULTATI
Dokumente, ki smo jih uporabili pri sistematičnem pregledu literature, smo iskali v predhodno omenjenih podatkovnih bazah z upoštevanimi vsemi vključitvenimi in izključitvenimi kriteriji.
V sistematični pregled literature smo vključili 5 člankov, ki podajajo nazorne rezultate o uporabi CAD sistemov pri analiziranju CT slik prsnih organov in jeter. Rezultati so prikazani v obliki tabele, v nadaljevanju pa sledi njihova interpretacija.
4.1 CAD sistemi pri CT slikanju prsnih organov
CT prsnih organov izvajamo z namenom pridobivanja volumetričnih podatkov celotnega prsnega koša v času globokega vdiha za oceno fokalnih in difuznih bolezni ter bolezni večjih in manjših dihal. Izvaja se tudi za potrditev ali izključitev pljučne embolije in izvajanje interventnih posegov. Osnovni protokol za CT slikanje pljučnih vozličkov je slikanje prsnega koša brez uporabe kontrastnega sredstva (ang. Non-contrast CT, NCCT) (Kaučič, 2020).
CAD sistemi pri CT slikanju pljuč so zelo pomembni za pomoč zdravnikom pri zgodnjem odkrivanju pljučnih vozličkov. Pomembni podatki za CAD sisteme pri detekciji pljučnih vozličkov so podatki o obliki, velikosti in gostoti tkiva v vokslu (Parveen, Kavitha, 2012).
24
Tabela 1:CAD sistemi pri slikanju prsnih organov
AVT-
OR CAD
SISTEM PREDHO- DNA OBDELAVA
POSTOPEK SEGMEN- TACIJE
POSTOPEK KLASIFI- KACIJE
UPOR-
ABA BAZA in ŠT.
PACIE- NTOV
SENZITIVNO-
ST (%) SPECIFIČN-
OST (%) TOČ- NOST (%)
VELIKOST VOZLOČKOV
– OPOMBE
AUC
Shaukat et al., 2019
Nevronska mreža za klasifikacijo pljučnih vozličkov na CT slikah
Zmanjševanje šuma. Glajenje slike (Gaussov filter).
Upragovljenje Nevronska
mreža Detekcija malignih pljučnih vozličkov
LIDC/ 84 95,5 94,28 93,7 3–30 mm 0,96
Javaid et al., 2016
Razvrščanje potencialnih vozličkov
Izboljšanje kontrasta z normalizacijo.
Odstranjevanje šuma.
Upragovljenje SVM Detekcija malignih pljučnih vozličkov
LIDC/
110 pacientov, 11940 rezov
91,65 96,76 96,22 2,9–27 mm 0,99
25
Shaukat in njegovi sodelavci (2019) so za klasifikacijo pljučnih vozličkov uporabili nevronsko mrežo. Za predhodno obdelavo CT slik so uporabili multiscale enhancing filter in Gaussov filter za glajenje slike in zmanjševanje vpliva šuma na sliki. Za postopek segmentacije pljuč so uporabili tehniko upragovljanja. Metodo so preizkusili na podatkovni bazi LIDC, kjer so uporabili 84 CT slik pljuč, na katerih so bili pljučni vozlički veliki 3–30 mm. Za potrebe klasifikacije so uporabili tudi značilke o intenziteti, obliki in teksturi pljučnih vozličkov. Sistem je pred postopkom klasifikacije vsak del posebej ponovno pregledal. Na podlagi velikosti so uporabili preprost prag za izključitev kandidatov za vozličke. Vsi vozlički, ki niso bili veliki od 3 mm do 30 mm, niso bili vključeni v klasifikacijo. Dosegli so 95,5-% senzitivnost, 94,28-% specifičnost in 93,7-% točnost.
Prav tako so tudi Javaid in njegovi sodelavci (2016) uporabili za izboljšanje CT slik 110 pacientov iz podatkovne baze LIDC, normalizacijo histograma in odstranjevanje šuma. Za segmentacijo pljuč so uporabili metodo upragovljenja. V postopku določanja značilk so uporabili podatke o obliki, obsegu, ekscentričnosti, intenziteti, kontrastnosti in podatke o porazdelitvi slikovnih elementov. Za klasifikacijo pljučnih vozličkov so uporabili metodo podpornih vektorjev (SVM). Dosegli so 91,65-% senzitivnost, 96,76-% specifičnost in 96,22-% točnost. Pljučni vozlički so merili 2,9 mm–27 mm.
4.2 CAD sistemi pri CT slikanju jeter
CAD sistemi se pri CT slikanju jeter uporabljajo za detekcijo patologij, ki so na CT slikah jeter vidne. To so ciroza jeter (CIRR), hepatocelularni karcinom (HCC), hemangiom (HEM), ciroza jeter (CIRR), metastaze (MET) in prepoznavanje malignih in benignih tumorjev.
Zaradi pravilne izvedbe CT preiskave je pomembno, da se izvajalci slikanja držijo predpisanega protokola. Na ta način zagotavljamo optimalno izbiro parametrov slikanja in izvedbo preiskave, kakovostne CT slike in funkcijske spremembe jeter (Kaučič, 2020).
Za CT slikanje jeter se uporablja tri- ali štirifazno slikanje, ki se pogosteje uporablja. V prvem primeru se izvede slikanje v nativni fazi brez kontrastnega sredstva in nato še v arterijski fazi in venski fazi po aplikaciji kontrastnega sredstva. Pri štirifaznem slikanju se, poleg predhodno naštetih, izvede še slikanje pozne faze po 4 minutah (Kaučič, 2020).
26
Tabela 2: CAD sistemi pri slikanju jeter
AVT- OR
CAD SIST- EM
PROTO- KOL SLIKAN- JA
PREDHO- DNA
OBDELA-VA
POSTOPEK SEGMENT- ACIJE
POSTOPE K KLASIFI- KACIJE
UPORA- BA
BAZA IN ŠT.
PACIENTOV
SENZITIVNO -ST (%)
SPECIFIČNO -ST (%)
TOČNO -ST (%)
AU C
(Naya k et al., 2019)
CAD SISTEM za detekcij o HCC in CRR
Multifazn
o slikanje Normalizacija ,
odstranjevanje šuma
Postopek razraščanja področji
LR in SVM Klasifikacij a
CIRR, HCC
IIT DELHI / N=40 primerov CRR=12 HCC=14
Ni podatka Ni podatka SVM:
86,9 0,93
(Das et al., 2019)
WGLD Ni
podatka Ostrenje
robov Postopek segmentacije z
razvodnicami , mešanica Gaussovih porazdelitev
(DNN) Globoka nevronska mreža
Klasifikacij a
HEM, HCC, MET
IMS and SUM Hospital /N= 225 primerov HEM=75 primerov HCC=75 MET=75
100 99,1 99,4 /
(Chan g et al., 2017)
CAD za diagnoz o jetrnih tumorje v
Nativna, arterijska faza, portalna venska faza
Odstranjevanj e šuma, izbrane visoko kontrastne slike
Postopek razraščanja področji
LR Klasifikacij a malignih in benignih tumorjev
National Taiwan University/
N=71;Benigni=4 9 Maligni=22
81,8 81,6 81,7 0,87
27
Nayak in njegovi sodelavci (2019) so svojo metodo CAD za detekcijo ciroze jeter (CIRR) in hepatocelularnega karcinoma (HCC) testirali na štiridesetih primerih naborov slik CT preiskav abdomna iz zasebne podatkovne baze indijskega Inštituta za tehnologijo (IIT) v Delhiju. Nabori CT slik so bili pridobljeni od štiridesetih različnih pacientov, starih med 25 in 55 let. Nabor CT slik je vseboval 14 primerov 3D CT slik zdravih jeter (n=14/40), 12 primerov nabora 3D CT slik ciroze jeter (CIRR) (n=12/40), in 14 primerov nabora 3D CT slik hepatocelularnega karcinoma jeter (HCC), (n=14/40). Slike so bile narejene v multifaznem slikanju z uporabo kontrastnega sredstva. Ta zajema nativno slikanje brez kontrasta; arterijska faza, portalna venozna faza in pozna faza. Slike so obdelali z uporabo normalizacije in odstranjevanja šuma. Za segmentacijo so uporabili postopek razraščanja področij. Ekstrakcija značilk je bila izvedena glede na obliko, teksturo, intenziteto in geometrijo. Teksturo so določili glede na 3D obliko. Intenziteto vokslov so določili s pomočjo kinetične krivulje intenzivnosti voksla zaradi spremembe vsebnosti kontrastnega sredstva v jetrih, in sicer znotraj vsake faze. Vsak voksel je imel svojo kinetično krivuljo.
Nato pa so s tehniko rojenja razvrstili med seboj kinetične krivulje in nato izbrali najbolj reprezentativno krivuljo za krivuljo tumorja za vsako fazo CT slikanja. Parametre posameznih krivulj za potrebe klasifikacije med patološkimi in nepatološkimi spremembami so izračunali z logistično regresijo (LR), ki je dosegla 92,5-% točnost. Za analizo multifaznega slikanja so uporabili metodo podpornih vektorjev (SVM), s katero so določili skupno 24 značilk za klasifikacijo ciroze jeter (CIRR) in hepatocelularnega karcinoma (HCC). Z metodo SVM so dosegli 86,9-% točnost in vrednost AUC 0,93.
CAD sistem, ki je temeljil na tehniki globokega učenja (Das et al., 2019), je bil testiran na 225 CT slikah. Od tega je bila na 75 slikah patologija hemangiom jeter (HEM), na 75 slikah hepatocelularni karcinom (HCC) in na 75 slikah jetrne metastaze (MET). Podatkov o protokolu slikanja in predhodni obdelavi slik niso navedli. Vse slike so bile pridobljene na Inštitutu medicinske znanosti in SUM bolnišnice v Indiji (IMS and SUM Hospital) iz centra za medicinsko slikanje. Značilke iz segmentiranih slik so določili glede ne njihove statistične, geometrične in teksturne značilnosti ter pomočjo matrike sočasnega pojavljanja (GLCM). Za potrebe segmentacije slike so uporabili postopek segmentacije z razvodnicami (ang. watershed) in model mešanice Gaussovih porazdelitev (GMM). Za postopek klasifikacije so uporabili svojo, samostojno izdelano globoko nevronsko mrežo. Izvajali so poskuse in spreminjali parametre, kot so število skritih plasti, število učnih korakov, aktivacijsko funkcijo in skupno število nevronov. Kot vhodno aktivacijsko funkcijo so
28
uporabili ReLU (usmerjene linearne enote), kot izhodno aktivacijsko funkcijo so uporabili Softmax optimizacijski algoritem za učenje modelov globokega učenja Adam. Dosegli so 100-% senzitivnost, 99,1-% specifičnost in 94,4-% točnost.
Chang in njegovi sodelavci (2017) so razvili CAD sistem za diagnozo malignih ali benignih jetrnih tumorjev. Testirali so ga na 71-ih serijah CT slik iz podatkovne baze National Taivan University. Slike so bile narejene v nativni fazi, arterijski in portalni venski fazi z uporabo kontrastnega sredstva. S CT slik so odstranili vpliv šuma, izbrali pa so tiste slike, ki so imele najboljšo kontrastno ločljivost. Za potrebe segmentacije so uporabili postopek razraščanja področij. Jetrni tumorji so bili segmentirani na osnovi treh značilk. To so tekstura, oblika in kinetična krivulja.
• Tekstura je bila določena z uporabo trodimenzionalnih podatkov o teksturi tumorja s pomočjo matrike sočasnega pojavljanja (GLCM). Teksturo so določili glede na energijo, korelacijo in intenziteto kontrasta.
• Obliko tumorja so določili glede na kompaktnost, radij in elipso. Kompaktnost so izračunali z enačbo glede na kvadraturo, volumen, število vokslov, ki prikazujejo tumor in velikost voksla. Radij so določili s standardno deviacijo razdalje med robom tumorja in centrom tumorja.
• Kinetično krivuljo intenzivnosti voksla pa so količinsko opredelili glede na spremembo vsebnosti kontrastnega sredstva v jetrih znotraj vsake faze. Vsak voksel je imel svojo kinetično krivuljo. Nato pa so s tehniko rojenja razvrstili med seboj kinetične krivulje in nato izbrali najbolj reprezentativno krivuljo za krivuljo tumorja za vsako fazo CT slikanja.
Torej, če se je tumorska tekstura pojavila na več rezih oziroma zaporednih CT slikah, je CAD sistem prepoznal patologijo. Če se je vzorec patološke spremembe pojavil na samo enem rezu, je CAD sistem ni upošteval. Za opis 3D-oblike tumorja so bili uporabljeni kompaktnost, rob in eliptični model. Kinetična krivulja je bila določena iz vsake faze tumorja in predstavljena kot sprememba gostote med različnimi fazami slikanja. Za klasifikacijo patologij na slikah so uporabili analizo logistične regresije (LR). Dosegli so 81,8-% senzitivnost, 81,6-% specifičnost in 81,7-% točnost. Metoda je glede na ostala dva sistema manj uspešna, vendar so rezultati kljub temu dobri.
29
5 RAZPRAVA
Osnovni namen diplomskega dela je bil s pomočjo sistematičnega pregleda literature seznanjenje s ključnimi gradniki CAD sistemov in njegovim delovanjem. Obstaja zelo veliko različnih CAD sistemov, namenjenih za različne organske sisteme in patologije.
Imajo zelo veliko uporabno vrednost, saj dosegajo, glede na pregledano literaturo, izjemne rezultate. Običajno CAD sistem vsebuje 4 stopnje, te so: postopek pridobivanja slik, postopek predhodne obdelave, segmentacijo slik in klasifikacijo. Vsi postopki so zelo zahtevni in kompleksni. Uspešnost delovanja merimo s specifičnostjo, senzitivnostjo in točnostjo. Možna je tudi ROC analiza, kjer s pomočjo ROC krivulje in ploščine področja pod to krivuljo (AUC) računamo uspešnost CAD/klasifikacijskih postopkov.
Sistemi CAD lahko koristijo pacientom in radiologom. Radiologom sistemi pomagajo doseči večjo produktivnost, hitrejše ocenjevanje medicinskih slik, predvsem v urgentnih situacijah, in večjo natančnost (Lindsay et al., 2011).
Po mnenju nekaterih avtorjev so sistemi CAD primerljivi in v določenih primerih celo boljši od specialistov radiologov pri interpretaciji CT slik. Po pregledu literature njihova uspešnost narašča. Vendar obstajajo določene omejitve. Eno izmed njih predstavljajo podatki v smislu vsebine, količine in kakovosti. Zagotoviti je potrebno velike količine kakovostnih CT slik za učenje in testiranje algoritmov (Fujita, 2020).
Sorazmerno majhne zbirke podatkov, na katerih so bili CAD sistemi določeni, predstavljajo slabost. Domnevamo, da bi se morali CAD sistemi testirati na večjem številu CT slik, saj bi se s tem zvečala njihova učinkovitost in zanesljivost. Druga omejitev je raznolikost CT slik in podatkovnih baz, na katerih se CAD sistemi testirajo. Največjo uganko predstavljajo zasebne podatkovne zbirke, saj nimamo neposrednega vpogleda in informacij o njihovih slikah. Po pregledu določenih podatkovnih baz smo bili najbolj navdušeni nad LIDC podatkovno bazo, ker je lahko dostopna in vsebuje informacije o številu CT slik, prisotnosti patologije in njeni vrsti ter prikazuje CAD sisteme, ki so bili na njej razviti ali testirani in prikazuje njihovo uspešnost. Se kontinuirano dopolnjuje, zato sklepamo, da zaradi vse večjega števila medicinskih slik sistemi dosegajo čedalje večjo učinkovitost. Menimo, da takšna podatkovna zbirka predstavlja največjo relevantnost. Zato upamo, da se bo v prihodnosti zvečalo število javno dostopnih podatkovnih baz in medicinskih slik za učenje in testiranje CAD sistemov.
30
Naslednja slabost je zelo ozka usmerjenost sistemov, saj so bili mnogi CAD sistemi razviti za opravljanje samo ene naloge in reševanje določenega problema, npr. CAD sistem za detekcijo izključno pljučnih vozličkov, kar onemogoča opravljanje ostalih nalog in ni dokazov, da bi dobili primerljive rezultate pri opravljanju različnih nalog. Podatkov o obsežni uporabi v klinični praksi ni (Fujita, 2020).
CAD sistemi, ki za postopek klasifikacije uporabljajo postopek globokega učenja, so zelo učinkoviti, saj dosegajo dobre rezultate in so pri opravljanju specifičnih nalog ne potrebujejo ročne segmentacije interesnega področja. S tem se izognemo pristranskosti in morebitnih spregledanih podatkih. Ta postopek so uporabili Das in njegovi sodelavci (2019), vendar niso navedli vrednost AUC. Ta podatek je zelo pomemben parameter učinkovitosti sistema.
Algoritmi, uporabljeni v CAD sistemih, imajo visoko zmogljivost, ampak niso vsi dovolj robustni. Zato Fujita (2020) opozarja, da diagnostične zmogljivosti tehnologij umetne inteligence ostajajo negotove zaradi pomanjkanja raziskav, ki neposredno primerjajo diagnostične sisteme na podlagi umetne inteligence in uspešnost zdravnikov v resničnem kliničnem okolju. Vendar se načrtujejo temeljne raziskave umetne inteligence v medicinskem slikanju.
Iz pregleda literature smo ugotovili, da se v zadnjem času pojavljajo tudi komercialni programi CAD sistemov, ki so na voljo za prodajo. Zato je pomembno, da se radiološki inženirji naučimo uporabe teh sistemov, saj sklepamo, da bodo ti sistemi nekoč v širši klinični rabi.
Proizvajalci izdelkov morajo podati informacije o delovanju programske opreme, o postopku obdelave slike, kakšen vpliv ima kakovost slike na uspešnost sistemov, kateri inteligentni sistem se uporablja ipd. Programska oprema mora biti skladna z informacijskim sistemom za arhiviranje slik in komunikacijo, kjer se bo uporabljala (Omoumi et al., 2021).
Omoumi in njegovi sodelavci (2021) navajajo, da je potrebno algoritme sistemov razvijati in testirati na ločenih podmnožicah nabora podatkov. Torej algoritma ne smemo testirati na istih podatkih, na katerih je bil le-ta razvit. Za to so se razvile določene smernice, npr.
TRIPOD (transparent reporting of a multivariable prediction model for individual prognosis or diagnosis). Podatki o naboru podatkov, kjer se sistemi učijo in testirajo. Lastnosti algoritmov morajo biti zelo specifični. Vsebovati morajo:
