Univerza v Ljubljani
Fakulteta za raˇ cunalniˇ stvo in informatiko
Aljoˇsa Koren
Orodje za diagnosticiranje malarije iz krvnih razmazov
DIPLOMSKO DELO
UNIVERZITETNI ˇSTUDIJSKI PROGRAM PRVE STOPNJE
RA ˇCUNALNIˇSTVO IN INFORMATIKA
Mentor : izr. prof. dr. Matej Kristan
Ljubljana, 2021
besedilo, slike, grafi in druge sestavine dela kot tudi rezultati diplomskega dela lahko prosto distribuirajo, reproducirajo, uporabljajo, priobˇcujejo javnosti in pre- delujejo, pod pogojem, da se jasno in vidno navede avtorja in naslov tega dela in da se v primeru spremembe, preoblikovanja ali uporabe tega dela v svojem delu, lahko distribuira predelava le pod licenco, ki je enaka tej. Podrobnosti licence so dostopne na spletni strani creativecommons.si ali na Inˇstitutu za intelektualno lastnino, Streliˇska 1, 1000 Ljubljana.
Izvorna koda diplomskega dela, njeni rezultati in v ta namen razvita program- ska oprema je ponujena pod licenco GNU General Public License, razliˇcica 3 (ali novejˇsa). To pomeni, da se lahko prosto distribuira in/ali predeluje pod njenimi pogoji. Podrobnosti licence so dostopne na spletni strani http://www.gnu.org/
licenses/.
Besedilo je oblikovano z urejevalnikom besedil LATEX.
Kandidat: Aljoˇsa Koren
Naslov: Orodje za diagnosticiranje malarije iz krvnih razmazov
Vrsta naloge: Diplomska naloga na univerzitetnem programu prve stopnje Raˇcunalniˇstvo in informatika
Mentor: izr. prof. dr. Matej Kristan
Opis:
V nalogi obravnavajte problem diagnostike malarije iz krvnih razmazov.
Osredotoˇcite se na postopke detekcije in ˇstetja objektov z raˇcunalniˇskim vi- dom in predlagajte metodo za detekcijo celic in njihovo klasifikacijo v kate- gorije relevantne za diagnostiko. Razvijete tudi spletno aplikacijo, ki imple- mentira metodo za praktiˇcno ˇstetje okuˇzenih celic. Metode analizirajte na javni podatkovni zbirki in jih kritiˇcno ovrednotite.
Title: A tool for diagnosing malaria from blood smears Description:
Address the problem of diagnosing malaria from blood smears. In your work, focus on the approaches for detecting and counting objects with computer vision and suggest a method for detecting cells and classifying them into categories relevant for diagnostics. In addition, develop a web application that implements the method for practical counting of infected cells. Analyze and critically evaluate the methods on a public dataset.
Zahvaljujem se mentorju izr. prof. dr. Mateju Kristanu za hitro odzivnost, odliˇcno vodenje in napotke skozi diplomsko delo. Zahvaljujem se tudi druˇzini, ki me je podpirala in spodbujala med ˇstudijem.
Kazalo
Povzetek Abstract
1 Uvod 1
1.1 Motivacija . . . 1
1.2 Sorodna dela . . . 2
1.3 Prispevki . . . 5
1.4 Struktura naloge . . . 6
2 Uporabljene metode 7 2.1 Konvolucijske nevronske mreˇze . . . 7
2.1.1 Konvolucija . . . 7
2.1.2 Arhitektura konvolucijske nevronske mreˇze . . . 10
2.2 DenseNet . . . 12
2.3 FCOS . . . 14
3 Implementacija 19 3.1 Implementacija modelov za detekcijo . . . 19
3.2 Arhitektura spletne aplikacije . . . 20
4 Eksperimentalna evalvacija 23 4.1 Podatkovna zbirka . . . 23
4.2 Ocenjevanje metod . . . 26
4.3 Analiza metode M DFCOSc6 . . . 27
c6
4.6 Spletna aplikacija . . . 39
5 Sklep 41
5.1 Nadaljne delo . . . 42
Literatura 45
Seznam uporabljenih kratic
kratica angleˇsko slovensko
CA classification accuracy klasifikacijska toˇcnost
IoU intersection over union razmerje med presekom in unijo
SVM support vector machine metoda podpornih vektorjev
RGB red green blue rdeˇca zelena modra
JSON JavaScript Object Notation JavaScript objektna notacija CNN convolutional neural network konvolucijska nevronska
mreˇza
RBC red blood cell rdeˇca krvniˇcka
AP average precision povpreˇcna natanˇcnost
Povzetek
Naslov: Orodje za diagnosticiranje malarije iz krvnih razmazov Avtor: Aljoˇsa Koren
V diplomski nalogi naslavljamo problem avtomatske diagnoze malarije. V okviru naloge smo razvili orodje medicinskim tehnikom, ki detektira ˇstevilo s paraziti okuˇzenih celic ter zdravih celic v slikah krvnih razmazov. Orodje za diagnostiko, ki smo ga razvili, bistveno pospeˇsi proces diagnostike. Okuˇzene celice so dodatno klasificirane v ˇstiri razliˇcne ˇzivljenjske cikle parazitov. V okviru naloge smo razvili modelaM Dc6FCOSinM DFCOSc2 , ki uporabljata FCOS in model M Dc6FCOS,DNet, ki uporablja FCOS in DenseNet. Modele smo ana- lizirali na prostodostopni bazi anotiranih slik krvnih razmazov, ki vsebuje 1364 slik. Modela M DFCOSc6 inM DFCOS,DNetc6 detektirata ˇsest razredov celic, medtem ko model M Dc2FCOS detektira zgolj zdrave in okuˇzene celice. Model M Dc6FCOS, ki smo ga razvili, dosega F1 metriko nad 0.7 za polovico razredov, za drugo polovico pa nad 0.3. Model M DFCOSc2 , ki je specializiran za zgolj razlikovanje med okuˇzenimi in zdravimi celicami, dosega F1 za zdrave celice nad 0.95 in F1 za okuˇzene celice nad 0.8. Tretji model, ki smo ga razvili, pa dosega boljˇse rezultate na slabo zastopanih razredih in slabˇse na boljˇse zastopanih razredih v podatkovni zbirki. Model M Dc6FCOS,DNet s 98.8% ver- jetnostjo prepozna sliko okuˇzenega krvnega razmaza kot okuˇzeno. V okviru naloge smo razvili tudi spletno aplikacijo, ki omogoˇca uporabo naˇsega modela zdravstvenim tehnikom. Aplikacija s preprostim uporabniˇskim vmesnikom omogoˇca nalaganje slik, na katerih model nato naredi predikcije. Diagnoza
Kljuˇcne besede: malarija, detekcija objektov, diagnosticiranje.
Abstract
Title: A tool for diagnosing malaria from blood smears Author: Aljoˇsa Koren
We addressed the problem of automatic malaria diagnosis. In particular, we designed a tool for medical technicians that detects and counts the number of infected and healthy cells from blood smear images and also classifies cells into a particular life cycle of malaria infection. The tool provides a major improvement in the speed of the diagnosis process. We developed two mod- els; M Dc6FCOS and M Dc2FCOS, which both use FCOS, and modelM DFCOS,DNetc6 which uses FCOS and DenseNet. We analyzed our models on an open- sourced dataset of blood smears which contains 1364 images. M DFCOSc6 and M Dc6FCOS,DNet models detect six classes of cells, meanwhile M DFCOSc2 model detects only healthy and infected cells. The M Dc6FCOS model achieves a F1 score above 0.7 for half of the classes and above 0.3 for the other half.
M Dc2FCOS model, specialized in detecting the difference between infected and healthy cells, has F1 score above 0.95 for healthy cells and above 0.8 for infected cells. M Dc6FCOS,DNet model is better at detecting classes that are un- derrepresented in the database, but also worse than M Dc6FCOS at detecting well represented classes. M Dc6FCOS,DNet model recognizes an infected blood smear as infected with the probability of 98.8%. We also developed a web application that enables the usage of our model to medical technicians. The application provides a simple user interface that shows the annotated cells on the input image, providing a tool to technicians that shows a diagnosis in less than 30 seconds.
Poglavje 1 Uvod
1.1 Motivacija
Malarija je ena najbolj razˇsirjenih in smrtonosnih bolezni, ki jih poznamo.
Samo leta 2019 so poroˇcali o 229 miljonih primerih okuˇzenih in 409 tisoˇc pri- merih smrti [20]. Razˇsirjena je predvsem v tropskem pasu, kjer je povpreˇcni standard ˇzivljenja zelo nizek. Veˇcina ljudi si ne more privoˇsˇciti zdravstvene oskrbe, razne klinike podprte z donacijami pa so preprosto preveˇc obreme- njene s pacienti, ki lahko ˇcakajo po veˇc dni, da so oskrbljeni. Malarijo se diagnosticira tako, da se pacientu s simptomi malarije vzame kapljo krvi, ki jo nato izkuˇseni tehnik analizira pod mikroskopom, kjer preˇsteje ˇstevilo rdeˇcih krvnih celic okuˇzenih s parazitom. Ta proces je zelo dolgotrajen in povzroˇca ozko grlo v klinikah, zato veliko bolnikov ne dobi zdravljenja, kar povzroˇca dolgotrajne posledice ali celo smrt. Ko se potrdi okuˇzbo z malarijo, se lahko okuˇzene celice klasificira v enega izmed ˇstirih ˇzivljenjskih ciklov pa- razitov (Slika 1.2) in tako doloˇci najbolj primerno zdravljenje. Velikokrat se v obmoˇcjih z velikim ˇstevilom primerov malarije odloˇcajo za diagnozo zgolj na podlagi simptomov in krvi sploh ne pregledajo, kar pa povzroˇca tudi re- zistenco parazitov na zdravila. Zato je nujno potrebno razviti sistem, ki bo omogoˇcal hitro in tudi natanˇcno zaznavo okuˇzbe [1].
Pri detekciji malarije nastopijo ˇstevilne teˇzave zaradi ˇcloveˇskega faktorja, 1
saj nihˇce ni sposoben pripraviti identiˇcnih vzorcev, z enako razporeditvijo krvnih celic, pod enako svetlobo in z isto kamero, zato je izdelava robu- stnega sistema ˇse toliko teˇzja. Prejˇsnje reˇsitve so problem poskuˇsale reˇsiti z doloˇcanjem praga v intenziteti, iskanjem praga v barvnih slikah, preverja- nje velikosti celic, segmentacijo in podobnimi metodami. Vse so se sreˇcale s teˇzavami, saj bodisi niso bile dovolj robustne zaradi razliˇcnih debelin krvnih razmazov, razliˇcne svetlobe ali prekrivanja celic bodisi je bila reˇsitev preveˇc preprosta in ni bila primerna za diagnozo malarije [18].
Reˇsitev bi tako bila v pomoˇc zdravstvenim tehnikom, ki v endemiˇcnih drˇzavah potrebujejo orodje, ki bi skrajˇsalo postopek diagnoze malarije, ki lahko traja tudi od 30 do 60 minut. Prav tako pa bi bila v pomoˇc tudi tehni- kom v obmoˇcjih, kjer so primeri z malarijo izjemno redki in zato zdravstveni delavci niso tako zanesljivi pri doloˇcanju diagnoze, kot bi bili, ˇce bi se z njo sreˇcali vsak dan [4, 15].
V tem delu se osredotoˇcimo na uporabo modernejˇsih metod raˇcunalniˇskega vida, ki se bolje spopadajo s teˇzavami ˇcloveˇskega faktorja. Prav tako poleg tega, da zaznavamo, ali je vzorec krvi okuˇzen z malarijo ali ne, klasificiramo okuˇzene krvniˇcke v eno izmed ˇzivljenskih ciklov razvoja parazitov.
1.2 Sorodna dela
ˇStudije izpred nekaj let ˇse niso uporabljale modernih pristopov globokega uˇcenja in so bile uspeˇsne le na zelo omejenem ˇstevilu slik, kjer so bile celice zelo lepo razvidne in se niso prekrivale. [18]
Pri eni izmed ˇstudij [10] so slike razbili na prekrivajoˇce dele in dele oznaˇcili kot 1, ˇce so vsebovali srediˇsˇce anotiranega omejevalnega okvirja okoli parazita ali kot 0, ˇce ga niso vsebovali. Osredotoˇcili so se na to, da mora biti sistem ro- busten na vse moˇzne dejavnike, na primer razliˇcne velikosti, v primeru da bi bile slike zajete pri razliˇcnih poveˇcavah mikroskopa. Slike so najprej pretvo- rili v sivinske, saj so predpostavili, da barva nima veliko vpliva pri detekciji parazitov. Odloˇcili so se za dve vrsti znaˇcilk, in sicer izhajajoˇce iz povezanih
Diplomska naloga 3 komponent z uporabo morfologije ter z raˇcunanjem momentov pri razliˇcnih pragovih. Pri prvi metodi so uporabili metode morfologije, ki so pri razliˇcnih pragovih povezale piksle, ki naj bi pripadali istemu predmetu ter tako zgra- dili maksimalna drevesa. Ta podatkovna struktura jim je omogoˇcila izraˇcun povezanih komponent. Na tak naˇcin so doloˇcili naslednjih pet znaˇcilk: obseg, vztrajnostni moment, raztezek, nazobˇcenost ter razliko med maksimalnim ni- vojem sivine prejˇsnjega in trenutnega nivoja sivine. Razvita je bila reˇsitev, ki je za obrezane dele slike doloˇcila znaˇcilke. Znaˇcilke sivinskih odrezanih odse- kov so predstavili klasifikatorju ekstremno nakljuˇcnih dreves, ki so ga nauˇcili povezav med znaˇcilkami, da je prepoznal, ali se v znaˇcilkah nahaja parazit.
Klasifikator ekstremno nakljuˇcnih dreves vsebuje veliko odloˇcitvenih dreves z nakljuˇcnimi mejami. Za konˇcno odloˇcitev klasifikacije se odloˇci tako, da vzame predikcijo vsakega drevesa in se odloˇci za tisti razred, ki ima najveˇc glasov. Vsako drevo je zgrajeno z uporabo cele uˇcne mnoˇzice in ne z upo- rabo metode stremena. Za gradnjo drevesa pa v vsakem vozliˇsˇcu nakljuˇcno izberemo nekaj atributov in njihove toˇcke delitve, nato pa iz njih izberemo tistega najboljˇsega. [6]
Studije [14] so nato dosegle uspeˇsne rezultate na podroˇˇ cju toˇcnosti, vendar so bile ˇcasovno zelo potratne in so bile v nekaterih primerih celo poˇcasnejˇse od izkuˇsenega medicinskega tehnika pri pregledu mikroskopskih slik krvi. Pri taisti ˇstudiji so prav tako doloˇcili, da bi lahko barva negativno vplivala na detekcijo, saj se lahko pri razliˇcnih pH, starosti, tipu krvi itd. pojavljajo razliˇcne barve, ki bi lahko zavedle model. Zato so se odloˇcili, da bodo slike najprej procesirali s tehniko ravnoteˇzja beline slike. Metoda temelji na pred- postavki, da se paraziti malarije na sliki krvnega razmaza predstavijo v te- mnejˇsih odtenkih kot ostali objekti na sliki, zato jih lahko loˇcimo s pomoˇcjo praga. Prag so doloˇcili z uporabo metode podpornih vektorjev (ang. support vector machine, SVM) na histogramu orientiranih gradientov (HOG). Nato so z uporabo R-CNN [7] doloˇcili obmoˇcja potencialnih parazitov, ki so jih nato dodatno klasificirali, potem pa ˇse opravili eliminacijo dupliciranih de- tekcij. Ta postopek je zelo poˇcasen. Naredili so tudi reˇsitev specializirano
za eno od tehnik priprave preparatov, pri kateri so paraziti poleg levkocitov obˇcutno temnejˇse barve od ostalih komponent krvi. Tako so ustvarili detek- tor, ki preprosto uporabi prag, ˇcigar teˇzava je, da ima zelo nizko specifiˇcnost, saj detektira veliko predmetov, ki niso paraziti. Metodo so izboljˇsali z di- namiˇcnim upragovanjem intenzitete ter dinamiˇcnim lokalnim upragovanjem.
Najprej so z uporabo morfoloˇskih operacij izloˇcili levkocite, ki se pojavijo podobnih barv kot paraziti, vendar so veliko veˇcji tako, da jih je enostavno izloˇciti. Nato so uporabili izloˇcene levkocite, da so z njimi doloˇcili optimalen prag za loˇcitev ozadja od parazitov. Ker so paraziti izjemno majhni so nato uporabili ˇse dinamiˇcno lokalno upragovanje, ki sliko okoli parazitov binari- zira ter nato bliˇznje mehurˇce poveˇze v eno strukturo. Iz teh struktur nato z uporabo CNN doloˇcijo znaˇcilke, ki jih nato uporabijo za binarno klasifikacijo.
Za klasifikacijo so izbrali dve metodi, in sicer CNN, ki je preprost in hiter ter logistiˇcno regresijo, ki se izkaˇze za bolj robustno.
Novejˇse ˇstudije [5] so pokazale obˇcutno boljˇse rezultate, saj so uporabile modernejˇse pristope, kot je algoritem YOLOv3 za detekcijo objektov (para- zitov). ˇStudija je pokazala obˇcutno izboljˇsavo v toˇcnosti in prav tako bila uspeˇsna tudi pri slikah niˇzje resolucije zajete na mobilnih napravah. Algo- ritem YOLO [16] najprej razdeli sliko v S ×S mreˇzo, kvadrat, ki vsebuje center objekta, je zadolˇzen za detekcijo objekta. Vsak kvadrat mreˇze napove B omejevalnih okvirjev z oceno zaupanja. YOLOv3 je izboljˇsana verzija al- goritma YOLO in je polno konvolucijska nevronska mreˇza, torej je zgrajena zgolj iz konvolucijskih plasti. Novejˇsa verzija algoritma se je izkazala kot boljˇsa za detekcijo manjˇsih objektov na sliki, zato je bolj primerna za de- tekcijo parazitov. YOLO uporablja sidra, ki so v naprej definirani oˇcrtani okvirji, kot predikcijo omejevalnih okvirjev pa poda odmik od sider. Sidra so definirali tako, da se le najbolj prilagajajo priˇcakovanim oblikam parazitov.
ˇStudija je to veliko mreˇzo poenostavila, da je lahko tekla tudi na napravah z niˇzjo procesorsko moˇcjo.
Diplomska naloga 5
1.3 Prispevki
V nalogi smo razvili tri modele raˇcunalniˇskega vida, ki diagnosticirajo ma- larijo v krvnih razmazih. Enega izmed njih smo preko spletne aplikacije izpostavili, da ga lahko zdravstveni delavci preprosto uporabijo. Spletna aplikacija omogoˇca hitro in robustno diagnostiko, ki jo je moˇc uporabiti v praksi kot podporno orodje. Razviti modeli omogoˇcajo klasifikacijo celic v zgolj dve kategoriji zdravih in okuˇzenih celic ter tudi klasifikacije celic v doloˇcen ˇzivljenjski cikel malarije (Slika 1.1 in Slika 1.2).
Slika 1.1: ˇZivljenjski cikel malarije [13]
(a) RBC (b) Leukocyte (c) Ring
(d) Trophozoite (e) Schizont (f) Gametocyte
Slika 1.2: Celice razliˇcnih kategorij ˇzivljenjskega cikla
1.4 Struktura naloge
Diplomska naloga je sestavljena iz petih poglavij. V drugem poglavju na sploˇsno opiˇsemo konvolucijo ter teorijo za modeli, ki smo jih pri tem delu upo- rabili. V tretjem poglavju opiˇsemo implementacijo modelov raˇcunalniˇskega vida z njihovo arhitekturo in arhitekturo spletne aplikacije. V ˇcetrtem po- glavju opiˇsemo podatkovno zbirko celic, metode, ki smo jih uporabili pri ocenjevanju modelov, in rezultate implementiranih modelov. V tem poglavju predstavimo tudi analizo delovanja spletne aplikacije. V petem poglavju je predstavljen povzetek rezultatov implementacije in predlogi za nadaljne iz- boljˇsave.
Poglavje 2
Uporabljene metode
V poglavju 2.1 predstavimo matematiˇcno operacijo konvolucije in arhitekturo sploˇsne konvolucijske nevronske mreˇze. V poglavju 2.2 predstavimo model DenseNet [9], v poglavju 2.3 pa model FCOS [19].
2.1 Konvolucijske nevronske mreˇ ze
2.1.1 Konvolucija
Konvolucija je matematiˇcna operacija med dvema funkcijama, katere rezultat je nova funkcija. Konvolucijo lahko opiˇsemo z enaˇcbo
(f ∗g)(t) = Z ∞
−∞
f(τ)g(t−τ)dτ, (2.1) ki velja za zvezne funkcije. Funkcija predstavlja integral produkta prve funk- cije f(τ) z drugo funkcijo g(τ), ko slednjo preslikamo okoli osi, kar nam da g(−τ), in premaknemo za t, da dobimog(t−τ).
To matematiˇcno operacijo lahko uporabimo tudi pri diskretnih signalih tako, da namesto integrala zapiˇsemo vsoto in za premik izberemo cela ˇstevila v sledeˇci enaˇcbi
(f ∗g)[n] =
∞
X
m=−∞
f[m]g[n−m]. (2.2)
Za konvolucijo velja, da je:
7
1. Komutativna
x(n)∗h(n) =h(n)∗x(n) (2.3) 2. Asociativna
(x(n)∗h1(n))∗h2(n) =x(n)∗(h1(n)∗h2(n)) (2.4)
3. Linearna
h(n)∗(α1f1(n) +α2f2(n)) = α1(h(n)∗f1(n)) +α2(h(n)∗f2(n)) (2.5) Konvolucija je izredno uporabno orodje pri procesiranju signalov. Lahko se jo uporabi pri obdelavi ˇsumnih signalov, kjer se ˇzelimo znebiti visokih frekvenc ˇsuma in s tem pridobiti signal primeren za nadaljno uporabo. To lahko storimo s konvolucijo ˇsumnega signala in funkcijo, ki nam da uteˇzeno povpreˇcje nekaj sosednjih meritev. Taka funkcija je na primer Gaussova funk- cija. Prav tako pa konvolucijo lahko uporabimo za filtriranje nizkih frekvenc, saj moramo zgolj uporabiti drugaˇcno funkcijo, ki ohrani hitre spremembe v funkciji (Slika 2.1).
Konvolucijo se lahko uporabi tudi na veˇc kot eni dimenziji. Na primer na sivinskih slikah, ki predstavljajo dvodimenzionalno matriko intenzitet za vsak piksel. Filter, ki je prav tako dvodimenzionalen, preslikamo ˇcez obe osi in ga nato premikamo skozi sliko, kar opiˇse enaˇcba
G[i, j] =
k
X
u=−k k
X
v=−k
H[u, v]F[i−u, j−v]. (2.6) Rezultat enaˇcbe je prav tako dvodimenzionalna matrika.
Primer dvodimenzionalne konvolucije bomo opisali na naslednjem pri- meru. Podan je filter
h =
8 1 6 3 5 7 4 9 2
, (2.7)
Diplomska naloga 9
Slika 2.1: Primera konvolucije z razliˇcnima filtra na istem vhodnem signalu [17]
ki ga ˇzelimo uporabiti za konvolucijo z matriko
f =
17 24 1 8 15
23 5 7 14 16 4 6 13 20 22 10 12 19 21 3 11 18 25 2 9
. (2.8)
Najprej moramo filter h preslikati ˇcez obe osi in tako dobimo matriko
h0 =
2 9 4 7 5 3 6 1 8
, (2.9)
ki jo nato premikamo korak po korak ˇcez matriko f in sproti mnoˇzimo ele- mente obeh matrik, ki leˇzijo na istem mestu, ter nato zmnoˇzke seˇstejemo in jih vpiˇsemo na mesto trenutnega centralnega elementa filtra v rezultatsko
matriko. Za element na mestu (1,1) bi izraˇcunali, da je enak 0·2 + 0·9 + 0· 4 + 0·7 + 17·5 + 24·3 + 0·6 + 23·1 + 5·8 = 220, centralni element rezultatne matrike pa kot 5·2+7·9+14·4+6·7+13·5+20·3+12·6+19·1+21·8 = 555.
Ko izraˇcunamo elemente na vseh poloˇzajih dobimo matriko
f ∗h=
220 441 346 276 231 431 595 410 575 471 371 440 555 620 551 301 585 600 765 421 247 446 536 451 128
. (2.10)
2.1.2 Arhitektura konvolucijske nevronske mreˇ ze
Konvolucijska nevronska mreˇza je sestavljena iz razliˇcnih slojev. Prvi sloj se imenuje vhodni, zadnji sloj izhodni, vmesni sloji pa skriti sloji. Vhodni sloj sprejme sliko oziroma matriko velikosti H×W ×C, kjerH predstavlja viˇsino slike, W ˇsirino slike in C ˇstevilo kanalov. ˇStevilo kanalov je odvisno od slike; ˇce je ta sivinska, je ˇstevilo kanalov zgolj 1, saj slika vsebuje zgolj intenzitete. V kolikor je slika v barvnem prostoru RGB, pa je ˇstevilo kanalov vhodne slike enako 3.
Konvolucijski sloj nevronske mreˇze, kot samo ime pove, opravlja kon- volucijo nad vhodom v sloj s filtri sloja ter nato rezultat preda aktivacijski funkciji filtra. CNN se tako priuˇci filtre, ki sproˇzijo aktivacijsko funkcijo pri doloˇcenih znaˇcilkah vhoda. Obiˇcajno ima konvolucijski sloj veˇc filtrov, ki opravljajo konvolucijo nad vhodnimi matrikami. Vsak filter opravi konvolu- cijo nad vhodom in seˇsteje istoleˇzne elemente vseh kanalov tako, da na koncu pridobimo zgolj en kanal. Filtri morajo tako imeti enako ˇstevilo kanalov kot vhod v sloj. Izhod konvolucijskega sloja ima enako ˇstevilo kanalov, kot ima sloj filtrov. Pri konvoluciji ni nujno, da je korak premika vedno enak 1. To je zgolj dodatni parameter, ki doloˇci, za koliko premaknemo filter, preden po- novno raˇcunamo skalarni produkt z vhodom. Z veˇcanjem tega parametra se tudi zmanjˇsa izhod konvolucije. Uˇcljivi filtri se tako uporabljajo, da zaznajo doloˇcene znaˇcilke v vhodu in sproˇzijo odziv v kolikor so prisotne. Izhodu
Diplomska naloga 11 nato dodamo odmik in rezulat poˇsljemo skozi aktivacijsko funkcijo, ki doda nelinearnost v mreˇzo. Aktivacijska funkcija je lahko sigmoidna
h(x) = 1
1 +e−x, (2.11)
ki vhod pretvori na interval med 0 in 1. Funkcija je lahko tudi ReLU
ReLU(x) = max(0, x), (2.12) ki vrednosti pod mejo enaˇci z niˇc. Lahko pa uporabimo puˇsˇcajoˇci ReLU
h(x) =
αx x≤0 x x >0
, (2.13)
ki vrednosti pod mejo pomnoˇzi s konstanto α. Za aktivacijsko funkcijo pa obstaja ˇse mnogo drugih funkcij, ki jih lahko uporabimo.
Sloj zdruˇzevanja se v CNN uporablja z namenom zmanjˇsevanja di- menzij vhodov v naslednje sloje, da se zmanjˇsa ˇstevilo uˇcljivih parame- trov ter zmanjˇsa in zgoˇsˇcuje kljuˇcne strukture na sliki. S tem se zmanjˇsa raˇcunska kompleksnost in tudi kontrolira prekomerno prilagajanje mreˇze. Za zdruˇzevanje uporabimo blok velikostiM×M, s katerim se sprehodimo skozi vhod v sloj. Za zdruˇzevanje se lahko uporabi razliˇcne metode, najbolj popu- larni sta dve metodi, in sicer maksimalno zdruˇzevanje med M ×M elementi ohrani zgolj tistega, ki je najveˇcji, povpreˇcno zdruˇzevanje pa v izhod zapiˇse povpreˇcno vrednost. Tudi pri tem sloju lahko doloˇcimo korak, s katerim se bomo premikali po vhodu.
Uˇcenjemreˇze poteka tako, da med uˇcenjem mreˇzo usmerjamo k napove- dovanju pravilnih rezultatov. Za mreˇzo definiramo cenilno funkcijo, ki oceni napako napovedi mreˇze. Mreˇza nato poskuˇsa zmanjˇsati napako oziroma vre- dnost cenilne funkcije. Napaka, ki se izraˇcuna na zadnjem sloju mreˇze, se nato vzratno propagira skozi sloje mreˇze vse do njenega vhoda. Med vzvra- tnim propagiranjem popravlja uteˇzi in tako mreˇzo uˇci, da zmanjˇsa napako predikcije na uˇcni mnoˇzici.
2.2 DenseNet
DenseNet [9] je prav tako konvolucijska nevronska mreˇza, ki predstavlja iz- boljˇsanje v natanˇcnosti kot tudi hitrosti od predhodnih arhitektur CNN. V arhitekturi so predstavli gosto povezanost med sloji konvolucijske mreˇze, in sicer vsak sloj na vhod dobi izhode vseh prejˇsnjih slojev (Slika 2.2) in ne samo neposredno prejˇsnjega, kot pri predhodnih arhitekturah CNN. Pretekli CNN so tako imeli L povezav med sloji, DenseNet pa jih ima kar L(L+1)2 . Zaradi tega vsak sloj pridobi veliko veˇc podatkov na vhod, ki se ne izgubijo, ko podatki prehajajo iz sloja v sloj. Tako je mreˇza lahko obˇcutno manjˇsa za dosego enakih rezultatov. Prav tako se nazaj po mreˇzi boljˇse propagirajo napake, ki drugaˇce izgubljajo moˇc iz sloja v sloj pri vzvratnem propagi- ranju s tako imenovanim problemom izginjajoˇcih gradientov, ki je prisoten pri velikem ˇstevilu slojev. To pomeni, da je mreˇza raˇcunsko in prostorsko uˇcinkovitejˇsa, saj ne potrebuje velikega ˇstevila parametrov. Vhode v sloj lepijo in ne seˇstevajo, kot pri ResNetu, kar potem ovira pretok informacij.
ResNet [8] je ena najbolj pogosto uporabljenih arhitektur CNN. Tako se zna- nje ohranja skozi celo mreˇzo v popolnosti, tudi od zaˇcetnih slojev, in ne zgolj iz tega, kaj posamezen sloj ohrani iz prejˇsnjega poleg dodanih map znaˇcilk sloja. Konˇcni sloj tako dobi nabore znaˇcilk ˇcisto vseh prejˇsnjih slojev in se tako odloˇci na podlagi celotnega pridobljenega znanja. Goste povezave tako omogoˇcijo, da zadnji sloj vidi tudi vhod v mreˇzo in tako se uˇcenje pohitri za- radi tega globokega pregleda in enostavnega prehoda informacij in odvodov.
DenseNet uporablja zaporedje raˇcunskih blokov sestavljenih iz treh ope- racij: paketne normalizacije (ang. batch normalization), aktivacijske funkcije ReLU in za njo konvolucijo s filtri velikosti 3×3. Paketna normalizacija med treniranjem oceni povpreˇcno vrednost in varianco posameznega paketa ter normalizira vhode tako, da od njih odˇsteje povpreˇcje paketa in deli s stan- dardno deviacijo. Vsak sloj ima natanˇcno k filtrov oziroma k indeks rasti, torej izhod vsakega sloja predstavljakkanalov, tako imal-ti sloj vhod dimen- zije k0+kl−1, kjer k0 predstavlja ˇstevilo kanalov na vhodni sloj mreˇze. Ker
Diplomska naloga 13
Slika 2.2: Primer gostega bloka [9].
bi pri zelo globokih mreˇzah lahko postalo preveˇc raˇcunsko zahtevno to, da bi sloj na vhod dobil izhode vseh prejˇsnjih slojev, so kot izboljˇsavo uporabili enostavno konvolucijo 1×1, ki zmanjˇsa vhode na 4k kanalov.
Zaradi arhitekture bi bilo nemogoˇce zdruˇzevanje znaˇcilk in s tem manjˇsanje ˇstevila naborov znaˇcilk, saj se mape znaˇcilk prejˇsnjih slojev lepijo, zato je DenseNet sestavljen iz veˇc gostih blokov (Slika 2.3), ki so med seboj pove- zani s slojem zdruˇzevanja, ki zmanjˇsa velikost znaˇcilk in tako pohitri uˇcenje.
Vsak blok ima znotraj mape znaˇcilk enakih dimenzij, med bloki pa je pre- hodni sloj, ki lahko zmanjˇsa dimenzijo znaˇcilk. Kot izboljˇsavo so poleg sloja zdruˇzevanja v prehodnem sloju uporabili tudi zmanjˇsevanje ˇstevila naborov znaˇcilk, ki prehajajo med bloki, kar ˇse dodatno pohitri uˇcenje mreˇze.
Slika 2.3: DenseNet s tremi gostimi bloki in prehodnimi sloji med bloki za zmanjˇsevanje dimenzij znaˇcilk [9].
DenseNet skozi vso globino mreˇze ohranja zelo raznolike znaˇcilke v pri- merjavi z ResNetom [8] zaradi goste povezanosti. Obiˇcajno se na zaˇcetku CNN tvorijo zelo enostavne znaˇcilke, kot so vertikalni ali horizontalni robovi in koti, bolj kot pa gremo v globino mreˇze, bolj so znaˇcilke kompleksne. Pri
DenseNetu pa se tudi pri koncu poleg kompleksnih znaˇcilk nahajajo tudi enostavne znaˇcilke iz zaˇcetka mreˇze. Zaradi tega je DenseNet tudi boljˇsi pri majhnih podatkovnih zbirkah. Poleg boljˇse raˇcunske uˇcinkovitosti prednost predstavlja postopek vzvratnega propagiranja napake, ki zaradi goste pove- zanosti slojev laˇzje propagira napako nazaj do prvih slojev, saj je prvi sloj prav tako povezan z zadnjim slojem, ki prejme napako predikcije. [9]
2.3 FCOS
FCOS [19] je polno konvolucijski enostopenjski detektor objektov, ki se od predhodnikov najbolj razlikuje v tem, da ne potrebuje v naprej definira- nih sider oˇcrtanih okvirjev za detekcijo objektov in niti priporoˇcanja regij.
Tako se izogne ˇstevilnim parametrom, ki pridejo s sidri in ˇstevilnih teˇzkih raˇcunskih operacij pri prekrivanju. Sidra je zelo teˇzko definirati, saj mo- ramo v naprej poznati, kakˇsne objekte lahko priˇcakujemo, torej kakˇsnih oblik bodo ter velikosti. Doloˇcanje sider lahko zelo vpliva na uspeˇsnost modela na doloˇceni podatkovni zbirki, zato jih je potrebno prilagoditi na zbirko, katero obravnavamo, saj se rezultati modelov lahko zaradi tega razlikujejo za nekaj procentov v povpreˇcni natanˇcnosti na isti zbirki. Prav tako se v veliko zbir- kah ponavadi pojavljajo isti objekti, ki so razliˇcnih dimenzij zaradi razliˇcnih poveˇcav, oddaljenosti itd. Sidra je tako izjemno teˇzko prilagoditi vsem tem spremembam razmerij. V kolikor model uˇcimo na neki drugi zbirki, moramo ponovno optimizirati sidra, saj so objekti morda razliˇcni, kar ne omogoˇca preprostega prenosa modela na drug problem. Modeli, ki uporabljajo sidra, jih morajo v sliki postaviti veliko in zelo blizu, da se tudi prekrivajo, ˇce ˇzelijo detektirati vse objekte, kar vodi v neuravnoteˇzeno mnoˇzico primerov, ki vsebujejo objekte in tistimi, ki vsebujejo ozadje, na kateri se model uˇci.
FCOS uporablja mreˇzo piramide znaˇcilk (FPN) [12], ki nima teˇzav pri prekrivanju objektov. Da bi se izognili slabim detekcijam, so uvedli ˇse en parameter centralnosti, ki se ga pomnoˇzi z napovedjo. Tako je v primeru sigurne napovedi in slabe centralnosti napoved zavrˇzena z izloˇcanjem nema-
Diplomska naloga 15 ksimalnih vrednosti (NMS).
FCOS je tako veliko bolj sploˇsna metoda, ki se jo lahko uporabi na razliˇcnih podatkovnih zbirkah brez veliko modifikacij, v primerjavi z meto- dami, ki uporabljajo sidra. Je hitrejˇsi od teh metod, saj se izogne ˇstevilnim kompleksnim raˇcunanjem IoU med sidri in anotiranimi oˇcrtanimi okvirji, kar pohitri uˇcenje. Prav tako pa dosega boljˇse rezultate od prejˇsnjih metod na istih zbirkah podatkov.
Pred FCOS je YOLOv1 [16] ˇze uporabil algoritem brez sider, ki pa ni bil uspeˇsen pri priklicu, saj je uporabljal zgolj toˇcke, ki so bile na sredini anotiranih oˇcrtanih okvirjev in tako ni priklical vseh predmetov. FCOS je tako njegova izboljˇsava, saj uporabi vse toˇcke v oˇcrtanih okvirjih za predikcijo oˇcrtanih okvirjev in nato z uporabo centralnosti doloˇci tiste, ki so najboljˇse za detekcijo oˇcrtanih okvirjev, ostale pa zavrˇze.
Oˇcrtani okvirji so vektorji petih dimenzij B = (x0, y0, x1, y1, c), kjer x0 in y0 predstavljata koordinati levega zgornjega kota ter x1 in y1 koordi- nati desnega spodnjega kota anotiranega oˇcrtanega okvirja, cpa predstavlja ˇstevilko, ki oznaˇcuje razred. ˇCe je imela mreˇza korak s, lahko v vsakem na- boru znaˇcilk iz koordinat (x∗,y∗) v naboru izraˇcunamo koordinate v dejanski sliki, ki je priˇsla na vhod mreˇze kot
x=bs
2c+x∗s, (2.14)
y=bs
2c+y∗s. (2.15)
V kolikor sta koordinati znotraj oznaˇcenega oˇcrtanega okvirja z istim razre- dom, kot ga je mreˇza napovedala, se ˇstejeta kot pozitivni primer v uˇcenju.
Za razliko od modelov s sidri, ki lokacijo upoˇstevajo kot center veˇc sider, ki so dosegle mejni IoU. FCOS za lokacijo nato izraˇcuna ˇstiridimenizionalen vektor t* = (l*,t*,r*,b*), ki po vrsti oznaˇcujejo razdalje od stranic anotira- nega okvirja, ki je nato uporabljen pri treniranju (Slika 2.4). V kolikor je lokacija v veˇc okvirjih, izberejo tistega, ki ima najmanjˇso ploˇsˇcino. FCOS po piramidi znaˇcilk izvede ˇse klasifikacijo skupaj z doloˇcanjem centralnosti in regresijo, pri tem pa uporabi manj slojev kot metode s sidri, kar pomeni
Slika 2.4: Centralnost oznaˇcena z barvami, kjer temno modra oznaˇcuje slabo centrirane toˇcke, rdeˇca pa dobro centrirane toˇcke, oranˇzna toˇcka oznaˇcuje trenutno obravnavano toˇcko, za katero se raˇcuna centralnost[19].
ˇse dodatno ˇcasovno optimizacijo. Izhod iz mreˇze predstavlja vektor p, ki je dimenzije ˇstevila razredov in ˇstiridimenzionalni vektor t=(l,t,r,b).
FCOS za funkcijo napake uporabi L({px,y},{tx,y}) = 1
Npos X
x,y
Lcls(px,y, c∗x,y) + λ Npos
X
x,y
1c∗x,y>0Lreg(tx,y, t∗x,y), (2.16) pri kateri Lcls pomeni napako pri doloˇcanju razreda, Lreg pa napako pri doloˇcanju omejevalnega okvirja. Npos oznaˇcuje ˇstevilo pozitivnih vzorcev, λ je parameter, ki doloˇca uteˇz za napako regresije, 1 je funkcija definirana kot 0 v primeru, da jec∗i manjˇsi od 0, drugaˇce pa je enaka 1.
FCOS s pomoˇcjo FPN nima teˇzav pri detekciji objektov razliˇcnih veliko- sti, saj na vsaki stopnji detektira objekte v razliˇcnih naborih znaˇcilk, ki se od prejˇsnjih nivojev razlikujejo v tem, da so zmanjˇsane s korakom 2 oziroma potencami ˇstevila 2 (Slika 2.5). Na vsaki stopnji detektirajo objekte razliˇcnih velikosti. V kolikor je detektiran objekt manjˇsi od najveˇcjega moˇznega na prejˇsnji stopnji ali veˇcji od najmanjˇsega moˇznega na naslednji stopnji, se ta primer definira kot negativen oziroma ozadje. To pozitivno vpliva tudi na detekcijo objektov, ki se prekrivajo, saj so ponavadi zelo razliˇcnih velikosti,
Diplomska naloga 17 zato so detektirani na razliˇcni stopnji nabora znaˇcilk. Kot je ˇze zgoraj ome-
Slika 2.5: Arhitektura FCOS [19].
njeno, je pomemben del FCOS raˇcunanje centralnosti detekcije, ki zavrˇze tiste detekcije, ki niso detektirale oˇcrtanega okvirja, ki najbolje zaobjame objekt. Toˇcki, ki jo model obravnava, doloˇcimo 4 vrednosti, ki pomenijo oddaljenost od robov anotiranega okvirja. Centralnost raˇcuna ali je ta toˇcka na sredini anotiranega oˇcrtanega okvirja z enaˇcbo
centralnost= s
min(l∗, r∗)
max(l∗, r∗)× min(t∗, b∗)
max(t∗, b∗), (2.17) ki se nato doda v enaˇcbi napake (Enaˇcba 2.16). Prav tako se centralnost po- mnoˇzi s klasifikacijskim rezultatom in tako zmanjˇsa rezultat, ˇce oˇcrtan okvir ni najboljˇse pozicioniran glede na objekt. Tako so lahko predikcije z visoko verjetnostjo in slabo postavljenimi oˇcrtanimi okvirji nato izloˇcene s procesom izloˇcanja nemaksimalnih vrednosti. Zadnja plast mreˇze tako napove razred in koordinate oˇcrtanih okvirjev objektov iz podanih znaˇcilk. [19]
Poglavje 3
Implementacija
V poglavju 3.1 opiˇsemo implementacijo modela FCOS ter posebnosti vsakega od modelov, ki uporabljajo FCOS in opiˇsemo implementacijo DenseNeta, ki ga uporablja modelM DFCOS,DNetc6 . V poglavju 3.2 opiˇsemo arhitekturo sple- tne aplikacije, kaj vsaka komponenta dela in kako komponente komunicirajo med seboj. Podan je tudi primer uporabe aplikacije.
3.1 Implementacija modelov za detekcijo
Model FCOS, uporabljen pri vseh treh reˇsitvah, je kot osnovo imel ResNet- 50 ter uporabljal mreˇzo piramide znaˇcilk. Model slike najprej skalira na 1333×640 in 1333×800, nato z verjetnostjo 50% slike rotira in tako bogati podatke. Po temu vhodne slike ˇse normalizira. Mreˇza za optimizacijo upora- blja stohastiˇcni gradientni sestop s stopnjo uˇcenja 0.0025 in zmanjˇsevanjem uteˇzi 0.0001. Za osnovo smo uporabili uteˇzi ˇze nauˇcenega modela ter jih nato uglaˇsevali na svojem problemu. Osnova je zgrajena iz ResNeta [8], ki vsebuje 4 sloje ResLayer-jev, sestavljenih iz Bottleneck-ov oziroma plasti z ozkim podatkovnim grlom, ki ga sestavljajo 3 konvolucije, ki si sledijo z 1×1 konvolucijo, 3×3 ter na koncu spet 1×1 konvolucijo. Med vsako konvolu- cijo se opravi ˇse normalizacija paketov (ang. batch normalization). Na za- dnje pa ima ˇse aktivacijsko funkcijo ReLU. Uporaba Bottleneckov je znaˇcilna
19
predvsem za globoke mreˇze, saj pomaga ohranjati nizko ˇstevilo parametrov.
Mreˇza piramide znaˇcilk je zgrajena iz petih konvolucijskih modulov z jedrom 3×3.
Model M DFCOSc6 je uporabil to arhitekturo FCOS, da je detektiral celice v ˇsestih razliˇcnih kategorijah. Model smo nauˇcili na celotni uˇcni mnoˇzici.
Model M DFCOSc2 je uporabil enako arhitekturo FCOS, da je detektiral celice v dve razliˇcni kategoriji. Ena kategorija je vsebovala zdrave celice, ki so spadale v razred rdeˇcih krvniˇck ali levkocitov, drugi razred pa je vseboval okuˇzene celice malarije, ki so spadale v enega izmed ˇstirih razredov okuˇzenih celic. Model je bil nauˇcen na celotni uˇcni mnoˇzici.
Model M Dc6FCOS,DNet je enako kotM Dc6FCOSinM Dc2FCOSsestavljen iz opi- sane arhitekture FCOS.M Dc6FCOS,DNetuporablja FCOS model za detektiranje celic. Kot celice so definirane vse celice, ki spadajo v eno izmed ˇsestih ka- tegorij. Tako smo model FCOS nauˇcili prepoznave celic in natanˇcno iskanje oˇcrtanih okvirjev okoli celic. FCOS je bil nauˇcen na celotni uˇcni mnoˇzici.
Detektirane celice so nato obrezane ter klasificirane v eno izmed ˇsestih ka- tegorij z modelom DenseNet [9]. Model M DFCOS,DNetc6 tako vrne lokacije oˇcrtanih okvirjev celic oznaˇcenih z enim izmed ˇsestih razredov. DenseNet, uporabljen pri tej reˇsitvi, je sestavljen iz ˇstirih gosti blokov. Prvi je sesta- vljen iz ˇsestih plasti, drugi iz dvanajstih, tretji iz ˇstiriindvajsetih, ˇcetrti pa iz ˇsestnajstih. Med gostimi bloki je ˇse tranzicijska plast s 1×1 konvolucijo za zmanjˇsanje kompleksnosti. V zadnji plasti pa ima linearni klasifikator.
Klasifikator DenseNet smo nato nauˇcili na bolj uravnoteˇzeni mnoˇzici (Ta- bela 4.3) prej omenjene ˇsesterice razredov. Tako smo poskuˇsali doseˇci to, da DenseNet ne bi prioritiziral veˇcinskega razreda rdeˇcih krvniˇck, vendar bi se nauˇcil klasificirat vse razrede celic.
3.2 Arhitektura spletne aplikacije
V okviru diplomske naloge smo razvili tudi spletno aplikacijo, ki omogoˇca enostavno nalaganje slik krvnih razmazov ter prikaz oznaˇcb modela na sliki
Diplomska naloga 21 in podano statistiko celic. Aplikacija je narejena s pomoˇcjo tehnologij Angu- lar ter NodeJS. Na ˇcelnem delu lahko uporabnik naloˇzi poljubno sliko ter jo s klikom na gumb poˇslje na zaledni sistem. Zaledni sistem nato s pomoˇcjo pro- tokola SSH poˇslje sliko na GPU, ki nato sliko obdela z modelomM DFCOS,DNetc6 (Poglavje 4.5), ki smo ga razvili v okviru diplomskega dela. Model nato vrne predikcije razredov z oˇcrtanimi okvirji in njihovo lokacijo ter obliko. Zale- dni sistem nato ˇcelnemu posreduje rezultate modela, ta podatke sprejme ter nariˇse oˇcrtane okvirje na sliko. Tehnik lahko preveri rezultat, saj se mu izriˇse slika, ki ima z razliˇcnimi barvami ter z napisi pregledno anotirane celice. Prav tako se pod sliko izpiˇse ˇse statistika, koliko celic pripada doloˇcenemu razredu, kar omogoˇca hiter pregled nad stopnjo okuˇzenosti.
Slika 3.1: Diagram komunikacije spletne aplikacije.
Primer uporabe: Uporabnik najprej odpre spletno stran (Slika 3.2), kjer se nahaja obrazec, v katerega lahko naloˇzi sliko. Uporabnik nato klikne na gumb z napisom Choose File, ki uporabniku odpre upravitelja z dato- tekami, ki prikazuje zgolj datoteke, ki so slike. Ko uporabnik izbere sliko iz upravitelja datotek, se ta prikaˇze na spletni aplikaciji. Uporabnik nato kli- kne na gumb z napisomUpload, ki sproˇzi poˇsiljanje slike na zaledni sistem.
Uporabniku se prikaˇze izpis o uspeˇsno izvedeni operaciji, ko je slika obde- lana s strani modelov. Uporabniku se na isti sliki pojavijo narisani oˇcrtani okvirji razliˇcnih barv, ki so unikatne za vsakega od ˇsestih razredov. Pod sliko se uporabniku izpiˇse ˇse statistika ˇstevila celic vsake od ˇsestih kategorij.
Ce ˇˇ zeli uporabnik naloˇziti novo sliko, ponovno klikne na gumb z napisom Choose file ter ponovi zgoraj opisani postopek.
Slika 3.2: Zaslonska slika spletne aplikacije.
Poglavje 4
Eksperimentalna evalvacija
V tem poglavju predstavimo rezultate eksperimentov, ki smo jih v okviru di- plomskega dela naredili, in jih ocenimo z metrikami. V poglavju 4.1 opiˇsemo strukturo podatkovne zbirke, ki smo jo uporabili pri uˇcenju in evalvaciji mo- delov. V poglavju 4.2 opiˇsemo metrike, ki smo jih uporabili za primerjavo modelov med seboj. V poglavju 4.3 predstavimo evalvacijo za prvi model za zaznavo celic razliˇcnih ˇzivljenjskih ciklov. V poglavju 4.4 predstavimo rezultate modela, ki detektira zdrave in okuˇzene celice. V poglavju 4.5 pred- stavimo rezultate tretjega modela za detekcijo celic v razliˇcnih ˇzivljenjskih ciklih. V poglavju 4.6 pa je analiza delovanja spletne aplikacije, ki omogoˇca uporabo tretjega modela.
4.1 Podatkovna zbirka
Podatkovna zbirka [2], ki smo jo uporabili vsebuje 1364 slik formata .png in .jpg. Slike skupaj vsebujejo nekaj veˇc kot 85 tisoˇc anotacij celic, ki so razdeljene v 2 nadrazreda okuˇzenih in zdravih celic ter v 6 podrazredov.
Pod zdrav nadrazred se ˇstejejo oznaˇcbe rdeˇcih krvniˇck in levkocitov, pod okuˇzen nadrazred pa gametocyte, ring, trophozoite in schizont, ki predsta- vljajo razliˇcne ˇzivljenjske cikle parazitov malarije. Zbirka ima ˇse dodaten razred anotiranih celic, ki jim strokovnjaki niso mogli z zagotovostjo podati
23
razred. Te celice smo pri uˇcenju ter evalvaciji izpustili. Podatkovna zbirka je moˇcno neuravnoteˇzena, saj zdrave celice predstavljajo veˇc kot 97% anotira- nih celic. Slike imajo povpreˇcno 66 anotacij celic, 11% slik ima veˇc kot 100 anotacij, slika z najveˇc anotacijami jih ima 223. Slike so povpreˇcno velikosti 1216×1631, standardna deviacija (Tabela 4.1) izraˇcunana zSD =
qP
|x−µ|2 N
je 52 pikslov za viˇsino oziroma 99 pikslov za ˇsirino. Celice imajo povpreˇcno povrˇsino 110×111 pikslov (Tabela 4.2).
Vsaka slika je vsebovala zapis v JSON obliki (Izsek kode 4.1), kjer so slike zapisane v JSON seznamu. Slika ima kontrolno vsoto, vsebuje pa ˇse podatka o svoji lokaciji ter obliki, kjer r oznaˇcuje viˇsino slike, c pa ˇsirino slike v pikslih. Pri obliki je prisotna tudi vrednost channels ali kanali, ki je vedno 3, saj so vse slike v RGB barvnem modelu. Vsaka slika nato vsebuje ˇse objectsali objekte, ki predstavlja ˇse en JSON seznam, ki vsebuje podatke o anotiranih predmetih na sliki. Vsaka celica je anotirana z oˇcrtanim okvirjem, ki vsebuje podatke za minimum in maksimum, vsaka od njiju pa vsebuje dve koordinati. Pri oˇcrtanem okvirju minimum oznaˇcuje koordinati zgornjega levega kota, pri ˇcemerr oznaˇcuje piksel viˇsine,cpa piksel ˇsirine. Maksimum oznaˇcuje spodnji desni kot oˇcrtanega okvirja. Poleg oˇcrtanega okvirja pa ima vsak predmet ˇse kategorijo, v katero se uvrˇsˇca celica.
Podatkovno zbirko smo loˇcili na slike, ki so bile uporabljene pri uˇcenju modela, in testne slike, ki so bile skrite modelu pri uˇcenju. S skritimi slikami smo ocenili uspeˇsnost modela na sploˇsnih slikah. Pri slikah, kjer smo upora- bili cele slike za uˇcenje, smo v testni mnoˇzici imeli 541 slik, v uˇcni mnoˇzici pa 787 slik. Pri modelih, ki smo jih uˇcili na zgolj posameznih celicah, smo slike celic pridobili iz iste mnoˇzice z obrezovanjem celic iz izvornih slik. Slike celic testne mnoˇzice smo pridobili iz 541 slik testne mnoˇzice in slike celic uˇcne mnoˇzice iz 787 slik uˇcne mnoˇzice. Kot je razvidno iz tabele 4.3, smo poskusil ˇcim bolj uravnoteˇziti ˇstevilo celic v razliˇcnih razredih ter tako pridobiti bolj uravnoteˇzeno mnoˇzico razredov za uˇcenje modelov.
Izsek kode 4.1: Primer JSON objekta anotacije slike
Diplomska naloga 25
1 [{
2 "image": {
3 "checksum": "eea3bfd6a929bcb06f9786667cd3fbb2",
4 "pathname": "/images/0d31-4881-bf1f-3ccdfa21ff12.jpg",
5 "shape": {"r": 1383, "c": 1944, "channels": 3}
6 },
7 "objects": [
8 {
9 "bounding_box": {
10 "minimum": {"r": 576, "c": 1744},
11 "maximum": {"r": 708, "c": 1883}
12 },
13 "category": "red blood cell"},
14 ...]
15 }, ...]
Sirina v pikslihˇ Viˇsina v pikslih
Povpreˇcje 1631 1217
Standardni odklon 98.6 52.5
Maksimum 1944 1383
Minimum 1600 1200
Tabela 4.1: Statistika velikosti slik v podatkovni zbirki v pikslih
ˇSirina v pikslih Viˇsina v pikslih
Povpreˇcje 111.0 109.8
Standardni odklon 17.8 17.1
Maksimum 309 255
Minimum 54 53
Tabela 4.2: Statistika velikosti anotiranih celic v podatkovni zbirki podana v pikslih
4.2 Ocenjevanje metod
Predikcije modelov smo upragovali glede na stopnjo sigurnosti s pragom θ.
Vse detekcije, ki so imele stopnjo sigurnosti niˇzjo od mejeθ, smo zavrgli. Pri raˇcunanju metrik modela smo uporabili IoU pri razliˇcnih vrednostih, ki je imela prag θIoU. Glede na to smo raˇcunali priklic in natanˇcnost modela. IoU lahko izraˇcunamo z enaˇcbo
IoU = P
U, (4.1)
kjerP predstavlja ploˇsˇcino regije prekrivanja oˇcrtanih okvirjev,U pa ploˇsˇcino unije obeh okvirjev. S pomoˇcjo IoU smo nato doloˇcili tudi ali je model detektiral celico in ji podal pravi razred ali je napovedal napaˇcno predikcijo.
Tako smo doloˇcili, da bo T P ali pravilno pozitivni tisti, ki je presegel mejo θIoU za IoU in hkrati napovedal pravilen razred. F P ali napaˇcno pozitivni tisti, ki ni dosegel pogoja za T P. F N ali napaˇcno negativen tisti, ki ga model ni uspel detektirat (ni dosegel T P pogoja), je pa anotiran v zlatem standardu (ground truth). Tako smo s temi metrikami izraˇcunali natanˇcnost (ang. precision, Pr)
Pr = T P
T P +F P, (4.2)
ter priklic (ang. recall, Re) modela
Re = T P
T P +F N. (4.3)
Diplomska naloga 27 Model smo ocenil s pomoˇcjo F1 metrike, ki smo jo izraˇcunal z enaˇcbo
F1 = 2×Re×Pr
Re + Pr , (4.4)
ki poda oceno modela, ki upoˇsteva hkrati priklic in natanˇcnost modela. Me- trika blizu 1 pomeni zelo dober rezultat, metrika pri 0 pa zelo slab rezultat modela. F1 smo izraˇcunali pri razliˇcnih vrednostih IoU ter pri razliˇcnih upra- govanjih stopnje sigurnosti.
Pri modelih smo tudi uporabili metriko parazitemija, ki se jo izraˇcuna tako, da se deli ˇstevilo okuˇzenih rdeˇcih krvniˇck z zdravimi rdeˇcimi krvniˇckami.
Ce je parazitemija veˇˇ cja od 10%, to pomeni visoko okuˇzenost, v kolikor je manjˇsa od 1%, pomeni nizko okuˇzenost krvi [3]. Modele smo med seboj pri- merjali tako, da smo izraˇcunali povpreˇcno absolutno razliko v parazitemiji na testnih slikah med referenˇcno in napovedno vrednostjo. S temi metrikami smo ocenili modele na testni mnoˇzici in tako videli, kje modeli dosegajo naj- boljˇse rezultate detekcij na skriti mnoˇzici slik.
Uˇcna mnoˇzica Testna mnoˇzica
Gametocyte 99 57
Leukocyte 60 43
Red blood cell 1000 800
Ring 324 198
Schizont 109 81
Trophozoite 887 697
Tabela 4.3: Statistika ˇstevila posameznih celic uporabljenih pri treniranju in testiranju DenseNeta
4.3 Analiza metode M D
c6FCOSV tej metodi smo uporabili model FCOS, ki je detektiral celice razdeljene v 6 razliˇcnih razredov. Rezultati so prikazani na Sliki 4.1. Razberemo, da
se je model najbolje nauˇcil prepoznavat kategorijo rdeˇcih krvnih celic, kar je priˇcakovano, saj so mnoˇzice vsebovale veˇc kot 95% celic te kategorije. Prav tako opazimo, da je za IoU najprimernejˇsa vrednost 0.5, saj imajo tam vsi razredi relativno visoko F1 metriko. Pri razredih levkocitov, schizontov in gametocitov F1 metrike nismo mogli izraˇcunati pri pragu sigurnosti 0.5, saj metrika natanˇcnosti oziroma priklica ni bila realno ˇstevilo, ker je v imeno- valcu vsebovala niˇclo. Model je odliˇcen pri prepoznavanju rdeˇcih krvniˇck, dober pri tropozoitih in ringih pri upragovanju sigurnosti pri θ= 0.3 in slab pri levkocitih, schizontih in gametocitih. Model M Dc6FCOS pri pragu sigur- nosti 0.3 dosega povpreˇcno absolutno razliko parazitemije med referenˇcno in napovedno vrednostjo 3.06%. Okuˇzene slike, ki imajo vsaj eno anotacijo okuˇzene celice, model zazna z verjetnostjo 65.1% kot okuˇzene vzorce krvi.
Iz matrike zamenjav (Tabela 4.4) pri pragu sigurnosti 0.3 in IoU 0.6 lahko opazimo, da so najbolj pogoste zamenjave med posameznimi cikli okuˇzenih celic. Zamenjave okuˇzenih celic z zdravimi rdeˇcimi krvniˇckami so se zgodile le pri razredu ringov in tropozoidov, kjer se je zgodilo 23 in 3 zamenjave.
Referenˇcna vrednost
RBC leuk. gamet. ring trop. schi.
Napoved
RBC 31336 0 0 23 3 0
leukocyte 0 7 0 0 0 0
gametocyte 0 1 12 0 3 12
ring 7 0 0 124 18 0
trophozoite 0 0 7 23 404 5
schizont 0 1 12 0 6 17
Tabela 4.4: Matrika zamenjav pri IoU 0.6 in upragovanju stopnje sigurnosti pri pragu 0.3 za model M Dc6FCOS.
Diplomska naloga 29
(a) RBC (b) Leukocyte
(c) Ring (d) Trophozoite
(e) Schizont (f) Gametocyte
Slika 4.1: F1 ocena modela M Dc6FCOS pri razliˇcnih IoU in pragih sigurnosti na testni mnoˇzici.
Referenˇcna vrednost
RBC leuk. gamet. ring trop. schi.
Napoved
RBC 99.97 0 0 13.5 0.7 0
leukocyte 0 77.8 0 0 0 0
gametocyte 0 11.1 38.7 0 0.7 35.3
ring 0.03 0 0 73 4.1 0
trophozoite 0 0 22.6 13.5 93.1 14.7
schizont 0 11.1 38.7 0 1.4 50
Tabela 4.5: Matrika zamenjav pri IoU 0.6 in upragovanju stopnje sigurnosti pri pragu 0.3 za model M Dc6FCOS izraˇzena v procentih.
Delovanje modela M Dc6FCOS je razvidno na testnih slikah 4.2, 4.3, 4.4 in 4.5, kjer lahko primerjamo anotacije strokovnjaka s predikcijami naˇsega modela. Lahko vidimo, da se doloˇcene predikcije ne ujemajo, da model vˇcasih zazna celice, ki prvotno niso bile oznaˇcene, in da doloˇcene celice ne zazna, kljub temu da so bile anotirane. Prav tako model vˇcasih zazna celice, ki jih napove v razliˇcni razred, kot so bile anotirane. Nad vsako anotacijo se nahaja ime razreda, ki je bil oznaˇcen ali napovedan s strani modela. Vsak razred ima oˇcrtan okvir razliˇcnih barv in sicer levkociti rumene, rdeˇce krvniˇcke modre, gametociti rdeˇce, ringi kostanjeve, schizonti vijoliˇcne in trophozoiti olivne barve.
Diplomska naloga 31
(a) Referenˇcna vrednost
(b) Predikcija modela
Slika 4.2: Primer detekcij v primerjavi z referenˇcno vrednostjo.
(a) Referenˇcna vrednost
(b) Predikcija modela
Slika 4.3: Primer detekcij v primerjavi z referenˇcno vrednostjo.
Diplomska naloga 33
(a) Referenˇcna vrednost
(b) Predikcija modela
Slika 4.4: Primer detekcij v primerjavi z referenˇcno vrednostjo.
(a) Referenˇcna vrednost
(b) Predikcija modela
Slika 4.5: Primer detekcij v primerjavi z referenˇcno vrednostjo.
Diplomska naloga 35
4.4 Analiza metode M D
c2FCOSModel FCOS ima enako arhitekturo kot pri modeluM Dc6FCOS (Poglavje 4.3).
Od modela M DFCOSc6 se razlikuje v tem, da razpoznava le dva razreda, in sicer razred zdravih celic v katerega sodijo rdeˇce krvniˇcke in levkociti ter razred okuˇzenih celic v katere sodijo ringi, tropozoiti, schizonti in gametociti.
Namen tega modela je klasifikacija stopnje okuˇzenosti krvi. Z modelom smo ˇzeleli doseˇci veˇcjo uravnoteˇzenost mnoˇzic razliˇcnih razredov in poslediˇcno boljˇse uˇcenje modela detekcije okuˇzenih celic. Ponovno smo model ocenili na testni mnoˇzici s F1 metriko. Lahko opazimo, da je v primerjavi z modelom M Dc6FCOS metrika F1 pri upragovanju sigurnosti 0.3 pri obeh razredih veˇcja od 0.8 pri IoU 0.5 (Slika 4.6). Pri pragu sigurnosti 0.3 modelM DFCOSc2 doseˇze povpreˇcno absolutno razliko med referenˇcnimi vrednostmi in napovedanimi vrednostmi parazitemije 3.04%. Okuˇzene slike, ki imajo vsaj eno anotacijo okuˇzene celice, model zazna z verjetnostjo 83.4% kot okuˇzene vzorce krvi, kar je 18.3% veˇc kot pri modelu M Dc6FCOS.
Ce za primeravo evalviramo uspeˇsnost modelaˇ M Dc6FCOS pri razlikovanju zdravih od okuˇzenih celic zaznamo, da pri IoU 0.6 in pragu uspeˇsnosti 0.3 do- sega metriko F1 0.96 za razred zdravih celic, kar je enako kot modelM Dc2FCOS. Pri razredu okuˇzenih celic pa dosega metriko F1 0.74, kar je 0.1 manj kot model M Dc2FCOS. To pomeni, da je model M DFCOSc2 bolj uspeˇsen pri osnov- nem problemu prepoznave okuˇzenih in zdravih celic. V metriki parazitemije pa dosegata oba modela zelo podoben rezultat.
(a) Zdrave celice (b) Okuˇzene celice
Slika 4.6: F1 ocena modela M Dc2FCOS pri razliˇcnih IoU in pragih sigurnosti na testni mnoˇzici
4.5 Analiza metode M D
c6FCOS,DNetSledeˇc model smo prav tako ocenili s F1 metriko. Na testni mnoˇzici (Slika 4.7) lahko opazimo, da ima model v primerjavi z modelomM DFCOSc6 pribliˇzno enake rezultate F1 metrike za razreda rdeˇcih krvniˇck in levkocitov. Nekoliko boljˇse rezultate ima pri gametocitih in schizontih. Slabˇse rezultate pa ima pri ringih in tropozoitih. Lahko opazimo, da je model boljˇsi ravno pri razredih, ki so najslabˇse predstavljeni v podatkovni zbirki, ki smo jo uporabili. Pri razredih, ki so pa boljˇse predstavljeni v podatkovni zbirki, pa zaznamo slabˇse rezultate v primerjavi z modelom M DFCOSc6 . Pri pragu sigurnosti 0.3 model M Dc6FCOS,DNet dosega absolutno razliko med referenˇcno in napovedno vredno- stjo v parazitemiji 19.5%. Ostala dva modela sta imela povpreˇcno absolutno razliko parazitemije pribliˇzno 3%, kar pomeni, da sta v tej metriki veliko boljˇsa od modela M DFCOS,DNetc6 . Okuˇzene slike, ki imajo vsaj eno anotacijo okuˇzene celice, pa model zazna z verjetnostjo 98.8% kot okuˇzene vzorce krvi, saj veliko zdravih celic napove z razredom okuˇzenih.
Matrika zamenjav (Tabela 4.6) pri upragovanju stopnje sigurnosti pri θ = 0.3 in IoU 0.6 pokaˇze, da je model zelo pogosto napovedal razred ring ter trophozoite za referenˇcno vrednost zdravih rdeˇcih krvniˇck. Medtem je okuˇzene celice v referenˇcni vrednosti napovedal kot zdrave zgolj 23 krat, in sicer razred ring, ki je prva stopnja ˇzivljenjskega cikla okuˇzene celice.
Diplomska naloga 37
Referenˇcna vrednost
RBC leuk. gamet. ring trop. schi.
Napoved
RBC 25878 0 0 23 0 0
leukocyte 167 40 0 0 1 1
gametocyte 84 0 25 1 15 12
ring 2163 0 1 113 21 1
trophozoite 3008 0 9 51 481 19
schizont 21 0 3 0 9 27
Tabela 4.6: Matrika zamenjav pri IoU 0.6 in upragovanju stopnje sigurnosti pri pragu 0.3 za model M Dc6FCOS,DNet.
Referenˇcna vrednost
RBC leuk. gamet. ring trop. schi.
Napoved
RBC 82.6 0 0 12.2 0 0
leukocyte 0.53 100 0 0 0.19 1.7
gametocyte 0.27 0 65.8 0.53 2.8 20
ring 6.9 0 2.6 60.1 4 1.7
trophozoite 9.6 0 23.7 27.1 91.3 31.7
schizont 0.06 0 7.9 0 1.7 45
Tabela 4.7: Matrika zamenjav pri IoU 0.6 in upragovanju stopnje sigurnosti pri pragu 0.3 za model M Dc6FCOS,DNet izraˇzena v procentih.
(a) RBC (b) Leukocyte
(c) Ring (d) Trophozoite
(e) Schizont (f) Gametocyte
Slika 4.7: F1 ocena modela M Dc6FCOS,DNet pri razliˇcnih IoU in pragih sigur- nosti na testni mnoˇzici.
Diplomska naloga 39
4.6 Spletna aplikacija
Spletno aplikacijo smo pregledali z odprtokodnim orodjem Lighthouse [11], ki je na voljo v spletnem brskalniku kot razˇsiritev. Orodje preverja zmogljivost aplikacije, kamor se ˇsteje npr. hitrost nalaganja komponent. Dostopnost opredeljuje, kako je dostopen vizualni del spletne aplikacije za npr. osebe, ki so slabovidne. Optimizacija iskalnika opredeluje kako hitro je spletna aplikacija najdena v Google iskalniku. Uporaba dobrih praks pa opredeluje, kot ˇze ime samo pove, uporabo dobrih praks, kot je HTTPS povezava. Vse ocene so podane na lestvici od 1 do 100, kjer 1 pomeni zelo slabo oceno in 100 odliˇcno oceno. Naˇsa aplikacija z orodjem Lighthouse v brskalniku Google Chrome doseˇze zmogljivost 42, dostopnost 81, uporabo dobrih praks 87 in optimizacijo iskalnika 89.
Prav tako smo opravili meritve na slikah iz podatkovne zbirke, koliko ˇcasa traja od klika za zaˇcetek procesiranja slike do tega, da se na spletni aplikaciji prikaˇzejo oznaˇcbe. Izkaˇze se, da spletna aplikacija povpreˇcno potrebuje 17 sekund za obdelavo ene slike.
Poglavje 5 Sklep
V nalogi smo se ukvarjali s problemom detekcije celic okuˇzenih z malarijo v slikah krvnih razmazov. Problema smo se lotili z uporabo modernih pristopov raˇcunalniˇskega vida na prostodostopni zbirki podatkov, ki so bili anotirani s pomoˇcjo strokovnjakov. Razvili smo tri modele za diagnostiko, ki teme- ljijo na detekciji celic in klasifikaciji v razliˇcne kategorije okuˇzenosti. Dva sta detektirala ˇsest razredov, ki so vsebovali dva razreda zdravih celic in ˇstiri razrede okuˇzenih celic v razliˇcnih stopnjah ˇzivljenjskih ciklov parazitov ma- larije. Eden od modelov pa je bil specializiran v zgolj razpoznavi razlike med okuˇzenimi in zdravimi celicami.
Modele smo uˇcili in evalvirali na zbirki podatkov, ki smo jo razdelili v razmerju 60:40 na uˇcne in testne podatke. Zbirka je bila zelo neuravnoteˇzena v prid zdravih celic, zato so se modeli zelo dobro priuˇcili detektiranja zdravih rdeˇcih krvniˇck in imeli teˇzave pri razpoznavi razredov, ki so vsebovali zelo malo primerov celic. Model M DFCOSc6 je dosegal F1 metriko veˇcjo od 0.7 za tri od ˇsestih razredov in veˇcjo od 0.3 za ostale tri razrede. Za razlikovanje med okuˇzenimi in zdravimi celicami je dosegel F1 0.95 za zdrave in 0.74 za okuˇzene celice. Model M DFCOSc2 je bil nauˇcen na bolj uravnoteˇzeni mnoˇzici med okuˇzenimi in zdravimi celicami ter dosegel F1 enak kot M DFCOSc6 za zdrave celice in za 0.1 veˇcji F1 za okuˇzene celice. Model M DFCOS,DNetc6 , ki je bil prav tako namenjen razpoznavi vseh ˇsestih razredov, pa je bil nauˇcen na
41
zelo majhni, vendar zelo uravnoteˇzeni mnoˇzici celic. Pod predpostavko, da se celice ne razlikujejo veliko in predstavlja majhna mnoˇzica, uporabljena za uˇcenje, dovoljˇsno zastopanost celotne mnoˇzice. Izkazalo se je, da je model za razrede z zelo majhnim ˇstevilom anotiranih celic dosegal boljˇse rezul- tate od modela M Dc6FCOS, ki je bil nauˇcen na celotni uˇcni mnoˇzici. Model M Dc6FCOS,DNet pa je dosegal slabˇse rezultate pri celicah, ki so bile bolje zasto- pane v uˇcni mnoˇzici. Model M DFCOSc6 zelo redko zamenja okuˇzeno celico za zdravo, kar predstavlja zelo dober rezultat, saj so zamenjave med posame- znimi ˇzivljenjskimi cikli parazitov manj problematiˇcne. Modela M Dc6FCOS in M DFCOSc2 dosegata tudi dobre rezultate pri natanˇcnosti parazitemije s 3% povpreˇcnim odstopanjem od referenˇcne vrednosti. Model M DFCOSc6 s 65.1% verjetnostjo prepozna slike okuˇzenih krvnih vzorcev kot okuˇzene, mo- del M DFCOSc2 s 83.4% in model M Dc6FCOS,DNet s kar 98.8% verjetnostjo.
Reˇsitev diplomskega dela smo naredili dostopno preko spletne aplikacije s preprostim uporabniˇskim vmesnikom, ki omogoˇca zdravstvenim delavcem hitrejˇse pregledovanje krvi. Hkrati lahko tehniki preverijo toˇcnost modela, saj se predikcija izriˇse na vhodni sliki. Aplikacija tudi izpiˇse statistiko, ki omogoˇca hiter pregled nad stopnjo okuˇzenosti krvi. Obdelavava slike pa poteka povpreˇcno manj kot 20 sekund, kar je zelo hitro v primerjavi z roˇcnim pregledovanjem.
5.1 Nadaljne delo
Podatkovna zbirka, ki smo jo uporabili je bila moˇcno neuravnoteˇzena v prid zdravih rdeˇcih krvniˇck, kar je povzroˇcilo veliko teˇzav pri uˇcenju modelov, saj so se preteˇzno uˇcili razpoznave veˇcinskega razreda. Problem bi lahko razreˇsili z veˇcjo podatkovno zbirko, ki bi vsebovala veˇc anotacij okuˇzenih razredov celic. Prav tako je bila zbirka roˇcno anotirana, kar je lahko pov- zroˇcilo doloˇcene ˇcloveˇske napake pri anotiranju. Nekatere slike niso imele oznaˇcenih vseh celic, kar je povzroˇcilo, da je metrika F1 nekoliko niˇzja zaradi veˇc FP primerov in je mreˇza bila kaznovana za drugaˇce pravilne detekcije pri
Diplomska naloga 43 uˇcenju. Tako bi bilo dobro, ˇce bi se zgradila veliko veˇcja podatkovna zbirka, ki bi bila anotirana s strani strokovnjakov, katero bi lahko uporabili za uˇcenje modernih metod raˇcunalniˇskega vida. Tako bi dosegli veliko boljˇse rezultate uˇcenja. Prav tako bi spletna aplikacija lahko omogoˇcala popravljanje rezul- tatov modelov, torej oznaˇcevanje in spreminanje oznaˇcb modela. Aplikacija bi lahko omogoˇcala tudi zajemanje in anotacijo novih slik, s katerimi bi lahko naredili novo podatkovno zbirko. Kot ˇse eno izboljˇsavo pa bi lahko poskuˇsali zmanjˇsati kompleksnost modelov ter videli, ˇce vseeno dosegajo podobne re- zultate, kljub zmanjˇsani kompleksnosti arhitekture.
Literatura
[1] David Bell, Chansuda Wongsrichanalai in John W. Barnwell. “Ensuring quality and access for malaria diagnosis: how can it be achieved?” V:
Nature Reviews Microbiology 4.9 (sep. 2006), str. 682–695. doi: 10 . 1038/nrmicro1474. url: https://doi.org/10.1038/nrmicro1474.
[2] Broad Bioimage Benchmark Collection.url:https://bbbc.broadinstitute.
org/BBBC041(pridobljeno 15. 7. 2021).
[3] CDC - Dpdx - diagnostic procedures - Blood Specimens. Maj 2016.
url: https://www.cdc.gov/dpdx/diagnosticprocedures/blood/
microexam.html (pridobljeno 20. 8. 2021).
[4] CDC - Malaria - Diagnostic Tools. Feb. 2020. url: https : / / www . cdc.gov/malaria/diagnosis_treatment/diagnostic_tools.html#
tabs-1-1 (pridobljeno 15. 7. 2021).
[5] Samson Chibuta in Aybar C. Acar. “Real-time Malaria Parasite Scre- ening in Thick Blood Smears for Low-Resource Setting”. V:Journal of Digital Imaging 33.3 (jan. 2020), str. 763–775. doi:10.1007/s10278- 019-00284-2. url: https://doi.org/10.1007/s10278-019-00284- 2.
[6] Pierre Geurts, Damien Ernst in Louis Wehenkel. “Extremely rando- mized trees”. V: Machine Learning 63.1 (mar. 2006), str. 3–42. doi: 10.1007/s10994- 006- 6226- 1. url: https://doi.org/10.1007/
s10994-006-6226-1.
45
[7] Ross B. Girshick in sod. “Rich feature hierarchies for accurate object detection and semantic segmentation”. V:CoRRabs/1311.2524 (2013).
arXiv:1311.2524.url: http://arxiv.org/abs/1311.2524.
[8] Kaiming He in sod. Deep Residual Learning for Image Recognition.
2015. arXiv:1512.03385 [cs.CV].
[9] Gao Huang in sod. Densely Connected Convolutional Networks. 2018.
arXiv:1608.06993 [cs.CV].
[10] Walter Karlen.Mobile point-of-care monitors and diagnostic device de- sign. Boca Raton, FL: CRC Press, 2015. isbn: 9781466589292.
[11] Lighthouse. url: https : / / developers . google . com / web / tools / lighthouse (pridobljeno 24. 8. 2021).
[12] Tsung-Yi Lin in sod. Feature Pyramid Networks for Object Detection.
2017. arXiv:1612.03144 [cs.CV].
[13] Malaria Life Cycle. url: https : / / www . cdc . gov / dpdx / malaria / modules/malaria_LifeCycle.gif(pridobljeno 15. 7. 2021).
[14] Courosh Mehanian in sod. “Computer-Automated Malaria Diagno- sis and Quantitation Using Convolutional Neural Networks”. V: 2017 IEEE International Conference on Computer Vision Workshops (ICCVW).
IEEE, okt. 2017. doi: 10.1109/iccvw.2017.22. url: https://doi.
org/10.1109/iccvw.2017.22.
[15] World Organization. Malaria Microscopy Quality Assurance Manual - Version 2. Geneva: World Health Organization, 2016.isbn: 9789241549394.
[16] Joseph Redmon in sod. “You Only Look Once: Unified, Real-Time Object Detection”. V: CoRR abs/1506.02640 (2015). arXiv: 1506 . 02640. url:http://arxiv.org/abs/1506.02640.
[17] Steven Smith. The scientist and engineer’s guide to digital signal pro-
cessing. San Diego, Calif: California Technical Pub, 1997.isbn: 9780966017649.
Diplomska naloga 47 [18] F Boray Tek, Andrew G Dempster in Izzet Kale. “Computer vision for microscopy diagnosis of malaria”. V: Malaria Journal 8.1 (jul. 2009).
doi: 10.1186/1475-2875-8-153. url: https://doi.org/10.1186/
1475-2875-8-153.
[19] Zhi Tian in sod. “FCOS: Fully Convolutional One-Stage Object De- tection”. V: 2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, okt. 2019. doi: 10 . 1109 / iccv . 2019 . 00972.
url:https://doi.org/10.1109/iccv.2019.00972.
[20] World Health Organization. url: https://www.who.int/news-room/
fact-sheets/detail/malaria(pridobljeno 1. 4. 2021).
