Fakulteta za raˇ cunalniˇ stvo in informatiko

(1)

Univerza v Ljubljani

Fakulteta za raˇ cunalniˇ stvo in informatiko

Ziga Babnik ˇ

Deidentifikacija obrazov na osnovi zamenjav obrazov

MAGISTRSKO DELO

MAGISTRSKI ˇSTUDIJSKI PROGRAM DRUGE STOPNJE RA ˇCUNALNIˇSTVO IN INFORMATIKA

Mentor : prof. dr. Peter Peer Somentor : izr. prof. dr. Vitomir ˇ Struc

Ljubljana, 2021

(2)

(3)

Avtorske pravice. Rezultati magistrskega dela so intelektualna lastnina avtorja in Fakultete za raˇcunalniˇstvo in informatiko Univerze v Ljubljani. Za objavljanje ali izkoriˇsˇcanje rezultatov magistrskega dela je potrebno pisno soglasje avtorja, Fakultete za raˇcunalniˇstvo in informatiko ter mentorja.

(4)

(5)

Zahvala

Zahvaljujem se mentorju prof. dr. Petru Peeru ter somentorju izr. prof.

dr. Vitomirju ˇStrucu za odliˇcne nasvete in smernice ter nenehno podporo pri izdelavi magistrske naloge, mag. Mojci Honzak za lektoriranje, svojemu dekletu ter bratu za pomoˇc pri iskanju tiskarskih napak ter starˇsem in starim starˇsem za neprestano podporo med ˇstudijem.

Ziga Babnik, 2021ˇ

(6)

(7)

Kazalo

Povzetek Abstract

1 Uvod 1

1.1 Prispevki . . . 3 1.2 Struktura dela . . . 4

2 Pregled podroˇcja 5

2.1 Varovanje zasebnosti . . . 5 2.2 Zamenjava obrazov . . . 7

3 Teoretiˇcno ozadje 9

3.1 Pristop zamenjave obrazov FSGAN . . . 9 3.2 Obrazni generator StyleGAN2 . . . 12 3.3 Mehanizmi za zagotavljanje zasebnosti . . . 15

4 Metodologija 19

4.1 Pristopi s pomoˇcjo sinteze . . . 19 4.2 Nasprotniˇski ˇsum . . . 26

5 Eksperimenti in rezultati 29

5.1 Podatkovni nabor . . . 29 5.2 Metodologija ovrednotenja uspeˇsnosti . . . 31 5.3 Obrazni razvrˇsˇcevalniki . . . 34

(8)

KAZALO 5.4 Ovrednotenje nasprotniˇskega ˇsuma . . . 36 5.5 Ovrednotenje sheme k-enakosti . . . 44 5.6 -diferencialna zasebnost . . . 47 5.7 Mehanizmi za zagotavljanje zasebnosti z uporabo zamenjave

obrazov . . . 50

6 Sklep 59

6.1 Nadaljnje delo . . . 62

(9)

Seznam uporabljenih kratic

kratica angleˇsko slovensko

AUC Area Under the Curve povrˇsina pod krivuljo BIM Basic Iterative Method osnovna iterativna metoda FGSM Fast Gradient Sign Method metoda hitrega predznaˇcenega

gradienta

FN False Negative laˇzno negativen

FP False Positive laˇzno pozitiven

FPR False Positive Rate stopnja laˇzno pozitivnih

FSGAN Face Swapping Generative generativna nasprotniˇska mreˇza Adversarial Network za zamenjavo obrazov

GAN Generative Adversarial Network generativna nasprotniˇska mreˇza MSE Mean Squared Error povpreˇcna kvadratna napaka

TN True Negative resniˇcno negativen

TP True Positive resniˇcno pozitiven

TPR True Positive Rate stopnja resniˇcno pozitivnih

(10)

(11)

Povzetek

Naslov: Deidentifikacija obrazov na osnovi zamenjav obrazov

V zadnjih letih koliˇcina vizualnih vsebin, ki vsebujejo obˇcutljive informacije o identiteti posameznikov, drastiˇcno raste. Poslediˇcno se razvijajo in ˇsirijo uˇcinkoviti mehanizmi za zagotavljanje zasebnosti posameznikov. V delu se osredotoˇcamo na razvoj takˇsnih mehanizmov za obrazne slike, ki jih lahko uporabimo v sistemih za samodejno razpoznavanje obrazov. Med ob- stojeˇcimi reˇsitvami se v literaturi pogosto pojavijo postopki deidentifikacije, ki iz podatkov odstranijo informacijo o identiteti in ohranijo manj obˇcutljive informacije. Za deidentifikacijo slik uporabimo razliˇcne mehanizme za zagotavljanje zasebnosti obraznih slik. Naˇs glavni cilj je preveriti zmoˇznost delovanja takˇsnih mehanizmov v kombinaciji s pristopom za zamenjavo obrazov.

V delu se omejimo na tri mehanizme za zagotavljanje zasebnosti obraznih slik. Prvi mehanizem temelji na dodajanju nasprotniˇskih perturbacij v obrazno sliko. Za izvedbo mehanizma smo izbrali metodo hitrega pred- znaˇcenega gradienta, ki jo nadgradimo z uporabo ansambla modelov ter bi- narnimi obraznimi maskami. Drugi mehanizem temelji na shemi k-enakosti, kjer s pomoˇcjo rojenja in generatorja StyleGAN ustvarimo umetne obrazne identitete, s katerimi zamenjamo obraze v izvirnih slikah. Zadnji mehanizem temelji na -diferencialni zasebnosti, kjer ustvarjamo umetne obrazne identitete z vnaˇsanjem ˇsuma v StyleGAN-vloˇzitve slik.

Rezultati mehanizmov za zagotavljanje zasebnosti kaˇzejo, da so vse implementacije sposobne deidentificirati obrazne slike do neke mere. Z vklju- ˇcevanjem mehanizmov v pristop za zamenjavo obrazov pa se sposobnost de-

(12)

identifikacije le-teh zmanjˇsa. Zdruˇzevanje generativnih mehanizmov, kot sta shemak-enakosti ter-diferencialna zasebnost, z nasprotniˇskimi mehanizmi v sploˇsnem izboljˇsa rezultate v primerjavi z uporabo posameznih mehanizmov tudi, ko jih zdruˇzimo s pristopom za zamenjavo obrazov.

Kljuˇ cne besede

raˇcunalniˇski vid, biometrija, zamenjava obrazov, deidentifikacija, nasprot- niˇski ˇsum, shema k-enakosti, -diferencialna zasebnost

(13)

Abstract

Title: Face deidentification using face swapping

The amount of visual content containing sensitive identity information has steadily grown in the past years. This has led to the development of effective privacy enhancing mechanisms. In our work we focus on face images, which can be used in automatic face recognition systems. The approaches presented in related papers frequently use de-identification mechanisms, which remove only identity information from the data, while preserving other information.

For the purpose of de-identification of face images we use different privacy enhancing mechanisms. Our main goal is to verify if the mechanisms can be used with a face swapping approach.

In our work we focus on three different privacy enhancing mechanisms.

The first is an adversarial approach, which adds perturbations into the face image. We chose to use the Fast Gradient Sign Method, which we enhanced using an ensemble of models and binary face masks. The second mechanism is based on the k-same method, where we generate artificial face identities using clustering and the StyleGAN generator, which replace the faces of the source images. The last mechanism is based on-differential privacy, where we generate artificial face identities by introducing noise to the StyleGAN embeddings of images.

The results of individual privacy enhancing mechanisms showed that all implementations were able to provide some form of de-identification. Com- bining individual mechanisms with a face swapping approach lowered the de- identification capabilities of all mechanisms. Using prior mechanisms such as

(14)

the k-same method or-differential privacy with posterior adversarial mechanisms seemed to further improve de-identification capabilities, even when combined with a face swapping approach.

Keywords

computer vision, biometry, face swapping, deidentification, adversarial noise, k-same method, -differential privacy

(15)

Poglavje 1 Uvod

V zadnjem desetletju se je koliˇcina prosto dostopnih vizualnih vsebin na spletu drastiˇcno poveˇcala. Razlogov za to je veˇc. Prvi razlog je vse veˇcja dostopnost elektronskih naprav, ki omogoˇcajo zajem vizualnih vsebin, kot so pametni telefoni in kamere. Drugi razlog je rast mnogih druˇzbenih omreˇzij, kot sta recimo Facebook in Twitter, in platform za deljenje vizualnih vsebin, kot je recimo YouTube. Naˇstete spletne storitve omogoˇcajo uporabnikom deljenje slik in videoposnetkov oˇzji mnoˇzici ljudi ali pa kar vsem uporabnikom storitve. Vizualne vsebine uporabnikov, ki jih lahko najdemo s pomoˇcjo ome- njenih storitev, pogosto vsebujejo obraze uporabnika in tudi drugih posameznikov. Omenjene vsebine se lahko uporabijo v namene, ki krˇsijo zasebnost posameznikov, ki se pojavijo v vsebinah. Zaradi hitrega napredka podroˇcja raˇcunalniˇskega vida sta detekcija in zaznavanje obrazov v vizualnih vsebinah trivialno reˇsljiva problema. Tako lahko zlonamerni posameznik s pomoˇcjo spletnih pajkov in metod raˇcunalniˇskega vida samodejno gradi podatkovno bazo obraznih slik, ki jih lahko nato uporabi za poljubne namene [1].

Obrazna slika vsebuje informacije, ki jih je moˇc uporabiti za identifikacijo posameznika. Zaradi omenjene lastnosti bi ˇzeleli obrazne slike deidentificirati tako, da originalne identitete ne bi bilo mogoˇce veˇc doloˇciti. Hkrati ˇzelimo, da deidentificirana slika ohrani doloˇcene lastnosti izvirne obrazne slike, kot so spol, poza, polt ter obrazna mimika. Zaradi vedno veˇcjega poudarka na

1

(16)

2 POGLAVJE 1. UVOD

zasebnosti in vse bolj iznajdljivih napadov, ki posegajo v zasebnost posameznika, se ˇsirijo razna raziskovalna podroˇcja, ki ˇzelijo zagotoviti zasebnost raznovrstnih elektronskih vsebin. Med njimi tudi deidentifikacija obraznih slik, za katero obstaja veˇc razliˇcnih pristopov. Prvi pristop, ki ga uporabimo tudi v tem delu, je nasprotniˇski ˇsum [2, 3, 4]. Cilj nasprotniˇskega ˇsuma je originalni sliki dodati minimalno koliˇcino ˇsuma, ki hkrati pokvari napoved danega razvrˇsˇcevalnika in vizualno ne popaˇci slike. Drugi novejˇsi pristop uporabljagenerativne nasprotniˇske mreˇze (ang. Generative Adversa- rial Networks – GAN) za ustvarjanje umetnih obraznih identitet, s katerimi se lahko nadomesti obraze izvirnih slik. Dva pristopa, ki posegata po ustva- rjanju umetnih obraznih identitet in ju uporabimo tudi v tem delu, sta shema k-enakosti [5, 6] in-diferencialna zasebnost [7, 8].

V literaturi se kot alternativa predstavljenim mehanizmom za zagotavljanje zasebnosti pogosto pojavijo tudi postopki zamenjave obrazov (ang. face swapping) [9, 10, 11]. V podroˇcje zamenjave obrazov je bilo pred leti usmer- jeno veliko pozornosti zaradi tehnologije globokih ponaredkov (ang. deep fa- kes), ki omogoˇca, da na podlagi velike koliˇcine slikovnega materiala dveh obraznih identitet izvedemo samodejno zamenjavo identitete. Primer delovanja pristopa za zamenjavo obrazov je prikazan na sliki 1.1. V preteklih nekaj letih je bilo razvitih precej pristopov za zamenjavo obrazov, ki dose- gajo boljˇse rezultate v krajˇsem ˇcasu in z uporabo manjˇse koliˇcine slikovne vsebine. Eden izmed primerov uporabe pristopov zamenjave obrazov je za zagotavljanje zasebnosti oziroma deidentifikacijo obraznih identitet. Za potrebe deidentifikacije je pomembno, da pristop zamenjave obrazov deluje tudi, ko imamo za posamezno identiteto na voljo le eno obrazno sliko. Pristop zamenjave obrazov, ki to omogoˇca in ga uporabimo v delu, se imenujegenerativna nasprotniˇska mreˇza za zamenjavo obrazov (ang. Face Swapping Generative Adversarial Network – FSGAN). Z uporabo pristopa zamenjave obrazov v kombinaciji z mehanizmi za zagotavljanje zasebnosti, ki smo jih omenili, ˇzelimo deidentificirati poljubno slikovno vsebino.

(17)

1.1. PRISPEVKI 3 Ciljna slika Izvirna slika Končna slika

Slika 1.1: Primer delovanja pristopa za zamenjavo obrazov

1.1 Prispevki

V okviru dela udejanimo cevovod za zamenjavo obrazov, ki temelji na pristopu FSGAN in zagotavlja osnovni nivo deidentifikacije slikovnih vsebin, ki vsebujejo obraze. Deidentifikacija se v tem postopku izvede z zamenjavo ciljnega obraza z obrazom izvirne slike. Najprej pozo izvirnega obraza porav- namo s ciljnim obrazom. Nato s pomoˇcjo segmentacijskih mask pridobimo obrazni del poravnane izvirne slike, ki ga umestimo v ciljno sliko. Konˇcni rezultat ˇse retuˇsiramo, tako da poenotimo polt in osvetlitev rezultata s ciljno sliko.

Zgoraj predstavljeni cevovod nadgradimo z uporabo uveljavljenih metod za zagotavljanje zasebnosti, ki temeljijo na nasprotniˇskih pristopih in pristopih s pomoˇcjo sinteze. Konkretno smo za nasprotniˇski pristop implementirali metodo hitrega predznaˇcenega gradienta (ang. Fast Gradient Sign Method – FGSM) in jo nadgradili z uporabo ansambla modelov ter binarnih mask. V okviru pristopov s pomoˇcjo sinteze smo se odloˇcili implementirati dva razliˇcna pristopa. Prvi temelji na shemik-enakosti, drugi pa na-diferencialni zasebnosti; v primeru obeh uporabljamo za ustvarjanje umetnih obraznih identitet generatorsko mreˇzo StyleGAN, ki je trenutno v samem vrhu po kakovosti ustvarjenih slik.

Razvite pristope ovrednotimo na razliˇcnih podatkovnih zbirkah s pomoˇcjo obraznih razvrˇsˇcevalnikov. V nadaljevanju predstavimo rezultate implemen-

(18)

4 POGLAVJE 1. UVOD

tacij, ki temeljijo na posameznih mehanizmih za zagotavljanje zasebnosti, ter rezultate mehanizmov, vkljuˇcenih v pristop zamenjave obrazov. Dobljene rezultate temeljito analiziramo in podamo kljuˇcne zakljuˇcke posameznih implementacij, kot tudi za medsebojno primerjavo.

1.2 Struktura dela

Magistrsko delo je urejeno v 6 poglavij. V poglavju 2 opiˇsemo ˇsirˇse podroˇcje, s katerim se ukvarjamo v delu. Predstavimo raziskovalno podroˇcje deidentifikacije obraznih slik in nekaj temeljnih mehanizmov za zagotavljanje zasebnosti, ki jih uporabimo v delu. Kasneje pregledamo ˇse raziskovalno podroˇcje zamenjave obrazov in na kratko razloˇzimo nekaj pomembnejˇsih ˇclankov s podroˇcja.

Sledeˇce poglavje 3 namenimo natanˇcnejˇsi teoretiˇcni predstavitvi pristopov, potrebnih za laˇzje razumevanje naˇsega dela. Najprej opiˇsemo temeljni pristop zamenjave obrazov, ki ga uporabimo v naˇsem delu. Nato pa generatorsko mreˇzo potrebno za implementacijo izbranih mehanizmov zagotavljanja zasebnosti. Ob koncu poglavja predstavimo podrobneje ˇse izbrane mehanizme za zagotavljanje zasebnosti.

V poglavju 4 se osredotoˇcimo na metodologijo. Predstavimo, kako smo zdruˇzili izbrane mehanizme za zagotavljanje zasebnosti s pristopom za zamenjavo obrazov. V nadaljevanju razloˇzimo naˇcin implementacije vseh izbranih mehanizmov, kot tudi preproste metode, ki sluˇzi kot osnova za primerjavo.

Poglavje 5 posvetimo predstavitvi eksperimentov in doseˇzenih rezultatov. Najprej opiˇsemo uporabljen podatkovni nabor ter podrobneje opiˇsemo zastavljene eksperimente. Kasneje opiˇsemo ˇse obrazne razvrˇsˇcevalnike, potrebne za ovrednotenje, ter implementacijo mehanizmov za zagotavljanje zasebnosti. Rezultate predstavimo posamezno za vsak izbran mehanizem ter kasneje ˇse v kombinaciji s pristopom za zamenjavo obrazov.

Delo zakljuˇcimo s sklepnim poglavjem 6, kjer povzamemo naˇse celotno delo ter predstavimo nekaj idej za nadaljnje delo.

(19)

Poglavje 2

Pregled podroˇ cja

V sledeˇcem poglavju na kratko predstavimo temeljni podroˇcji dela: varovanje zasebnosti in zamenjava obrazov. Najprej opiˇsemo obstojeˇce pristope varovanja zasebnosti in njihove glavne znaˇcilnosti, kasneje opiˇsemo podroˇcje zamenjave obrazov in predstavimo nekaj konkretnih pristopov.

2.1 Varovanje zasebnosti

V sploˇsnem obstaja veˇc skupin mehanizmov za zagotavljanje zasebnosti, ki delujejo na razliˇcnih nivojih standardnih sistemov raˇcunalniˇskega vida [1].

Za nas zanimivi mehanizmi delujejo direktno na sliki oziroma na vloˇzitvah slik in obsegajo: nasprotniˇske pristope in pristope s pomoˇcjo sinteze slik.

Nasprotniˇski pristopi so skupina mehanizmov, ki delujejo na nivoju slik in zagotavljajo zasebnost tako, da na ˇzeljeno sliko vnesejo nasprotniˇski ˇsum.

Cilj takˇsnih pristopov je, da nasprotniˇski ˇsum hkrati pokvari napoved ˇzelje- nega ciljnega razvrˇsˇcevalnika in le minimalno vizualno spremeni sliko. Naj- bolj razˇsirjen primer nasprotniˇskega pristopa je FGSM [12], ki ga uporabimo tudi v naˇsem delu. FGSM za dano sliko doloˇci perturbacijo tako, da s pomoˇcjo povratnega razmnoˇzevanja razˇsiri gradient na sliko. Obstaja tudi mnogo razˇsirjenih razliˇcic pristopa FGSM, kot je recimo osnovna iterativna metoda (ang. Basic Iterative Method – BIM) [13], ki perturbacije raˇcuna

5

(20)

6 POGLAVJE 2. PREGLED PODRO ˇCJA

iterativno.

Pristopi s pomoˇcjo sinteze so skupina mehanizmov, ki prav tako delujejo na nivoju slik in zagotavljajo zasebnost z uporabo umetno ustvarjenih sin- tetiˇcnih obrazov. Pogosto uporabljena pristopa s pomoˇcjo sinteze sta shema k-enakosti in k-anonimnost ter -diferencialna zasebnost. Primer pristopa, ki temelji na k-anonimnosti, je predstavljen v ˇclanku [5], sam pristop pa je sledeˇc. Danim obraznim identitetam ˇzelimo zagotoviti zasebnost. Nad njimi najprej izvedemo rojenje, ki vhodne identitete razdeli v k rojev glede na vizualno podobnost. Roje vhodnih identitet nato preslikamo v najpodobnejˇse roje, zgrajene nad skrito mnoˇzico obraznih identitet. S pomoˇcjo generativne mreˇze nato na podlagi preslikanih rojev in dodatnih parametrov, ki doloˇcajo identiteto, ustvarimo nove umetne obrazne identitete, ki jih uporabimo za zamenjavo obrazov izvirnih slik. Ker smo za ustvarjanje umetnih obraznih identitet uporabili centroide, rojem ne moremo doloˇciti posameznih uporabljenih identitet. Trdimo torej lahko, da so umetne obrazne identitete anonimne. -diferencialna zasebnost, po drugi strani, izhaja iz podroˇcja podatkovnih baz in zagotavlja zasebnost z uvajanjem nakljuˇcja v poizvedbe.

Pojma podatkovne baze in poizvedbe lahko prenesemo v podroˇcje obrazne deidentifikacije in tako -diferencialno zasebnost uporabimo za zagotavljanje zasebnosti obraznih identitet. Primer pristopa -diferencialne zasebnosti je opisan v ˇclanku [14], kjer vhodno identiteto, ki jo ˇzelimo deidentificirati, najprej predstavimo kot vloˇzitev v latentnem prostoru generativne mreˇze, iz katere je moˇzno identiteto ponovno rekonstruirati. Na vloˇzitev nato dodamo ˇsum, vzorˇcen iz Laplaceove porazdelitve, ki zagotavlja -diferencialno zasebnost. Nato iz take vloˇzitve s pomoˇcjo generativne mreˇze ustvarimo novo umetno identiteto. ˇSum, vkljuˇcen v vloˇzitev, vodi v spremembe vizualnega izgleda slike, kar poslediˇcno zagotavlja deidentifikacijo.

(21)

2.2. ZAMENJAVA OBRAZOV 7

2.2 Zamenjava obrazov

Temeljno raziskovalno podroˇcje, s katerim imamo opravka v delu, je zamenjava obrazov. V sploˇsnem je cilj pristopov zamenjave obrazov prenos obrazne identitete na telo druge osebe, z namenom, da pridobimo ˇcim bolj realistiˇcen rezultat. Raziskovanje je na podroˇcju potekalo ˇze pred pojavom globokih ponaredkov, kot tudi pred obdobjem globokega uˇcenja.

Primer starejˇsega pristopa je opisan v ˇclanku [15], kjer postopek zamenjave obrazov razdelijo v tri dele. Najprej v dani sliki poiˇsˇcejo obraz s pomoˇcjo obraznega detektorja in ga poravnajo glede na vnaprej doloˇcen koordinatni sistem. Za detektiran obraz nato poiˇsˇcejo nekaj najpodobnejˇsih obraznih slik–kanditatov iz vnaprej zgrajene baze. V drugem koraku spreme- nijo osvetlitev in pozo kandidatov tako, da se ˇcim bolj prilegajo zaznanemu obrazu, nato se izvede zamenjava in zlivanje slik vseh kandidatov. V tretjem koraku rangirajo zamenjane kandidate.

V zadnjih letih se na podroˇcju pojavlja vse veˇc pristopov, ki temeljijo na generativnih nasprotniˇskih mreˇzah. V sploˇsnem ti pristopi potrebujejo veˇcje koliˇcine slikovnega materiala, uporabljenega za nastavljanje mreˇze. Novejˇsi pristopi zamenjave obrazov kot so [16, 17, 18] potrebujejo bistveno manj slikovnega materiala za realistiˇcne rezultate. Eden izmed takih pristopov je tudi FSGAN [19], ki ga uporabimo v delu. Pristop lahko razdelimo na tri sklope. V prvem delu se izvedeta samodejna segmentacija las in obraza ter izraˇcun kljuˇcnih obraznih toˇck za ciljni in tudi izvirni obraz. Na podlagi kljuˇcnih toˇck ciljnega obraza se s pomoˇcjo generatorja ustvari izvirni obraz z enako pozo in izrazom. V drugem koraku se dele ustvarjenega izvirnega obraza, ki so hkrati potrebni za zamenjavo in skriti zaradi las oziroma drugih elementov, dopolni. V zadnjem koraku se dopolnjeni in poravnani izvirni obraz vstavi v sliko ciljnega obraza in izvede konˇcno returˇsiranje slike, ki zakljuˇci zamenjavo obrazov.

(22)

8 POGLAVJE 2. PREGLED PODRO ˇCJA

(23)

Poglavje 3

Teoretiˇ cno ozadje

V sledeˇcem poglavju predstavimo teoretiˇcno ozadje, potrebno za razumevanje naˇsega dela. V prvem delu opiˇsemo uporabljeni pristop za zamenjavo obrazov FSGAN, ki je osrednji del magistrske naloge. Nadaljujemo z opisom generatorske mreˇze StyleGAN, ki jo uporabimo za potrebe mehanizmov s pomoˇcjo sinteze: sheme k-enakosti ter -diferencialne zasebnosti. Poglavje zakljuˇcimo s teoretiˇcnim opisom uporabljenih mehanizmov za zagotavljanje zasebnosti.

3.1 Pristop zamenjave obrazov FSGAN

FSGAN je pristop za samodejno zamenjavo obrazov, ki jo izvede na podlagi ene podatkovne toˇcke za izvirno obrazno identiteto in ciljno obrazno identiteto. Podatkovna toˇcka je lahko v obliki posamezne slike oziroma vi- deoposnetka. V sploˇsnem ˇzelimo izvirno obrazno identiteto, ki se pojavi na slikiI_s, prenesti na slikoI_t, ki vsebuje ciljno obrazno identiteto. Sam postopek zamenjave obrazov razdelimo v tri sklope, ki jih podrobno predstavimo v sledeˇcem razdelku.

9

(24)

10 POGLAVJE 3. TEORETI ˇCNO OZADJE

3.1.1 Obrazna rekonstrukcija in segmentacija

Prvi sklop sestavljata rekonstrukcijski generator (ang. reenactment generator) G_r in segmentacijski generator (ang. segmentation generator) G_s. Re- konstrucijski generatorG_rpredstavlja preslikavoG_r:{R^3×H^×W,R^70×H×W} −→ R^3×H×W, kjer imamo podano vhodno sliko I ∈R^3×H×W invroˇcinsko karto - (ang. heatmap) obraznih kljuˇcnih toˇck (ang. facial landmarks) H(p) ∈ R^70×H^×W, ki ju ˇzelimo preslikati v rekonstruirano sliko I_r. ˇZelja je, da ima rekonstruirana slika I_r poravnano pozo s ciljno sliko I_t, pri ˇcemer izvira iz izvirne slikeI_s. Rekonstrucijski generator se izvaja rekurzivno s postopno in- terpolacijo med Eulerjevimi koti e_s, e_t ∈R³ in obraznimi kljuˇcnimi toˇckami vs, vt ∈ R^70×3 obrazov Fs ∈ Is ter Ft ∈ It, pri ˇcemer kot rezultat dobimo vmesne kljuˇcne toˇcke p_j. Enaˇcba (3.1) predstavlja rekurzivno formulo re- konstrukcijskega generatorjaG_r, poleg rekonstruirane slikeI_r_j iteracijej,G_r vraˇca tudi segmentacijsko slikoS_r_j ∈R^3×H×W, ki loˇcuje med obrazom, lasmi ter ozadjem. Dodatno za potrebe segmentacije slike I_t definiramo tudi segmentacijski generator G_s kot preslikavo G_s : R^3×H×W −→ R^3×H^×W, ki prav tako loˇci med obrazom, lasmi in ozadjem vhodne slike.

I_r_j, S_r_j =G_r(I_r_j−1;H(p_j)) (3.1) Delovanje prvega sklopa pristopa FSGAN je prikazano na sliki 3.1. Re- zultat sklopa je segmentirana obrazna slika ˜I_r izvirne identitete ter obrazna segmentacijska maska S_t, ki doloˇca obrazni del ciljne slike I_t.

3.1.2 Dopolnjevanje obrazov

Drugi sklop sestavljadopolnjevalni (ang. inpainting) generator G_c. V sploˇs- nem se lahko zgodi, da rekonstruirana slika I_r, ki izhaja iz izvirne slike I_s in ima pozo enakoF_t∈I_t, ne pokriva popolno obrazne maske slike I_t. Problem se lahko pojavi zaradi zakrivanja predelov obraza v izvirni sliki I_s z lasmi oziroma drugimi moteˇcimi dejavniki. Konˇcna ˇzelja je rekonstruirano sliko ˜I_r, ki vsebuje le obraz slikeIr, umestiti v ciljno slikoIt. V primeru, da doloˇcenih

(25)

3.1. PRISTOP ZAMENJAVE OBRAZOV FSGAN 11

Slika 3.1: Prikaz delovanja prvega sklopa pristopa FSGAN

delov ciljnega obraza F_t∈I_t ne prikrijemo, lahko pride do pojava artefaktov v konˇcnem rezultatu zamenjave obrazov.

Na voljo imamo rekonstruirano sliko ˜I_r, ki vsebuje le obraz poravnane izvirne slike. Zaradi zakrivanj se lahko zgodi, da slika ˜I_r ne pokrije celotne ciljne obrazne maske S_t. Zato uporabimo dopolnjevalni generator G_c, ki sliko ˜I_r dopolni tako, da pokriva celotno ciljno obrazno maskoS_t. Delovanje drugega sklopa prikazuje slika 3.2. Dopolnjeno sliko I_c, ki jo dobimo kot rezultat, lahko nato uporabimo v tretjem sklopu.

Slika 3.2: Prikaz delovanja drugega sklopa pristopa FSGAN

(26)

3.1.3 Meˇ sanje obrazov

Tretji sklop sestavlja meˇsalni (ang. blending) generator G_b. Dopolnjeno sliko Ic ˇzelimo umestiti v ciljno sliko It na mesto, ki ga doloˇca obrazna segmentacijska maska ciljne slike S_t, pri ˇcemer ˇzelimo upoˇstevati osvetlitev in barvo koˇze slik I_t. Uporabimo meˇsalni generator G_b, ki poskrbi za uravnavo osvetlitve dopolnjene slike I_c in barvo koˇze tako, da se ta kar se da prilega slikiI_t. Delovanje zadnjega sklopa pristopa FSGAN je prikazano na sliki 3.3.

Rezultat sklopa je ciljna slika z zamenjanim obrazom.

Slika 3.3: Prikaz delovanja tretjega sklopa pristopa FSGAN

3.2 Obrazni generator StyleGAN2

Pomemben del uporabljenih mehanizmov za zagotavljanje zasebnosti je generiranje novih umetnih obraznih identitet. V okviru dela zato potrebujemo generatorsko mreˇzo, ki je sposobna ustvariti umetne obrazne identitete na podlagi ˇze obstojeˇcih slik oziroma njihovih vloˇzitev. V delu v ta namen uporabimo generatorsko mreˇzoStyleGAN2 [20, 21], ki je po kakovosti ustvarjenih slik v samem vrhu. V sledeˇcem razdelku opiˇsemo delovanje generatorske mreˇze. Zaˇcnemo z originalno mreˇzo StyleGAN, nato pa predstavimo ˇse nad- gradnje, ki jih prinese mreˇza StyleGAN2.

(27)

3.2. OBRAZNI GENERATOR STYLEGAN2 13

3.2.1 Generatorska mreˇ za StyleGAN

Shema generatorske mreˇze StyleGAN je predstavljena na sliki 3.4. V osnovi je mreˇza sestavljena iz dveh delov. Prvi del predstavlja osemnivojski perce- petronf, ki ga lahko zapiˇsemo kot nelinearno preslikavo vloˇzitevf :Z −→ W.

V sploˇsnem je cilj f preslikati prepleteno (ang. entangled) latentno vloˇzitev z ∈ Z v razpleteno (ang. disentangled) latentno vloˇzitev w ∈ W, saj naj bi razpletena predstavitev informacij omogoˇcala laˇzje generiranje realistiˇcnih slik.

Drugi del predstavlja generativna mreˇzag, sestavljena iz 18 nivojev. Po- samezen nivo g prejme kot vhod nekoreliran Gaussov ˇsum B v obliki eno- kanalne slike ter vloˇzitevw, ki jo spremenimo s pomoˇcjo nauˇcene afine trans- formacijeA, ki specializirawna doloˇcen stily= (y_s, y_b). Nabor znaˇcilk (ang.

feature map) xi ter stil y poˇsljemo skozi operacijo AdaIN, ki jo prikazuje enaˇcba (3.2), z µ(x_i) oznaˇcujemo povpreˇcje in s σ(x_i) standardni odklon x_i. Nabor znaˇcilk, ki jih dobimo kot rezultat operacijeAdaIN, je izhod posameznega nivoja, ki ga uporabimo kot vhod v naslednji nivo. Velikost zaˇcetnega nabora znaˇcilk x je 4² s 512 kanali, ki pa jih poveˇcujemo (ang. upsample) po vsakem prehodu para nivojev, konˇcna velikost je tako 1024² s 512 kanali.

Zadnji korak zmanjˇsa ˇstevilo kanalov, tako da lahko rezultat predstavimo v obliki RGB slike velikosti 1024².

AdaIN(x_i, y) = y_s,ix_i−µ(x_i)

σ(x_i) +y_b,i (3.2)

3.2.2 Generatorska mreˇ za StyleGAN2

Arhitektura generatorske mreˇze StyleGAN2 nadgrajuje generativno mreˇzog originalne arhitekture mreˇze, kot prikazuje slika 3.5. V osnovi imamo ponovno opravka z 18 nivoji, kjer naboru znaˇcilk posameznega nivoja dodamo nekoreliran Gaussov ˇsum B. Razlika se pojavi v naˇcinu dodajanja latentne vloˇzitve wpred operacijo konvolucije, kjer operacijo AdaIN popolnoma odstranimo iz arhitekture. Uteˇzi konvolucije wijk posameznega nivoja i, kjer

(28)

Generativna mreža g

Slika 3.4: Shema delovanja generatorske mreˇze StyleGAN

j ter k oznaˇcujeta velikost nabora znaˇcilk na nivoju i, sedaj najprej mo- duliramo s stilom s_i, kot je prikazano v enaˇcbi (3.3). Vmesni rezultat je moduliran nabor znaˇcilk w⁰_ijk, ki ga v nadaljevanju spremenimo s pomoˇcjo demodulacije, kot je prikazano v enaˇcbi (3.4), kjer predstavlja malo kon- stanto, ki skrbi za numeriˇcno stabilnost operacije.

w⁰_ijk=s_i·w_ijk (3.3)

w_ijk⁰⁰ =w_ijk⁰

/

^s^X

i,k

w_ijk⁰ ²+ (3.4)

Sprememba arhitekture pripomore h generiranju bolj realistiˇcnih obrazov ter odstranjevanju karakteristiˇcnih artefaktov, ki se pojavljajo v originalni arhitekturi.

Osnovna mreˇza StyleGAN, kot tudi nadgrajena mreˇza StyleGAN2, sta v samem vrhu glede na kakovost in realistiˇcnost ustvarjenih obraznih slik.

Slika 3.6 predstavlja umetne obrazne identitete, ustvarjene s pomoˇcjo generatorske mreˇze StyleGAN2, ki jih pridobimo s povpreˇcenjem StyleGAN-

(29)

3.3. MEHANIZMI ZA ZAGOTAVLJANJE ZASEBNOSTI 15

vloˇzitev drugih obraznih slik.

Slika 3.5: Shema uvedenih sprememb generatorske mreˇze StyleGAN2

Slika 3.6: Primeri umetnih obraznih identitet, ustvarjenih s pomoˇcjo generatorske mreˇze StyleGAN2

3.3 Mehanizmi za zagotavljanje zasebnosti

V sledeˇcem razdelku natanˇcneje teoretiˇcno opiˇsemo mehanizme za zagotavljanje zasebnosti, na katerih temeljijo naˇse implementacije. Najprej se posvetimo nasprotniˇski metodi, bolj natanˇcno pristopu FGSM, nato pa pred-

(30)

stavimo ˇse shemo k-enakosti ter koncept k-anonimnosti in -diferencialno zasebnost ter Laplaceov mehanizem.

3.3.1 Nasprotniˇ ski ˇ sum

Globoki modeli temeljijo navzvratnem razˇsirjanju (ang. backpropagation), ki izraˇcunano izgubo prenaˇsa nazaj po modelu ter raˇcuna gradient posameznih nivojev. Uteˇzi modela nato posodobimo v skladu z izraˇcunanim gradien- tom s pomoˇcjo stohastiˇcnega gradientnega spusta (ang. stohastic gradient descent). Princip uˇcenja globokih modelov lahko uporabimo tudi za ustvarjanje nasprotniˇskih perturbacij, ki sliko minimalno vizualno pokvarijo, hkrati pa pokvarijo napoved globokega modela. Nasprotniˇski pristop, ki ga uporabimo v delu, se imenuje FGSM.

Opiˇsimo osnovno delovanje FGSM-pristopa. Naj bo xnaˇsa vhodna slika, za katero ˇzelimo ustvariti nasprotniˇsko perturbacijo,ypa prava oznaka vhodne slike. Ustvariti ˇzelimo nasprotniˇski primer, ki bo pokvaril napoved modela M s parametri θ. Vhodno sliko x poˇsljemo skozi model M in dobimo napoved modela za dano vhodno sliko. Kot pri uˇcenju globokih modelov izraˇcunamo izgubo napovedi za vhodno sliko J(θ,x,y). S pomoˇcjo vzvrat- nega razˇsirjanja sedaj izgubo razˇsirimo na vhodno sliko, za katero dobimo izraˇcunan gradient ∇_xJ(θ,x,y). S pomoˇcjo izraˇcunanega gradienta vhodne slike ustvarimo nasprotniˇsko perturbacijo po enaˇcbi (3.5), kjer je funkcija sign definirana po enaˇcbi (3.6), parameter pa definira velikost perturbacije. Nasprotniˇski primer tako ustvarimo po enaˇcbi (3.7), tako da vhodni sliki xdodamo prej definirano nasprotniˇsko perturbacijo µ.

µ=sign(∇_xJ(θ, x, y)) (3.5)

sign(x) =











−1 ˇce x < 0 0 ˇce x = 0 1 ˇce x > 0

(3.6)

(31)

3.3. MEHANIZMI ZA ZAGOTAVLJANJE ZASEBNOSTI 17

x^∗ =x+sign(∇_xJ(θ, x, y)) (3.7) Slika 3.7 prikazuje primere obraznih slik z razliˇcno koliˇcino dodanega ˇsuma. V primeru leve obrazne slike je ˇsum neviden, saj smo za parameter izbrali zelo majhno vrednost. V primeru ostalih dveh slik je ˇsum jasno viden, saj je parameter relativno velik.

Slika 3.7: Primer obraznih slik z dodanimi perturbacijami z razliˇcnimi vrednostmi parametra

3.3.2 Shema k-enakosti

Shemak-enakosti temelji na konceptu k-anonimnosti, ki je bil predstavljen v ˇclanku [22]. K-anonimnost reˇsuje sledeˇc problem: Imamo obˇcutljive podatke za veˇc razliˇcnih identitet, izdati ˇzelimo uporabne podatke, iz katerih ni moˇzno razbrati posameznih identitet. Izdaja podatkov jek-anonimna, ˇce informacije posamezne identitete, vsebovane v izdaji, ne moremo loˇciti od vsaj k −1 drugih posameznih identitet izdaje.

Pristop shemek-enakosti preslika vhodno mnoˇzico slikI v deidentificirano mnoˇzico slikD. Deidentificirano mnoˇzico slikDustvarimo s pomoˇcjo rojenja vhodne mnoˇzice slik I, tako da vsak roj G^I_i vsebuje k slik. Za vsak roj G^I_i se ustvari nova nadomestna slika, in sicer kot povpreˇcje vseh slik v roju S_i^D = _|G¹I

i|

P

Sj∈G^I_i S_j. Preslikava P tako preslika vhodno sliko S_j, ki spada v roj G^I_i, v povpreˇcno sliko S_i^D. Posamezno povpreˇcno sliko, ki jo vrne preslikava P, je tako nemogoˇce pripisati posamezni vhodni sliki, pripiˇsemo

(32)

jo lahko kveˇcjemu mnoˇzici k slik, ki pripadajo roju povpreˇcne slike. Tako imamo zagotovljeno izdajo, ki je k-anonimna.

3.3.3 -diferencialna zasebnost

-diferencialna zasebnost je koncept, ki je nastal na podroˇcju podatkovnih baz za zagotavljanje zasebnosti podatkov. Formalno -diferencialna zasebnost pravi sledeˇce. Imamo dve podatkovni bazi x ter y, za kateri velja, da se razlikujeta v najveˇc eni vrstici. To lahko zagotovimo tako, da vzamemo eno podatkovno bazo in ji odstranimo nakljuˇcno vrstico. Definirajmo ˇse poi- zvedboA, ki za podatkovno bazoxvrne odgovorP_x=Ax. Odgovora P_x ter P_y se bosta razlikovala v najveˇc eni vrstici, kar pomeni, da bi s poizvedova- njem po eni izmed baz izvedeli veliko tudi o drugi. Definirajmo ˇse mehanizem M, ki vzame odgovorP_x in ga na poljuben naˇcin spremeni ˜P_x =M(P_x). Pra- vimo, da je mehanizem M -diferencialno zaseben, ˇce velja za vsak par baz x, y, ki se razlikujeta v najveˇc eni vrstici M(Px) ≥exp()M(Py). Torej, da se spremenjena odgovora z mehanizmomM na isto poizvedbo razlikujeta veˇc kot za faktorexp().

Primer preprostega mehanizma, ki ustreza definiciji -diferencialno za- sebnega mehanizma, je Laplacev mehanizem LM(P_x). Za odgovor P_x, ki ga dobimo s poizvedbo A nad podatkovno bazo x, Laplacev mehanizem definiramo, kot prikazuje enaˇcba (3.8), kjer je f(0, µ) vektor neodvisnih sluˇcajnih spremenljivk, ki so vzorˇcene iz Laplaceove porazdelitve. Omenjeno poraz- delitev za sluˇcajno spremenljivko x prikazuje enaˇcba (3.9). S priˇstevanjem vektorja neodvisnih sluˇcajnih spremenljivk, vzorˇcenih iz Laplaceove porazdelitve dejanskemu odgovoru, zagotovimo -diferencialno zasebnost.

LM(Px) = Px+f(0, µ) (3.8)

f(x|µ, b) = 1

2bexp(−|x−µ|

b ) (3.9)

(33)

Poglavje 4 Metodologija

Cilj naˇsega pristopa je uporabiti razliˇcne mehanizme zagotavljanja zasebnosti skupaj s pristopom za zamenjavo obrazov, za generiranje deidentificiranih slik. Celoten pristop prikazuje slika 4.1; opazimo lahko, da imamo opravka z dvema skupinama mehanizmov za zagotavljanje zasebnosti. Loˇcimo ju glede na trenutek izvedbe. Prva skupina mehanizmov temelji na pristopih s pomoˇcjo sinteze in se izvaja pred zamenjavo obrazov. Za mehanizme v tej skupini je skupno, da za dano obrazno sliko izberejo novo obrazno sliko iz vnaprej definirane mnoˇzice ali pa ustvarijo novo umetno obrazno sliko. Druga skupina mehanizmov, ki se izvede po zamenjavi obrazov, so nasprotniˇski pristopi. Konkretno v delu govorimo o pristopu FGSM, ki ga razˇsirimo z uporabo ansamblov in binarnih mask. Vse implementirane mehanizme za zagotavljanje zasebnosti podrobneje predstavimo v sledeˇcem poglavju.

4.1 Pristopi s pomoˇ cjo sinteze

V tem razdelku opiˇsemo pristope implementacij mehanizmov za zagotavljanje zasebnosti, ki za dano obrazno sliko ustvarijo novo umetno obrazno sliko.

Dano obrazno sliko in ustvarjeno umetno obrazno sliko nato uporabimo kot ciljno in izvirno obrazno sliko za zamenjavo obrazov s pristopom FSGAN.

Najprej opiˇsemo preprosto metodo, ki je uporabna kot izhodiˇsˇce za primer- 19

(34)

20 POGLAVJE 4. METODOLOGIJA

Slika 4.1: Shema implementiranega pristopa deidentifikacije obraznih slik

javo pristopov na podlagi sheme k-enakosti in -diferencialne zasebnosti, ki ju predstavimo kasneje.

4.1.1 Preprosta metoda

Preprosta metoda, ki jo tu natanˇcno opiˇsemo, je namenjena testiranju pristopa FSGAN. Rezultate preproste metode uporabimo kot izhodiˇsˇce za na- daljnjo primerjavo z ostalimi implementiranimi metodami. Potek pristopa je v grobem prikazan na sliki 4.2. Pristop ne ustvari nove umetne obrazne identitete, temveˇc dani obrazni identiteti doloˇci najpodobnejˇso iz vnaprej doloˇcene baze obraznih identitet. Za pristop uporabimo loˇceno bazo obraznih slik B^s.

Formalno pristop opiˇsemo na sledeˇc naˇcin. Dano imamo obrazno slikoS_x identiteteX, za katero ˇzelimo poiskati najpodobnejˇso obrazno sliko S_y ∈B^s. Predˇcasno za vse obrazne slikeS_y ∈B^s, s pomoˇcjo obraznega razvrˇsˇcevalnika M, ustvarimo vloˇzitev M(S_y). Dobljeni nabor vloˇzitev M(S_y) zberemo v podatkovno bazo vloˇzitevB^v. Za dano obrazno sliko S_x prav tako ustvarimo vloˇzitev M(Sx). Pomembno je omeniti, da smo obraznemu razvrˇsˇcevalniku

(35)

4.1. PRISTOPI S POMO ˇCJO SINTEZE 21

Slika 4.2: Prikaz poteka preproste metode

M odstranili nekaj vrhnjih plasti, tako da se ustvarjene vloˇzitve nanaˇsanjo bolj na vizualni izgled kot na samo identiteto slik. Za izraˇcunano vloˇzitev M(S_x) lahko v bazi B^v poiˇsˇcemo najpodobnejˇso vloˇzitev, s pomoˇcjo mere podobnosti P. Iˇsˇcemo vloˇzitevM(S_y), S_y ∈B^v, za katero velja max_S_y∈B^v

P(M(S_x), M(S_y)). Iˇsˇcemo torej obrazno sliko S_y identitete Y iz baze B^s, katere vloˇzitevM(S_y) je glede na mero podobnostiP najpodobnejˇsa vloˇzitvi dane obrazne slikeSx.

4.1.2 Shema k-enakosti

Teoretiˇcno smo shemo k-enakosti opisali v razdelku 3.3.2. Pristop prikazuje slika 4.3. Razdelimo ga lahko na izgradnjo baze umetnih slik B^u ter iskanje najprimernejˇse slike, ki poteka podobno kot pri opisani preprosti metodi. V sledeˇcem razdelku najprej opiˇsemo, kako smo zgradili bazo umetnih slikB^u, nato pa ˇse na kratko pojasnimo, kako poteka iskanje najprimernejˇse umetne identitete.

Predstavimo potek izgradnje baze umetnih obraznih slik B^u. Na voljo imamo zunanjo podatkovno bazo obraznih slik B^s, ki vsebuje obrazne slike

(36)

Slika 4.3: Prikaz poteka implementacije sheme k-enakosti

razliˇcnih obraznih identitet. Iz baze B^s izloˇcimo po eno obrazno sliko za vsako prisotno identiteto, dobljeni nabor slik oznaˇcimo z B^s1. S pomoˇcjo obraznega razvrˇsˇcevalnika M, ki smo mu odstranili vrhnjih nekaj plasti, ustvarimo vloˇzitve slik M(S_y), S_y ∈ B^s1. Nad mnoˇzico ustvarjenih vloˇzitev M(B^s1) nato izvedemo rojenje z algoritmomK-Means. Algoritem K-Means na vhodu potrebuje poleg mnoˇzice ustvarjenih vloˇzitev ˇse ˇzeljeno ˇstevilo rojev k. Vloˇzitve, vsebovane v mnoˇzici vloˇzitev M(B^s1) za potrebe algoritma K-Means, predstavimo v obliki vektorjev xj ∈ R^1×m. Ob zaˇcetku izvaja- nja algoritem inicializira k centoridov c_i ∈ R^1×m, j ∈ {1, ..., k} v prostoru vloˇzitev. Nato iterativno posodablja poloˇzaj vseh centroidov, tako da najprej za vsak centroid c_i poiˇsˇce mnoˇzico vektorjev vloˇzitev I_i, za katero velja I_i = {x_j : d(x_j, c_i) < dk6=i(x_j, c_k), x_j ∈ M(B^s1)}, kjer d(a, b) predstavlja evklidsko razdaljo med vektorjema a in b. Poloˇzaj centroidov c_i posodobimo na povpreˇcen poloˇzaj vseh vektorjev, vsebovanih vIi, novo vrednostc⁰_i

(37)

izraˇcunamo kot c⁰_i = _|I¹

i|

P

xk∈Iix_k. Postopek ponavljamo, dokler se poloˇzaj centroidov ne ustali.

Algoritem K-Means nam tako vrne roje I_i vloˇzitev slik M(B^s1) ter njihove centoridec_i. Za ustvarjanje umetnih obraznih identitet v implementaciji uporabimo generatorsko mreˇzo StyleGAN M_g. Cilj je ustvariti umetno obrazno identiteto za vsak roj s povpreˇcenjem StyleGAN-vloˇzitev vseh slik, prisotnih v danem roju. S povpreˇcenjem veˇcjega ˇstevila StyleGAN-vloˇzitev vedno dobimo pribliˇzno enako umetno obrazno sliko, zato roje, ki vsebujejo veˇc kot l vloˇzitev slik, predˇcasno odstranimo. Predˇcasno zgradimo ˇse bazo StyleGAN-vloˇzitev B^stylegan1, ki vsebuje vloˇzitve vseh slik, prisotnih v bazi B^s1. Za doloˇcen roj I_i lahko ustvarimo umetno obrazno identiteto, tako da najprej ustvarimo povpreˇcno StyleGAN-vloˇzitev roja x_i = _|I¹

i|

P

xj∈I_ix_j in nato umetno obrazno sliko rojaM_g(x_i). Vse umetno ustvarjene obrazne slike nato zdruˇzimo v bazo umetnih slik B^u.

Za dano obrazno sliko S_x lahko sedaj enako kot pri preprosti metodi poiˇsˇcemo najpodobnejˇso sliko iz mnoˇzice umetnih obraznih slikBû. Za celotni nabor Bû ustvarimo mnoˇzico vloˇzitev M(BÛ) obraznega razvrˇsˇcevalnika M, ki jih lahko uporabimo za izraˇcun podobnosti slike S_x in mnoˇzice slik Bû z uporabo mere podobnosti P(M(S_x), M(S_y));S_y ∈Bû. Iˇsˇcemo umetno obrazno sliko S^y ∈ Bû, kjer za vloˇzitev umetne obrazne slike M(S^y) velja max_S_y_∈BûP(M(S_x), M(S_y)).

4.1.3 -diferencialna zasebnost

Teoretiˇcno smo Laplaceov mehanizem, ki zadoˇsˇca -diferencialni zasebnosti, opisali v razdelku 3.3.3. Za samo implementacijo je potrebnih nekaj dodatnih korakov. Osnovno shemo delovanja implementiranega pristopa pona- zarja slika 4.4, celotno delovanje pristopa podrobno predstavimo v sledeˇcem razdelku.

Za dano obrazno sliko S_i ˇzelimo s pomoˇcjo Laplacovega mehanizma LM ustvariti novo umetno obrazno sliko ˜S_i. ˇZelimo, da se vloˇzitvi zunanjega obraznega razvrˇsˇcevalnika slikSi ter ˜Si glede na mero podobnostiP razliku-

(38)

Slika 4.4: Prikaz poteka implementacije -diferencialne zasebnosti

jeta za vsaj θ.

Umetne obrazne slike generiramo s pomoˇcjo generatorske mreˇze Style- GAN M_g, zato potrebujemo StyleGAN-vloˇzitve danih obraznih slik S_i. Ge- neriranje StyleGAN-vloˇzitev je optimizacijski problem, kjer zaˇcnemo z na- kljuˇcno ustvarjeno vloˇzitvijo w_r, ki jo s pomoˇcjo gradientnega spusta poso- dabljamo tako, da jepovpreˇcna kvadratna napaka (ang. Mean Squared Error – MSE) ustvarjene slike S_r =M_g(w_r) in dejanske slike S_i minimalna.

Sum, ki ga ustvari Laplaceov mehanizemˇ LM, apliciramo na StyleGAN- vloˇzitve slik. Vloˇzitve vsebujejo mnogo informacij, ki so potrebne za rekon- strukcijo obraznih slik. Z apliciranjem ˇsuma na vloˇzitve lahko pokvarimo informacije, vsebovane v vloˇzitvi; poslediˇcno so ustvarjeni obrazi vizualno nesmiselni. Zgodi se lahko tudi, da ustvarjeni ˇsum minimalno vpliva na ustvarjeno sliko. Zato ustvarimo mnogo ˇsumnih vektorjev in izberemo naj- primernejˇsega.

Formalno lahko problem predstavimo na sledeˇc naˇcin. Podano imamo vhodno sliko Si, ki vsebuje identiteto I ter pripadajoˇco StyleGAN-vloˇzitev

(39)

w_i ∈ R^1×m in maksimalno podobnost θ. Dodatno potrebujemo ˇse obrazni razvrˇsˇcevalnik M_k, ki za podano sliko ustvari vloˇzitev, na podlagi katere lahko primerjamo podobnost dveh slik ter prej omenjeno generatorsko mreˇzo StyleGAN M_g. V prvem koraku s pomoˇcjo Laplaceovega mehanizma LM ustvarimo n razliˇcnih vektorjev µj ∈ R^1×m, j ∈ {1, ..., n}. Sedaj ˇzelimo od- kriti ˇsumni vektorµ_j, za katerega bo veljala enaˇcba (4.2), kjer P predstavlja mero podobnosti in M_g(x) umetno ustvarjeno sliko. Izkaˇze se, da je doda- janje polnih vrednosti ˇsumnih vektorjevµ_j nepotrebno, zato vpeljemo delni ˇsumni vektor ˜µ_j, ki kaˇze v isti smeri. Delni ˇsumni vektor izraˇcunamo, kot prikazuje enaˇcba (4.1), kjer velja, da je ξ poljubno realno ˇstevilo v intervalu [0,1.5]. Problem smo sedaj razˇsirili na iskanje delnega ˇsumnega vektorja ˜µj

oziroma dvojice (ξ, µ_j), za kar velja enaˇcba (4.2).

Problem reˇsujemo aproksimacijsko s pomoˇcjo bisekcije po parametru ξ.

Zaˇcetno spodnjo vrednost x_s in zgornjo vrednost x_z nastavimo na 0 in 1.5.

Trenutno vrednostx_c v vsakem koraku izraˇcunamo kot povpreˇcje zgornje in spodnje vrednosti. S postopkom bisekcije konˇcamo, ko velja x_z −x_s < . V vsakem koraku bisekcije ustvarimo umetne slikeMg(wi+xc·µi). ˇCe najdemo umetno sliko, za katero velja P(M_k(M_g(w)), M_k(M_g(w+ ˜µ_j))) < θ, potem prestavimo trenutno zgornjo vrednost x_z na vrednost x_c in nadaljujemo bisekcijo z novo trenutno vrednostjo. Drugaˇce, ˇce umetne slike, za katero bi pogoj veljal, ne uspemo ustvariti, prestavimo trenutno spodnjo vrednost x_s na vrednostx_c. Po doloˇcenem ˇstevilu korakov je izpolnjen pogojx_z−x_s < , po katerem zakljuˇcimo z bisekcijo. Trenutna vrednost xc ob koncu bisekcije doloˇca ξ, µ_j pa ˇsumni vektor umetne slike, za katero smo dobili najmanjˇso vrednost mere podobnosti P v zadnji iteraciji bisekcije. Konˇcno umetno obrazno sliko tako ustvarimo s pomoˇcjo doloˇcenih vrednosti in generatorske mreˇze StyleGAN, kot S_i^U =M_g(w_i+x_c·µ_j).

˜

µj =ξ·µj (4.1)

j∈{1,...,n}min kw−(w+ ˜µ_j)k ⇐⇒ P(M_k(M_g(w)), M_k(M_g(w+ ˜µ_j))) < θ (4.2)

(40)

4.2 Nasprotniˇ ski ˇ sum

V tem razdelku opiˇsemo implementirani pristop, ki temelji na dodajanju nasprotniˇskih perturbacij na podano sliko. Pristop je uporaben v kombinaciji s pristopi, opisanimi v razdelku 4.1, in nastopa kot dodatno zagotovilo pri zagotavljanju zasebnosti obraznih slik.

4.2.1 Pristop na podlagi metode FGSM

Pristop nasprotniˇskega ˇsuma, na katerem temelji naˇs pristop, se imenuje FGSM in smo ga teoretiˇcno opisali v razdelku 3.3.1. Pristop FGSM smo razˇsirili na veˇc naˇcinov.

Prva razˇsiritev je uporaba iterativne metode, imenovane tudi BIM, ki temelji na pristopu FGSM. V primeru BIM doloˇcimo poleg parametra , ki doloˇca velikost perturbacije na sliki, ˇse parameterI, ki predstavlja ˇstevilo iz- vedenih iteracij. Ena iteracija metode BIM poteka enako kot metoda FGSM.

Potrebno je poudariti, da namesto parametra v posamezni iteraciji metode BIM uporabimo normalizirano vrednost glede na ˇstevilo iteracij _I. Vhod v naslednjo iteracijo metode BIM je tako slika z dodanimi perturbacijami vseh prejˇsnih iteracij.

Druga razˇsiritev je uporaba ansambla modelov za ustvarjanje perturbacij.

Teoretiˇcno obstaja veˇc pristopov, kako skupino modelov zdruˇziti v ansambel. V naˇsi implementaciji uporabimo naˇcin, opisan v ˇclanku [23], ki modele zdruˇzi s pomoˇcjo povpreˇcenja napovedi. V sploˇsnem je nasprotniˇski ˇsum slabo prenosljiv med razliˇcnimi obraznimi razvrˇsˇcevalniki. Hkrati ne vemo, kakˇsen obrazni razvrˇsˇcevalnik bo uporabljen v potencialnem napadu. Zato je pametno uporabiti veˇc razliˇcnih obraznih razvrˇsˇcevalnikov, ki temeljijo na razliˇcnih arhitekturah; tako poveˇcamo vpliv perturbacij na veˇcje ˇstevilo obraznih razvrˇsˇcevalnikov.

Metodo BIM razˇsirimo na ansambel modelov na sledeˇc naˇcin. Na voljo imamo k obraznih razvrˇsˇcevalnikov M_i, i ∈ {1, ..., k} in vhodno sliko S_i identiteteI, za katero ˇzelimo ustvariti nasprotniˇsko perturbacijo. Za ustvar-

(41)

4.2. NASPROTNIˇSKI ˇSUM 27

jene perturbacije ˇzelimo, da so ˇcim bolj uˇcinkovite in tudi prenosljive med modeli. Pristop v ˇclanku [23] predlaga, da iz vhodne slike S_j ustvarimo dve loˇceni sliki, S_j^R ter S_jÔ. Sliko S_j^R ustvarimo s pomoˇcjo rotacije slike S_j za majhen kot okoli srediˇsˇca, sliko S_jÔ pa s sredinskim rezanjem slike S_j, ki zavrˇze manjˇsi del obrobe slike. Skozi posamezeni obrazni razvrˇsˇcevalnik M_i poˇsljemo sliki S_j^R ter S_jÔ in njuni napovedi M(S_j^R), M(S_jÔ) povpreˇcimo.

Napovedi vseh obraznih razvrˇsˇcevalnikov zdruˇzimo s pomoˇcjo povpreˇcenja N¯ = ¹_kPk

i=1 1

2(M_i(S_j^R) +M_i(S_j^O)). Povpreˇcno napoved vseh obraznih razvrˇs- ˇcevalnikov ¯N uporabimo za izraˇcun gradienta in ustvarjanje perturbacij po metodi FGSM.

Zadnja razˇsiritev je uporaba binarnih obraznih mask. V sploˇsnem metoda BIM ustvari perturbacije nad celotno sliko, pri ˇcemer si ˇzelimo perturbacije omejiti na predel slike, ki vsebuje obraz. Razlog za to je morebitni napad, kjer bi iz obrazne slike izrezali le obraz osebe. V tem primeru bi izgubili vpliv perturbacij, ki so bile dodane na preostali del slike. V praksi potrebujemo za poljubno vhodno sliko S_i identitete I binarno masko M_i^b, ki loˇci obrazni del slike od ozadja. Binarno obrazno maskoM_i^b ustvari ˇze pristop za zamenjavo obrazov F SGAN s pomoˇcjo vkljuˇcene segmentacijske mreˇze. Ustvarjeno masko M_i^b uporabimo za lastno implementacijo. Metoda BIM v osnovi ne podpira ustvarjanja perturbacij le na mestih slike, kjer se pojavi obraz. Za razˇsiritev metode BIM uporabimo pristop, predlagan v ˇclanku [23], ki je sam po sebi zelo preprost. Metoda FGSM doloˇca izraˇcun perturbacije po enaˇcbi (4.3), kjer J(θ, Si, Ei) predstavlja izgubo obraznega razvrˇsˇcevalnika s parametriθ, kjerS_iopisuje vhodno slikoE_i, pa enotski vektor resniˇcne oznake identiteteI. Binarno maskoM_i^b opisuje matrika enake velikosti kot vhodna slika S_i, katere vrednosti so definirane z enaˇcbo (4.4). Binarno masko M_i^b lahko v opisani obliki preprosto vkljuˇcimo v enaˇcbo, tako da rezultat funckije signpomnoˇzimo zM_i^b, kot to prikazuje enaˇcba (4.5).

µ=sign(∇xJ(θ, Si, Ei)) (4.3)

(42)

M_i^b(x, y) =







1 ˇce na mestu S_i(x, y) obraz 0 drugaˇce

(4.4)

µ^∗ =M_i^bsign(∇_xJ(θ, S_i, E_i)) (4.5)

(43)

Poglavje 5

Eksperimenti in rezultati

V sledeˇcem poglavju predstavimo eksperimente, ki smo jih izvedli za ovrednotenje implementiranih mehanizmov ter ustrezajoˇce rezultate. Na zaˇcetku podrobneje opiˇsemo podatkovni nabor, uporabljen v analizi, ter sam pristop, ki ga uporabljamo za ovrednotenje delovanja implementiranih mehanizmov za zagotavljanje zasebnosti. Kasneje na kratko opiˇsemo ˇse obrazne razvrˇsˇcevalnike, potrebne za mehanizme in ovrednotenje. Zakljuˇcimo s predstavitvijo rezultatov posameznih implementiranih mehanizmov. Vse rezultate ustvarimo s pomoˇcjo iste mnoˇzice slik ter istim obraznim razvrˇsˇce- valnikom.

5.1 Podatkovni nabor

Za potrebe ovrednotenja implementiranih pristopov potrebujemo velik podatkovni nabor obraznih slik. Odloˇcili smo se za uporabo nabora CelebA- HQ [24], ki je izpeljan iz nabora CelebA [25].

Osnovni nabor CelebA vkljuˇcuje veˇc kot 200000 obraznih slik ter veˇc kot 10000 identitet. Poleg oznaˇcenih identitet nabor vsebuje tudi pozicije kljuˇcnih obraznih toˇck ter dodatne atribute, ki za nas niso potrebni. Za potrebe naˇsega ovrednotenja je pomembnejˇsa veˇcja resolucija posameznih slik kot sama velikost nabora in ˇstevilo razliˇcnih identitet. Zato smo izbrali

29

(44)

30 POGLAVJE 5. EKSPERIMENTI IN REZULTATI

izpeljan nabor CelebA-HQ, ki vsebuje 30000 slik za 6186 razliˇcnih identitet.

Posamezne slike imajo resolucijo 1024×1024, kar je dovolj za naˇse potrebe.

Podatkovni nabor CelebA-HQ vsebuje kar nekaj identitet z manj kot ˇstirimi slikami. Zaradi potrebe po uˇcenju obraznih razvrˇsˇcevalnikov in tipa ovrednotenja ˇzelimo imeti za posamezno identiteto na voljo ˇcim veˇc obraznih slik. Problem smo poenostavili tako, da smo iz celotnega naboraCelebA-HQ izloˇcili slike 1000 najbolj zastopanih identitet. Novo zgrajeni podatkovni nabor, ki ga oznaˇcimo z CelebA−HQ¹⁰⁰⁰, vsebuje 13329 slik 1000 razliˇcnih identitet. Slika 5.1 prikazuje relativno frekvenco slik posamezne identitete v naboruCelebA−HQ¹⁰⁰⁰. Opaziti je moˇzno, da veˇcina identitet vsebuje med 10 in 15 obraznih slik, medtem ko doloˇcene identitete vsebujejo veˇc kot 25 obraznih slik.

5 10 15 20 25

tevilo slik na identiteto 0.000

0.025 0.050 0.075 0.100 0.125 0.150 0.175

Relativna frekvenca

= 100, = 15

Histogram relativne frekvence slik na identiteto

Slika 5.1: Histogram relativne frekvence slik posameznih identitet

Novozgrajeni podatkovni nabor smo nato razdelili na uˇcno, testno in validacijsko mnoˇzico. Tu je za nas najpomembnejˇsa testna mnoˇzica, ki mora vsebovati vsaj dve obrazni sliki. Za posamezno identiteto smo zato razvr- stili dve sliki v testno, eno v validacijsko in ostale v uˇcno mnoˇzico. Uˇcno in

(45)

5.2. METODOLOGIJA OVREDNOTENJA USPEˇSNOSTI 31

validacijsko mnoˇzico uporabimo pri uˇcenju obraznih razvrˇsˇcevalnikov, testno mnoˇzico pa za potrebe ovrednotenja implementiranih pristopov.

5.2 Metodologija ovrednotenja uspeˇ snosti

Cilj implementiranih pristopov je zagotavljanje zasebnosti obraznih slik, kjer identitete, prisotne na sliki, prepoznavamo s pomoˇcjo obraznega razvrˇsˇce- valnika. Z drugimi besedami, ˇzelimo, da implementirani pristopi ˇcim bolj pokvarijo vloˇzitve obraznega razvrˇsˇcevalnika, pri ˇcemer ˇzelimo, da deidenti- ficirani obrazi izgledajo kar se da naravno. Mehanizme ovrednotimo s primerjavo delovanja obraznega razvrˇsˇcevalnika na kontrolni mnoˇzici, kjer ne uporabimo mehanizmov, in mnoˇzici, ki smo jo spremenili s pomoˇcjo mehanizmov. Delovanje obraznega razvrˇsˇcevalnika ocenimo s pomoˇcjo ROC krivulje (ang. Receiver Operating Characteristic curve)in mere povrˇsine pod krivuljo (ang. Area Under the Curve - AUC). Celotni pristop podrobneje opiˇsemo v nadaljevanju.

5.2.1 Ovrednotenje z ROC krivuljo in mero AUC

ROC krivulja vizualno prikazuje uspeˇsnost delovanja razvrˇsˇcevalnika. Meri stopnjo resniˇcno pozitivnih primerov (ang. True Positive Rate – TPR) pri doloˇcenistopnji laˇzno pozitivnih primerov(ang. False Positive Rate – FPR).

TPR se raˇcuna, kot prikazuje enaˇcba (5.1), kjer TP oznaˇcuje resniˇcno pozitivne primere (ang. True Positive) in FN laˇzno negativne primere (ang.

False Negative). FPR se raˇcuna, kot to prikazuje enaˇcba (5.2), kjer FP oznaˇcujelaˇzno pozitivne primere(ang. False Positive) inTN resniˇcno negativne primere (ang. True Negative).

T P R= T P

T P +F N (5.1)

F P R= F P

F P +T N (5.2)

(46)

Binarni razvrˇsˇcevalnik lahko primer uvrsti v Pozitiven ali Negativen razred. S primerjavo resniˇcnega razreda z napovedanim v primeru binarne klasifikacije loˇcimo ˇstiri razliˇcne situacije, ki jih prikazuje tabela 5.1.

Napovedan Razred

Pozitiven Negativen

Resniˇcen Razred Pozitiven Resniˇcno Pozitiven Laˇzno Negativen Negativen Laˇzno Pozitiven Resniˇcno Negativen Tabela 5.1: Tabela razliˇcnih vrst napovedi za binarni razvrˇsˇcevalnik

V primeru naˇse implementacije imamo opravka z veˇcrazrednim proble- mom, saj razpolagamo z 1000-razrednim razvrˇsˇcevalnikom. Za potrebe ovrednotenja zato izvajamo verifikacijske eksperimente, ki so definirani kot binarni problem razvrˇsˇcanja.

Predstavimo kosinusno podobnost (ang. Cosine similarity – KP), vrednost katere izraˇcunamo, kot prikazuje enaˇcba (5.3), kjer sta A in B vektorja enake dolˇzine inθ kot med njima. Iz enaˇcbe je razvidno, da kosinusna podobnost meri kosinus kota med vektorjema A in B, kar pomeni, da je definirana na intervalu [−1,1]. Vrednost 1 dobimo, ko vektorja kaˇzeta v isto smer, vrednost 0, ko sta pravokotna, in vrednost −1, ko kaˇzeta v nasprotno smer.

KP(A, B) = cosθ= A∗B

kAk ∗ kBk (5.3) Naˇs veˇcrazredni identifikacijski problem lahko prevedemo na binarni ve- rifikacijski problem na sledeˇc naˇcin. Dani imamo obrazni sliki SA ter SB z identitetama A ter B. Sliki S_A ter S_B poˇsljemo skozi obrazni razvrˇsˇcevalnik M, ki nam vrne napovediM(S_A) terM(S_B). V primeru, da sta identitetiA ter B enaki doloˇcimo, da je resniˇcna vrednost KP_R(M(S_A), M(S_B)) enaka 1, drugaˇce pa 0. S primerjavo dejansko izraˇcunanih vrednostiKP_D(M(S_A), M(S_B)) ter resniˇcnih vrednosti lahko enako kot pri binarnem problemu izra- ˇcunamo TPR kot tudi FPR.

(47)

5.2. METODOLOGIJA OVREDNOTENJA USPEˇSNOSTI 33

Mera AUC je uporabna, saj predstavi oceno razvrˇsˇcevalnika numeriˇcno.

Izraˇcunamo jo kot povrˇsino pod ROC krivuljo. Maksimalno vrednost 1 doseˇzemo, ko imamo opravka z idealnim razvrˇsˇcevalnikom, katerega napovedi so vedno enake resniˇcnemu razredu. Vrednost 0.5 predstavlja nakljuˇcni razvrˇsˇcevalnik, katerega napovedi so povsem nakljuˇcne. Njegovo delovanje lahko enaˇcimo metu kovanca. Cilj naˇsih implementacij mehanizmov za zagotavljanje zasebnosti je tako pokvariti napovedi obraznega razvrˇsˇcevalnika, da je njegovo delovanje ˇcim bolj podobno nakljuˇcnemu razvrˇsˇcevalniku.

5.2.2 Analiza parnih in neparnih primerov

Implementirane mehanizme za zagotavljanje zasebnosti bomo ocenili s pomo- ˇcjo parnih in neparnih primerov obraznih slik. Parni primeri vsebujejo dve razliˇcni obrazni sliki z isto identiteto, v idealnem primeru naj bi bila zato kosinusna podobnost napovedi obraznega razvrˇsˇcevalnika za tak par slik enaka 1. Neparni primeri vsebujejo dve obrazni sliki z razliˇcnima identitetama, v idealnem primeru naj bi bila kosinusna podobnost napovedi obraznega razvrˇsˇcevalnika za tak par slik enaka −1. Z izraˇcunom in primerjavo kosi- nusne podobnosti veˇcjega ˇstevila parnih in neparnih primerov z referenˇcnimi vrednostmi lahko dobljene rezultate uporabimo za izraˇcun ROC krivulje in poslediˇcno mere AUC. Rezultati implementacij mehanizmov temeljijo na primerjavi rezultatov mnoˇzice parnih in neparnih primerov slik neposredno iz podatkovnega nabora z mnoˇzico parnih in neparnih primerov, kjer eno izmed slik v parnih primerih deidentificiramo s pomoˇcjo mehanizma za zagotavljanje zasebnosti.

Pred samim ovrednotenjem je bilo potrebno doloˇciti pare identitet, ki bodo nastopali v neparnih primerih. Vsaki zaˇcetni identitetiA_i testne mno- ˇzice podatkovnega nabora CelebA−HQ¹⁰⁰⁰ smo tako nakljuˇcno doloˇcili neparno identiteto A_j. Za vsak doloˇceni par identitet (A_i, A_j) velja, da identiteti nista enaki,A_i 6=A_j. Vsaka identitetaA_kse tako pojavi v dveh neparnih primerih, v vlogi zaˇcetne identitete ter neparne identitete. Kot rezultat dobimo seznam parov identitet L, ki nastopajo v neparnih primerih.

(48)

Za ovrednotenje mnoˇzice slik, ki jih doloˇca seznam naparnih identitet, zgradimo ROC krivuljo na sledeˇc naˇcin. Pri izgradnji nabora CelebA − HQ¹⁰⁰⁰ smo za potrebe testiranja rezervirali dve sliki za vsako prisotno identiteto. Iz para slik (S_i¹, S_i²) identitete A_i lahko zgradimo parni primer, kosinusna podobnost napovedi obraznega razvrˇsˇcevalnika M za tak par slik naj bi bila enaka 1. Neparno identiteto A_j identiteteA_i doloˇcimo s pomoˇcjo seznamaL, tako da poiˇsˇcemo par, ki ima zaˇcetno identiteto enakoA_i. Za neparni primer lahko sedaj zgradimo par slik (S_i¹, S_j¹); kosinusna podobnost napovedi obraznega razvrˇsˇcevalnikaM za tak par slik naj bi v idealnem primeru bila enaka−1. Za vse zgrajene parne in neparne primere slik tako izraˇcunamo kosinusno podobnost napovedi obraznega razvrˇsˇcevalnika M. S primerjavo izraˇcunanih vrednosti z referenˇcnimi vrednostmi lahko izraˇcunamo TPR in FPR ter poslediˇcno vrednosti ROC krivulje ter mero AUC.

Ko postopek ovrednotenja izvedemo nad mnoˇzico slik neposredno iz nabora CelebA−HQ¹⁰⁰⁰, dobimo izhodiˇsˇcne rezultate, ki nam povedo, kako dobro se obrazni razvrˇsˇcevalnik obnese nad testno mnoˇzico. Za ovrednotenje posameznih mehanizmov za zagotavljanje zasebnosti potrebujemo ovrednotenje izvesti ˇse nad spremenjeno mnoˇzico slik, kjer v vsakem paru parnih slik (S_i¹, S_i²) identitete A_i eno izmed slik spremenimo s pomoˇcjo mehanizma za zagotavljanje zasebnosti Z; tako raˇcunamo v primeru parnih slik kosinusno podobnost kotKP(M(Z(S_i¹)), M(S_i²)). S primerjavo rezultatov spremenjene mnoˇzice slik z izhodiˇsˇcnimi rezultati ovrednotimo delovanje mehanizma za zagotavljanje zasebnosti Z. Veˇcja kot je razlika med ROC krivuljama ter mero AUC rezultatov, moˇcneje vpliva mehanizem Z na zasebnost.

5.3 Obrazni razvrˇ sˇ cevalniki

Za potrebe implementiranih mehanizmov in ovrednotenje smo na podatkovni mnoˇzici CelebA−HQ¹⁰⁰⁰ uˇcili ˇstiri razliˇcne obrazne razvrˇsˇcevalnike.

Uˇcenje obraznega razvrˇsˇcevalnika je netrivialno in ˇcasovno zamudno, zato smo izbirali vnaprej nauˇcene obrazne razvrˇsˇcevalnike, ki so trenutno v vrhu

(49)

5.3. OBRAZNI RAZVRˇS ˇCEVALNIKI 35

zmogljivosti. Izbrali smo sledeˇce obrazne razvrˇsˇcevalnike: FaceNet [26], VGGFace [27], VGGFace2 [28] ter ArcFace [29]. Vnaprej nauˇcene obrazne razvrˇsˇcevalnike smo nato uglasili (ang. finetune) na naˇso podatkovno mnoˇzicoCelebA−HQ¹⁰⁰⁰. Vse modele smo uˇcili na slikah velikosti 224×224 pikslov.

5.3.1 Facenet

Obrazni razvrˇsˇcevalnik FaceNet temelji na arhitekturi InceptionResnet [30].

Uporabili smo model, ki je bil prednauˇcen na podatkovni baziVGGFace2 [28]

na slikah velikosti 160×160 pikslov. Vnaprej nauˇcenemu modelu smo zamenjali vrhnjo napovedno plast spolno povezano (ang. Fully Connected) plastjo s 1000 izhodnimi nevroni. Med uˇcenjem smo uporabili Adam optimizator, kjer smo vrhnjim ˇstirim plastem doloˇcili stopnjo uˇcenja 0.01, vsem ostalim plastem pa stopnjo 0.0001. Celotni model smo uˇcili 10 epoh, konˇcni model doseˇze 91 % natanˇcnost nad validacijsko mnoˇzico.

5.3.2 VGGFace

Obrazni razvrˇsˇcevalnik VGGFace temelji na arhitekturi VGGNet [31]. Upo- rabili smo model, ki je bil prednauˇcen na podatkovni baziLFW (Labeled Fa- ces In the Wild)[32] na slikah velikosti 224×224 pikslov. Vnaprej uˇcenemu modelu smo zamenjali vrhnjo napovedno plast s polno povezano plastjo s 1000 izhodnimi nevroni. Med uˇcenjem smo uporabili SGD optimizator, kjer smo vrhnji plasti doloˇcili stopnjo uˇcenja 0.1, nadaljnjim plastem pa stopnjo 0.0001. Celotni model smo uˇcili 10 epoh, konˇcni model doseˇze 93 % na- tanˇcnost nad validacijsko mnoˇzico.

5.3.3 VggFace2

Obrazni razvrˇsˇcevalnik VGGFace2 temelji na arhitekturi ResNet [33] in raz- ˇsirjeni arhitekturi SeNet [34], ki razˇsirja osnovno ResNet arhitekturo. Upo- rabili smo model z razˇsirjeno arhitekturo SeNet, ki je bil prednauˇcen na