Prepoznava oseb po obrazu je metoda, ki jo ljudje uporabljajo dnevno. Obraz je namreč ena izmed najvidnejših telesnih značilnosti posameznika. Posameznikom je edinstven. Kljub njegovim spremembam čez čas pa so osebe sposobne prepoznati nekatere ključne obrazne značilnosti, ki ostajajo podobne. Razvoj znanosti je temu sledil in začel se je razvoj FRT.
Med prvimi, ki so začeli razvijati računalniško tehnologijo za prepoznavo obrazov, so bili Woody Bledsoe, Helen Chan in Charles Bisson v letih 1964 in 1965.28 Sredstva za raziskavo so pridobili od neimenovane obveščevalne agencije, zaradi česar so objavili malo javno dostopnih del.
Raziskovalcem je bila dana zbirka fotografij in določena fotografija, cilj pa je bil iz zbirke izločiti manjši del fotografij, ki bi ustrezale določeni fotografiji. Razvili so postopek, po katerem je oseba določila koordinate določenih značilnosti obrazov (npr. sredine zenic) iz fotografij, računalnik pa je nato določil seznam 20. razdalj med koordinatami vsakega obraza, ki so bile vnesene v posebno zbirko z imeni posameznikov. Pri prepoznavi je tako računalnik primerjal razdalje vsakega obraza iz zbirke z razdaljami prepoznavnega obraza in ponudil seznam najbolj primerljivih oseb.
Raziskovalci so pri tem opažali različne težave, kot na primer različna osvetlitev in nagnjenost obrazov, pa tudi staranje oseb in različni izrazi na obrazih.29
V preostanku 20. stoletja je prišlo do številnih raziskav na tem področju. Med pomembnejšimi dosežki je mogoče šteti razvoj tehnologije Eigenface.30 Začetnika te tehnologije sta L. Sirovich in M. Kirby, ki sta leta 1987 objavila članek, v katerem sta predstavila metodo, s katero je bil obraz razdeljen na več Eigenpictures.31 V primerjavi s prej opisano metodo računalnik opredeli ključne obrazne značilnosti za primerjavo z drugimi obrazi.
Delo Sirovicha in Kirbyja sta nadaljevala Turk in Pentland,32 ki sta razvila sistem, ki je deloval skoraj brez časovnega zamika (ang. near real-time).33 Bistvene značilnosti je računalnik pridobil z analizo obrazov in tvorjenjem posebnih modelov, ki se imenujejo Eigenface.34 Modeli so predstavljeni v obliki podob, ki spominjajo na obraze duhov.35 Težave, s katerimi sta se avtorja soočila, so bile iskanje obraza med premikanjem osebe, vpliv ozadja na sliko, različna velikost in naklon obraza na fotografiji ter različna obrazna usmerjenost.36
Na prehodu v 21. stoletje je prihajalo do vse hitrejšega razvoja. Pomembna prelomnica je bilo tekmovanje FRT ImageNet, na katerem je leta 2012 zmagala tehnologija AlexNet. Do takrat so se namreč FRT s posameznimi spremembami v slikah obrazov (npr. osvetljenost, maska, obrazni izraz) ukvarjali posamično. AlexNet pa je začel s celovitim reševanjem teh težav z uporabo tehnologije globokega učenja (ang. deep learning).37 Rezultati testiranja tehnologije na tekmovanju so pokazali močno odpornost na omenjene spremembe med fotografijami obrazov.38 Naslednji pomemben mejnik na področju uporabe globokega učenja pri prepoznavi obrazov je bila
28 NEC NZ (2020), A brief history of Facial Recognition.
29 Ballantyne, Boyer, Hines (1996) Woody Bledsoe AI Magazine. 9-11.
30 NEC NZ (2020), A brief history of Facial Recognition.
31 Sirovich, Kirby (1987) Low-dimensional procedure Journal of the Optical Society of America A.
32 NEC NZ (2020), A brief history of Facial Recognition.
33 Turk, Pentland (1991) Eigenfaces for Recognition Journal of Cognitive Neuroscience. 71.
34 Prav tam 72.
35 Glej prikaz modelov eigenface označenih kot Figure 2 v Turk, Pentland (1991) Eigenfaces for Recognition Journal of Cognitive Neuroscience. 75.
36 Prav tam 77, 79-81.
37 Gre za napredno metodo strojnega učenja, ki uporablja več slojev obdelave za odkrivanje vzorcev in struktur v veliki količini podatkov, pri čemer se vsak sloj uči koncepta, na podlagi podatkov, ki so jih uporabljali prejšnji sloji. Višji kot je sloj, bolj abstraktni so naučeni koncepti; Rusk (2016) Deep Learning Nature Methods.
38 Wang, Deng (2021) Deep face recognition Neurocomputing. 215.
5
tehnologija DeepFace, ki je na testu LFW39 dosegla natančnost, ki jo na testu dosežejo ljudje. Na podlagi omenjenih uspehov se je natančnost tehnologije povišala iz 97,35 % na 99,80 % v treh letih.40
Tehnologija prepoznave obrazov poteka v treh stopnjah. Sprva mora biti obraz zaznan (1), nato je obraz »normaliziran«(2), nato pa sledi implementacija modula tehnologije (3). Zadnja stopnja je sestavljena iz treh delov: obdelave obraza (ang. face processing) (3.1.), pridobivanje obraznih značilk (ang. feature extraction; 3.2.) in nazadnje še ujemanje obrazov (ang. face matching; 3.3.).
Obdelava obraza je namenjena izničenju vpliva različnih okoliščin, v katerih je posneta oseba, (npr. različna osvetlitev slik, obrazni izrazi in oviran pogled na celoten obraz). Metode, uporabljene v zadnji stopnji (3), so lahko usmerjene v ustvarjanje različnih različic slike iz osnovne slike, ki poustvarijo različne položaje obraza, ali pa usmerjene v ustvarjanje ene »osnovne« slike iz različnih slik, ki vključujejo različne položaje obraza.
Ujemanje obrazov lahko razlikujemo glede na namen, ki ga izpolnjuje. Če gre za obrazno verifikacijo (ang. face verification), je namen programa primerjati dve sliki in ugotoviti, ali gre za isto osebo na obeh slikah. Drugačen cilj pa zasleduje obrazna identifikacija (ang. face identification), katerega namen je ugotoviti, kdo je oseba na sliki, pri čemer to sliko primerja s slikami v zbirki slik znanih oseb.41
FRT z globokim učenjem (ang. deep face recognition) temelji na učenju programa, da sam razvije primerno pot, ki jo bo uporabil vsakič, ko bo soočen z nalogo prepoznave obrazov. Za dobro delovanje je že v fazi učenja pomembno, da ima program dostop do kar se da velike zbirke slik znanih oseb. Težava, s katero se raziskovalci v akademski skupnosti soočajo v tej fazi, pa je, da javne zbirke niso tako obsežne kot zasebne zbirke tehnoloških podjetij, kot sta npr. Facebook in Google. Javno dostopne zbirke slik s podatki namreč trenutno obsegajo med 1000 in 100.000 slik, medtem ko sta imela Facebook in Google pri razvoju svojih sistemov prepoznave obrazov dostop do zbirke, ki je vsebovala med 1.000.000 in 10.000.000 oseb.42 Za premostitev te razlike si raziskovalci poskušajo pomagati z različnimi metodami, (npr. ustvarjanjem več slik iz ene same,43 ustvarjanjem 3D modelov iz ene slike ipd.)44
Poleg težav z dostopnostjo velikega števila fotografij oseb je opazna težava tudi t. i. pristranosti podatkov. V obstoječih zbirkah za učenje je namreč pogosteje mogoče zaslediti bele moške srednjih let, kar z upoštevanjem dejstva, da je pri učenju pomembna prav vsaka slika v zbirki podatkov, pomeni, da je sistem učinkovitejši, ko gre za osebe z navedenimi značilnostmi.
Pomembno je, da je slikovna zbirka uravnotežena z vidika različnosti oseb na fotografijah.45 Kljub razvoju FRT z globokim učenjem ima tehnologija še vedno nekatere pomanjkljivosti, ki onemogočajo njeno ustrezno uporabo v vsakdanjem življenju. Težave, s katerimi se raziskovalci še naprej soočajo, so različni položaji obrazov na fotografijah, različna starost osebe na fotografijah, uporaba ličil in mask oseb na fotografijah. Prav tako razvijajo različne rešitve, ki omogočajo učinkovito prepoznavo obrazov tudi s fotografij nizke resolucije. Pri delu organov pregona so še posebej relevantne rešitve, ki omogočajo prepoznavo obrazov na podlagi skic, pri čemer se za to najpogosteje uporabljata dve metodi. Prva je uporaba fotografij in skic pri učenju,
39 LFW benchmark, več o tem v University of Massachusetts, Labeled Faces in the Wild.
40 Wang, Deng (2021) Deep face recognition Neurocomputing. 215-216.
41 Prav tam 218.
42 Prav tam 220. Podrobneje o zbirkah fotografij v Wang, Deng (2021) Deep face recognition Neurocomputing.
228.
43 Ang. one to many augmentation.
44 Prav tam 226-227.
45 Prav tam 230. O rešitvah več v Wang, Deng (2021) Deep face recognition Neurocomputing. 238.
6
druga pa je uporaba različnih metod, s katerimi se fotografije pretvorijo v skice in obratno, ter tako obdelane fotografije in skice uporabi pri učenju. Posebej relevantne so tudi rešitve, ki so nastale zaradi težav preiskovalcev, ko imajo zelo omejeno število fotografij osebe,46 in tiste, ki se ukvarjajo s prepoznavo obrazov z videoposnetkov.47
Sistemi prepoznave obrazov se soočajo tudi z napadi. Med najbolj prepoznavnimi sta obrazno slepljenje (ang. face spoofing) in namensko izzivanje napačne klasifikacije z namenom škodovanja (ang. adversarial perturbation). Pri prvem gre za prevaro sistema s kazanjem natisnjene fotografije osebe, nošenjem maske ipd. Tako prevaro lahko zazna že človek, ko vidi, da je bila pokazana lažna podoba senzorju. Pri drugi metodi gre za način, ki ga človek praviloma ne prepozna kot prevaro.
Gre za vnašanje prikritih značilnosti na prepoznaven objekt, tako da ga sistem ne prepozna pravilno.48
Hiter razvoj na tem področju prinaša tudi številne možnosti prepoznave podatkov o posamezniku, ki niso nujno vezani na njegovo identiteto. Tako je mogoče iz obraznih slik ugotoviti spol, starost, raso in celo genetske značilnosti posameznika.49 Zaradi tega se razvijajo različne rešitve za boljše varovanje zasebnosti pri uporabi FRT.50
Iz opisanega izhaja, da razvoj FRT poteka že 60 let. Z leti se je razvil v popolnoma samostojno tehnologijo, ki potrebuje čim večje količine podatkov za izboljšanje njenega delovanja. To je predvsem posledica uvedbe globokega učenja v njen razvoj. Kljub učinkovitosti, ki v določenih okoliščinah presega človeške zmožnosti,51 pa še vedno ni odporen na različne oblike napadov. Ti služijo kot opozorilo, da so okoliščine vsakdanjega življenja različne od laboratorijskih, iz katerih izhajajo opisani rezultati. Pri razvoju takih sistemov, ki so namenjeni vsakdanji rabi, so tako potrebne ogromne količine podatkov, ki kar se da odražajo razmere, v katerih bo sistem uporabljen, za dosego njegove čim boljše učinkovitosti.
46 T. i. low-shot face recognition.
47 Wang, Deng (2021) Deep face recognition Neurocomputing. 234-237.
48Prav tam 238. Med primeri takega je mogoče navesti preizkus, v katerem je sistem namesto banane prepoznal opekač kruha (BBC (2018) Psychedelic toasters fool image recognition tech)., preizkus, v katerem so uspešno razvili nalepko za izognitev sistemu zaznave obraza, ki si jo lahko vsakdo natisne ((Thys in dr. (2019) Foolign automated surveillance cameras 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)), in preizkus, v katerem so nadgradili prejšnji preizkus in ga prilagodili za uporabo na majicah (Xu in dr. (2019) Evading Real-Time Person Detectors by Adversarial T-shirt Research Gate).
49 Gurovich in dr. (2019) Identifying facial phenotypes of genetic disorders usinh deep learning Nature Medicine. 60-63.
50 Prav tam 238.
51 Prav tam 239.
7