UPORABNIK KOT RANLJIVOST KIBERNETSKEGA PROSTORA

(1)

Univerza v Ljubljani

Fakulteta za elektrotehniko

NEJC OSTERMAN

UPORABNIK KOT RANLJIVOST KIBERNETSKEGA PROSTORA

Diplomsko delo

Visokošolski strokovni študijski program prve stopnje Aplikativna elektrotehnika

Mentor: prof. dr. Andrej Kos

Ljubljana, 2021

(2)

(3)

Zahvaljujem se svojemu mentorju prof. dr. Andreju Kosu, ki mi je bil vedno na voljo za pomoč. Zahvaljujem se tudi vsem, ki so si vzeli čas in izpolnili mojo anketo.

Prav tako se zahvaljujem svojim staršem za vso podporo v času pisanja mojega diplomskega dela.

(4)

(5)

V kibernetskem prostoru je uporabnik postal največja ranljivost sistema. Socialni inženiring je postal zelo priljubljena tehnika kibernetskih napadalcev, saj na njem sloni kar 98 % kibernetskih napadov. Socialni inženiring je zasnovan tako, da se pri izkoriščanju sistemske varnosti opira prav na človekovo ranljivost. Tako napadalci lahko brez velika tehničnega vložka dobijo ključne informacije za vdor. Socialni inženiring je velika skrb za podjetja, saj napadalci ciljajo na zaposlene, da napadajo informacijska sredstva v

organizaciji.

V tej diplomi so predstavljene oblike socialnega inženiringa, ter mehanizmi napadalcev, ki opisujejo, kako napadalci izkoristijo človeške lastnosti, da pridejo do

občutljivih podatkov. Predstavljene so tudi človeške ranljivosti oz. kako določene človekove lastnosti povečujejo ranljivost določene osebe.

Opravljen je bil tudi vprašalnik, v katerem je 60 ljudi različnih starosti in izobrazbenih usmeritev odgovarjalo na vprašanja o socialnem inženiringu. Namen študije je bil ugotoviti, kako ozaveščeni so ljudje o napadih socialnega inženiringa in kako bi ravnali v določenih situacijah, opisanih v vprašanjih.

Na koncu je podan še primer testnega phishing napada, ki je bil poslan 20-im osebam.

E-mail sporočilo je vsebovalo sumljivo povezavo, ki naj bi vodila na stran priljubljenega socialnega omrežja.

Ključne besede:

socialni inženiring, phishing, kibernetski napad

(6)

In cyberspace, the user has become the system’s biggest vulnerability. Social

engineering has become a prevalent technique for cyber attackers, as 98 % of cyber attacks rely on it. Social engineering is designed to rely on human vulnerability when exploiting system security. Thus, attackers can obtain critical intrusion information without extensive technical input. Social engineering is a big concern for companies, as attackers target employees to attack information resources in an organization.

This diploma presents forms of social engineering and attack mechanisms that describe how attackers exploit human traits to access sensitive data. Human vulnerabilities are also presented or how certain human characteristics increase the vulnerability of a specific person.

A questionnaire was also conducted where 60 people of different ages and educational backgrounds answered questions about social engineering. The purpose of the study was to find out how aware people are of social engineering attacks and how they would react in certain situations described in the questions.

Finally, there is an example of a test phishing attack that was sent to 20 people. The email included a suspicious link that allegedly led to a page of a popular social network.

Keywords:

social engineering, phishing, cyber attack

(7)

DNS (Domain Name System) je hierarhično razdeljeno poimenovanje za računalnike in storitve kateregakoli vira, ki je povezan z internetom oziroma z osebnim omrežjem.

GUI (graphical user interface) je oblika uporabniškega vmesnika, ki uporabnikom omogoča interakcijo z elektronskimi napravami prek grafičnih ikon in zvočnega indikatorja namesto besedilnih uporabniških vmesnikov ali vtipkanih ukazov.

HTML (Hypertext Markup Language) je standardni jezik označevanja za dokumente, namenjene za prikaz v spletnem brskalniku.

HTTP (Hypertext Transfer Protocol) je aplikacijski protokol, po katerem se informacije pošljejo iz uporabnikovega spletnega brskalnika na spletno mesto, ki ga obišče.

HTTPS (Hypertext Transfer Protocol Secure) je protokol, po katerem se šifrirani podatki HTTP prenašajo prek varne povezave.

IP (Internet Protocol) je komunikacijski protokol za usmerjanje in naslavljanje paketov podatkov, tako da lahko potujejo po omrežjih in prispejo na pravi cilj.

IT (Information technology) inženirska veja, ki se ukvarja z uporabo računalnikov in telekomunikacij za pridobivanje, shranjevanje in prenos informacij.

NGROK (kratica nima pomena) je aplikacija za več platform, ki razvijalcem omogoča, da z minimalnimi napori izpostavijo lokalni razvojni strežnik internetu.

RDP (Remote Desktop Protocol) je lastniški protokol, ki ga je razvil Microsoft in uporabniku omogoča grafični vmesnik za povezavo z drugim računalnikom prek omrežne povezave.

SET (Social Engineer Toolkit) je posebej zasnovano orodje za napredne kibernetske napade, ki izkoriščajo človeške ranljivosti.

URL (Uniform Resource Locator) niz, ki določa lokacijo spletne strani ali datoteke v internetu.

USB (Universal Serial Bus) je industrijski standard, ki določa specifikacije kablov in priključkov ter protokole za povezavo, komunikacijo in napajanje med računalniki, zunanjimi napravami in drugimi računalniki.

WAF (web application firewall) je posebna oblika požarnega zidu aplikacije, ki filtrira, spremlja in blokira promet HTTP v spletno storitev in iz nje.

WSL (Windows Subsystem for Linux) je funkcija sistema Windows 10, ki omogoča poleg tradicionalnega namizja in aplikacij sistema Windows zagon domačega orodja ukazne vrstice Linux neposredno v sistemu Windows.

(8)

za operacijske sisteme Linux in Unix.

XRDP (X Remote Desktop Protocol) je brezplačna in odprtokodna izvedba strežnika Microsoft RDP (Remote Desktop Protocol), ki operativnim sistemom, ki niso Microsoft Windows (na primer operacijski sistemi v slogu Linux), nudi popolnoma funkcionalno izkušnjo oddaljenega namizja, ki je združljiva z RDP.

(9)

Vsebina

1 Uvod ... 1

2 Socialni inženiring ... 2

2.1 Oblike socialnega inženiringa ... 2

2.1.1 Tehnični napadi ... 3

2.1.2 Ne-tehnični napadi ... 4

2.1.3 Hibridni napadi ... 4

2.2 Cikel napada z uporabo socialnega inženiringa ... 5

2.2.1 Zbiranje informacij ... 6

2.2.2 Vzpostavljanje odnosa z žrtvijo ... 6

2.2.3 Izkoriščanje ... 6

2.2.4 Izvedba napada ... 7

2.3 Mehanizmi socialnega inženiringa ... 7

2.3.1 Vidik prepričevanja ... 8

2.3.2 Vidik družbenega vpliva ... 8

2.3.3 Vidiki odnosa in vedenja ... 9

2.3.4 Vidik zaupanja in prevare ... 10

2.3.5 Vidiki jezika, mišljenja in odločanja ... 10

2.3.6 Vidika čustev in odločanja ... 11

2.4 Vpliv socialnega inženiringa na organizacijo ... 11

2.5 Človeške ranljivosti ... 12

2.5.1 Človeške ranljivosti pri znanju ... 13

2.5.2 Človeške ranljivosti v obnašanju in navadi ... 13

2.5.3 Človeške ranljivosti v čustvih in občutkih ... 13

2.5.4 Človeške ranljivosti v človeški naravi ... 14

2.5.5 Človeške ranljivosti v osebnostnih lastnostih ... 14

2.5.6 Človeške ranljivosti v individualnem značaju ... 14

2.6 Obramba pred socialnim inženiringom ... 15

2.6.1 Preventivni ukrepi za posameznika ... 15

2.6.2 Preventivni ukrepi v podjetjih ... 16

3 Vprašalnik o socialnem inženiringu... 20

(10)

3.1 Končni rezultati in kratka analiza ... 20

4 Testni phishing napad ... 22

4.1 Priprava okolja Kali Linux ... 22

4.2 Orodje Blackeye ... 23

4.3 Orodje MaskPhish ... 26

4.4 Bitly ... 27

4.5 Orodje SET ... 27

4.6 Končni e-mail ... 29

4.7 Rezultati napada ... 30

5 Sklep ... 32

6 Viri ... 33

7 Priloge ... 35

7.1 Demografska vprašanja vprašalnika ... 35

7.2 Rezultati ostalih vprašanj vprašalnika ... 37

(11)

Seznam slik

Slika 2. 1: Primer Spear phishing e-mail sporočila ... 3

Slika 2. 2: Razlika med phishingom, spear-phishingom in whalingom ... 4

Slika 2. 3: Cikel napada socialnega inženiringa... 5

Slika 2. 4: Konceptualni model, ki kaže, kako se zgodi napad socialnega inženiringa .... 7

Slika 3. 1: Graf končnih rezultatov. ... 20

Slika 4. 1: Aplikacija Kali Linux. ... 23

Slika 4. 2: Orodje Blackeye. ... 24

Slika 4. 3: Po meri narejena stran, kamor so preusmerjene »žrtve«. ... 25

Slika 4. 4: Rezultat ukaza »./ngrok http 8080 ... 25

Slika 4. 6: Izpisan IP naslov in uporabniško ime in geslo, ki ga je vpisala žrtev. ... 26

Slika 4. 5: Rezultat ukaza »php -S localhost:8080«. ... 26

Slika 4. 7: Orodje MaskPhish. ... 27

Slika 4. 8: SET proces pošiljanja e-mail-a (prvi del). ... 28

Slika 4. 9: SET proces pošiljanja e-mail-a (drugi del). ... 29

Slika 4. 10: E-mail s prevarantsko povezavo ... 29

Slika 4. 11: Končni e-mail. ... 30

Slika 4. 12: Izpis v terminalu ob enem kliku na povezavo. ... 30

Slika 7. 1: Delež moških in žensk, ki so izpolnili vprašalnik. ... 35

Slika 7. 3: Stopnja izobrazbe oseb, ki so izpolnile vprašalnik. ... 35

Slika 7. 2: Delež starostnih skupin oseb, ki so izpolnile vprašalnik. ... 35

Slika 7. 4: Usmeritev oseb, ki so izpolnile vprašalnik. ... 36

Slika 7. 5: Delež oseb, ki so bile seznanjene s pojmom socialnega inženiringa. ... 36

Slika 7. 6: Delež oseb, ki so že bile tarča napadov socialnega inženiringa. ... 36

Slika 7. 7: Vprašanje 7. ... 37

(12)

Slika 7. 24: Rezultati vprašanja 23. ... 45

(13)

1

1 Uvod

Obstaja veliko načinov, s katerimi lahko napadalci vdrejo v omrežje organizacije. Ker so se tehnični kibernetski napadi v zadnjih letih močno povečali, so se prav tako okrepile tudi številne tehnologije, ki jih poskušajo onemogočiti. Napadalci so se zato začeli osredotočati na najbolj ranljiv del varnostnega sistema – človeka. Način napadanja, kjer napadalec občutljive informacije o organizaciji dobi preko človeka, se imenuje socialni inženiring. Proti napadom socialnega inženiringa se je bistveno težje zaščititi, saj je vse odvisno od uporabnika, ne pa od varnostnih mehanizmov strojne in programske opreme.

Diplomska naloga najprej opisuje različne oblike socialnega inženiringa [3, 4], pojasni na kakšne načine napadalec pridobi naše zaupanje in informacije [5, 6], katere so

karakteristike, ki naredijo žrtev ranljivo [2], kakšne posledice to pusti na žrtvi in organizaciji, [7] ter kako se lahko proti tem napadom branimo[12, 13].

Zatem sta predstavljena vprašalnik ter testni kibernetski napad phishinga, ki sta bila izvedena na testni skupini uporabnikov.

(14)

2

2 Socialni inženiring

V okviru kibernetske varnosti je socialni inženiring vrsta napada, pri katerem napadalci izkoriščajo človeške ranljivosti za kršitev kibernetske varnosti. Napadalec izkorišča

človekove ranljivosti s prepričevanjem, zavajanjem in manipulacijo, da bi pridobil zaupne podatke, vdrl v računalniški sistem ali pridobil nepooblaščen dostop.

V primerjavi s klasičnimi računalniškimi napadi, kot so zlomi gesla z brutalno silo in izkoriščanje ranljivosti programske opreme, se napadi socialnega inženiringa osredotočajo na izkoriščanje človeških ranljivosti. Tako lahko napadalci prebijejo varnostne ovire, ne da bi se jim bilo potrebno boriti s požarnim zidom ali protivirusno programsko opremo. Poleg tega ne obstaja računalniški sistem, ki se ne zanaša na ljudi ali vključuje človeške dejavnike, ti človeški dejavniki pa so ranljivi in jih spretni napadalci v veliki meri spremenijo v varnostne ranljivosti. Zaradi teh neizogibnih in ranljivih človeških dejavnikov je socialni inženiring univerzalna grožnja kibernetske varnosti. [1, 2]

2.1 Oblike socialnega inženiringa

Socialni inženiring delimo na tri kategorije: pristop, ki temelji na tehnologiji, pristop, ki temelji izključno na prevari človeka ter hibridni pristop, ki temelji na tehnologiji in prevari človeka.

Cilj pristopa, ki temelji na tehnologiji, je da uporabnik misli, da uporablja zakonito aplikacijo, spletno stran ali sistem. Klasičen primer je, ko uporabnik prejme sporočilo, da mora zamenjati uporabniško geslo na spletni strani, kjer ima svoj uporabniški profil, in če želi ukrepati, mora vpisati svoje avtentikacijske podatke, kot sta uporabniško ime in geslo. Toda spletna stran je v tem primeru ponarejena verzija izvirne spletne strani in z avtentikacijo napadalec pridobi podatke o uporabniku kot administrator spletne strani.

Drug pristop pa temelji zgolj na prevari človeka in izkorišča njegove vedenjske slabosti.

V tem primeru se napadalec pretvarja, da je oseba z veliko avtoriteto in na primer preko telefonskega klica prosi neko osebo, da mu ponastavi geslo. Tako napadalec dobi dostop do sistema in ga lahko zlorabi s poverilnicami pravega uporabnika.

Hibridni napadi pa so najpogostejša oblika kibernetskih napadov, kjer napadalec uporablja tehnologijo in človeško interakcijo kot platformo za izvedbo napada socialnega inženiringa. Napadalec najprej pridobi nadzor nad tehnološkim portalom (e-mail) s tehniko socialnega inženiringa, ki temelji na človeški interakciji, nato pa s tehnološko platformo izvede več napadov. [3, 18]

(15)

3 2.1.1 Tehnični napadi

Phishing je najbolj pogosta tehnika socialnega inženiringa, v kateri napadalec pošlje škodljivo sporočilo zakonitega videza in trdi, da prihaja iz zaupanja vrednega vira. Sporočilo uporabniku sporoča, da mora hitro izvesti akcijo, na primer da klikne na povezavo ali

priponko v tem sporočilu.

Spear phishing je posebna metoda phishinga, kjer se ciljnemu uporabniku pošlje e-mail sporočilo. V tem primeru si napadalec posebej izbere svojo tarčo in pred tem naredi raziskavo o tej osebi. Napadalec si preko socialnih omrežij ogleda objave in podatke, ki so na voljo o njegovi tarči in specifično sestavi sporočilo, ki bi lahko to osebo prevaralo.

Slika 2. 1: Primer Spear phishing e-mail sporočila. [8]

Whaling je še ena oblika phishinga, kjer napadalec cilja na osebo višjega sloja, kot je na primer direktor podjetja. Izraz izhaja iz ciljanja na “velike ribe” v nekem

podjetju/organizaciji. [4]

(16)

4

Slika 2. 2: Razlika med phishingom, spear-phishingom in whalingom. [9]

Še en primer napada je, da žrtev poskuša namestiti uporaben program ali aplikacijo, ki brezplačno ponuja storitve, ki so sicer plačljive. V resnici pa v tem primeru žrtev v nevednosti namesti zlonamerno programsko opremo, ki krade občutljive podatke in jih posreduje

ustvarjalcu te programske opreme.

Ponarejanje DNS je tehnika, ki manipulira z brskalnikom in spletnimi strežniki uporabnika, da preusmeri uporabnika na zlonamerna spletna mesta, ko vnese zakonit URL.

Ko je naprava okužina s tem napadom, se bo preusmerjevanje na zlonamerna spletna mesta nadaljevalo dokler iz naprave niso izbrisani netočni podatki o usmerjanju. [3, 4, 18]

2.1.2 Ne-tehnični napadi

Tailgating je oblika socialnega inženiringa, kjer neavtorizirana oseba poskuša pridobiti dostop s sledenjem avtorizirani osebi, ne da bi ga ta opazila.

Piggybacking pa se od tailgatinga razlikuje v tem, da avtorizirana oseba omogoči dostop neavtorizirani osebi, ker se ne zaveda, da je ta oseba neavtorizirana, ali pa da bi lahko

škodovala organizaciji, če bi imela dostop.

Quid Pro Quo je oblika socialnega inženiringa, kjer napadalec poskusi trgovati z uporabnikom z neko storitvijo v zameno za informacijo (npr. da bo nekaj popravil, ampak za to potrebuje uporabniško ime in geslo uporabnika). [4]

2.1.3 Hibridni napadi

Vishing je metoda, kjer napadalec poskuša uporabnika prevarati preko govorne

komunikacije, torej preko telefona ali klica preko računalnika. Vishing se uporablja predvsem za krajo identitete in drugih zaupnih podatkov.

Smishing uporablja podobne tehnike kot vishing, le da komunikacija poteka preko SMS-ov/tekstovnih sporočil.

(17)

5 Pretexting je vrsta napada, kjer napadalec zvabi uporabnika v ranljivo situacijo, v kateri se ta počuti dolžnega posredovati podatke napadalcu zaradi konteksta pretveze. V tem napadu kibernetski kriminalec z lažmi pridobi občutljive podatke. [4, 18]

2.2 Cikel napada z uporabo socialnega inženiringa

Napad socialnega inženiringa poteka v štirih stopnjah. Te so:

 zbiranje informacij,

 vzpostavljanje odnosa z žrtvijo,

 izkoriščanje in

 izvedbo napada.

Slika 2. 3: Cikel napada socialnega inženiringa [10]

Bolj kot je socialni inženir usposobljen v teh treh področjih, večja je možnost uspeha napada. Vendar pa lahko za vsak cilj posebej več dejavnikov povzroči, da se cikel ponovi večkrat. Cikel lahko ponovi več korakov ali pa se celo ponovi vsak korak večkrat, dokler napadalec ni zadovoljen z rezultati ali pa ustavljen, odvisno od narave napada in tarče.

Napadalec lahko uporabi nekaj posrednih napadov, da doseže svoj rezultat, saj mu morda ne bi uspelo, če bi tarčo napadel neposredno. To je znano tudi kot stopnjujoči se napad privilegijev, pri čemer se uporablja informacije, pridobljene prej pri podjetju tarče, ali pa iz prejšnjih interakcij. [4, 5]

(18)

6 2.2.1 Zbiranje informacij

V tej fazi se pri večini napadov vloži veliko časa in pozornosti. Verjetnost uspeha je odvisna od te faze. Nekatere zbrane informacije se lahko uporabijo za identifikacijo vektorja napada, potencialna gesla, identifikacijo verjetnih odzivov različnih ljudi, natančnejše določanje ciljev, seznanitev z aktivnostjo in življenjskim slogom žrtve. Tako napadalec odkrije šibke točke žrtve in jih uporabi za pridobivanje zaupanja.

Po zbiranju informacij napadalec razvije načrt. Glede na dobljene informacije in cilje napada, mora napadalec izbrati taktiko, s katero bo najlažje prevaral žrtev. Pri razvoju načrta mora napadalec razviti situacijo, ki bo pripeljala žrtev do tega, da mu zaupa želene podatke.

Določiti mora korake, ki jih mora izvesti za dosego cilja, pomemben je tudi čas. [4, 5]

2.2.2 Vzpostavljanje odnosa z žrtvijo

V tej fazi se vzpostavi zaupanje med napadalcem in žrtvijo. To je ključnega pomena, ker kakovost odnosa, ki ga ustvari napadalec, določa stopnjo sodelovanja in stopnjo, do katere se bo žrtev sprostila in zaupala napadalcu. V tej fazi napadalec še ne poskuša neposredno sodelovati z žrtvijo, saj jo je treba obravnavati kot vabo, preden se lahko začne dejansko izkoriščanje. Ena glavnih prednosti tega je, da napadalcu še ni treba komunicirati s tarčo, da bi zbral informacije, s čimer se zmanjša tveganje odkrivanja. V tem primeru se lahko zbiranje informacij začne, ko je napadalec dodan kot prijatelj ali sledilec. Napadalec lahko všečka fotografije in pošilja komentarje, vendar z žrtvijo ne komunicira neposredno preko osebnih sporočil, razen v primeru, da žrtev sama začne pogovor. Z žrtvijo napadalec lahko začne komunicirati šele po tem, ko se z naključnim komentiranjem pridobi zaupanje. Tako lahko pozneje s priložnostnim tonom zahteva posebne informacije. [4, 5]

2.2.3 Izkoriščanje

V tej fazi lahko napadalec začne aktivno komunicirati s tarčo. Izkoriščanje je lahko izvedeno z naključnim pogovorom, kjer napadalec poskuša, da ne vzbudi suma. Ljudje smo po naravi dobrosrčni, moralno nagnjeni in pripravljeni pomagati, če imamo do nekoga dober odnos. Socialni inženir za izkoriščanje potrebuje strokovne sposobnosti. To vključuje izvedbo dobrega scenarija in dialoga z žrtvijo ter izogibanje napakam, ki bi lahko žrtvi pomagale odkriti prevaro. Scenarij in dialog sta lahko dopisovanje z žrtvijo preko komentarjev ali zasebnih sporočil na nekem socialnem omrežju. Sposobnosti socialnega inženirja vključujejo prepričevanje, laskanje ali lobiranje (odvisno od položaja žrtve in vrste zvijače). [4, 5]

(19)

7 2.2.4 Izvedba napada

Izvedba napada se lahko izvede kot usluga ali pomoč žrtvi. Pogosto končna tarča ni žrtev, ampak je tarča njihova organizacija.

2.3 Mehanizmi socialnega inženiringa

V kibernetskem napadu sta napadalec in žrtev dva akterja na dveh koncih. Za socialni inženiring je napadalec akter, ki izvaja napad socialnega inženiringa z metodami napada, ki pripeljejo do cilja napada. Žrtev pa je akter, ki trpi zaradi socialnega inženiringa in zaradi svojih človeških ranljivosti povzroči napad. Na splošno lahko proces napada socialnega inženiringa opišemo na spodnji način:

1. Napadalec oblikuje določene metode napada, da bi izkoristil človeško ranljivost tarče in dosegel določene cilje napada.

2. Ko se človeška ranljivost izkoristi, se tarča spremeni v žrtev in povzroči določene posledice napada.

3. Napadalec posreduje posledice nazaj do cilja napada, da se odloči o naslednjih dejanjih. [2]

Slika 2. 4: Konceptualni model, ki kaže, kako se zgodi napad socialnega inženiringa [2]

Wang in Zhu [2] sta analizirala in obravnavala mehanizme socialnega inženiringa v 6 vidikih: 1) prepričevanje, 2) družbeni vpliv, 3) spoznanje, odnos in vedenje, 4) zaupanje in zavajanje, 5) jezik, mišljenje in odločanje, 6) čustva in odločanje, [2]

(20)

8 2.3.1 Vidik prepričevanja

Če smo si z nekom podobni, nam je ta oseba bolj všeč. In ko nam je neka oseba všeč, smo ji bolj pripravljeni pomagati, kot če nam ne bi bila všeč. Tudi fizična privlačnost vpliva na našo pripravljenost, da nekomu pomagamo. Socialni inženir lahko tarčo pridobi tako, da se pretvarja, da je oseba s podobnimi idejami ter ima rad enake stvari kot tarča.

Tudi odvračanje pozornosti se pogosto uporablja pri napadih zlonamernih manipulacij.

Odvračanje pozornosti olajša prepričevanje, saj moti proces nasprotovanja in povečuje prizadevanje za komunikacijo tarče.

Avtoriteta in verodostojnost vira sta prav tako tehniki, ki pomagata socialnim inženirjem. Naše razmišljanje in racionalno vedenje sta ob prisotnosti avtoritete pogosto slabši. [2]

2.3.2 Vidik družbenega vpliva

Ljudje skoraj ves čas živijo v skupinah in te nanje tudi vplivajo. Zelo običajno je, da se posameznik prilagodi skupini, z namenom, da bi bil sprejet ali da bi pridobil pomembne informacije. Prvo predstavlja normativni vpliv, drugo pa informacijski vpliv. Pri napadih socialnega inženiringa napadalec pogosto oblikuje posebne informacije in scenarij, v katerem se normativni in informacijski vpliv uporabljata za manipulacijo na tarčah, da bi te naredile določena dejanja v korist napadalca.

Norma vzajemnosti se nanaša na to, da moramo tistim, ki nam pomagajo, vrniti pomoč.

V povratnem napadu socialnega inženiringa se napadalec lažno predstavlja kot oseba, ki pripada oddelku za IT ali tehnični podpori, nato pa počaka (na primer novega zaposlenega), da prosi za pomoč pri odpravi napake v računalniku ali omrežju. Ko se to zgodi, napadalec poskuša izkoristiti novega zaposlenega z zahtevo za uslugo.

Za razliko od norme vzajemnosti, pri kateri se upošteva ravnovesje dajanja in

prejemanja, norma družbene odgovornosti zagovarja, da bi morali ljudje pomagati tistim, ki potrebujejo pomoč, tudi če ne bomo dobili ničesar v zameno. To je neke vrste pričakovanje do moralne dolžnosti pomoči. Norma družbene odgovornosti in moralna dolžnost sta učinkoviti pri napadih socialnega inženiringa vsaj na dva načina. Eden od načinov je, da napadalec izkoristi nagnjenost tarče k pomoči, z namenom, da pridobi informacije ali uslugo, ki olajša napad. Drug način je, da se med napadom socialnega inženiringa pritisk skupine, ki ga povzročata norma družbene odgovornosti in moralna dolžnost, uporabljata za vplivanje na vedenje tarč, zlasti pri tarčah, ki jim niso pripravljene pomagati. [2]

(21)

9 2.3.3 Vidiki odnosa in vedenja

V človeški naravi je, da nas skrbi, kaj si drugi mislijo o nas. Zelo se trudimo, da bi s svojim vedenjem ustvarili želeno podobo.

Če želimo, da nam ljudje naredijo veliko uslugo, je učinkovita strategija, da najprej mi naredimo njim majhno uslugo. Ljudje radi izpolnijo večjo zahtevo potem, ko so nam že naredili manjšo uslugo. Zdi se, da si ljudje zgradijo podobo, potem ko naredijo majhno uslugo, in da bi ohranili doslednost te podobe, ljudje poskušajo ravnati v skladu s svojim prejšnjim vedenjem. Ta učinek je še vedno učinkovit v spletnem kontekstu in tudi v drugih komunikacijskih načinih. To tudi pojasnjuje, zakaj se pri napadih socialnega inženiringa pogosto uporablja pomoč.

Učinek opazovalca opisuje pojav, ko si oseba manj verjetno priskrbi pomoč, kadar so prisotni opazovalci. Z drugimi besedami, kadar oseba potrebuje pomoč, je dejansko manj verjetno, da jo bo dobila, če bo v bližini veliko ljudi. Enako velja za spletno okolje. Tisti, ki so prejeli e-mail sporočilo z zahtevo za pomoč, skupaj z navedbo, da ni veliko drugih prejelo tega sporočila, nudijo bistveno več pomoči kot tisti, ki so prejeli prošnjo z navedbo, da so sporočilo prejeli tudi številni drugi.

V skupinskih situacijah je ljudem omogočeno, da izgubijo samozavedanje in razpršijo odgovornost na vse člane skupine. Večja ko je množica ali več ko je anonimnosti, bolj njeni člani izgubljajo samozavedanje in so pripravljeni delati grozodejstva. Pri napadih socialnega inženiringa lahko napadalci žrtve privedejo v določene skupinske situacije in jih s temi mehanizmi izkoristijo za izvajanje dejanj, ki ogrožajo varnost kibernetskega prostora.

Pomanjkanje manipulira z ljudmi predvsem tako, da vpliva na spoznanje vrednosti, vzbuja čustva in povečuje motivacijo. Priložnosti se nam zdijo dragocenejše, ko jih je na voljo manj. V mnogih scenarijih napadov napadalci izkoriščajo žrtve, da jim razkrijejo podatke ali sprožijo zlonamerni URL tako, da jih prepričajo, da je ponudba redka.

Časovni pritisk vpliva na logično razmišljanje ljudi. Kadar morajo ljudje v omejenem času obravnavati veliko količino informacij, se na sporočila o zahtevah, ki jih je treba pregledati, pogosto odzovejo hitro in površno. Tako se lahko napadalci poskušajo potopiti v tarče z veliko zavajajočimi informacijami in jim poskušajo ustvariti občutek nujnosti, da bi sprožili preobremenitev misli, motili njihovo normalno razmišljanje ter dodatno izzvali ranljivo vedenje. [2]

(22)

10 2.3.4 Vidik zaupanja in prevare

Zaupanje je pomembna spremenljivka, ki napoveduje uporabnikovo dovzetnost za napade socialnega inženiringa. V mnogih scenarijih napada socialnega inženiringa je treba tarče prepričati, da je napadalec zaupanja vredna oseba. Zaupanje je pripravljenost prve osebe, da je ranljiva za dejanja druge osebe, ki temelji na pričakovanju, da bo druga oseba izvedla posebno dejanje, pomembno za prvo osebo, ne glede na sposobnost spremljanja ali nadzora te druge osebe. To pomeni, da je zaupanje v bistvu tveganje. Tako je lahko pozitivna povezava med zaupanjem in majhnim tveganjem pripravljenosti pomagati, vzpostaviti odnos in razdeliti informacije, pomemben razlog, zakaj napadalci posvečajo veliko pozornosti zaupanju. V nekaterih scenarijih napadov so se, čeprav je bilo zaznano določeno tveganje, napadi socialnega inženiringa še vedno pojavljali zaradi močnejšega zaupanja. Zato dejavniki, ki vplivajo na krepitev zaupanja, in dejavniki, ki vplivajo na prevaro, postanejo parametri, ki jih napadalci želijo nadzorovati za izvedbo napada socialnega inženiringa. [2]

2.3.5 Vidiki jezika, mišljenja in odločanja

Jezik je najpogostejše orodje za družbeno interakcijo, medtem ko je tesno povezan z obdelavo, ustvarjanjem in izražanjem misli. Jezik lahko primerjamo z računalniškim programom, ki se uporablja za komunikacijo. Za napade socialnega inženiringa obsežno oblikovanje informacij, ki se posredujejo prejemniku, pomeni manipuliranje prejemnikovega razmišljanja in ustreznega vedenja.

Če rečemo, da »na namizju ni knjige«, najprej ustvarimo knjigo in nato namizje, na koncu knjigo odstranimo z namizja. Ko prejmemo negativne jezikovne izraze, naš um najprej konstruira pozitivne koncepte, nato pa jih zanika. Čeprav so nekateri od teh pojmov, podob in dejanj lahko nepomembni, je za socialni inženiring pomembno, da se pojavljajo v mislih in vplivajo na odločanje, ne glede na pomen trditve.

Jezik se lahko uporabi za vzbujanje stanja miselne zmede, v katerem se predlaga vedenje in vgradijo ukazi. To daje napadalcu priložnost, da spodbudi tarče in manipulira z njimi, da izvede dejanja, ki bi kršila varnostno politiko. Preprosta metoda za vzbujanje zmede pri razmišljanju je izražanje z neslovničnimi ali dvoumnimi izjavami. To prisili tarče, da razmišljajo o tem, kar je napadalec pravkar rekel, medtem pa se poskušajo osredotočiti na to, kar napadalec trenutno govori, zato kritična sposobnost normalnega razmišljanja izgine. [2]

(23)

11 2.3.6 Vidika čustev in odločanja

Številne študije na različnih področjih se strinjajo, da čustva in občutki vplivajo na odločanje. Čustva in razpoloženje izzovejo akcijske težnje in jih prenesejo v postopek odločanja. Posamezniki žalostnih čustev običajno iščejo možnosti z visokim tveganjem in visoko nagrado, posamezniki zaskrbljenih čustev pa imajo raje možnosti z nizkim tveganjem in nizko nagrado. Ljudje v strahu v čustvih izražajo pesimistične ocene tveganja in izbire, ki jim grozijo, toda ljudje jeznih čustev izražajo optimistične ocene tveganja in izbire pri iskanju tveganja. V srečnem stanju ljudje radi pomagajo in odločitve so hitrejše. Pozitivno

razpoloženje lahko vodi do večjega prepričevanja. Za napade socialnega inženiringa to pomeni, da bo manipulacija čustev in občutkov vplivala na odločitve tarč in jih celo spremenila. [2]

2.4 Vpliv socialnega inženiringa na organizacijo

Informacijska varnost je ključnega pomena za vsako organizacijo in je s hitrim razvojem države in napredkom tehnologije postala ena najpomembnejših prioritet. Če pa informacijski varnosti ni dana prioriteta, zlasti v trenutnem okolju, kjer se pojavljajo različne grožnje, lahko celo majhna pomanjkljivost v varnosti uniči organizacijo. Napadalcem ni treba imeti posebnih tehničnih veščin, da bi vdrli v računalniške sisteme, le razumeti morajo

človeško naravo, saj lahko z različnimi zvijačami manipulirajo z ljudmi pri razkritju zaupnih podatkov, kot so gesla. Finančni stroški so lahko katastrofalni za organizacijo in

posameznika. Obstajajo tudi stroški izgube ugleda, kar lahko dolgoročno uniči bazo podjetja.

Strokovnjaki so sčasoma prišli do zaključka, da kljub vtisu, da je napadalec zunanji akter, ki želi vstopiti, večino kršitev povzročijo nezadovoljni zaposleni ali nezaposleni, ki imajo zakonit dostop do sistema zaradi svojega dela v organizaciji. Skratka, podjetja vsako leto porabijo milijarde dolarjev za izboljšanje strojne in programske opreme, da preprečijo

zlonamerne napade. Toda vse to je zaman, če končni uporabniki niso ustrezno izobraženi in se ne držijo dobre varnostne prakse. [3, 7]

Več kot polovica vseh podjetij vsako leto postane tarča napada socialnega inženiringa.

V današnjem svetu je socialni inženiring ena največjih groženj, s katerimi se soočajo tako mala kot velika podjetja v svetu kibernetske varnosti.

Pet posledic napadov socialnega inženiringa:

 Finančne izgube

(24)

12 To je morda edina posledica kibernetskih napadov, za katero vemo vsi - znesek, ki ga podjetje izgubi neposredno zaradi napada socialnega inženiringa.

 Izguba produktivnosti

Vsak uspešen kibernetski napad povzroči velike motnje v normalnem poslovanju.

Ekipa za IT in veliko zaposlenih na ravni vodstva morajo za odpravo kršitve preložiti druge naloge, vse zaposlene je treba obvestiti o vdoru in jih usposobiti za preprečitev istega napada v prihodnosti itd. Vse to vzame zaposlenim čas in jih odvrne od njihovih nalog ter znatno zniža produktivnost.

 Cene obnavljanja

Drugi pogosti stroški, povezani z napadi, so stroški obnavljanja, ki predstavljajo znesek denarja, potrebnega za najem ekipe za odziv na incident, nakup programske opreme, ki bo v prihodnje preprečila pojav istega napada ter reševanje težav s strankami, če so bili podatki strank med napadom ukradeni.

 Poslovne motnje

Ta posledica socialnega inženiringa je podobna izgubi produktivnosti, vendar se tu upošteva vpliv vdora na stopnjo zadovoljstva strank in dobavno verigo. Ker uspešen kibernetski napad zmoti običajno poslovanje podjetja, lahko pride do zastoja pri proizvodnji izdelkov, pošiljanju ali drugih operacijah. To lahko povzroči izgubo strank ali celo dobaviteljev. Poleg tega lahko želita zavarovalnica in banka po kršitvi

pregledati prakse kibernetske zaščite podjetja.

 Izguba ugleda

Po kršitvi kibernetske varnosti stranke in dobavitelji v velikem deležu ne želijo več sodelovati s tem podjetjem, saj izgubijo zaupanje in ne želijo ogroziti sebe in svojih podatkov. [7]

2.5 Človeške ranljivosti

Napadi socialnega inženiringa izkoriščajo široko paleto človeških ranljivosti. Wang in Zhu [2] sta obravnala te ranljivosti v naslednjih vidikih:

1) znanje,

2) vedenje in navade, 3) čustva in občutki ter 4) psihološki faktor.

Psihološke ranljivosti so nadalje razdeljene na tri ravni, to so 1) človeška narava,

(25)

13 2) osebnostne lastnosti in

3) individualne značilnosti [2].

2.5.1 Človeške ranljivosti pri znanju

Nevednost napadalci zlahka izkoristijo z neposrednim pristopom. Nevednost in neizkušenost prinašata varnostno tveganje. Večina uporabnikov mobilnih naprav je žrtev napadov zaradi pomanjkanja znanja o socialnem inženiringu. Uporabnike je treba poučiti o tem, kaj so občutljivi podatki in kako jih je mogoče zlorabiti pri spletnih napadih. [2]

2.5.2 Človeške ranljivosti v obnašanju in navadi

Kadar oseba ne posveča dovolj pozornosti varnostnemu kontekstu (neprevidnost), ne razmišlja o potencialnem varnostnem tveganju (nepremišljenost), se ne želi posvetiti potrebnemu delu ali se potruditi, da prepreči varnostno grožnjo (lenoba), bo ta oseba tarča, prek katere se zlahka zgodi napad socialnega inženiringa.

Zaradi tega, ker je vedenje prostovoljno, samodejno in podzavestno, smo ranljivi za napade socialnega inženiringa in se težko zavedamo, da smo bili izkoriščeni. Na primer, če imajo tarče navado, da redno obiskujejo določena spletna mesta, lahko napadalec ta spletna mesta vnaprej okuži z zlonamerno kodo in počaka, da jih tarče obiščejo in sprožijo. [2]

2.5.3 Človeške ranljivosti v čustvih in občutkih

Čustva in občutki vplivajo na spoznanje, odnos in odločanje. Čustva (strah, napetost, radovednost, navdušenje, presenečenje, jeza) in občutki (sreča, žalost, krivda itd.) so človeški dejavniki, ki jih je mogoče izkoristiti kot varnostno ranljivost pri napadih socialnega

inženiringa. Strah pred težavami z nadrejenimi se pogosto uporablja pri pridobivanju

občutljivih informacij, kar je tudi primer vzbujanja strahu. Ko se sprožijo močna čustva, kot so jeza, navdušenje, strah ali tesnoba, so lahko posameznikove kognitivne sposobnosti resno ovirane. Radovednost je občutljiva na napade vabljenja. Jeza in impulz vodita k večjemu tveganju. Uporabniki, ki so pri sprejemanju odločitev manj impulzivni, bodo verjetneje ocenili povezavo v lažnem e-mail sporočilu kot nevarno. Ti občutki se v socialnem

inženiringu spremenijo v ranljivosti, na primer, ko je napadalec poskušal prepričati tarčo, da bo močno trpela (sicer ji grozi odpoved), če zahteva ne bo odobrena. Predvidljiv občutek krivde pri tem spodbudi tarčo, da sprejme odločitev mehkega srca, a krši varnost. [2]

(26)

14 2.5.4 Človeške ranljivosti v človeški naravi

Človeška narava je zbirka psiholoških značilnosti, ki jih imamo naravno vsi ljudje.

Nekateri deli človeške narave, kot so ljubezen do sebe, pohlep, poželenje in požrešnost, so varnostne ranljivosti, ki jih je mogoče izkoristiti v določenih scenarijih napadov socialnega inženiringa. Sočutje in ustrežljivost sta splošno priznani vrlini v različnih družbenih kulturah, vendar v kontekstu kibernetske varnosti prinašata potencialna tveganja. Igranje osebe, ki potrebuje pomoč, se vedno znova izkazuje za učinkovito tehniko pri doseganju ciljev socialnih inženirjev. [2]

2.5.5 Človeške ranljivosti v osebnostnih lastnostih

Osebne lastnosti posameznikov pomembno prispevajo k njihovi dovzetnosti za podvige socialnega inženiringa, kot so vpliv, manipulacija in prevara. Socialni inženirji obravnavajo lastnosti človeške osebnosti kot ranljivosti in jezik uporabljajo kot orožje za zavajanje, prepričevanje in končno manipulacijo žrtev. Model petih faktorjev osebnosti je hierarhična organizacija osebnostnih lastnosti v smislu petih osnovnih dimenzij. Te so ekstraverzija, vestnost, prijaznost, odprtost do izkušenj in nevrotizem. [2]

2.5.6 Človeške ranljivosti v individualnem značaju

Značaj je sestavljen iz psiholoških karakteristik, ki jih ljudje pridobimo z vplivom zunanjega okolja in razvijemo na podlagi človekove narave in osebnostnih lastnosti. V okviru kibernetske varnosti, ko so nekatere pozitivne individualne značilnosti v neprimernih

razmerah, lahko pride do negativnih rezultatov. Če zaupanje nadomestimo z lahkovernostjo, lahko hitro pride do prevare. Prijaznost in dobrodelnost lahko povzročita, da žrtve

napadalcem ponudijo več pomoči. Ko nepooblaščen napadalec poskuša vstopiti na območja, ki potrebujejo kartico za dostop, se običajno izkoristi ponižnost in vljudnost, na primer žrtev bo drugim odprla vrata ali pustila drugim, da vstopijo prvi. Podobno lahko tudi nekatere negativne individualne lastnosti izkoristimo kot varnostne ranljivosti v socialnem inženiringu.

Različni ljudje bodo bolj verjetno ubogali avtoriteto in manj verjetno izpodbijali napadalčevo zahtevo. Ljudje, ki so ošabni, lahko ne spoštujejo varnostne politike, ravnodušnih pa morda ne ganejo varnostna tveganja. [2]

(27)

15 2.6 Obramba pred socialnim inženiringom

Socialni inženiring je zelo nevaren, ker je zasnovan tako, da izkorišča naravne človeške lastnosti. Če se popolnoma zavedamo, kako deluje in upoštevamo osnovne varnostne ukrepe, bomo veliko manj verjetno postali žrtev socialnega inženiringa. [12], [13]

2.6.1 Preventivni ukrepi za posameznika

1) Večfaktorska avtentikacija

Najosnovnejši preventivni ukrep, ki zagotavlja varnost računa je, da se ne zanašamo na en faktor. Večfaktorska avtentikacija je pomembna, saj otežuje krajo občutljivih podatkov za povprečnega napadalca. Kot pove že ime, večfaktorska avtentikacija združuje vsaj dva ločena dejavnika. Prvi je ponavadi nekaj, kar vemo (uporabniško ime in geslo). Drugi je lahko nekaj, kar imamo (mobilni telefon, kartica s ključem ali USB) ali pa nekaj, kar smo (prstni odtisi, skeniranje šarenice ali drugi biometrični podatki). [13]

2) Preverimo, ali obstaja SSL potrdilo

Šifriranje podatkov, e -poštnih sporočil in komunikacije zagotavlja, da napadalci ne bodo mogli dostopati do informacij, čeprav so prestregli našo komunikacijo. To lahko dosežemo s pridobitvijo potrdil SSL od zaupanja vrednih organov. Poleg tega je treba vedno preveriti spletno mesto, ki zahteva naše občutljive podatke. Če želimo preveriti pristnost spletnega mesta, preverimo URL-je. URL-je, ki se začnejo s https://, lahko štejemo za zaupanja vredno in šifrirano spletno mesto. Spletna mesta s http:// ne ponujajo varne povezave. [13]

3) Omogočimo filter vsiljene pošte

Filtri za vsiljeno pošto ponujajo bistvene storitve pri zaščiti nabiralnikov pred napadi socialnega inženiringa. Večina ponudnikov e-mail storitev ponuja filtre za vsiljeno pošto za e- mail sporočila, ki se jim zdijo sumljiva. S funkcijami vsiljene pošte se lahko osvobodimo nalog prepoznavanja nezaupljivih e-mail sporočil. [12]

4) Bodimo pozorni na svoj digitalni odtis

Prekomerna skupna raba osebnih podatkov preko socialnih omrežij lahko da napadalcem več informacij. Če na primer svoj življenjepis hranimo na spletu, je pametno spremeniti naslov, telefonsko številko in datum rojstva. Vse te informacije so koristne za

(28)

16 napadalce, ki načrtujejo napad socialnega inženiringa. Priporočljivo je, da podatke na

socialnih omrežjih prikazujemo samo prijateljem. [12, 13]

5) Preverjanje vira

Pri e-mailu pogledamo glavo e-maila in ga primerjamo z veljavnim e-mail sporočilom istega pošiljatelja. Pomembno je preveriti, kam vodijo povezave: ponarejene hiperpovezave je enostavno zaznati, tako da se le premakne miškin kazalec nanje, brez da bi jih kliknili.

Preveriti je treba tudi črkovanje: banke imajo cele ekipe usposobljenih ljudi, namenjenih komuniciranju s strankami, zato je e-mail sporočilo z očitnimi napakami najverjetneje ponaredek. Če smo v dvomih, gremo lahko na uradno spletno mesto in stopimo v stik z uradnim predstavnikom, saj bo ta lahko potrdil, ali je e-mail sporočilo uradno ali ponarejeno.

Če vir nima podatkov, katere bi pričakovali, da jih ima (na primer vašega polnega imena), potem gre najverjetneje za prevaro. Če nas banka pokliče, mora imeti pred seboj vse te podatke in vedno nam bo postavila varnostna vprašanja, preden nam bo omogočeno spreminjanje računa. Če tega ne stori, je verjetnost, da gre za lažno e-mail sporočilo/klic, bistveno večja, in moramo biti previdni.

Potrebno je poklicati uradno številko ali iti na URL uradnega spletnega mesta, namesto da posredujemo podatke po telefonu ali kliknemo povezavo. Za preverjanje verodostojnosti vira uporabimo drug način komunikacije. Na primer, če od prijatelja prejmemo e-mail sporočilo, v katerem nas prosi za nakazilo denarja, mu pošljemo sporočilo na njegov mobilni telefon ali ga pokličemo, da nam potrdi, če je to res on. [12]

2.6.2 Preventivni ukrepi v podjetjih

1) Nenehno spremljajte kritični sistem

Poskrbimo, da bo naš sistem, v katerem so občutljive informacije, nadzorovan 24 ur na dan. Skeniranje zunanjih in notranjih sistemov s pregledovanjem spletnih aplikacij lahko pomaga najti ranljivosti v vašem sistemu. Poleg tega moramo vsaj enkrat letno izvesti tudi napad socialnega inženiringa, da ocenimo, ali bi bili naši zaposleni žrtve nevarnosti

socialnega inženiringa. Po sledenju lahko lažne domene, če te obstajajo, takoj odstranimo, da se izognemo kršitvam avtorskih pravic na spletu. [13]

2) Uporabite WAF (Web Application Firewall) v oblaku

Verjetno v svojem podjetju že uporabljamo požarni zid, vendar je požarni zid naslednje generacije v oblaku na osnovi spletnih aplikacij posebno zasnovan tako, da zagotavlja

(29)

17 maksimalno zaščito pred napadi socialnega inženiringa. Spletni WAF se zelo razlikuje od tradicionalnega WAF, ki ga uporablja večina podjetij. Natančneje, spletni WAF lahko dosledno spremlja spletno aplikacijo ali spletno mesto in išče nepravilnosti ter nenavadno obnašanje sistema. Čeprav so grožnje socialnega inženiringa odvisne od človeških napak, bodo WAF-i blokirali napade in nas opozorili na vse nameravane namestitve zlonamerne programske opreme. [13]

3) Testiranje penetracije

Najučinkovitejši pristop med načini preprečevanja napadov socialnega inženiringa je penetracijski test za odkrivanje in poskus izkoriščanja ranljivosti v naši organizaciji. Če je našemu penetracijskemu testu uspelo ogroziti naš kritični sistem, lahko ugotovimo, na kateri del sistema ali zaposlene se moramo osredotočiti za zaščito, ter katere vrste napadov

socialnega inženiringa so za nas nevarnejše. [13]

4) Preverimo in posodobimo naše varnostne popravke

Kibernetski napadalci na splošno iščejo pomanjkljivosti v naši aplikaciji, programski opremi ali sistemih, da bi dosegli nepooblaščen dostop do naših podatkov. Kot preventivni ukrep vedno vzdržujmo posodobitve varnostnih popravkov in posodobimo spletne brskalnike in sisteme z najnovejšimi različicami. To je pomembno zato, ker podjetja izdajajo varnostne popravke kot odgovor na luknje v varnosti. Z vzdrževanjem naših sistemov z najnovejšimi različicami ne bomo le zmanjšali možnosti kibernetskih napadov, ampak bomo zagotovili tudi kibernetsko odporno okolje. [13]

5) Vprašajmo za osebni dokument

Eden najlažjih napadov socialnega inženiringa je vstop v stavbo s prenašanjem velike škatle, v upanju, da bo neka prijazna oseba odprla vrata. Vedno je treba vprašati za osebni dokument. Enako velja za druge pristope. Preverjanje imena in številke tistih, ki kličejo, ali poizvedeti, komu odgovarjajo, bi moral biti osnovni odziv na zahteve po informacijah. Nato preprosto preverimo tabelo organizacije ali telefonski imenik, preden razkrijemo kakršne koli zasebne podatke. Če posameznika, ki zahteva informacije, ne poznamo in se še vedno ne počutimo prijetno, da bi posredovali podatke, mu rečemo, da moramo še enkrat preveriti pri nekomu drugemu, in da se bomo vrnili k njemu. [12]

6) Izobrazimo sebe in vse zaposlene o vrstah napadov

(30)

18 Krepitev ozaveščenosti uporabnikov o pogosto uporabljenih tehnikah in vedenjih, na katere cilja socialni inženir, je pomemben del obrambne strategije. Prav tako je treba izobraževati zaposlene o škodi, ki jo povzroči napad. Večina teh napadov je uspešnih, ker zaposleni ne vedo, kaj napadalci iščejo. Zaposleni so pod pritiskom, zato ne dvomijo v e-mail sporočila »šefa«, ki prosi za »nujno ukrepanje« - naredijo le tisto, kar se od njih zahteva.

Izobraževanje o tem, kakšne pristope lahko pričakujejo, bo močno pripomoglo k temu, da jih ne zavedejo prevarantska e-mail sporočila in telefonski klici. [3]

7) Dobro dokumentirana varnostna politika

Dobro dokumentirana in dostopna varnostna politika, povezani standardi in smernice predstavljajo temelj dobre varnostne strategije. Politika mora na preprost način jasno

dokumentirati njen obseg in vsebino na vsakem področju, na katerega se nanaša. Poleg vsake politike je treba določiti standarde in smernice, ki jih je treba upoštevati za uskladitev s politiko varnosti. Na splošno mora pravilnik vsebovati izjave o politikah na področjih, kot so:

 Politika sprejemljive uporabe - za sprejemljivo poslovno uporabo e - pošte, računalniških sistemov, telefona, omrežja itd.

 Razvrščanje in ravnanje z informacijami - za identifikacijo kritičnih informacijskih sredstev in z njimi povezanih navodil za ravnanje

 Varnost osebja - pregled bodočih zaposlenih, da se zagotovi, da ne predstavljajo varnostne grožnje za organizacijo, če se jih zaposli

 Fizična varnost - za zaščito objekta pred nepooblaščenim fizičnim dostopom s pomočjo prijavnih postopkov, elektronskih in biometričnih varnostnih naprav itd.

 Nadzor dostopa do informacij - uporaba gesla in smernice za ustvarjanje varnih gesel, postopki avtorizacije dostopa in odgovornosti, zavarovanje oddaljenega dostopa prek modemov itd.

 Zaščita pred virusi - za zaščito sistemov in informacij pred virusi in podobnimi grožnjami

 Usposabljanje za ozaveščanje o varnosti informacij - za zagotovitev, da so zaposleni obveščeni o grožnjah in protiukrepih ter njihovi odgovornosti pri zavarovanju podjetja [3]

8) Ocenjevnje tveganja

Ocenjevanje tveganja je sistematičen pristop, ki vodstvu pomaga razumeti dejavnike tveganja, ki lahko negativno vplivajo na operativne sposobnosti organizacije. Pomaga tudi pri

(31)

19 sprejemanju premišljenih odločitev o obsegu ukrepov, potrebnih za zmanjšanje tveganja.

Vključuje dajanje prednostnih podatkov informacijskim sredstvom glede na tveganje, ki je povezano z njimi. To pomaga pri prepoznavanju najpomembnejših sredstev v organizaciji in osredotočanju energije in prizadevanj organizacije na njihovo zaščito. [3]

9) Upravljanje identitete

Pomembno je, da imajo organizacije edinstven identifikator za vsakega zaposlenega. Ta se pogosto uporablja kot njihova identiteta za dostop do vseh računalniških sistemov in tudi kot ključni identifikator posameznika v organizaciji. Če osnovo za identifikacijo osebja ločimo od tiste, ki se uporablja za računalniške sisteme, lahko tveganje zmanjšamo. To lahko povzroči dodatno delo, vendar bo zagotovo pomagalo omejiti škodo napada. [3]

10) Zavarovalna zaščita

Organizacija lahko kupi zavarovanje pred varnostnimi napadi. Vendar bo večina zavarovalnic iskala politike in postopke podjetij, ki delujejo v smeri zmanjšanja nevarnosti napadov. Na splošno se zavarovalnice ne obremenjujejo toliko z varnostnimi produkti, ki jih organizacija uporablja za ublažitev napadov, kot se obremenjujejo z ozaveščenostjo

zaposlenih, logičnim fizičnim in upravnim nadzorom dostopa ter varnostno politiko. [3]

(32)

20

3 Vprašalnik o socialnem inženiringu

Pripravljen je bil vprašalnik o socialnem inženiringu. Namen vprašalnika je na manjši populaciji preizkusiti, kako so ljudje ozaveščeni o napadih socialnega inženiringa in ali bi znali napade prepoznati ter se ob njih ustrezno odzvati.

Začetna vprašanja so zgolj demografska za ureditev oseb po skupinah, nato pa so sledila vprašanja, ki so bila v slogu treningov za ozaveščenost o socialnem inženiringu zaposlenih v večjih podjetjih. Vprašalnik je bil pripravljen z orodjem 1KA na spletni strani 1ka.arnes.si.

Vprašalnik je izpolnilo v celoti 60 oseb, 13 oseb je ni izpolnilo v celoti, zato njihovi odgovori pri analizi niso bili upoštevani.

Vsa vprašanja so priložena v prilogi.

3.1 Končni rezultati in kratka analiza

Slika 3. 1: Graf končnih rezultatov.

Od skupno 16-ih vprašanj, ki so se ocenjevala, je povprečje znašalo 59 %. Za test ozaveščenosti o socialnem inženiringu zaposlenih v večjih podjetjih je ponavadi potrebno zbrati vsaj 90 %, da zaposleni test opravijo.

Osebe, ki so izpolnile vprašalnik, so torej v veliki meri neozaveščene o teh napadih in zelo dovzetne do nenamernega razkritja svojih podatkov.

Spol ni imel posebno velikega vpliva na uspešnost vprašalnika, je pa zanimivo, da je s starostjo in izobrazbo uspešnost vprašalnika naraščala. Glede poklicne usmeritve so

družboslovno in naravoslovno usmerjeni rešili vprašalnik bolje kot splošno izobraženi.

Ljudje, ki še niso bili seznanjeni s socialnim inženiringom, so vprašalnik rešili nekoliko slabše.

Vprašalnik je bil sicer izveden na premajhni populaciji, zato ga ne moremo jemati kot splošno znanje ljudi o socialnem inženiringu. Število ljudi različnih spolov, starosti in usmeritev je bilo premajhno, da bi lahko iz rezultatov delali splošne zaključke oziroma te

(33)

21 rezultate obravnavali kot dejstva. Smo pa iz rezultatov izvedeli, da zagotovo obstaja relativno velik delež ljudi, ki o napadih socialnega inženiringa ni ozaveščen.

(34)

22

4 Testni phishing napad

Pripravljen je bil testni phishing napad, ki je bil poslan 20-im osebam kot e-mail sporočilo. Poslan je bil manjšemu številu oseb kot vprašalnik, saj žal ni bilo zbranih dovolj e- mail naslovov. 10 oseb je bilo v starostni skupini do 35 let, ostalih 10 pa nad 35 let. Namen napada je bil, da se preveri še v praksi, koliko ljudi bi kliknilo na zlonamerno povezavo v e- mail sporočilu in se posledično neuspešno odzvalo na napad socialnega inženiringa. Klik na povezavo namreč pomeni, da napada niso prepoznali.

4.1 Priprava okolja Kali Linux

Za začetek je bilo potrebno pripraviti okolje z Linux terminalom. Zelo priljubljeno okolje, ki se pogosto uporablja za kibernetske napade, se imenuje Kali Linux.

Kali Linux je distribucija Linuxa, ki temelji na Debianu. To je natančno izdelan operacijski sistem, ki je posebej prilagojen za digitalno forenziko in penetracijske teste.

Prisotnost številnih orodij, ki so vnaprej nameščena na Kali Linux, ga spremeni v idealno okolje za etično izvajanje kibernetskih napadov.

Kali Linux se lahko uporablja neposredno v sistemu Windows z uporabo WSL 2 (Windows Subsystem for Linux). WSL 2 razvijalcem omogoča izvajanje okolja Linux, vključno z večino orodij, pripomočkov in aplikacij ukazne vrstice, neposredno v sistemu Windows, brez stroškov tradicionalnega navideznega stroja ali nastavitve dvojnega zagona.

Pred namestitvijo distribucije Linuxa v sistem Windows, je bilo potrebno najprej omogočiti izbirno funkcijo WSL. To izvedemo z naslednjim ukazom v Windows PowerShellu, ki ga zaženemo kot administrator:

 dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

Omogočiti je bilo potrebno še dodatno funkcijo platforme navideznih strojev:

 dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

(35)

23 Z Microsoft Storea je bilo nato potrebno prenesti in namestiti Kali Linux. Ob zagonu je zelo uporabno namestiti še grafični uporabniški vmesnik (GUI).

Slika 4. 1: Aplikacija Kali Linux.

Nato je bilo potrebno namestiti še grafično namizno okolje za operacijske sisteme Unix.

Ena izmed možnosti je XFCE. Potrebno je vnesti ukaz:

 sudo apt install kali-desktop-xfce -y

Naslednji korak je namestitev XRDP. XRDP je brezplačna in odprtokodna izvedba strežnika Microsoft RDP (Remote Desktop Protocol), ki operacijskim sistemom, ki niso Microsoft Windows (na primer operacijski sistemi v slogu Linux), nudi popolnoma funkcionalno izkušnjo oddaljenega namizja, združljivo z RDP. Deluje tako, da preklopi grafiko iz sistema X Window do odjemalca in posreduje kontrole od odjemalca nazaj do X.

Ukaza, ki ju je potrebno poslati v Kali Linux:

 sudo apt install xrdp -y

 sudo service xrdp start

Nato pogledamo naš IP naslov z »ip address« in ga vpišemo v Windows Remote Desktop aplikacijo. Tako vstopimo v Kali Linux GUI.

4.2 Orodje Blackeye

Za phishing napade je že nekaj časa zelo priljubljeno orodje Blackeye [13], ki ga lahko prenesemo z GitHuba. Ker je preprosto za uporabo, je bilo to orodje idealno za ta testni phishing napad. To storimo z ukazom:

(36)

24

 git clone https://github.com/An0nUD4Y/blackeye

Slika 4. 2: Orodje Blackeye.

Nato se premaknemo v mapo »blackeye« in poženemo skripto »blackeye.sh«. Prikažejo se nam možnosti spletnih strani, kjer izberemo stran, ki jo želimo prikazati uporabniku, ki ga skušamo prevarati.

Preden ustvarimo povezavo, je potrebno naložiti še NGROK. NGROK omogoča, da spletni strežnik, ki deluje na lokalnem računalniku, izpostavimo internetu. Treba je samo definirati, na katerih vratih posluša naš spletni strežnik. Z njim vzpostavimo HTTP tunel.

Najprej si moramo ustvariti NGROK račun in prenesti stisnjeno datoteko. Nato

zaženemo ukaz, ki naš avtentikacijski token doda privzeti konfiguracijski datoteki ngrok.yml:

 ./ngrok authtoken 1wwuP91A7iwH8AueP04Cp8e1BxY

Zdaj lahko začnemo uporabljati Blackeye orodje. Najprej izberemo številko strani, za katero želimo, da jo prikaže povezava. Ker želimo, da je naš napad etičen, izberemo

»Custom«, da se lahko vpiše besedilo, ki se prikaže na strani. Tako se lahko na stran vnese besedilo, da je to zgolj test phishinga in da naj osebe ne vpisujejo uporabniškega imena in gesla v okenca.

(37)

25

Slika 4. 3: Po meri narejena stran, kamor so preusmerjene »žrtve«.

Odpreti je bilo potrebno še dva terminala. V prvem se je treba pomakniti v mapo

/home/blackeye in napisati ukaz »./ngrok http 8080«, da se ustvari povezava do našega HTTP tunela. V drugem terminalu pa se pomaknemo v mapo home/blackeye/create, ker smo izbrali možnost »Custom«. Če bi za primer izbrali Facebook, bi se pomaknili v

home/blackeye/facebook. Sledi ukaz »php -S localhost:8080«, da se nam prikazujejo informacije o tem, kdaj je kdo odprl povezavo in vpisal poverilnice. Če žrtev vnese uporabniško ime in geslo, se nam ti podatki izpišejo in shranijo v tekstovno datoteko.

Slika 4. 4: Rezultat ukaza »./ngrok http 8080

(38)

26

Slika 4. 6: Izpisan IP naslov in uporabniško ime in geslo, ki ga je vpisala žrtev.

4.3 Orodje MaskPhish

Uporabno orodje je tudi MaskPhish [14], ki zamaskira povezavo, da izgleda bolj legitimna. Potrebno je samo zagnati MaskPhish skripto, vnesti domeno, v katero želimo zamaskirati povezavo, in nekaj besed, ki sledijo po domeni.

Slika 4. 5: Rezultat ukaza »php -S localhost:8080«.

(39)

27

Slika 4. 7: Orodje MaskPhish.

4.4 Bitly

Uporaba MaskPhish je zgolj predlagana, saj obstaja mnogo drugih orodij. Zadnje čase je zelo učinkovita metoda tudi ta, da na internetu preprosto poiščemo neko stran, ki skrajša povezavo. Zelo priljubljena je stran https://bitly.com/, ki povezavo preoblikuje v nekaj kot je https://bit.ly/xxxxxxx. Bitly uporabljajo mnoge velike organizacije kot so Disney, ESPN in Amazon in zato povezava izgleda daleč od sumljive. Namen Bitlyja je sicer, da dolgo

povezavo skrajša, da je bolj berljiva, kar je dobro za marketing, je pa to zelo uporabno tudi pri socialnem inženiringu.

4.5 Orodje SET

Za napad je bilo preneseno tudi orodje The Social-Engineer Toolkit (SET) [15]. SET je odprtokodni framework za penetracijske teste, zasnovan za socialni inženiring. SET je produkt podjetja TrustedSec - svetovalnega podjetja za varnost informacij, ki se nahaja v Clevelandu v Ohiu.

(40)

28 S tem orodjem se zlahka pošilja e-mail phishing sporočila. Potrebno je zgolj izbrati možnost 5 – Mass maile ter nato izbrati ali želimo poslati enemu prejemniku ali večim hkrati.

Za več prejemnikov hkrati je potrebno dodati pot do tekstovne datoteke, ki pošilja na vsak e- mail naslov posebej, ločeno po vrsticah. Orodju še sporočimo pod kakšnim imenom bomo poslali e-mail, ter kaj bosta zadeva in vsebina. Vsebina je lahko v navadnem besedilu ali pa oblikovana s HTML-jem. Tu dodamo tudi našo zamaskirano povezavo in pošljemo.

Slika 4. 8: SET proces pošiljanja e-mail-a (prvi del).

(41)

29

Slika 4. 9: SET proces pošiljanja e-mail-a (drugi del).

4.6 Končni e-mail

Slika 4. 10: E-mail s prevarantsko povezavo

Zgornji e-mail ni prišel preko filtrov za vsiljeno pošto. Možni razlogi:

 Ključna beseda »Facebook« v telesu sporočila se pojavi dvakrat,

 sprememba stila pisave,

 sumljiva povezava vsebuje besedo »facebook«.

(42)

30 E-mail je bilo zato potrebno preurediti. Potrebno je bilo izpustiti besedo »Facebook«, obdržati enak slog pisave za celotno vsebino ter poskusiti z Bitly.

Slika 4. 11: Končni e-mail.

Nov e-mail je izgledal tako kot slika zgoraj. Ta e-mail je prišel skozi filtre vsiljene pošte (vsaj pri testni osebi).

4.7 Rezultati napada

E-mail je bil nato preposlan z uporabo SET 20-im različnim osebam. V terminalu, kjer je bil zagnan ukaz »php -S localhost:8080« se je lahko videlo, kdaj je ena oseba kliknila na povezavo.

Slika 4. 12: Izpis v terminalu ob enem kliku na povezavo.

V terminalu so se v 12-ih urah, odkar so bila e-mail sporočila poslana, pojavile 4 zahteve »GET /login.html«, kar pomeni, da so 4 osebe kliknile na povezavo. Kasneje se je kontaktiralo vse udeležence tega testnega napada, da bi se ugotovilo, kdo so bile te 4 osebe, ki so kliknile na povezavo in zanimivo je bilo, da so bile vse 4 osebe v starejši starostni skupini (nad 35 let).

Rezultat je bil pričakovan, saj so mlajši ljudje odraščali v »dobi pametnih telefonov« in se pogosteje srečujejo z napadi socialnega inženiringa ter jih posledično lažje prepoznajo.

(43)

31 Poleg prepoznave napada obstaja tudi možnost, da so osebe, ki povezave niso kliknile, e-mail sporočilo spregledale, ali pa je bilo sporočilo prestreženo s filtri za vsiljeno pošto.

Treba pa je vedeti, da kljub pričakovanim rezultatom testnega kibernetskega napada, tu ne moremo delati splošnih zaključkov, saj je bila testna skupina uporabnikov premajhna.

(44)

32

5 Sklep

Uporabnika torej lahko smatramo za največjo ranljivost vsake organizacije. To je zato, ker smo ljudje najpomembnejši del informacijske varnosti in vsi ljudje delamo napake.

Socialni inženirji te napake poskušajo izkoristiti na različne možne načine, ki so bili opisani v tem delu.

Kot smo lahko razbrali iz rezultatov vprašalnika, je približno polovica ljudi slabo ozaveščena o napadih socialnega inženiringa. Ti ljudje bi v veliko scenarijih ravnali napačno in ogrozili svoje zasebne podatke ali podatke svojega podjetja ali organizacije.

Iz poskusnega napada phishing-a preko e-maila smo lahko videli, kako preprosto napadalec ustvari phishing napad. Obstajajo še številna druga orodja, ki lahko napadalcu še bolj olajšajo delo, tudi lažno e-mail sporočilo bi lahko izgledalo mnogo prepričljivejše od tega, ki je bilo pripravljeno v testnem napadu.

Zato je pomembno, da upoštevamo smernice za obrambo, ki so bile opisane v poglavju 2.6. Preden odpiramo sumljive povezave, je vedno potrebno razmisliti in preveriti vir, ter imeti dobro zaščiten sistem, da ne postanemo žrtve teh napadov.

V prihodnosti bo kibernetskih napadov vedno več, ampak prav tako bodo novejše generacije zaradi večjega tehnološkega znanja in izkušenj o teh napadih bolj ozaveščene. Ker starejši ljudje niso odraščali v »dobi pametnih telefonov«, so manj izkušeni in težje

prepoznajo te napade, kar pa ne bi smela biti težava pri mlajših generacijah.

(45)

33

6 Viri

[1] Zuoguang Wang, Hongsong Zhu, Limin Sun , »Defining Social Engineering in Cybersecurity«, Dosegljivo: https://ieeexplore.ieee.org/document/9087851.

[Dostopano: julij 2021].

[2] Zuoguang Wang, Hongsong Zhu, Limin Sun , »Social Engineering in Cybersecurity:

Effect Mechanisms, Human Vulnerabilities and Attack Methods« Dosegljivo:

https://ieeexplore.ieee.org/document/9323026. [Dostopano: julij 2021].

[3] Ashish Thapar, »Social Engineering: An attack vector most intricate to tackle«

Dosegljivo: https://www.coursehero.com/file/27129635/Social-Engineering- AThaparpdf/. [Dostopano: julij 2021].

[4] »6 Types of Social Engineering Attacks« Dosegljivo:

https://www.mitnicksecurity.com/blog/6-types-of-social-engineering-attacks.

[5] Abdullah Algarni, Yue Xu, Taizan Chan, Yu-Chu Tian, »Social engineering in social networking sites: Affect-based model« Dosegljivo:

[6] Siti Nur Hidayah Zulkiffli, Md Nabil Ahmad Zawawi, Fiza Abdul Rahim, »Passive and Active Reconnaissance: A Social Engineering Case Study« Dosegljivo:

[7] »What is the impact of social engineering attacks?« Dosegljivo:

https://hackcontrol.org/cases/what-is-the-impact-of-social-engineering-attacks/.

[8] Samar Muslah Albladi, George R. S. Weir, »Personality traits and cyber-attack victimisation: Multiple mediation analysis« Dosegljivo:

[9] Imperva.com, »What is Spear Phishing« Dosegljivo:

https://www.imperva.com/learn/application-security/spear-phishing/ [Dostopano: julij 2021].

[10] Ben Lutkevich, »whaling attack (whaling phishing)«, Dosegljivo:

https://searchsecurity.techtarget.com/definition/whaling [Dostopano: julij 2021]

[11] Abid Jamil, »Life Cycle of Social Engineering Attacks«, Dosegljivo:

https://www.researchgate.net/figure/Life-Cycle-of-Social-Engineering-Attacks- 21_fig1_330632904 [Dostopano: julij 2021].

(46)

34 [12] Kaspersky.com, »Ways to avoid social engineering attacks«, Dosegljivo:

https://www.kaspersky.com/resource-center/threats/how-to-avoid-social-engineering- attacks [Dostopano: avgust 2021].

[13] Vinugayathri Chinnasamy, »10 Ways Businesses Can Prevent Social Engineering Attacks«, Dosegljivo: https://www.indusface.com/blog/10-ways-businesses-can- prevent-social-engineering-attacks/#1_Multi-Factor_Authentication [Dostopano:

avgust 2021].

[14] 1ka, Dosegljivo: https://1ka.arnes.si/ [Dostopano: avgust 2021].

[15] An0nUD4Y, »Blackeye«, Dosegljivo: https://github.com/An0nUD4Y/blackeye

[Dostopano: avgust 2021].

[16] Jaykali, »Maskphish«, Dosegljivo: https://github.com/jaykali/maskphish [Dostopano: avgust 2021].

[17] TrustedSec, »The Social-Engineer Toolkit«, Dosegljivo:

https://github.com/trustedsec/social-engineer-toolkit [Dostopano: avgust 2021]

[18] Vijay Kanade, »What Is Social Engineering? Definition, Types, Techniques of Attacks, Impact, and Trends«, Dosegljivo: https://www.toolbox.com/it-

security/vulnerability-management/articles/what-is-social-engineering/ [Dostopano:

avgust 2021].

(47)

35

7 Priloge

7.1 Demografska vprašanja vprašalnika

Slika 7. 1: Delež moških in žensk, ki so izpolnili vprašalnik.

Slika 7. 2: Delež starostnih skupin oseb, ki so izpolnile vprašalnik.

Slika 7. 3: Stopnja izobrazbe oseb, ki so izpolnile vprašalnik.

(48)

36

Slika 7. 3: Usmeritev oseb, ki so izpolnile vprašalnik.

Slika 7. 4: Delež oseb, ki so bile seznanjene s pojmom socialnega inženiringa.

Slika 7. 5: Delež oseb, ki so že bile (ali pa ne vedo) tarča napadov socialnega inženiringa.

Zanimivo je, da kar polovica oseb, ki so izpolnile vprašalnik še niso bile (ali pa ne vedo, da so bile) tarča napadov socialnega inženiringa. Ti ljudje so zaradi pomanjkanja izkušenj tudi bolj ogroženi.

(49)

37 7.2 Rezultati ostalih vprašanj vprašalnika

Slika 7. 6: Vprašanje 7.

Pri zgornjem vprašanju so vsi možni odgovori pravilni. Večina oseb, ki so izpolnile vprašalnik pa je kot napad prepoznala zgolj prvi odgovor. To nakazuje, da večina ljudi ne bi prepoznala različnih možnih napadov socialnega inženiringa, ki ne potekajo preko e-mail

sporočil.

Pravilno je odgovorilo 88 % oseb, ki so izpolnile vprašanje. Ponujena sta bila še dva možna odgovora, ki nista bila izbrana.

(50)

38

Pravilno je odgovorilo 37 % oseb, ki so izpolnile vprašanje. Ponujena sta bila še dva možna odgovora, ki nista bila izbrana.glasov.

(51)

39 Pravilno je odgovorilo 38 % oseb, ki so izpolnile vprašanje. Ponujena sta bila še dva možna odgovora, ki nista bila izbrana.

(52)

(53)

41 Pravilno je odgovorilo 78 % oseb, ki so izpolnile vprašanje. Ponujena sta bila še dva možna odgovora, ki nista bila izbrana..

(54)

(55)