Kaznivo dejanje po slovenski zakonodaji je človekovo protipravno ravnanje, ki ga zakon zaradi nujnega varstva pravnih vrednost določa kot kaznivo dejanje in določa njegove znake ter kazen za krivega storilca.51 Za kaznivo dejanje odgovarja storilec, ki je bil v času storitve kaznivega dejanja prišteven in je ravnal z naklepom ali iz malomarnosti, pri tem pa bi se moral in mogel zavedati, da ravna v nasprotju s pravom in če niso podani razlogi, ki izključujejo krivdo.52 Prištevnost pomeni, da je storilec v času kršitve intelektualno in voljno sposobna oseba. Kazenski zakonik53 določa, da je neprišteven tisti, ki ob storitvi protipravnega dejanja ni mogel razumeti pomena svojega dejanja ali ni mogel imeti v oblasti svojega ravnanja zaradi duševne motnje ali duševne manjrazvitosti.54 Krivdno ravnanje pa pomeni, da je bilo dejanje storjeno iz naklepa ali malomarnosti.
49Povzeto po M. Kaevats, Estonia considers a »kratt law« to legalise Artificial Intelligence, 25. 11. 2017, dostopno na: https://medium.com/e-residency-blog/estonia-starts-public-discussion-legalising-ai-166cb8e34596.
50Povzeto po Y. Hu, Robot Criminals, University of Michigan Journal of Law Reform, Volume 52, 2019, str. 490, dostopno na:
https://repository.law.umich.edu/cgi/viewcontent.cgi?article=1806&context=mjlr.
51 Citiran 16. člen KZ-1.
52 Citiran 24. člen KZ-1.
53 Kazenski zakonik (Uradni list RS, št. 50/12 – uradno prečiščeno besedilo, 6/16 – popr., 54/15, 38/16, 27/17, 23/20 in 91/20; v nadaljevanju KZ-1).
54 Citiran 29. člen KZ-1.
15 4.2 Kazenska odgovornost pravnih oseb
Tudi pravne osebe so lahko v določenih primerih odgovorne za pravne kršitve, ki jih storijo njihovi organi. Pri tem pa je pomembno izpostaviti, da gre vseeno za ravnanja fizičnih oseb, ki nastopajo kot organi pravne osebe ali pa kot delavci pravne osebe. 55
KZ-1 v 42. členu določa, da je storilec izvršil kaznivo dejanje »v imenu, na račun ali v korist pravne osebe in je v zakonu, ki ureja odgovornost pravnih oseb za kazniva dejanja navedeno, da je pravna oseba zanj odgovorna. Kazenska odgovornost pa ne izključuje odgovornosti fizičnih oseb kot storilcev, napeljevalcev ali pomagačev pri istem kaznivem dejanju«.56 Zakon o odgovornosti pravnih oseb57 v 4.
členu določa, da je pravna oseba kazensko odgovorna, »če pomeni storjeno kaznivo dejanje izvršitev protipravnega sklepa, naloga ali odobritve njenih vodstvenih ali nadzornih organov, če so njeni vodstveni ali nadzorni organi vplivali na storilca ali mu omogočili, da je storil kaznivo dejanje; če pridobi protipravno premoženjsko korist iz kaznivega dejanja ali predmete, nastale s kaznivim dejanjem in če so njeni vodstveni ali nadzorni organi opustili dolžno nadzorstvo nad zakonitostjo ravnanja njim podrejenih delavcev.«58
Nadalje Zakon o gospodarskih družbah59 vprašanje zlorab pravnih oseb rešuje z institutom spregleda pravne osebnosti, v okviru katerega za obveznosti pravne osebe odgovarja tudi družbenik, ki je pravno osebo zlorabil za to, da bi dosegel svoj cilj, ki je zanj kot posameznika prepovedan.60
Glede na zapisano, lahko v Sloveniji za kazniva dejanja odgovarjajo le ljudje ter v nekaterih primerih pravne osebe. Roboti po trenutno veljavni zakonodaji ne spadajo v nobeno od navedenih kategorij. Tudi če v KZ-1 ne bi bilo eksplicitno določeno, da je kaznivo dejanje lahko človekovo protipravno ravnanje, bi bilo težko dokazati ostale elemente kaznivega dejanja, npr. prištevnost in krivdno ravnanje. Po trenutno veljavni slovenski zakonodaji roboti nimajo statusa pravne osebe, vendar tudi, če bi ga imeli, bi bilo potrebno upoštevati institut spregleda pravne osebnosti, ki bi prišel v poštev, če bi človek robota izkoristil za storitev kaznivega dejanja.
55 Povzeto po Pavčnik M., Teorija prva: prispevek k razumevanju prava, Lexpera, GV Založba, Ljubljana 2020, str. 150-153 in 162.
56 Citiran 42. člen KZ-1.
57 Zakon o odgovornosti pravnih oseb (Uradni list RS, št. 98/04 – uradno prečiščeno besedilo, 65/08 in 57/12; v nadaljevanju: ZOPOKD).
58 Povzeto po ZOPOKD in citiran 4. člen.
59 Zakon o gospodarskih družbah (Uradni list RS, št. 65/09 – uradno prečiščeno
besedilo, 33/11, 91/11, 32/12, 57/12, 44/13 – odl. US, 82/13, 55/15, 15/17, 22/19 – ZPosS, 158/20 – ZIntPK-C in 18/21; v nadaljevanju ZGD-1)
60 Povzeto po 8. členu ZGD-1.
16 4.3 Možne oblike kazenske odgovornosti za dejanja robotov
Če robot povzroči neželeno posledico, recimo premoženjsko škodo, smrt ali telesno poškodbo fizične osebe je na mestu vprašanje, kdo je odgovoren za posledice dejanja robotov. Morda je fizična oseba robota uporabila le kot orodje, s katerim je storila kaznivo dejanje, morda je robota izkoristila za storitev kaznivega dejanja ali morda robot ni bil proizveden dovolj varno in z upoštevanjem vseh pravil. Obstaja tudi vsaj teoretična možnost, da bi robot namenoma storil kaznivo dejanje, s popolnim zavedanjem posledic svojih dejanj in s hotenjem, da pride do posledic. Trenutno UI še ni na tej stopnji, da bi želela storiti karkoli drugega razen tega, za kar je ustvarjena ali do česar pride pomotoma61, vendar s pospešenim razvojem tehnologije ni mogoče zagotovo trditi, da do takšnih situacij v prihodnosti ne bo prišlo.
4.4 Robot kot sredstvo za izvršitev človekove kriminalne zamisli
Roboti so trenutno v pravo obravnavani kot stvari, ki so narejene za dosego določenih ciljev, recimo za pomoč v proizvodnji, pomoč pri domačih opravilih, pri vojaških spopadih itd. Vsi cilji, ki jih ljudje želijo doseči z uporabo robotov pa niso nujno zakoniti, saj tudi pri uporabi robotov, kot pri vseh ostalih stvareh, obstaja možnost zlorab. Za dejanja, ki jih stori robot ali so storjena z robotom je odgovoren človek, če robota le izkoristi ali zlorabi tako, da preko njega izvede kaznivo dejanje. V teh primerih je storilec človek, robot pa zgolj njegovo sredstvo.62
Pri tem načinu je vseeno kakšne vrste robota gre, lahko je robot v najbolj enostavni obliki ali pa robot, ki vsebuje umetno inteligenco.
4.5 Robot kot neposredni storilec, ki ga izrabi ali vodi posredni storilec
Uporabi robota kot sredstvo za izvršitev človekove kriminalne zamisli, je podoben model izvedbe kaznivega dejanja preko druge osebe63, ki ga je predstavil Hallevy.64 Pri tem modelu UI ali robot ni več le sredstvo, temveč je nedolžni agent, ki ga je storilec uporabil za izvršitev kaznivega dejanja. UI
61 Na primer, podjetje Facebook je leta 2017 izklopilo programa UI, ko sta ustvarila svoj jezik pogovora in ju raziskovalci ter opazovalci niso več razumeli. Seveda programa UI tega nista storila namenoma, našla sta le lažji način sporazumevanja, raziskovalci pa poskusa niso mogli dokončati, če ga niso več razumeli. Povzeto po:
Facebook researchers shut down AI bots that started speaking in a language unintelligible to humans, 1. 8. 2017, dostopno na: https://www.firstpost.com/tech/news-analysis/facebook-researchers-shut-down-ai-bots-that-started-speaking-in-a-language-unintelligible-to-humans-3876197.html.
62 Povzeto po J. Jakšič, Vprašanje reforme slovenske kazenskopravne ureditve zaradi razvoja umetne inteligence, Revija za kriminalistiko in kriminologijo, Ljubljana 69, 2018, str. 194 - 205, dostopno na:
https://www.policija.si/images/stories/Publikacije/RKK/PDF/2018/03/RKK2018-03_JureJaksic_VprasanjeReforme.pdf.
63 Ang. Perpetration-via-Another Liability.
64 Povzeto po G. Hallevy, The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control, The University of Akron, Akron Intellectual Property Journal, marec 2016, str. 179 – 181, dostopno na:
https://ideaexchange.uakron.edu/cgi/viewcontent.cgi?article=1037&context=akronintellectualproperty.
17 primerja z osebo, ki je duševno motena ali z otrokom, saj je v obeh primerih takšna oseba lahko le neke vrste posrednik, medtem ko je dejanski storilec kaznivega dejanja tisti, ki ravnanje vodi iz ozadja. Pri robotih bi bil lahko posredni storilec dejanja programer robota, ki UI, ki jo robot vsebuje tako programira, da stori kaznivo dejanje. Na primer, če robot ponoči zažge tovarno, je dejanski storilec kaznivega dejanja programer, kljub temu, da je dejanje neposredno storil robot. Posredni storilec bi bil lahko tudi končni uporabnik robota, ki le-temu ukaže, da nekoga ubije. Hallevy navedeno primerja s psom, ki uboga ukaze, vendar se uporaba robota za storitev kaznivega dejanja razlikuje od uporabe izvijača ali psa v tem, da izvijač ne more ubogati ukazov, ki jih pes lahko, pes pa ne more ubogati zelo zapletenih ukazov, ki jih UI lahko.
V slovenski zakonodaji je posredni storilec lahko le človek. KZ-1 posredno storilstvo opredeljuje v 20.
členu z naslovom »Storilec in sostorilec«, ki določa, da je storilec kaznivega dejanja vsak, »ki ga stori osebno ali z izrabljanjem in vodenjem ravnanj drugega (posredni storilec)«65. Posredni storilec je opredeljen kot oseba, ki izrablja ali vodi ravnanja neposrednega storilca, da stori dejanje, nad katerim ima oblast posredni storilec. Značilno je tudi, da posredni storilec ravna z naklepom, medtem ko je pri neposrednem storilcu odsotnost naklepa.
Tipične oblike posrednega storilstva so: 1) ko ravnanje neposrednega storilca ne izpolni znakov kaznivega dejanja, pri tem gre pogosto za primere samopoškodbe, ko sta neposredni storilec in oškodovanec ista oseba;, 2) ko ravnanje neposrednega storilca izpolni znake kaznivega dejanja, ampak je podan eden od razlogov izključitve protipravnosti; 3) ko neposredni storilec ravna z zmanjšano krivdo ali brez krivde, tipično gre za primere, pri katerih neposredni storilec dejanje stori zaradi zmote, opravičljive skrajne sile ali krivde nesposobnosti (otrok, neprištevna oseba); 4) ko neposredni storilec nima lastnosti, ki jih pri določenih kaznivih dejanjih zahteva zakon, npr. ni uradna oseba ter 5) ko gre za uporabo organiziranega aparata moči ali 6) vodjo hudodelske združbe.66
Po trenutno veljavni zakonodaji roboti torej ne morejo biti obravnavani kot posredni storilci, lahko so le sredstva za dosego (nedovoljenega) cilja. Hallevyjev model robote in UI predvideva nekje vmes, med sredstvi in posrednimi storilci, kot jih razumemo po slovenskem pravu.
4.6 Kazenska odgovornost proizvajalcev za dejanja robotov
Roboti so običajno sestavljeni iz mehanskih elementov ter programov, ki lahko vsebujejo UI ali pa ne.
Veliko robotov ima tudi senzorje, ki jim pomagajo pri manevriranju po svojem okolju. Roboti se med
65 Citirano KZ-1, prvi odstavek 20. člena.
66 Povzeto po magistrski nalogi M. Maver, Posredni storilec pri kaznivem dejanju, Pravna fakulteta, Univerza v Ljubljani, december 2017, str. 12 – 19.
18 seboj močno razlikujejo po oblikah in namenu, vendar je vsem skupno, da morajo biti vsi njihovi elementi v postopku proizvodnje združeni tako, da nastane varen proizvod.67
V Združenih državah Amerike je vrhovno sodišče v New Yorku v precedenčnem primeru Jones v. W + M Automation, Inc., 818 N.Y.S.2d 396 leta 2006 razsodilo, da podjetje, ki je proizvedlo robota, ki je poškodoval tožnika ni odgovorno za njegovo poškodbo, ker je bil del robota dodan naknadno in ker je bil proizveden v skladu s pravili stroke. Tožnik je bil zaposlen v proizvodnji avtomobilov General Motors, kjer ga je med delom v glavo zadela premična roka robota in povzročila hude poškodbe glave.
Proizvajalec robota je bil oproščen, ker je bil robot proizveden v skladu s pravili stroke, nesreča se je pa zgodila zaradi dodane komponente, ki jo je dodalo podjetje General Motors.68
V primeru iz prejšnjega odstavka je bila robotu dodana fizična komponenta, dilema pa je, kdo je kazensko odgovoren za kazniva dejanja robota, ki vsebuje UI, ki se je sposobna učiti tudi po postopku proizvodnje. Določena stopnja predvidljivosti vedenja robota se pričakuje, vendar lahko pride do nenačrtovanih in nepredvidljivih situacij, na katere bi lahko robot odreagiral nepredvidljivo, zaradi specifičnega okolja v katerem se je učil. V takšnih primerih kazenska odgovornost proizvajalca ni samoumevna, vendar tudi sam uporabnik ni nujno odgovoren za dejanja robota. Ravno v takšnih situacijah se pokaže smisel modela neposredne odgovornosti robotov za svoja dejanja.69
V zvezi z navedenim je Hallevy predlagal še en model kazenske odgovornosti za dejanja robotov, ki bolj podrobno opredeli eno izmed možnih situacij pri dejanjih robotov, ki vsebujejo UI.70 Po modelu naravne in verjetne posledice71 so za dejanja robotov kazensko odgovorni programerji ali uporabniki UI, če jim lahko dokažemo malomarnost. Če bi programer UI ali uporabnik moral vedeti, da je naravna in verjetna posledica njegovih ravnanj neželena posledica, ki jo je storila UI ali robot, je kazensko odgovoren, tudi če ne želi, da bi prišlo do kaznivega dejanja in ne more vplivati na UI ali robota, medtem ko stori kaznivo dejanje.72
67 Povzeto po prvem odstavku 5. člena Zakona o splošni varnosti proizvodov (Uradni list RS, št. 101/03).
68 Povzeto po THOMAS E. JONES et al., Respondents-Appellants, v. W + M AUTOMATION, INC., et al., Appellants-Respondents, TRI-TEC CONTROLS, INC., et al., Respondents, et al., Defendants., 7. 7. 2021, dostopno na: https://h2o.law.harvard.edu/cases/5775.
69 Povzeto po F. Houvast, R. Timmerman, Y. Zwaan, Exploring the Legal Rights & Obligations of Robots, Utrecht University, april 2018, str. 5.
70 Povzeto po G. Hallevy, The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control, The University of Akron, Akron Intellectual Property Journal, marec 2016, str. 181 - 186 , dostopno na:
https://ideaexchange.uakron.edu/cgi/viewcontent.cgi?article=1037&context=akronintellectualproperty.
71 Ang. Natural-Probable-Consequence).
72 Povzeto po G. Hallevy, The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control, The University of Akron, Akron Intellectual Property Journal, marec 2016, str. 181 - 186 , dostopno na:
https://ideaexchange.uakron.edu/cgi/viewcontent.cgi?article=1037&context=akronintellectualproperty
19 Nekaj več o kazenski odgovornosti proizvajalcev robotov sledi v poglavju, ki se ukvarja z avtonomnimi vozili.
4.7 Roboti sami kazensko odgovarjajo za svoja dejanja
Že leta se trudimo, da bi bili roboti čim bolj samostojni in čim bolj inteligentni, saj bi tako pomagali narediti naša življenja bolj enostavna in avtomatizirana. Ta trud pa po drugi strani prinese s sabo tudi težje razumevanje dejanj robotov. Že sedaj zelo avtonomni in napredni roboti z UI delujejo tako zapleteno, da tudi razvijalci robotov včasih težko razumejo, zakaj so prišli do določenih odločitev. Med drugim se je tudi zaradi navedenega pojavila ideja, da bi bilo smiselno vzpostaviti sistem, po katerem bi bili roboti sami kazensko odgovorni za svoja dejanja.
Eden izmed razlogov, zakaj nekateri strokovnjaki menijo, da bi bilo potrebno vzpostaviti posebna pravila, po katerih bi roboti za svoja dejanja kazensko odgovarjali sami je, da včasih obstajajo posebne okoliščine, v katerih bi roboti morali biti zavezani k višjim ali vsaj enakim moralnim standardom kot ljudje. Na primer, če vidimo nekoga, ki se utaplja, ne bomo avtomatično kazensko odgovorni za njegovo smrt, če ga ne bomo poskušali rešiti.73 Če bi pa robot opazil nekoga, ki se utaplja in preračunal možne rešitve ter prišel do odločitve, da utapljajočega ne bo rešil, ker obstaja možnost, da bi pri tem sam padel v vodo ter se poškodoval ali uničil, bi večina ljudi verjetno menila, da bi robot moral v vsakem primeru, tudi na škodo samega sebe, poskusiti rešiti utapljajočega. Tako bi menili zato, ker morda obstaja zelo majhna možnost, da bi se robot pri tem dejansko uničil ali pa zato, ker bi se robot sicer fizično uničil, ampak bi njegovi »možgani« (program, temelječ na UI) preživeli na oblaku ali pa zato, ker robot ni enakovreden človeškemu življenju. Če bi imeli posebna pravila, ki bi veljala za robote, bi v njih lahko opredelili minimum moralnih standardov, s katerimi bi bili roboti zavezani. Pomembno je, da se pravila vzpostavijo na ravni države, saj bi bila v nasprotnem primeru ureditev tega vprašanja prepuščena posameznim proizvajalcem robotov. Razlog za vzpostavitev posebnih pravil za ureditev kazenske odgovornosti robotov za svoja dejanja je tudi ta, da se bodo roboti v prihodnosti morda soočali z novimi moralnimi izzivi in vprašanji, s katerimi se ljudje do sedaj še nismo.74
Za vzpostavitev sistema kazenske odgovornosti robotov za svoja dejanja so po mnenju nekaterih strokovnjakov potrebne tri predpostavke: a) robot mora vsebovati algoritme, ki lahko sprejemajo
73 Kot je objavljeno tudi v Nasvetih za večjo varnost v in ob vodi na spletni strani Policije: »Če opazite, da se nekdo utaplja, ne skačite brezglavo za njim v vodo. Če niste dober plavalec, bo vaš pogum lahko zaman, reševalci pa bodo morali namesto ene osebe lahko reševati celo dve.«, dostopno na:
https://www.policija.si/svetujemo-ozavescamo/javni-red-in-mir/varnost-v-in-ob-vodi.
74Povzeto po Y. Hu, Robot Criminals, University of Michigan Journal of Law Reform, Volume 52, 2019, str. 500 - 503, dostopno na:
https://repository.law.umich.edu/cgi/viewcontent.cgi?article=1806&context=mjlr.
20 moralne odločitve, b) mora biti sposoben ljudem sporočiti svoje moralne odločitve na razumljiv način in c) dovoljeno mu mora biti ravnanje v svojem okolju, brez neposrednega človeškega nadzora.
Pri prvem pogoju se kot moralne odločitve mišljene tiste odločitve, pri katerih se moramo odločiti med različnimi dejanji, ki bi jih običajni člani družbe šteli za pravilne ali napačne. Neizbežno je, da se bodo roboti v prihodnosti vedno bolj pogosto soočali s takšnimi dilemami. Ta pogoj za vzpostavitev sistema kazenske odgovornosti robotov za svoja dejanja pomaga razlikovati bolj napredne robote od preprostih orodij. Drugi pogoj je, da mora biti robot sposoben sporočati svoje moralne odločitve na razumljiv način.
To pomeni, da mora biti sposoben prikazati vse možne odločitve, ki bi jih lahko sprejel v določeni situaciji, skupaj s težo, ki jo je pripisal posameznim možnim ravnanjem in odločitev, ki jo je na koncu sprejel. Ta pogoj zagotavlja, da so ljudje seznanjeni s potekom sprejemanja moralnih odločitev robotov in njihova ravnanja lahko vrednotijo. Tretji pogoj zahteva, da roboti niso zgolj v svetovalni vlogi, temveč delujejo sami, brez neposrednega nadzora ljudi. V nasprotnem primeru, če bi ljudje ravnali sami na podlagi nasveta robota, bi bili še vedno sami odgovorni za svoja dejanja, kljub temu, da bi jih storili na podlagi odločitve robota.75
Na trenutni stopnji razvoja robotov in programov, ki z njimi upravljajo sva predvsem prvi dve točki problematični. Razvoj algoritmov in UI še ni tako daleč, da bi lahko sprejemali moralne odločitve in ne vemo kdaj bo do tega prišlo. Z razliko od tega, pa je v skladu s prvim odstavkom tega poglavja težava pri drugem pogoju, torej pri sposobnosti robota, da ljudem sporoči razloge za svoje (moralne) odločitve.
Če so algoritmi že sedaj tako zapleteni, da včasih postopka »razmišljanja« in delovanja robota ne moremo razumeti brez obsežne naknadne analize, bo ta pogoj tudi v prihodnosti predstavljal izziv, s katerim se že soočajo znanstveniki, ki skušajo oblikovati t.i. razložljivo UI (ang. Explainable AI oz.
XAI).
Nekateri strokovnjaki, še posebej Hallevy76 pa menijo, da že v tej točki razvoja robotov in UI ni nobenih zadržkov, da roboti ne bi bili kazensko odgovorni za svoja dejanja, morda le z nekaj prilagoditvami. Za kazensko odgovornost po Hallevyju sta potrebna zunanji element kaznivega dejanja in notranji element t.i. actus reus in mens rea. Zunanji element dejanja robota ni težko dokazati, na primer, če gre za storitev, je zunanji element razviden že, če robot premakne eno izmed svojih okončin, ki nato poškoduje človeka.
Še lažje pa je dokazati zunanji element, če gre za opustitev dolžnega ravnanja. Bolj zapleteno je dokazati notranji element kaznivega dejanja, pri katerem so glavne predispozicije znanje in krivdno ravnanje.
Znanje je za ta namen opredeljeno kot senzorični sprejem podatkov in razumevanje teh podatkov.
75Prav tam, str. 496 – 499.
76 Povzeto po G. Hallevy, The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control, The University of Akron, Akron Intellectual Property Journal, marec 2016, str. 186-193 , dostopno na:
https://ideaexchange.uakron.edu/cgi/viewcontent.cgi?article=1037&context=akronintellectualproperty.
21 Večina robotov in sistemov UI je dobro opremljena z receptorji za senzorične podatke in jih je zmožna tudi obdelovati. Bolj napredni algoritmi poskušajo celo posnemati delovanje človeškega kognitivnega
21 Večina robotov in sistemov UI je dobro opremljena z receptorji za senzorične podatke in jih je zmožna tudi obdelovati. Bolj napredni algoritmi poskušajo celo posnemati delovanje človeškega kognitivnega