Univerza v Ljubljani Pravna fakulteta
VIDIKI KAZENSKE ODGOVORNOSTI ZA DEJANJA ROBOTOV
(magistrsko diplomsko delo)
Avtorica: Maruša Gregorič
Mentor: prof. dr. Aleš Završnik, univ. dipl. prav.
Ljubljana, julij 2021
Univerza v Ljubljani Pravna fakulteta
VIDIKI KAZENSKE ODGOVORNOSTI ZA DEJANJA ROBOTOV
(magistrsko diplomsko delo)
Avtorica: Maruša Gregorič
Mentor: prof. dr. Aleš Završnik, univ. dipl. prav.
Ljubljana, julij 2021
Povzetek
Naslov: Vidiki kazenske odgovornosti za dejanja robotov Avtorica: Maruša Gregorič
Mentor: prof. dr. Aleš Završnik, univ. dipl. prav
Robote že dolgo uporabljamo na področju proizvodnje, sedaj pa postajajo tudi vedno bolj nepogrešljivi v vsakdanjem življenju. Bolj avtonomni in napredni kot so, bolj je pomembno korenito razmisliti o njihovem pravnem statusu ter o vidikih kazenske odgovornosti za njihova dejanja. Na svetovni ravni so se začele pojavljati pobude po boljši ureditvi pravnega statusa robotov, ki so v pravu trenutno obravnavani kot stvari. Možnosti so, da bi robote obravnavali kot pravne osebe ali da bi vzpostavili nov pravni subjekt v obliki e-osebnosti. Lahko bi tudi posnemali pravni status živali, ki niso ne pravni subjekti, niti ne le stvari. Nasprotniki teh pobud menijo, da je vzpostavitev novega sistema še preuranjena in bi povzročila več možnosti zlorab. Tudi zaradi navedenega se pojavljajo kritike podelitve državljanstva Savdske Arabije robotu Sophia, proizvajalca Hanson Robotics. Roboti že sedaj včasih povzročijo neželene posledice, recimo poškodbe ali smrt delavcev v proizvodnji, zato je pomembno opredeliti, kdo je kazensko odgovoren za njihova dejanja. Pravo trenutno določa, da so lahko storilci kaznivih dejanj le fizične in pravne osebe. Kazenska odgovornost za dejanja robotov je pogosto omejena na tistega, ki je robota uporabil kot sredstvo za izvršitev njegove kriminalne zamisli. Naloga razišče alternativne možnosti kazenske odgovornosti za dejanja robotov, kot recimo da bi bil robot sam odgovoren za svoja dejanja. Za navedeno je potrebno več predpostavk, kot so, samostojno sprejemanje moralnih odločitev, sposobnost samostojnega ravnanja in spodobnost sporočanja svojih odločitev na razumljiv način. Če bi pravo dopuščalo možnost, da je robot sam odgovoren za svoja dejanja, sicer obstaja nabor primernih in možnih kazenskih sankcij za robote, vendar so smiselne le z vidika generalne prevencije, ne pa tudi z vidika specialne prevencije.
Ključne besede: roboti, umetna inteligenca, pravna subjektiviteta, kazenska odgovornost robotov, kaznovanje robotov
Abstract
Title: Aspects of criminal liability for the actions of robots Author: Maruša Gregorič
Mentor: prof. dr. Aleš Završnik, univ. dipl. prav
Robots have long been used in manufacturing and it is hard to imagine daily life without them. The more autonomous and advanced they become, the more important it is to think about their legal status and the aspects of criminal liability for their actions. Initiatives have formed around the world to further regulate the legal status of robots, which are currently treated as objects. The possibilities are to treat robots as legal persons or to establish a new form of legal entity, such as e-personality. One possibility is also a similar legal status to animals, which are neither legal entities nor mere objects. Opponents of these initiatives believe that establishing a new system is premature and would lead to more opportunities for abuse. This is one of the reasons for criticizing the granting of Saudi citizenship to the robot Sophia, manufactured by Hanson Robotics. Robots already sometimes cause undesirable consequences, such as injury or death to production workers, so it is important to define who is criminally liable. The law currently states that only humans and corporations can be held liable for criminal acts. Criminal liability for the actions of robots is often limited to the person who used the robot as a means to achieve their criminal aim. This dissertation explores alternative possibilities for criminal liability for the actions of robots, such as robots themselves being held liable for their own actions. This would require some preconditions, such as that they make moral decisions on their own, act independently, and communicate their decisions to humans in an understandable way. If it were legally possible to hold them criminally liable for their actions, there would be a reasonable range of criminal sanctions for robots, but they would only make sense from the standpoint of general prevention and not from the point of view of special prevention.
Key words: robots, artificial intelligence, legal personhood, criminal liability of robots, punishing robots
Kazalo
1 Uvod ... 1
2 Definicije robotov in umetne inteligence ... 3
2.1 Roboti ... 3
2.2 Umetna inteligenca ... 5
2.3 Razlika med roboti in umetno inteligenco ... 6
3 Pravna subjektiviteta robotov ... 7
3.1 Definicija pravne subjektivitete ... 7
3.2 Pravna subjektiviteta pravnih oseb ... 7
3.3 Pravni status živali ... 8
3.4 Možni načini ureditve pravne subjektivitete robotov ... 9
3.5 Primer podelitev državljanstva humanoidnemu robotu ... 11
3.6 Etična vprašanja ... 12
4 Kazenska odgovornost za dejanja robotov ... 14
4.1 Kazenska odgovornost fizičnih oseb ... 14
4.2 Kazenska odgovornost pravnih oseb ... 15
4.3 Možne oblike kazenske odgovornosti za dejanja robotov ... 16
4.4 Robot kot sredstvo za izvršitev človekove kriminalne zamisli ... 16
4.5 Robot kot neposredni storilec, ki ga izrabi ali vodi posredni storilec ... 16
4.6 Kazenska odgovornost proizvajalcev za dejanja robotov ... 17
4.7 Roboti sami kazensko odgovarjajo za svoja dejanja ... 19
5 Primer avtonomnih vozil ... 22
5.1 Problem pobeglega vagona... 23
6 Kaznovanje robotov ... 26
6.1 Smisel kaznovanja robotov... 26
6.2 Vrste kazenskih sankcij za robote ... 27
7 Zaključek ... 29
8 Seznam literature ... 32
1 1 Uvod
Roboti se v industriji uporabljajo že dolgo časa, nepogrešljivi so tudi na medicinskem in gradbenem področju, v vsakdanjem življenju je pa njihova uporaba šele pred kratkim začela postajati vedno bolj pogosta. Uporabljamo jih kot gospodinjske pomočnike, za negovanje starejših in invalidov, kot avtonomna vozila in na mnogo drugih načinov. Brez robotov bi bilo vsakdanje življenje veliko težje, vendar kot z drugimi stvarmi, lahko tudi pri njihovi uporabi pride do nesreč ali zlorab, ki imajo za posledico poškodbo ljudi ali kakšno drugo neželeno posledico.
Roboti že sedaj s svojimi dejanji včasih povzročijo prepovedane posledice, kot v primeru robota, zadolženega za varovanje v trgovskemu središču v Kaliforniji, ki ni pravilno zaznal otroka ter ga je povozil ali robota, ki je preko spleta kupil prepovedane droge, robot je v tovarni motornih koles na Japonskem ubil delavca, voznik avtonomnega vozila je umrl v prometni nesreči v avtonomnem načinu vožnje ter v primerih, ko programska oprema za UI, ki pomaga policiji v Združenem kraljestvu Velike Britanije in Severne Irske in v Združenih državah Amerike sproža polemike zaradi diskriminacije pri odločanju pri kršiteljih, ki so temnopolti ali pripadniki etičnih manjšin.1
Prva smrt človeka, ki jo je povzročil robot je bila že leta 1979. Delavec v tovarni motorjev Ford Motor je umrl na kraju nesreče, ko ga je zadela robotska roka v postopku proizvodnje. Sodišče je takrat dogodek označilo za industrijsko nesrečo, saj robot ni namerno želel ubiti delavca.2 Ta robot tudi ni bil tako napreden, kot so že sedaj nekateri roboti, ki vključujejo umetno inteligenco in kot zgleda, da bodo še postali v prihodnosti.
Temeljno vprašanje tega magistrskega dela je, kdo je odgovoren, če robot poškoduje človeka ali zaradi njegovih dejanj nastane druga neželena posledica. Pomembna je določitev civilne odgovornosti za dejanja robotov, vendar če nekdo umre ali se močno poškoduje zaradi dejanja robotov, je vprašanje kazenske odgovornosti nedvomno izrednega pomena. V Sloveniji so lahko v skladu s kazenskopravno zakonodajo za kazniva dejanja odgovorni le pravni subjekti, torej fizične in pravne osebe, zato je ključno tudi vprašanje ureditve pravne subjektivitete robotov.
Kazensko odgovornost za dejanja robotov in vprašanje njihovega pravnega statusa je potrebno urediti tudi zato, ker so ljudje do robotov in umetne inteligence ponekod še vedno skeptični ali jih je digitalne preobrazbe strah, kar pa zavira razvoj družbe.
1 Povzeto po A. Thanaraj, Can robots be prosecuted for a crime?, 14. 11. 2018, dostopno na:
https://www.cumbria.ac.uk/blog/articles/can-robots-be-prosecuted-for-a-crime.php.
2 Povzeto po Kravets D., Jan. 25, 1979: Robot Kills Human, 25. 1. 2010, dostopno na:
https://www.wired.com/2010/01/0125robot-kills-worker/.
2 Raziskave kažejo3, da imajo prebivalci azijskih držav bolj pogosto pozitivno mnenje o umetni inteligenci in robotih kot prebivalci evropskih ali ostalih držav. Na percepcijo posameznika o pozitivnem učinku tehnologije na družbo vpliva tudi raven njegove izobrazbe, pri tem imajo bolj izobraženi posamezniki tudi bolj sprejemljiv odnos do tehnologije. Da bi se ljudje lahko znebili strahu pred tehnologijo, roboti in umetno inteligenco, bi zagotovo pomagalo, če bi podjetja, ki se ukvarjajo s tehnologijo bila bolj transparentna in če bi bil vzpostavljen sistem pravil, ko pride do težav. Sistem pravne varnosti bi lahko igral veliko vlogo pri nadaljnjih napredkih v digitalizaciji družbe.
Na začetku magistrskega besedila v drugem poglavju natančno razčlenim osnovne definicije robotov in umetne inteligence ter nadaljujem z raziskovanjem pravnega statusa robotov v pravu ter analizo možnih načinom ureditve pravne subjektivitete robotov, pri čemer predlagam možne rešitve in navajam tudi negativne plati. Pri pravni subjektiviteti robotov se dotaknem tudi odprtih etičnih vprašanj, ki se nam porajajo pri odkrivanju in razvijanju različnih pravnih možnosti.
V nadaljevanju se v četrtem poglavju osredotočim na vidike kazenske odgovornosti za dejanja robotov ter najprej pojasnim razloge, zakaj je to vprašanje potrebno urediti ter nato predlagam možne načine ureditev ter sproti naslavljam dileme, ki se ob tem pojavljajo. V naslednjem petem poglavju analiziram sodno prakso v primerih prometnih nesreč avtonomnih vozil ter opravim pravno primerjalni pregled ureditve zakonodaje na področju avtonomnih vozil v Nemčiji in Združenem kraljestvu Velike Britanije in Severne Irske. V šestem poglavju analiziram možnosti kaznovanja robotov, pri tem raziščem smisel kaznovanja robotov in navedem možne vrste kazenskih sankcij za robote. V zaključnem delu naloge podam nekaj sklepnih ugotovitev.
3Povzeto po K. Swindells, How public opinion shapes the success of technology, 22. 1. 2021, posodobljeno 2. 3.
2021, dostopno na: https://techmonitor.ai/ai/public-opinion-ai ter C. Johnson, A. Tyson, People globally offer mixed views of the impact of artificial intelligence, job automation on society, 15. 12. 2020, dostopno na:
https://www.pewresearch.org/fact-tank/2020/12/15/people-globally-offer-mixed-views-of-the-impact-of- artificial-intelligence-job-automation-on-society/
3 2 Definicije robotov in umetne inteligence
2.1 Roboti
Robot je po najbolj osnovni definiciji elektronsko vodena naprava, ki enakomerno opravlja vnaprej programirana in pogosto človekovemu zdravju škodljiva dela.4 Nekatere druge definicije bolj natančno opredelijo naloge robotov, kar kaže na raznolikost nalog, ki jih roboti lahko opravljajo, od zelo enostavnih ponavljajočih se nalog do visoko zahtevnih in zapletenih.
Po bolj kompleksni definiciji je robot stroj, ki spominja na živo bitje, v tem, da se lahko samostojno premika (na primer s hojo ali kotaljenjem na kolesih) in izvaja zapletena dejanja (na primer prijemanje in premikanje predmetov). Ter tudi naprava, ki samodejno izvaja zapletene, pogosto ponavljajoče se naloge (recimo industrijski tekoči trak).5 Vsi roboti imajo neke vrste mehansko konstrukcijo, ki robotu pomaga pri opravljanju nalog, za katere je bil zasnovan in ki je prilagojena okolju. Na primer, kolesa Nasinega roverja Perseverance, ki je bil poslan na Mars so izdelana iz titanovih cevi in vsako kolo ima svoj motor, kar mu pomaga pri trdnem oprijemanju surovega terena Marsa. Robote nadzirajo in napajajo električne komponente. Tudi velika večina drugih robotov za delovanje potrebuje elektriko ali baterijo.
Vsi roboti so tudi vsaj do določene stopnje računalniško programirani. Brez programiranja bi bili roboti le preprosti stroji, prav programi jih omogočajo, da lahko izvajajo svoje naloge pravočasno in na pravi način. Roboti so lahko avtomatizirani ali avtonomni. Razlika med obema vrstama robotov je v obsegu človeškega posega v procese robota, le avtonomni roboti so brez posredovanja človeka.6 Roboti lahko delujejo tudi na podlagi umetne inteligence, takšnih primerov je vedno več.7
Glede na navedeno robote lahko razdelimo na pet vrst:
1) vnaprej programirani (npr. mehanska roka na tekočem traku v proizvodnji avtomobilov);
2) humanoidni roboti, ki so po izgledu podobni ljudem ali posnemajo človeško vedenje in vsebujejo umetno inteligenco (to je recimo robot Sophia, proizvajalca Hanson Robotics ali robot Atlas, proizvajalca Boston Dynamics);
3) avtonomni roboti, ki delujejo samostojno, brez človeškega nadzora in ki prav tako običajno vsebujejo umetno inteligenco (npr. robotski sesalniki);
4) roboti, s katerimi na daljavo upravlja človek (npr. brezpilotna letala ali podmornice) ter
5) roboti, ki povečajo človeške zmožnosti ali jih nadomestijo (npr. eksoskeleti ali robotski protetični udi).8
4 Povzeto po: Slovarji Inštituta za slovenski jezik Frana Ramovša ZRC SAZU, dostopno na:
https://fran.si/iskanje?View=1&Query=robot&hs=1.
5 Povzeto po: Merriam Webster, dostopno na: https://www.merriam-webster.com/dictionary/robot.
6 Povzeto po J. Hoffman, Autonomous vs. Automatic Robots: Know the Difference, Dostopno na:
https://wisdomplexus.com/blogs/autonomous-vs-automatic-robots/.
7 Povzeto po: A. Schroer, AI Robots: How 19 Companies Use Artificial Intelligence In Robotics, 10. 3. 2029, posodobljeno 12. 8. 2020, dostopno na: https://builtin.com/artificial-intelligence/robotics-ai-companies.
8 Povzeto po: Robotics Technology, dostopno na: https://builtin.com/robotics.
4 V okviru Evropske unije še nismo dosegli poenotenja glede definicije robotov, kar je nujno za pravno urejanje robotike. Evropski parlament v Resoluciji s priporočili Komisiji o pravilih civilnega prava o robotiki9 ugotavlja, da so današnji roboti zaradi izjemnega tehnološkega napredka postali vse bolj podobni agentom, ki vzajemno delujejo s svojim okoljem in ga lahko močno spreminjajo. Avtonomnost robotov pomeni, da so sposobni sprejemati in izvajati odločitve, brez zunanjega nadzora ali vpliva.
Stopnja avtonomnosti je odvisna od tega, kakšna stopnja interakcije robota z okoljem je bila predvidena pri njegovem načrtovanju. Bolj kot so roboti avtonomni, tem večje je vprašanje odgovornosti za njihova dejanja ali opustitve, kadar zanje ni mogoče izslediti človeškega faktorja.Dokument ne vsebuje enotne definicije robotov, našteje pa štiri kategorije, pri katerih bi se uporaba obstoječe zakonodaje Evropske unije izkazala za najbolj problematično: avtonomna vozila brez voznika, robotske proteze (in eksoskeleti), kirurški roboti in spremljevalni roboti. Opredeli tudi značilnosti pametnih robotov, ki so, da lahko pridobijo avtonomnost prek senzorjev in/ali z izmenjavo podatkov z okoljem ter trženje in analiza teh podatkov, so sposobni samoučenja na podlagi izkušenj in interakcije, imajo vsaj manjšo fizično podporo, vedenje in dejanja lahko prilagodijo okolju ter neobstoj življenja v biološkem pomenu.10
Roboti, ki so sedaj v uporabi se (še) ne vedejo kot ljudje in večinoma ne zgledajo kot ljudje. V tovarnah po svetu milijoni industrijskih strojev privija, barva in opravlja druge ponavljajoče se naloge na tekočem traku. Vrsta robotov, ki ne spada niti v prvo niti v drugo skupino, saj še zdaleč ne posnema človeka, vendar je pametna, zelo spretna in mobilna, vedno bolj vdira v vsakdanje življenje ljudi. V letu 2020 roboti v trgovinah opravljajo popise inventarja in čistijo tla, v skladiščih premikajo blago in ga pripravljajo za pošiljanje kupcem, režejo solato, nabirajo jabolka ter celo maline, avtističnim otrokom pomagajo pri socializaciji, opravljajo obhode na mejah držav in kot brezpilotna letala napadajo cilje, ki jih ocenijo kot sovražne.11 Tudi v času epidemije COVID-19 smo se predvsem zaradi omejevalnih ukrepov začeli še bolj zanašati na robote in odkrili nove načine njihove uporabe. Sedaj tudi dostavljajo hrano, prenašajo zaloge po bolnišnicah, razkužujejo bolniške sobe in pešce v parkih opozarjajo, da morajo ohranjati medsebojno razdaljo.12
9 Povzeto po: Resolucija Evropskega parlamenta z dne 16. februarja 2017 s priporočili Komisiji o pravilih civilnega prava o robotiki (2015/2103(INL)), dostopno na: https://www.europarl.europa.eu/doceo/document/TA- 8-2017-0051_SL.html#title1.
10 Povzeto po: C. García Molyneux, R. Oyarzabal, What is a Robot under EU Law?, 4. 8. 2017, dostopno na:
https://www.globalpolicywatch.com/2017/08/what-is-a-robot-under-eu-law/.
11 Povzeto po: D. Berreby, The robot revolution has arrived, National Geographic, 18. 8. 2020, dostopno na:
https://www.nationalgeographic.com/magazine/2020/09/the-robot-revolution-has-arrived-feature/.
12Povzeto po: D. Berreby, The pandemic has been good for one kind of worker: robots, 3. 9. 2020 dostopno na: https://www.nationalgeographic.com/science/2020/09/how-pandemic-is-good-for-robots/.
5 2.2 Umetna inteligenca
Pomemben element avtonomnih robotov je umetna inteligenca (v nadaljevanju: UI). UI je sposobnost digitalnega računalnika ali računalniško vodenega robota, da opravlja naloge, ki so običajno povezane z inteligentnimi bitji.13 Evropska komisija UI opredeljuje bolj opisno, kot sisteme, ki prikazujejo inteligentno vedenje z analiziranjem okolja in z določeno stopnjo samostojnosti, za dosego določenih ciljev. Sistemi, ki temeljijo na UI, so lahko zasnovani povsem programsko in delujejo v virtualnem svetu (npr. glasovni pomočniki, programi za analize slik, iskalniki, sistemi za prepoznavanje govora in obrazov) ali pa je UI vgrajena v naprave (npr. napredni roboti, avtonomni avtomobili, brezpilotna letala ali internet stvari). UI uporabljamo vsakodnevno, npr. za prevajanje jezikov, ustvarjanje podnapisov v videoposnetkih, brskanje po svetovnem spletu ali za preprečevanje neželene elektronske pošte.
Možnosti uporabe UI so brezmejne. Številne tehnologije UI za izboljšanje njihove učinkovitosti potrebujejo podatke in ko se dobro odrežejo, lahko pomagajo pri izboljšanju in avtomatizaciji odločanja na mnogih področjih.14
Organizacija za gospodarsko sodelovanje in razvoj (v nadaljevanju: OECD) umetno inteligenco opredeljuje15kot strojno zasnovan sistem, ki lahko za cilje, ki jih definirajo ljudje ustvari napovedi, priporočila ali odločitve, ki imajo vpliv v resničnem ali virtualnem okolju. UI sistemi lahko delujejo z različnimi stopnjami avtonomije. Faze življenjskega cikla sistemov UI vključujejo: 1) »načrtovanje, podatki in modeli«; kar je od konteksta odvisno zaporedje, ki zajema načrtovanje, zbiranje in obdelavo podatkov ter izdelavo modelov; 2) »preverjanje in potrjevanje«; 3) »razporeditev«; in 4) »delovanje in spremljanje«. Te faze se med seboj pogosto ponavljajo in niso nujno zaporedne.
Z vidika držav, ki so članice tako Evropske unije kot tudi Organizacije za gospodarsko sodelovanje in razvoj (OECD) bi bilo smiselno, da se definicija umetne inteligence poenoti, za namen tega magistrskega dela pa poenotenje definicije ni nujno. Za splošno poenotenje definicije na svetovni ravni je bil že opravljen določen trud.16
13 Povzeto po Enciklopediji Brittanica, dostopno na: https://www.britannica.com/technology/artificial- intelligence.
14 Povzeto po: Communication from the Commission to the European Parliament, the European Council, the Council, the European Economic and Social Committee and the Committee of the Regions on Artificial Intelligence for Europe, Brussels, 25.4.2018 COM(2018) 237 final.
15 Povzeto po: Priporočilu Sveta o umetni inteligenci, dostopno na:
https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-
0449#:~:text=Principles%20for%20responsible%20stewardship%20of%20trustworthy%20AI%3A%20the%20fi rst%20section,)%20robustness%2C%20security%20and%20safety%3B.
16 Glej JRC Technical Reports, AI WATCH, Luxembourg: Publications Office of the European Union, 2020, dostopno na:
https://publications.jrc.ec.europa.eu/repository/bitstream/JRC118163/jrc118163_ai_watch._defining_artificial_in telligence_1.pdf.
6 V literaturi se pogosto omenja vrste UI glede na funkcionalnost ter glede na zmogljivost. Vrste UI glede na funkcionalnost so: 1) reaktivni stroji, 2) omejen spomin, 3) teorija uma in 4) samo-zavedna.17 Vrste UI glede na zmogljivosti so: ozka UI, splošna UI in super UI. Ozka UI je edina vrsta UI, ki smo jo do sedaj uspešno realizirali. Je zelo inteligentna pri izvajanju določenih nalog, za katere je programirana, ampak kljub videzu inteligence deluje v ozkem naboru omejitev. Ne posnema človeške inteligence, samo simulira človeško vedenje na podlagi ozkega nabora parametrov in v določenem kontekstu.
Primeri takšne vrste UI so prepoznava govora ali obrazov, iskanje po internetu ter pomoč pri vožnji vozil ali avtonomna vožnja vozil. Splošna UI (tudi močna ali globoka UI) posnema človeško inteligenco in/ali vedenje ter ima sposobnost učenja in uporabe svoje inteligence za reševanje katerega koli problema. Misli, razume in deluje lahko na način, ki se ne razlikuje od človeka. Za uspeh te vrste UI bi morali najti način, kako ozavestiti stroje in programirati kognitivne sposobnosti. Super UI je hipotetična UI, ki ne le posnema ali razume človeške inteligence in vedenja, ampak se zaveda same sebe in preseže vse človeške sposobnosti. Takšna vrsta UI bi bila izjemno boljša pri vsem, kaj ljudje počnemo:
matematika, umetnost, medicina in čustveni odnosi. Imela bi večji spomin in hitrejšo sposobnost obdelave in analize podatkov, kar posledično pomeni, da bi bile njene zmožnosti odločanja in reševanja problemov veliko boljše od človeških.18
2.3 Razlika med roboti in umetno inteligenco
Razlika med umetno inteligenco in roboti je v tem, da lahko umetna inteligenca obstaja izključno v obliki programa ali je vgrajena v naprave. Za robote pa mora biti prisotna nekakšna fizična komponenta.
Obstaja več različnih vrst robotov, od katerih jih nekaj vsebuje UI, vendar tudi če vsebujejo UI, je le-ta del celote robota, ki običajno vključuje tudi senzorje, aktuatorje in programe, ki niso UI.
Zaplete se pri programskih robotih, ki so vrsta računalniških programov, ki delujejo samostojno, s ciljem dokončati določene naloge. To na primer vključuje robotsko avtomatizacijo procesov, spletne iskalnike in programe, ki se pojavljajo na spletnih mestih ter komunicirajo z ljudmi19. Programski roboti20 obstajajo le v kibernetskem prostoru, v obliki programov in nimajo fizične komponente, z razliko od robotov, ki so telesni in oprijemljivi.21
17 Povzeto po: Types of Artificial Intelligence, dostopno na: https://www.javatpoint.com/types-of-artificial- intelligence.
18Povzeto po: B. O’Carrol, What are the 3 types of AI? A guide to narrow, general, and super artificial intelligence, dostopno na: https://codebots.com/artificial-intelligence/the-3-types-of-ai-is-the-third-even-possible.
19 Tako imenovani chatbots.
20 Tako imenovani bots.
21 Povzeto po A. Chisling, Bots vs chatbots vs robots vs AI, 6. 11. 2016, dostopno na:
https://blog.rossintelligence.com/post/bots-vs-chatbots-vs-robots-vs-ai.
7 3 Pravna subjektiviteta robotov
V tem poglavju raziščem trenutni pravni status robotov in status, ki bi ga lahko imeli.
3.1 Definicija pravne subjektivitete
Pravni subjekti so nosilci pravnih pravic in pravnih dolžnosti v pravnih razmerjih. Vedenja in ravnanja pravnih subjektov določajo pravna pravila v obliki dovolitev, zapovedi in prepovedi, ta pravila pa pravni subjekti sočasno uporabljajo in ustvarjajo. Pravni red vsake posamezne države odloči, katere lastnosti so takšne, da se lahko na podlagi njih podeli pravna subjektiviteta. Pravni subjekti lahko nastopajo v medsebojnih pravnih razmerjih in njihove dejavnosti lahko potekajo v njihovem imenu ter na njihov račun. Stvar pravne ureditve je, da predvidi, kdo je lahko pravni subjekt in kdo ne more biti, pri čemer je kot taka vedno umetna.
V Sloveniji so pravni subjekti fizične ali pravne osebe. Pri tem so vse fizične osebe pravni subjekti.
Pravni subjekti so poleg fizičnih oseb tudi »določene družbene tvorbe, ki jim veljavni pravni red priznava, da imajo to kakovost«.22 Navedene družbene tvorbe, ki so pravni subjekti so lahko združenja ljudi (npr. društva), stvarni substrati, ki služijo določenemu namenu (skladi), druge enote, ki zajemajo ljudi in stvari substrat (npr. zgradbe), ki omogoča, da ljudje opravljajo določene dejavnosti (npr. država, vzgojno izobraževalni zavodi). 23
3.2 Pravna subjektiviteta pravnih oseb
Pravni subjekti so poleg fizičnih oseb tudi pravne osebe, ki imajo prav tako pravico do sodelovanja v pravnih razmerjih, lahko postanejo lastniki premičnin in nepremičnin, lahko pridobivajo pravice in prevzemajo obveznosti ter lahko tožijo ali so tožene.24 Zaradi zapletenih vprašanj, ki lahko nastanejo pri možnih zlorabah pravnih oseb pa je potrebno skrbno premisliti, katerim družbenim tvorbam se podeli pravno subjektiviteto. Skupne značilnosti pravnih oseb so, da imajo »1) ustrezno osebno in (ali) stvarno podlago (substrat), 2) namen njenega delovanja mora biti pravno dopusten in imeti mora tudi 3) ustrezen organizacijski ustroj, da lahko deluje in udejanja svoj pravni namen«.25
Roboti so trenutno obravnavani kot stvari, torej kot samostojni telesni predmeti, ki jih človek lahko obvladuje.26 Da bi se status robotov skladal z njihovo vedno večjo vlogo v naših življenjih sedaj in v prihodnosti, mnogi že razmišljajo o spremembi njihovega pravnega statusa.
22 Citirano: Pavčnik M., Teorija prva: prispevek k razumevanju prava, Lexpera, GV Založba, Ljubljana 2020, str.
153.
23Povzeto po Pavčnik M., Teorija prva: prispevek k razumevanju prava, Lexpera, GV Založba, Ljubljana 2020, str. 142 – 165.
24 Povzeto po 4. členu ZGD-1.
25 Citirano: Pavčnik M., Teorija prva: prispevek k razumevanju prava, Lexpera, GV Založba, Ljubljana 2020, str.
156.
26 Citirano: Stvarnopravni zakonik (Uradni list RS, št. 87/02, 91/13 in 23/20), 15. člen.
8 Ena izmed možnosti je, da bi roboti postali pravni subjekti v obliki pravnih oseb. Navedeno bi sicer pomenilo, da bi roboti lahko v pravnem okolju nastopali do neke mere samostojno in tudi potencialni oškodovanci bi imeli več možnosti poplačila, saj bi lahko uporabili institut spregleda pravne osebnosti.
Navedeno bi pa seveda odprlo pot tudi potencialnim zlorabam.27 Največji zadržek pri tej ureditvi bi bil, da pravna oseba ne more obstajati brez odgovorne fizične osebe.
Nekateri strokovnjaki sicer menijo, da pravo določenih držav že sedaj dopušča možnost, da avtonomni sistemi ali UI postanejo pravne osebe. 28 Menijo, da bi avtonomni sistemi ali UI v Združenih državah Amerike lahko postali družbe z omejeno odgovornostjo, saj je država znana po veliki fleksibilnosti pravne ureditve le-teh. Fizična oseba lahko ustanovi družbo z omejeno odgovornostjo ter v operativnem sporazumu, ki določa delovanje družbe opredeli, da bo družba izvajala aktivnosti, kot jih bo določal avtonomni sistem. Fizična oseba nato prenese lastništvo morebitnih relevantnih stvari v njeni lasti na družbo ter izstopi iz nje, s čemer pravna oseba ostane brez članov. Potencialni rezultat je trajna družba z omejeno odgovornostjo, ki ne potrebuje nobenega dodatnega posredovanja prej obstoječe fizične ali pravne osebe, zato da ohrani svoj status.
3.3 Pravni status živali
Naslednja možnost ureditve pravne subjektivitete robotov, bi bila lahko podobna modelu pravne ureditve živali, ki v pravu uživajo poseben status. Stvarnopravni zakonik v 15a. členu navaja, da živali niso stvari, ampak so čuteča živa bitja in njihovo zaščito urejajo posebni zakoni. Za živali se uporabljajo določila zakona, ki urejajo premičnine, če ni drugače urejeno.29 Zaščita živali je opredeljena v Zakonu o zaščiti živali, ki določa »odgovornost ljudi za zaščito živali kot čutečih živih bitij, to je zaščito njihovega življenja, zdravja in dobrobiti; določa pravila za dobro ravnanje z živalmi; določa, kaj se šteje za mučenje živali in katera ravnanja oziroma posegi na živalih so prepovedani; določa pogoje, ki jih je za zaščito živali treba zagotoviti pri reji in vzreji živali, prevozu, izvajanju določenih posegov in postopkov na živalih, zakolu in usmrtitvi živali; ureja postopek, pravice in obveznosti v primerih, ko gre za zapuščene živali; ureja nevladne organizacije, ki delujejo v javnem interesu na področju zaščite živali;
ureja nadzorstvo nad izvajanjem tega zakona ter določa kazenske sankcije za kršitelje določb zakona.«30
27 O tem nekaj več v poglavju Kazenska odgovornost za dejanja robotov.
28Povzeto po S. Bayern, T. Burri, T. D. Grant, D. M. Häusermann, F. Möslein, Company Law and Autonomous Systems: ABlueprint for Lawyers, Entrepreneurs, and Regulators, Hastings Science and Technology Law Journal, 2017, str. 137- 139, dostopno na: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2850514. Opomba: v slovenskem pravu družba brez družbenikov preneha v skladu s 6. alinejo prvega odstavka 521. člena ZGD-1.
29 Povzeto po 15a. členu Stvarnopravnega zakonika, (Uradni list RS, št. 87/02, 91/13 in 23/20).
30 Citirano iz Zakona o zaščiti živali (Uradni list RS, št. 38/13 – uradno prečiščeno besedilo, 21/18 – ZNOrg in 92/20; v nadaljevanju ZZZiv).
9 Živali torej niso obravnavane kot ostali pravni objekti, vendar pa tudi nimajo toliko pravic in obveznosti, kot jih imajo pravni subjekti. Lastniki živali morajo z ustrezno vzgojo zagotoviti, da žival ni nevarna okolici31, vendar je vzpostavljen tudi mehanizem za situacijo, ko se živali odzovejo nepredvidljivo.
Živali, ki so neobvladljive in s tem ogrožajo okolice ali kažejo napadalno vedenje do ljudi so označene kot nevarne živali in za njih zakon predvideva posledice, recimo posebno ravnanje s takimi živalmi ter v skrajnih primerih tudi usmrtitev živali.32 Za škodo, ki jo povzroči nevarna žival je objektivno odgovoren njen lastnik, razen če dokaže, da je poskrbel za potrebno varstvo in nadzorstvo.33 Navedeno velja za hišne živali, za divje živali so pa pravila drugačna, tudi zato, ker so veliko manj predvidljive in jih kot posamezniki ne moremo držati. Za škodo, ki jo povzročijo le-te, je objektivno odgovoren upravljalec lovišča ali država, odvisno od okoliščin.34
Ureditev pravne subjektivitete robotov bi lahko posnemala princip pravne ureditve statusa živali. Roboti bi imeli poseben status v pravu ter ne bi bili obravnavni le kot stvari, vendar kot neka posebna pravna entiteta, podobno kot so živali. Razlogi zakaj robotov ni možno obravnavati kot živali, so med drugim dejstvo, da imamo z vedenjem naprednih robotov veliko manj izkušenj in intuicije, da bi lahko zanesljivo pričakovali določeno vedenje. Poleg tega so živali v pravu opredeljene kot čuteča bitja, medtem ko roboti to zaenkrat izrazito niso.
3.4 Možni načini ureditve pravne subjektivitete robotov
Tudi nekatere mednarodne organizacije, recimo Evropska unija že razmišljajo in pozivajo k spremembi ureditve pravnega statusa robotov. Evropski parlament v Resoluciji s priporočili Komisiji o pravilih civilnega prava o robotiki Evropsko komisijo poziva naj premisli o vzpostavitvi posebnega pravnega statusa za robote na dolgi rok, da bi vsaj napredni avtonomni roboti lahko pridobili status elektronskih oseb in bi bili odgovorni za nadomestitev škode, ki bi jo povzročili. Prav tako poziva k razmisleku o uporabi elektronske osebnosti v primerih, ko bi roboti sprejemali samostojne odločitve ali drugače neodvisno vzajemno delovali s tretjimi osebami.35
Navedeni predlog Evropskega parlamenta je sprožil val polemik preko cele Evrope. Predlog za pripravo resolucije Evropskega dokumenta je vložila luksemburška poslanka v Evropskem parlamentu, ki je v naknadnih intervjujih jasno povedala, da po njenem mnenju roboti nikakor ne smejo biti obravnavani
31Povzeto po 11. členu ZZZiv.
32 Povzeto po 10. točki petega člena ZZZiv, drugem odstavku 12. člena ZZZiv ter 26. členu ZZZiv.
33Povzeto po 158. členu Obligacijskega zakonika (Obligacijski zakonik (Uradni list RS, št. 97/07 – uradno prečiščeno besedilo, 64/16 – odl. US in 20/18 – OROZ631).
34 Povzeto po 54. členu Zakona o divjadi in lovstvu (Uradni list RS, št. 16/04, 120/06 – odl. US, 17/08, 46/14 – ZON-C, 31/18, 65/20 in 97/20 – popr.).
35 Resolucija Evropskega parlamenta z dne 16. februarja 2017 s priporočili Komisiji o pravilih civilnega prava o robotiki (2015/2103(INL)).
10 enako kot ljudje, vseeno pa je potrebno razmišljati o boljši pravni ureditvi statusa vsaj naprednih robotov.36 Namen resolucije je, da spodbudi raziskave o med drugim, neke vrste e-osebnosti, ki bi v pravnem smislu delovala podobno kot pravne osebe. Nekateri strokovnjaki namreč opozarjajo, da oškodovanci v nekaterih primerih ne bi bili upravičeni do odškodnine, če bi se zgodila nesreča z robotom, ki ravna do neke mere avtonomno. 37 Če bi bil pravni status robotov urejen in bi imeli status e-osebnosti, bi lahko imeli vzpostavljen denarni sklad oz. obvezno zavarovalno polico za izplačila potencialnih oškodovancev. Po drugi strani je tudi res, da bi podjetja, ki proizvajajo robote, takšno pravno ureditev lahko izkoristila in ne bi bila več odgovorna za dejanja svojih izdelkov ter bi tako morda sprejemala bolj tvegane odločitve, ko pride do varnosti robotov.
285 strokovnjakov na področju umetne inteligence in robotov iz več kot 25 držav se je na Resolucijo odzvalo z odprtim pismom, v katerem zavračajo ureditev pravne subjektivitete za robote. Izpostavljajo, da je ekonomski, pravni, družbeni in etični vpliv umetne inteligence ter robotike potrebno upoštevati brez naglice ali pristranskosti. Menijo, da je ustvarjanje pravne osebnosti za robote neprimerno tako z etičnega kot tudi s pravnega vidika, ne glede na model pravnega statusa: fizična oseba, pravna oseba ali anglosaški model sklada. Če bi bili roboti obravnavani kot fizične osebe, bi imeli tudi človekove pravice, kot so pravica do dostojanstva, pravica do integritete, pravica do plače in pravica do državljanstva, kar bi pa bilo v nasprotju z Listino Evropske unijo o temeljnih pravicah in Evropsko konvencijo o človekovih pravicah in temeljnih svoboščinah. Prav tako menijo, da pravna subjektiviteta robotov ne more izhajati iz modela pravnih oseb, saj le-te za svoj obstoj vseeno potrebujejo fizične osebe, ki jih zastopajo in vodijo. Pravni status robotov tudi ne more izhajati iz anglosaškega modela skrbniških skladov, saj je ureditev modela izredno zapletena, ne reši pa vprašanja odgovornosti. 38 Prav tako je tudi pri tej obliki ureditve še vedno potrebna fizična oseba v obliki skrbnika, ki je odgovorna za upravljanje robota.39
Privrženci podelitve pravne subjektivitete robotom menijo, da je trenutni model, ko za odločitve robotov odgovarja njihov proizvajalec, lastnik ali oba zastarel, če pogledamo popolnoma avtonomne robote.
Poudarjajo, da gre pri podelitvi pravne subjektivitete predvsem za to, da bodo roboti lahko odgovarjali
36 Povzeto po J. Letnar Černič , Vzpon pametnih strojev, dostopno na: https://www.iusinfo.si/medijsko- sredisce/kolumne/219248, 20. 4. 2018.
37 Povzeto po Rise of the robots: Mady Delvaux on why their use should be regulated, dostopno na:
https://www.europarl.europa.eu/news/en/headlines/economy/20170109STO57505/rise-of-the-robots-mady- delvaux-on-why-their-use-should-be-regulated, 15. 2. 2017.
38 Povzeto po Odprtem pismu Evropski komisiji na temo umetne inteligence in robotov, Open Letter to the European Commission, Artificial Intelligence and Robotics
dostopno na: http://www.robotics-openletter.eu/.
39 Anglosaški model skrbniških skladov, imenovan tudi fiducie ali treuhand v Nemčiji je oblika pogodbe med osebo, ki je prispevala premoženje in upravljalcem premoženja. Povzeto po M. Allen, Should Switzerland fear Anglo-Saxon trusts?, dostopno na:
https://www.swissinfo.ch/eng/trust-factor_should-switzerland-fear-anglo-saxon-trusts-/36815424 5. 9. 2013.
11 za svoja dejanja in ne za podelitev pravic robotom. Roboti bi lahko imeli vzpostavljeno obvezno zavarovalno polico, ki bi se financirala iz robotovega dela tekom njegovega delovanja in bi pokrila morebitno škodo, ki jo bi robot storil.
Nasprotniki podelitve pravne subjektivitete robotom menijo, da trenutna pravna ureditev popolnoma zadošča tudi zato, ker roboti še niso dosegli takšne stopnje avtonomnosti, ki bi terjala vzpostavitev posebne pravne ureditve za njihova dejanja.40
Pravni subjekti imajo lahko različne pravice in dolžnosti, saj koncept pravne subjektivitete ne pomeni principa »vse ali nič«. Pravni subjekti imajo lahko več ali manj pravic od drugih, kar je razvidno že med primerjavo pravic in dolžnosti ter statusa v pravu, ki ga imajo pravne in fizične osebe. Prav tako je veliko razlik tudi v okviru fizičnih oseb, saj imajo nekatere fizične osebe manj pravic in drugačne dolžnosti kot ostale, npr. poseben status mladoletnikov. V nekaterih drugih državah so pravno subjektiviteto podelili tudi drugačnim entitetam, npr. Nova Zelandija je podelila pravno subjektiviteto reki Whanganui, narodnemu partu Te Urewera in gori Taranaki, Indija in Bangladeš sta podelila pravno subjektiviteto nekaterim rekam, Ekvador pa celo celotnemu ekosistemu. Razlogi za takšne odločitve so različni in to ne pomeni, da ima reka ali gora v Novi Zelandiji enake pravice kot fizična oseba. Na podoben način bi lahko morda v prihodnosti pristopili k vprašanju urejanja pravnega statusa robotov.41
3.5 Primer podelitev državljanstva humanoidnemu robotu
Savdska Arabija je leta 2017 podelila državljanstvo humanoidnemu robotu Sophia, proizvajalca Hanson Robotics in s tem postala prva država na svetu, ki je podelila državljanstvo robotu. To dejanje je povzročilo polemike zaradi treh razlogov. Prvič zato, ker je bilo s tem dejanjem robotu morda podeljenih več pravic kot jih imajo ženske v Savdski Arabiji.42
Drugič zato, ker naj bi robot Sophia podajal lažno predstavo o dejanski stopnji avtonomnosti robotov, zaradi česar je postal, kot je spretno zapisal novinar spletnega mesta The Verge »non-persona non grata« v skupnosti strokovnjakov umetne inteligence. Trdijo namreč, da proizvajalci Hanson Robotics pretiravajo s sposobnostmi Sophie in s tem javnost zavajajo o tem, česa je UI trenutno zmožna in kako samostojen robot dejansko je.43 Kritiki pravijo, da je robot Sophia le dobro zgrajena lutka, ki sicer lahko
40 Povzeto po J. Delcker, Europe divided over robot »personhood«, dostopno na:
https://www.politico.eu/article/europe-divided-over-robot-ai-artificial-intelligence-personhood/, 11. 4. 2018.
41 Povzeto po J. J. Bryson, M. E. Diamantis, T. D. Grant, Of, for, and by the people: the legal lacuna of synthetic persons, Artif Intell Law, 8. 9. 2017, str. 280-281.
42Povzeto po A. Walsh, Saudi Arabia grants citizenship to robot Sophia, dostopno na:
https://www.dw.com/en/saudi-arabia-grants-citizenship-to-robot-sophia/a-41150856, 28. 10. 2017.
43 Povzeto po J. Vincent, Facebook’s head of AI really hates Sophia the robot (and with good reason), dostopno na: https://www.theverge.com/2018/1/18/16904742/sophia-the-robot-ai-real-fake-yann-lecun-criticism, 18. 1.
2018.
12 sodeluje v pogovoru z ljudmi, vendar se zdi, da so njeni odgovori vnaprej pripravljeni glede na ključne besede.
In tretjič zato, ker odpira vprašanje spremembe pogleda na koncept človekovih pravic, ki bi se s podelitvijo neživim objektom morda spremenil. Podelitev državljanstva robotu odpira mnoga etična vprašanja, kot recimo življenje s sodržavljanom, ki ga lahko po potrebi vklopimo in izklopimo ter kupimo, če želimo.44 Če robotom podelimo državljanstvo, lahko iz tega izhaja, da jim pripadajo tudi druge pravice, ki pripadajo ostalim državljanom, saj do sedaj ni nobena država predvidevala posebne listine za pravice robotov. Glede na navedeno, bi robot Sophia imel pravico do samoodločbe, pravico do osvoboditve iz suženjstva in mnoge druge. Robot Sophia najverjetneje ni plačan za delo, ki ga je opravil, prav tako ni privolil v številne spremembe, ki so bile in bodo na njem izvedene. Kritiki se sprašujejo, kaj bi se zgodilo, če bi se robot, ki mu je podeljeno državljanstvo storil kaznivo dejanje, želel poročiti ali poskusil izvajati kakšne druge pravice, ki mu bi pripadale s pravico državljanstva.45 Menijo, da še ni prišel trenutek, ki bi terjal podelitev državljanskih pravic robotom ter da s prezgodnjo podelitvijo pravic naredimo več škode kot koristi.
3.6 Etična vprašanja
Vprašanje ureditve pravnega statusa robotov med drugim izvira tudi iz vprašanja moralne odgovornosti za njihova dejanja. Kdo in na kakšen način je dejansko odgovoren, če pride do neželenega rezultata, ki nastane na podlagi delovanja robota? Ali bi morali razmisliti o deljenem nadzoru in deljeni odgovornosti ljudi in robotov? Ali bodo ljudje za dejanja robotov odgovarjali le z vidika odškodninske odgovornosti ali bodo tudi za njihova dejanja odgovarjali tudi kazensko?
Evropska skupina za etiko v znanosti in novih tehnologijah je v Izjavi o UI, robotiki in avtonomnih sistemih46 navedla, da je sposobnost in pripravljenost prevzeti moralno odgovornost sestavni del subjekta, na podlagi katerega temeljijo moralne, družbene in pravne institucije naše družbe. Moralna odgovornost je mišljena v širšem smislu in se lahko nanaša na mnogo vidikov človeškega delovanja, tudi dolžnosti, ki so povezane z družbenimi vlogami. Po mnenju skupine moralne odgovornosti v nobenem primeru ni mogoče dodeliti avtonomnimi sistemom. V razpravah glede smrtonosnih avtonomnih oborožitvenih sistemov obstaja soglasje, da je za moralno odgovornost bistvenega pomena smiselni človeški nadzor. Načelo smiselnega človeškega nadzora je bilo uvedeno z namenom omejitve
44 Povzeto po J. Vincent, Pretending to give a robot citizenship helps no one, 30. 10. 2017, dostopno na:
https://www.theverge.com/2017/10/30/16552006/robot-rights-citizenship-saudi-arabia-sophia.
45 Povzeto po R. D. Hart, Saudi Arabia's robot citizen is eroding human rights, dostopno na:
https://qz.com/1205017/saudi-arabias-robot-citizen-is-eroding-human-rights/.
46 Povzeto po Evropska skupina za etiko v znanosti in novih tehnologijah, Izjava o UI, robotiki in avtonomnih sistemih, 9. 3. 2018, dostopno na: https://op.europa.eu/en/publication-detail/-/publication/dfebe62e-4ce9-11e8- be1d-01aa75ed71a1.
13 razvoja in uporabe prihodnjih oborožitvenih sistemov, pomeni pa, da bi morali nad smrtonosnimi avtonomnimi oborožitvenimi sistemi imeti nadzor ljudje in ne računalniki ter algoritmi in tako ostati tudi moralno odgovorni.47 Iz navedenega izhaja, da je moralna odgovornost sestavni del subjekta v pravnih sistemih, ne moremo je dodeliti avtonomnim sistemom, zato tudi ne morejo pridobiti pravne subjektivitete.
Če bi robotom podelili pravno subjektiviteto, bi lahko prišlo do dveh možnosti zlorab na račun človekovih pravic. Prvič, ljudje bi lahko začeli robote uporabljati kot sredstva, s katerimi bi se izognili odškodninski odgovornosti. Drugič, roboti bi lahko sami kršili človekove pravice brez odgovornosti in kazni. Potencialno rešitev prve možnosti zlorabe predstavlja institut spregleda pravne osebnosti, ki pa ga morda ne bo možno uporabiti tudi pri drugi možnosti, saj avtonomni roboti v prihodnosti za seboj morda ne bodo imeli fizične osebe, ki bi robot usmerjala ali ga obvladovala. Pri interakciji avtonomnih robotov z ljudmi bo zagotovo prišlo do kršitve pravic ljudi, težko je pa vnaprej predvideti vse možne načine zlorab in kršitev.
Izziv je tudi, da je delovanje umetne inteligence, s pomočjo katere delujejo bolj avtonomni in napredni roboti, včasih tako zapleteno, da je težko razumeti, kako je prišla do določene odločitve. Obstaja skrb, da bodo ti zapleteni procesi razmišljanja robote pretvorili v t.i. črne skrinjice, pri katerih ne bomo mogli razumeti, kako so roboti prišli do odločitev in bo posledično oteženo dokazovanje pravne odgovornosti v primeru problemov. V takšnem scenariju, ko roboti sami sprejemajo odločitve se moramo vprašati, kdo je odgovoren za njihove odločitve.48
47 Povzeto po Evropska skupina za etiko v znanosti in novih tehnologijah, Izjava o UI, robotiki in avtonomnih sistemih, 9. 3. 2018, dostopno na: https://op.europa.eu/en/publication-detail/-/publication/dfebe62e-4ce9-11e8- be1d-01aa75ed71a1.
48 Povzeto po J. Delcker, Europe divided over robot »personhood«, dostopno na:
https://www.politico.eu/article/europe-divided-over-robot-ai-artificial-intelligence-personhood/, 11. 4. 2018.
14 4 Kazenska odgovornost za dejanja robotov
To vprašanje je pomembno, saj je za dejanja robotov veliko členov v verigi, ki bi lahko odškodninsko odgovarjali, nazadnje tudi država. Vprašanje kazenske odgovornosti je bolj kompleksno tudi s psihološkega vidika, saj se oškodovanci morda ne bodo zadovoljili le s prejemom odškodnine, temveč bodo želeli, da je kaznovana odgovorna oseba, ki je s svojimi dejanji ali z opustitvijo le-teh povzročila škodo, poškodbo, smrt ali katero od drugih neželenih posledic. Gre za vprašanje etike in pravičnosti ter tudi predvidljivosti in občutka varnosti, da je za algoritmi, ki nam sicer lajšajo življenje, vendar lahko povzročijo tudi neželene posledice, vzpostavljen sistem kazenske odgovornosti v primeru težav. 49
Najbolj napredni roboti, ki so trenutno v uporabi lahko vsebujejo različno napredne programske sisteme ter UI. UI, ki je bila do sedaj razvita in se uporablja sicer še ni tako napredna, da bi se lahko popolnoma zavedala same sebe, vendar njen razvoj poteka nenehno in je le vprašanje časa, dokler ne bo postala bolj zmogljiva.
Nadalje lahko ureditev kazenske odgovornosti za dejanja robotov vpliva tudi v procesu proizvodnje robotov, tako da proizvajalci robotov namenijo več pozornosti možnim nepravilnostim v delovanju robotov v izogib potencialnim kazenskim sankcijam.50
4.1 Kazenska odgovornost fizičnih oseb
Kaznivo dejanje po slovenski zakonodaji je človekovo protipravno ravnanje, ki ga zakon zaradi nujnega varstva pravnih vrednost določa kot kaznivo dejanje in določa njegove znake ter kazen za krivega storilca.51 Za kaznivo dejanje odgovarja storilec, ki je bil v času storitve kaznivega dejanja prišteven in je ravnal z naklepom ali iz malomarnosti, pri tem pa bi se moral in mogel zavedati, da ravna v nasprotju s pravom in če niso podani razlogi, ki izključujejo krivdo.52 Prištevnost pomeni, da je storilec v času kršitve intelektualno in voljno sposobna oseba. Kazenski zakonik53 določa, da je neprišteven tisti, ki ob storitvi protipravnega dejanja ni mogel razumeti pomena svojega dejanja ali ni mogel imeti v oblasti svojega ravnanja zaradi duševne motnje ali duševne manjrazvitosti.54 Krivdno ravnanje pa pomeni, da je bilo dejanje storjeno iz naklepa ali malomarnosti.
49Povzeto po M. Kaevats, Estonia considers a »kratt law« to legalise Artificial Intelligence, 25. 11. 2017, dostopno na: https://medium.com/e-residency-blog/estonia-starts-public-discussion-legalising-ai-166cb8e34596.
50Povzeto po Y. Hu, Robot Criminals, University of Michigan Journal of Law Reform, Volume 52, 2019, str. 490, dostopno na:
https://repository.law.umich.edu/cgi/viewcontent.cgi?article=1806&context=mjlr.
51 Citiran 16. člen KZ-1.
52 Citiran 24. člen KZ-1.
53 Kazenski zakonik (Uradni list RS, št. 50/12 – uradno prečiščeno besedilo, 6/16 – popr., 54/15, 38/16, 27/17, 23/20 in 91/20; v nadaljevanju KZ-1).
54 Citiran 29. člen KZ-1.
15 4.2 Kazenska odgovornost pravnih oseb
Tudi pravne osebe so lahko v določenih primerih odgovorne za pravne kršitve, ki jih storijo njihovi organi. Pri tem pa je pomembno izpostaviti, da gre vseeno za ravnanja fizičnih oseb, ki nastopajo kot organi pravne osebe ali pa kot delavci pravne osebe. 55
KZ-1 v 42. členu določa, da je storilec izvršil kaznivo dejanje »v imenu, na račun ali v korist pravne osebe in je v zakonu, ki ureja odgovornost pravnih oseb za kazniva dejanja navedeno, da je pravna oseba zanj odgovorna. Kazenska odgovornost pa ne izključuje odgovornosti fizičnih oseb kot storilcev, napeljevalcev ali pomagačev pri istem kaznivem dejanju«.56 Zakon o odgovornosti pravnih oseb57 v 4.
členu določa, da je pravna oseba kazensko odgovorna, »če pomeni storjeno kaznivo dejanje izvršitev protipravnega sklepa, naloga ali odobritve njenih vodstvenih ali nadzornih organov, če so njeni vodstveni ali nadzorni organi vplivali na storilca ali mu omogočili, da je storil kaznivo dejanje; če pridobi protipravno premoženjsko korist iz kaznivega dejanja ali predmete, nastale s kaznivim dejanjem in če so njeni vodstveni ali nadzorni organi opustili dolžno nadzorstvo nad zakonitostjo ravnanja njim podrejenih delavcev.«58
Nadalje Zakon o gospodarskih družbah59 vprašanje zlorab pravnih oseb rešuje z institutom spregleda pravne osebnosti, v okviru katerega za obveznosti pravne osebe odgovarja tudi družbenik, ki je pravno osebo zlorabil za to, da bi dosegel svoj cilj, ki je zanj kot posameznika prepovedan.60
Glede na zapisano, lahko v Sloveniji za kazniva dejanja odgovarjajo le ljudje ter v nekaterih primerih pravne osebe. Roboti po trenutno veljavni zakonodaji ne spadajo v nobeno od navedenih kategorij. Tudi če v KZ-1 ne bi bilo eksplicitno določeno, da je kaznivo dejanje lahko človekovo protipravno ravnanje, bi bilo težko dokazati ostale elemente kaznivega dejanja, npr. prištevnost in krivdno ravnanje. Po trenutno veljavni slovenski zakonodaji roboti nimajo statusa pravne osebe, vendar tudi, če bi ga imeli, bi bilo potrebno upoštevati institut spregleda pravne osebnosti, ki bi prišel v poštev, če bi človek robota izkoristil za storitev kaznivega dejanja.
55 Povzeto po Pavčnik M., Teorija prva: prispevek k razumevanju prava, Lexpera, GV Založba, Ljubljana 2020, str. 150-153 in 162.
56 Citiran 42. člen KZ-1.
57 Zakon o odgovornosti pravnih oseb (Uradni list RS, št. 98/04 – uradno prečiščeno besedilo, 65/08 in 57/12; v nadaljevanju: ZOPOKD).
58 Povzeto po ZOPOKD in citiran 4. člen.
59 Zakon o gospodarskih družbah (Uradni list RS, št. 65/09 – uradno prečiščeno
besedilo, 33/11, 91/11, 32/12, 57/12, 44/13 – odl. US, 82/13, 55/15, 15/17, 22/19 – ZPosS, 158/20 – ZIntPK-C in 18/21; v nadaljevanju ZGD-1)
60 Povzeto po 8. členu ZGD-1.
16 4.3 Možne oblike kazenske odgovornosti za dejanja robotov
Če robot povzroči neželeno posledico, recimo premoženjsko škodo, smrt ali telesno poškodbo fizične osebe je na mestu vprašanje, kdo je odgovoren za posledice dejanja robotov. Morda je fizična oseba robota uporabila le kot orodje, s katerim je storila kaznivo dejanje, morda je robota izkoristila za storitev kaznivega dejanja ali morda robot ni bil proizveden dovolj varno in z upoštevanjem vseh pravil. Obstaja tudi vsaj teoretična možnost, da bi robot namenoma storil kaznivo dejanje, s popolnim zavedanjem posledic svojih dejanj in s hotenjem, da pride do posledic. Trenutno UI še ni na tej stopnji, da bi želela storiti karkoli drugega razen tega, za kar je ustvarjena ali do česar pride pomotoma61, vendar s pospešenim razvojem tehnologije ni mogoče zagotovo trditi, da do takšnih situacij v prihodnosti ne bo prišlo.
4.4 Robot kot sredstvo za izvršitev človekove kriminalne zamisli
Roboti so trenutno v pravo obravnavani kot stvari, ki so narejene za dosego določenih ciljev, recimo za pomoč v proizvodnji, pomoč pri domačih opravilih, pri vojaških spopadih itd. Vsi cilji, ki jih ljudje želijo doseči z uporabo robotov pa niso nujno zakoniti, saj tudi pri uporabi robotov, kot pri vseh ostalih stvareh, obstaja možnost zlorab. Za dejanja, ki jih stori robot ali so storjena z robotom je odgovoren človek, če robota le izkoristi ali zlorabi tako, da preko njega izvede kaznivo dejanje. V teh primerih je storilec človek, robot pa zgolj njegovo sredstvo.62
Pri tem načinu je vseeno kakšne vrste robota gre, lahko je robot v najbolj enostavni obliki ali pa robot, ki vsebuje umetno inteligenco.
4.5 Robot kot neposredni storilec, ki ga izrabi ali vodi posredni storilec
Uporabi robota kot sredstvo za izvršitev človekove kriminalne zamisli, je podoben model izvedbe kaznivega dejanja preko druge osebe63, ki ga je predstavil Hallevy.64 Pri tem modelu UI ali robot ni več le sredstvo, temveč je nedolžni agent, ki ga je storilec uporabil za izvršitev kaznivega dejanja. UI
61 Na primer, podjetje Facebook je leta 2017 izklopilo programa UI, ko sta ustvarila svoj jezik pogovora in ju raziskovalci ter opazovalci niso več razumeli. Seveda programa UI tega nista storila namenoma, našla sta le lažji način sporazumevanja, raziskovalci pa poskusa niso mogli dokončati, če ga niso več razumeli. Povzeto po:
Facebook researchers shut down AI bots that started speaking in a language unintelligible to humans, 1. 8. 2017, dostopno na: https://www.firstpost.com/tech/news-analysis/facebook-researchers-shut-down-ai-bots-that-started- speaking-in-a-language-unintelligible-to-humans-3876197.html.
62 Povzeto po J. Jakšič, Vprašanje reforme slovenske kazenskopravne ureditve zaradi razvoja umetne inteligence, Revija za kriminalistiko in kriminologijo, Ljubljana 69, 2018, str. 194 - 205, dostopno na:
https://www.policija.si/images/stories/Publikacije/RKK/PDF/2018/03/RKK2018- 03_JureJaksic_VprasanjeReforme.pdf.
63 Ang. Perpetration-via-Another Liability.
64 Povzeto po G. Hallevy, The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control, The University of Akron, Akron Intellectual Property Journal, marec 2016, str. 179 – 181, dostopno na:
https://ideaexchange.uakron.edu/cgi/viewcontent.cgi?article=1037&context=akronintellectualproperty.
17 primerja z osebo, ki je duševno motena ali z otrokom, saj je v obeh primerih takšna oseba lahko le neke vrste posrednik, medtem ko je dejanski storilec kaznivega dejanja tisti, ki ravnanje vodi iz ozadja. Pri robotih bi bil lahko posredni storilec dejanja programer robota, ki UI, ki jo robot vsebuje tako programira, da stori kaznivo dejanje. Na primer, če robot ponoči zažge tovarno, je dejanski storilec kaznivega dejanja programer, kljub temu, da je dejanje neposredno storil robot. Posredni storilec bi bil lahko tudi končni uporabnik robota, ki le-temu ukaže, da nekoga ubije. Hallevy navedeno primerja s psom, ki uboga ukaze, vendar se uporaba robota za storitev kaznivega dejanja razlikuje od uporabe izvijača ali psa v tem, da izvijač ne more ubogati ukazov, ki jih pes lahko, pes pa ne more ubogati zelo zapletenih ukazov, ki jih UI lahko.
V slovenski zakonodaji je posredni storilec lahko le človek. KZ-1 posredno storilstvo opredeljuje v 20.
členu z naslovom »Storilec in sostorilec«, ki določa, da je storilec kaznivega dejanja vsak, »ki ga stori osebno ali z izrabljanjem in vodenjem ravnanj drugega (posredni storilec)«65. Posredni storilec je opredeljen kot oseba, ki izrablja ali vodi ravnanja neposrednega storilca, da stori dejanje, nad katerim ima oblast posredni storilec. Značilno je tudi, da posredni storilec ravna z naklepom, medtem ko je pri neposrednem storilcu odsotnost naklepa.
Tipične oblike posrednega storilstva so: 1) ko ravnanje neposrednega storilca ne izpolni znakov kaznivega dejanja, pri tem gre pogosto za primere samopoškodbe, ko sta neposredni storilec in oškodovanec ista oseba;, 2) ko ravnanje neposrednega storilca izpolni znake kaznivega dejanja, ampak je podan eden od razlogov izključitve protipravnosti; 3) ko neposredni storilec ravna z zmanjšano krivdo ali brez krivde, tipično gre za primere, pri katerih neposredni storilec dejanje stori zaradi zmote, opravičljive skrajne sile ali krivde nesposobnosti (otrok, neprištevna oseba); 4) ko neposredni storilec nima lastnosti, ki jih pri določenih kaznivih dejanjih zahteva zakon, npr. ni uradna oseba ter 5) ko gre za uporabo organiziranega aparata moči ali 6) vodjo hudodelske združbe.66
Po trenutno veljavni zakonodaji roboti torej ne morejo biti obravnavani kot posredni storilci, lahko so le sredstva za dosego (nedovoljenega) cilja. Hallevyjev model robote in UI predvideva nekje vmes, med sredstvi in posrednimi storilci, kot jih razumemo po slovenskem pravu.
4.6 Kazenska odgovornost proizvajalcev za dejanja robotov
Roboti so običajno sestavljeni iz mehanskih elementov ter programov, ki lahko vsebujejo UI ali pa ne.
Veliko robotov ima tudi senzorje, ki jim pomagajo pri manevriranju po svojem okolju. Roboti se med
65 Citirano KZ-1, prvi odstavek 20. člena.
66 Povzeto po magistrski nalogi M. Maver, Posredni storilec pri kaznivem dejanju, Pravna fakulteta, Univerza v Ljubljani, december 2017, str. 12 – 19.
18 seboj močno razlikujejo po oblikah in namenu, vendar je vsem skupno, da morajo biti vsi njihovi elementi v postopku proizvodnje združeni tako, da nastane varen proizvod.67
V Združenih državah Amerike je vrhovno sodišče v New Yorku v precedenčnem primeru Jones v. W + M Automation, Inc., 818 N.Y.S.2d 396 leta 2006 razsodilo, da podjetje, ki je proizvedlo robota, ki je poškodoval tožnika ni odgovorno za njegovo poškodbo, ker je bil del robota dodan naknadno in ker je bil proizveden v skladu s pravili stroke. Tožnik je bil zaposlen v proizvodnji avtomobilov General Motors, kjer ga je med delom v glavo zadela premična roka robota in povzročila hude poškodbe glave.
Proizvajalec robota je bil oproščen, ker je bil robot proizveden v skladu s pravili stroke, nesreča se je pa zgodila zaradi dodane komponente, ki jo je dodalo podjetje General Motors.68
V primeru iz prejšnjega odstavka je bila robotu dodana fizična komponenta, dilema pa je, kdo je kazensko odgovoren za kazniva dejanja robota, ki vsebuje UI, ki se je sposobna učiti tudi po postopku proizvodnje. Določena stopnja predvidljivosti vedenja robota se pričakuje, vendar lahko pride do nenačrtovanih in nepredvidljivih situacij, na katere bi lahko robot odreagiral nepredvidljivo, zaradi specifičnega okolja v katerem se je učil. V takšnih primerih kazenska odgovornost proizvajalca ni samoumevna, vendar tudi sam uporabnik ni nujno odgovoren za dejanja robota. Ravno v takšnih situacijah se pokaže smisel modela neposredne odgovornosti robotov za svoja dejanja.69
V zvezi z navedenim je Hallevy predlagal še en model kazenske odgovornosti za dejanja robotov, ki bolj podrobno opredeli eno izmed možnih situacij pri dejanjih robotov, ki vsebujejo UI.70 Po modelu naravne in verjetne posledice71 so za dejanja robotov kazensko odgovorni programerji ali uporabniki UI, če jim lahko dokažemo malomarnost. Če bi programer UI ali uporabnik moral vedeti, da je naravna in verjetna posledica njegovih ravnanj neželena posledica, ki jo je storila UI ali robot, je kazensko odgovoren, tudi če ne želi, da bi prišlo do kaznivega dejanja in ne more vplivati na UI ali robota, medtem ko stori kaznivo dejanje.72
67 Povzeto po prvem odstavku 5. člena Zakona o splošni varnosti proizvodov (Uradni list RS, št. 101/03).
68 Povzeto po THOMAS E. JONES et al., Respondents-Appellants, v. W + M AUTOMATION, INC., et al., Appellants-Respondents, TRI-TEC CONTROLS, INC., et al., Respondents, et al., Defendants., 7. 7. 2021, dostopno na: https://h2o.law.harvard.edu/cases/5775.
69 Povzeto po F. Houvast, R. Timmerman, Y. Zwaan, Exploring the Legal Rights & Obligations of Robots, Utrecht University, april 2018, str. 5.
70 Povzeto po G. Hallevy, The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control, The University of Akron, Akron Intellectual Property Journal, marec 2016, str. 181 - 186 , dostopno na:
https://ideaexchange.uakron.edu/cgi/viewcontent.cgi?article=1037&context=akronintellectualproperty.
71 Ang. Natural-Probable-Consequence).
72 Povzeto po G. Hallevy, The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control, The University of Akron, Akron Intellectual Property Journal, marec 2016, str. 181 - 186 , dostopno na:
https://ideaexchange.uakron.edu/cgi/viewcontent.cgi?article=1037&context=akronintellectualproperty
19 Nekaj več o kazenski odgovornosti proizvajalcev robotov sledi v poglavju, ki se ukvarja z avtonomnimi vozili.
4.7 Roboti sami kazensko odgovarjajo za svoja dejanja
Že leta se trudimo, da bi bili roboti čim bolj samostojni in čim bolj inteligentni, saj bi tako pomagali narediti naša življenja bolj enostavna in avtomatizirana. Ta trud pa po drugi strani prinese s sabo tudi težje razumevanje dejanj robotov. Že sedaj zelo avtonomni in napredni roboti z UI delujejo tako zapleteno, da tudi razvijalci robotov včasih težko razumejo, zakaj so prišli do določenih odločitev. Med drugim se je tudi zaradi navedenega pojavila ideja, da bi bilo smiselno vzpostaviti sistem, po katerem bi bili roboti sami kazensko odgovorni za svoja dejanja.
Eden izmed razlogov, zakaj nekateri strokovnjaki menijo, da bi bilo potrebno vzpostaviti posebna pravila, po katerih bi roboti za svoja dejanja kazensko odgovarjali sami je, da včasih obstajajo posebne okoliščine, v katerih bi roboti morali biti zavezani k višjim ali vsaj enakim moralnim standardom kot ljudje. Na primer, če vidimo nekoga, ki se utaplja, ne bomo avtomatično kazensko odgovorni za njegovo smrt, če ga ne bomo poskušali rešiti.73 Če bi pa robot opazil nekoga, ki se utaplja in preračunal možne rešitve ter prišel do odločitve, da utapljajočega ne bo rešil, ker obstaja možnost, da bi pri tem sam padel v vodo ter se poškodoval ali uničil, bi večina ljudi verjetno menila, da bi robot moral v vsakem primeru, tudi na škodo samega sebe, poskusiti rešiti utapljajočega. Tako bi menili zato, ker morda obstaja zelo majhna možnost, da bi se robot pri tem dejansko uničil ali pa zato, ker bi se robot sicer fizično uničil, ampak bi njegovi »možgani« (program, temelječ na UI) preživeli na oblaku ali pa zato, ker robot ni enakovreden človeškemu življenju. Če bi imeli posebna pravila, ki bi veljala za robote, bi v njih lahko opredelili minimum moralnih standardov, s katerimi bi bili roboti zavezani. Pomembno je, da se pravila vzpostavijo na ravni države, saj bi bila v nasprotnem primeru ureditev tega vprašanja prepuščena posameznim proizvajalcem robotov. Razlog za vzpostavitev posebnih pravil za ureditev kazenske odgovornosti robotov za svoja dejanja je tudi ta, da se bodo roboti v prihodnosti morda soočali z novimi moralnimi izzivi in vprašanji, s katerimi se ljudje do sedaj še nismo.74
Za vzpostavitev sistema kazenske odgovornosti robotov za svoja dejanja so po mnenju nekaterih strokovnjakov potrebne tri predpostavke: a) robot mora vsebovati algoritme, ki lahko sprejemajo
73 Kot je objavljeno tudi v Nasvetih za večjo varnost v in ob vodi na spletni strani Policije: »Če opazite, da se nekdo utaplja, ne skačite brezglavo za njim v vodo. Če niste dober plavalec, bo vaš pogum lahko zaman, reševalci pa bodo morali namesto ene osebe lahko reševati celo dve.«, dostopno na:
https://www.policija.si/svetujemo-ozavescamo/javni-red-in-mir/varnost-v-in-ob-vodi.
74Povzeto po Y. Hu, Robot Criminals, University of Michigan Journal of Law Reform, Volume 52, 2019, str. 500 - 503, dostopno na:
https://repository.law.umich.edu/cgi/viewcontent.cgi?article=1806&context=mjlr.
