Univerza v Ljubljani
Fakulteta za raˇ cunalniˇ stvo in informatiko
Jaˇsa Frelih ˇ Crv
Zaznavanje zasedenosti prostora z napravo lidar
DIPLOMSKO DELO
VISOKOˇSOLSKI STROKOVNI ˇSTUDIJSKI PROGRAM PRVE STOPNJE
RA ˇCUNALNIˇSTVO IN INFORMATIKA
Mentor : viˇs. pred. dr. Robert Rozman
besedilo, slike, grafi in druge sestavine dela kot tudi rezultati diplomskega dela lahko prosto distribuirajo, reproducirajo, uporabljajo, priobˇcujejo javnosti in pre- delujejo, pod pogojem, da se jasno in vidno navede avtorja in naslov tega dela in da se v primeru spremembe, preoblikovanja ali uporabe tega dela v svojem delu, lahko distribuira predelava le pod licenco, ki je enaka tej. Podrobnosti licence so dostopne na spletni strani creativecommons.si ali na Inˇstitutu za intelektualno lastnino, Streliˇska 1, 1000 Ljubljana.
Izvorna koda diplomskega dela, njeni rezultati in v ta namen razvita program- ska oprema je ponujena pod licenco GNU General Public License, razliˇcica 3 (ali novejˇsa). To pomeni, da se lahko prosto distribuira in/ali predeluje pod njenimi pogoji. Podrobnosti licence so dostopne na spletni strani http://www.gnu.org/
licenses/.
Besedilo je oblikovano z urejevalnikom besedil LATEX.
Kandidat: Jaˇsa Frelih ˇCrv
Naslov: Zaznavanje zasedenosti prostora z napravo lidar
Vrsta naloge: Diplomska naloga na visokoˇsolskem strokovnem programu prve stopnje Raˇcunalniˇstvo in informatika
Mentor: viˇs. pred. dr. Robert Rozman
Opis:
Izdelajte prototipni sistem za samodejno zaznavanje zasedenosti prostora na uporabniku ˇcimbolj prijazen in neinvaziven naˇcin. Zasnujte in realizirajte celotni sistem z aparaturno in programsko opremo. Uporabite lahko tudi ˇze obstojeˇce naprave in jih ustrezno nadgradite. Sistem preizkusite v praksi in podajte konˇcne ugotovitve.
Title: Room occupancy detection using lidar device Description:
Create a prototype system to automatically detect room occupancy in the most user-friendly and non-invasive way possible. Design and implement the entire system with hardware and software. You can also use existing devices and upgrade them accordingly. Evaluate the system in practice and present final conclusions.
Na tem mestu bi se rad zahvalil podjetju Smarteh d. o. o. za izjemno pomoˇc pri izdelavi elektronske naprave lidar LIDAR LM P − 1.LI1 , ter za vse ostale nasvete ter predloge posredovane med izdelavo diplomske naloge. Prav tako bi se rad zahvalil mojemu mentorju viˇs. pred. dr. Robertu Rozmanu, za
Kazalo
Povzetek Abstract
1 Uvod 1
2 Motivacija 3
3 Pregled podroˇcja 5
4 Elektronska naprava lidar 9
5 Realizacija prototipnega sistema 15
5.1 Komunikacija z elektronsko napravo lidar . . . 19
5.2 Branje ter pretvorba zajetih podatkov . . . 23
5.3 Izris podatkov v 3D koordinatnem sistemu . . . 27
5.4 Preprost algoritem za zaznavanje zasedenosti prostora . . . 32
5.5 Grafiˇcni uporabniˇski vmesnik . . . 34
6 Preizkuˇsanje v realnem prostoru 39
7 Rezultati delovanja sistema 41
8 Zakljuˇcek 43
Clanki v revijahˇ 47
Seznam uporabljenih kratic
kratica angleˇsko slovensko
ADC Analog to digital conversion Analogno digitalna pretvorba CMOS Complementary metal oxide
semiconductor
Komplementarni kovinsko oksidni polprevodnik
FW Firmware Vgrajena programska oprema
GUI Graphical user interface Grafiˇcni uporabniˇski vmesnik Lidar Light detection and ranging Zaznavanje svetlobe in merje-
nje razdalje
RTU Remote terminal unit Oddaljena prikljuˇcna enota OPA Optical phased array Optiˇcno fazno polje
PIR Passive infrared sensor Pasivno infrardeˇce tipalo PLC Programmable logic control-
ler
Programabilni logiˇcni krmil- nik
RFID Radio frequency identification Radio frekvenˇcna identifika- cija
SW Software Programska oprema
TOF Time of flight Cas letaˇ
UART Universal asynchronous recei- ver and transmitter
Univerzalni asinhroni spreje- mnik in oddajnik
Povzetek
Naslov: Zaznavanje zasedenosti prostora z napravo lidar Avtor: Jaˇsa Frelih ˇCrv
Diplomsko delo se sooˇca s problematiko avtomatizacije uporabe hotelskih in konferenˇcnih sob preko zaznavanja zasedenosti prostora. Najbolj pogo- sti indikatorji zasedenosti prostora so trenutno kartiˇcni sistemi RFID. V di- plomskem delu smo zasnovali in izvedli prototipni sistem, ki informacijo o zasedenosti pridobi na samodejni naˇcin (brez interakcije z uporabnikom), kar pripomore k bolj ekonomiˇcnemu in uˇcinkovitemu upravljanju delovanja hotelov ter drugih zgradb. Sistem temelji na obstojeˇci elektronski napravi LIDAR LM P−1.LI1, ki smo jo aparaturno nadgradili in ji dodali ustrezno programsko opremo. V tem okvirju je poglavitni prispevek tega dela preprost in zanesljiv algoritem za zaznavanje zasedenosti prostora na osnovi izvede- nih meritev z napravo lidar. Ta namreˇc zaporedoma premeri celoten prostor oziroma spodnji del sfere in zajete podatke analizira. Podatke o merjenih raz- daljah v razliˇcnih smereh najprej pretvorimo iz polarnih v karteziˇcni zapis in nato prostor izriˇsemo v 3D predstavitvi. Iz veˇc zaporednih meritev zaznamo morebitne spremembe in sklepamo o zasedenosti prostora. Dodan grafiˇcni uporabniˇski vmesnik omogoˇca nastavitev naprave. Delovanje prototipnega sistema smo temeljito preizkusili in ugotovili, da zadovoljuje zastavljene ci- lje in hkrati kaˇze potencial za nadaljnji razvoj konˇcnega izdelka na tej osnovi.
Kljuˇcne besede: lidar tipalo, 3D izris prostora, zaznavanje zasedenosti
Abstract
Title: Space occupancy detection with lidar device Author: Jaˇsa Frelih ˇCrv
The thesis addresses the problem of automating the use of hotel and confer- ence rooms with occupancy sensing. RFID card systems are used as the most common room occupancy indicators. In this thesis, we have designed and implemented a prototype system that automatically obtains occupancy in- formation (without user interaction), which helps to manage hotels and other buildings more economically and efficiently. The system is based on the ex- isting LIDAR LM P −1.LI1 electronic device , which has been upgraded with adequate hardware and software. In this context, the main contribution of this work is a simple and reliable algorithm for room occupancy detection based on the measurements taken by the lidar device. Namely, the lidar se- quentially measures the distances in the lower part of the sphere and analyses the acquired data. The measured distances in different directions are first converted from polar to Cartesian notation and then the space is plotted in a 3D representation. From the comparison of several successive measurements, changes are detected and conclusions about the occupancy of the room are drawn. An added graphical user interface enables the device configuration.
We have thoroughly tested the performance of the prototype system and found that it meets the main objectives while showing the potential for fur- ther development into the final product.
Poglavje 1 Uvod
Diplomska naloga se osredotoˇca na optimizacijo elektronske napraveLIDAR LM P −1.LI1 ter na oblikovanje preprostega in natanˇcnega algoritma za zaznavanje zasedenosti prostora s pomoˇcjo podatkov o razdaljah, ki jih ta naprava zaporedoma zajema.
Temo za izdelavo diplomske naloge smo izbrali, ker sta nam podroˇcje avtomatizacije ter nadzora zgradb izredno blizu. Na podroˇcju avtomatiza- cije zgradb smo ˇze sodelovali pri nekaterih projektih, kot so: avtomatizacija kurilnice ter avtomatizacija ogrevanja v dvostanovanjski hiˇsi.
Ideja za diplomsko nalogo se je porodila kot reˇsitev za zaznavanje zase- denosti prostora, pogosto pa to uporabimo tudi za prepoznavanje prisotnosti oziroma odsotnosti oseb v prostoru. Predvsem smo hoteli poiskati reˇsitev za uˇcinkovito zaznavanje gostov v hotelskih sobah ter oseb v konferenˇcnih sobah.
S tem se hkrati tudi zagotovi bolj uˇcinkovito upravljanje hotelov in podobnih zgradb. Podatek o zasedenosti prostora bi naˇsa konˇcna reˇsitev pridobila na samodejen naˇcin, torej za to ni potrebne nobene interakcije hotelskega gosta oziroma druge osebe z napravo.
Dosedanje zaznavanje zasedenosti hotelskih ter konferenˇcnih sob je bilo predvsem izvedeno prek RFID kartiˇcnih sistemov ter odloˇzilnika. Omenjeni sistemi zasedenost prostora zaznavajo preko zaznavanja odlaganja RFID kar- tic v odloˇzilnik. Prviˇc so takˇsne reˇsitve nepraktiˇcne za samega gosta oziroma
uporabnika prostora, poleg tega je takˇsen naˇcin zaznavanja nezanesljiv. Kot primer lahko navedemo: par gostov v sobi oziroma uporabnikov prostora eno kartico pusti v odloˇzilniku, drugo pa odnese s seboj. Sistem bo privzel, da je vsaj ena oseba ˇse vedno v prostoru in bodo, zato parametri avtomatizacije ostali nespremenjeni. V veˇcjih prostorih to pomeni enormno izgubo ener- gije, zaradi delovanje hlajenja, ogrevanja, osvetljave ter drugih elektriˇcnih porabnikov, brez dejanske prisotnosti gosta oziroma uporabnika v prostoru.
Naˇs glavni cilj je bil izdelati ter optimizirati elektronsko napravo s pod- porno programsko opremo, ki bi bila cenovno dostopnejˇsa, kot podobne ˇze ob- stojeˇce reˇsitve ter bi bila uporabniku prijazna in zanj nemoteˇca. Obenem smo hoteli odpraviti oziroma zmanjˇsati prej opisane probleme. Poslediˇcno bi naˇsa konˇcna reˇsitev tudi prispevala k uˇcinkovitejˇsemu ter zanesljivejˇsemu delova- nju avtomatizacije zgradb. Poleg same elektronske naprave, pa je kljuˇcnega pomena sam algoritem za zaznavanje zasedenosti prostora ter ostali samo- stojni deli programske opreme. Osebe je potrebno loˇciti od ostalih predmetov v prostoru in hkrati ugotoviti trenutno zasedenost hotelskih sob oziroma dru- gih prostorov ter povrˇsin.
Za potrebe optimiziranja elektronske naprave lidar ter preizkuˇsanje al- goritma za zaznavanje zasedenosti prostora smo izdelali tudi 3D izris pro- stora. Izris prostora v 3D obliki bralcu diplomskega dela hkrati tudi poeno- stavi razumevanje samega delovanja elektronske naprave lidar ter algoritma za zaznavanje zasedenosti prostora. Za konec smo izdelali ˇse grafiˇcni upo- rabniˇski vmesnik, ki celotno elektronsko napravo lidar zakroˇzi v uporabno celoto. Celoten prototipni sistem se bo predvidoma kasneje, ob ugodnih re- zultatih preizkuˇsanja, uporabilo za potrebe avtomatizacije hotelskih oziroma konferenˇcnih sob.
Glavni prispevek celotne diplomske naloge je tako preprost algoritem za zaznavanje zasedenosti hotelskih sob oziroma prostorov. Slednji bo pripo- mogel k zmanjˇsanju energijske porabe veˇcjih zgradb, predvsem pa omogoˇcil samodejno zaznavanje zasedenosti hotelskih sob ter ostalih prostorov.
Poglavje 2 Motivacija
Motivacijo za to diplomsko nalogo smo dobili med sodelovanjem pri projek- tnem delu na podjetju Smarteh d. o. o.. Tam smo se predvsem ukvarjali z avtomatizacijo kurilnic ter avtomatizacijo ogrevanja v dvostanovanjski hiˇsi.
Podjetje Smarteh d. o. o. ˇze veˇc kot dvajset let deluje na podroˇcju razvoja in proizvodnje elektronskih sistemov in naprav za avtomatizacijo zgradb ter industrijskih procesov. Glavnina njihovega razvoja ter proizvo- dnje je usmerjena v programabilne logiˇcne krmilnike (PLK) (angleˇska kra- tica P LC) ter druge elektronske naprave za potrebe avtomatizacije. Nji- hovi reˇsitve se med drugim uporabljajo na velikih potniˇskih ladjah, naftnih ploˇsˇcadih, v hotelskih ter konferenˇcnih sobah, velikih kuhinjah, bolnicah ter drugih veˇcjih objektih. Sodelovanje z njimi je obsegalo delo z mikrokrmil- niki, PLK ter drugimi elektronskimi napravami in tipali, ki se uporabljajo za potrebe avtomatizacije zgradb.
Pri podjetju so ˇze vrsto let gojili idejo o razvoju elektronske naprave za samodejno prepoznavanje prisotnosti oseb v prostoru tudi, ko so le te v mirovanju. Tipala kot so na primer infrardeˇce, pasivno infrardeˇce tipalo (angleˇska kratica P IR), mikrovalovno tipalo prisotnosti na osnovi Do- pplerjevega efekta, namreˇc zaznavajo samo premikajoˇce se osebe. Tekom sodelovanja smo predstavnikom podjetja predstavili tudi naˇso idejo o konˇcni reˇsitvi za zaznavanje oseb v prostoru ter se dogovorili, da bi lahko v okviru
obvezne delovne prakse to skupno idejo realizirali. Za ta namen smo tako s pomoˇcjo podjetja nadgradili obstojeˇco elektronsko napravo ter predvsem op- timizirali elektronsko napravo za zaznavanje zasedenosti prostora. Obenem smo se tudi odloˇcali, s katerim tipalom razdalje bomo to elektronsko napravo realizirali. Izbirali smo med ultrazvoˇcnim ter svetlobnim lidar tipalom. Ul- trazvoˇcno tipalo se je izkazalo kot manj selektivno in prepoˇcasno. Na osnovi teh izsledkov smo se odloˇcili za uporabo lidar tipala, ki med drugim lahko pokriva tudi veˇcje prostore ter povrˇsine.
Najveˇcjo motivacijo med samo izdelavo diplomskega dela nam je pred- stavljala izdelava reˇsitve za prej opisano problematiko dosedanjega naˇcina za- znavanja zasedenosti hotelskih ter konferenˇcnih sob z uporabo RFID kartiˇcnih sistemov ter odloˇzilnikov. Naˇsa konˇcna reˇsitev z uporabo elektronske naprave lidar ter preprostega algoritma za zaznavanje zasedenosti prostora, bi tako s stalnim pregledovanjem prostora samodejno ocenila zasedenost prostora in s tem posredovala podatek o zasedenosti prostora do glavnega PLK-ja ozi- roma mikrokrmilnika. Ta bi potem podatek o zasedenosti prostora uporabil za krmiljenje ostalih elementov avtomatizacije prostorov, kot so: gretje ter hlajenje prostorov, osvetlitev prostorov ter delovanje ostalih naprav priso- tnih v njem. Gonilo celotnega projekta oziroma diplomske naloge je bilo, da se izdela prototipno reˇsitev ter oceni ali bi bila taka reˇsitev ob ustreznem nadaljnjem razvoju dovolj zanesljiva za potrebe avtomatizacije hotelskih ter konferenˇcnih sob.
Glavni doprinos te diplomske naloge je samodejno zaznavanje zasede- nosti prostora, kjer interakcija z uporabnikom ni potrebna. Poslediˇcno se s tem zmanjˇsa energetska poraba hotelov ter drugih veˇcjih zgradb in hkrati postane delovanje le teh uˇcinkovitejˇse ter zanesljivejˇse.
Poglavje 3
Pregled podroˇ cja
Na podroˇcju lidar 3D tehnologije za prepoznavanje ter ˇstetje oseb v prostoru ˇze obstaja nekaj konˇcnih izdelkov oziroma produktov, ki ponujajo zakljuˇceno reˇsitev v sami elektronski napravi.
Med temi na primer izstopa tipalo podjetja Sick P eopleCounter [6], ki omogoˇca natanˇcno ˇstetje oseb do razdalje 30 metrov. Sistemska programska oprema se izvaja na zmogljivejˇsi napravi oziroma osebnem raˇcunalniku, tako da samo tipalo ni uporabno za povezavo na obstojeˇce sisteme avtomatizacije zgradb. Hkrati tipalo ne zajema podatkov o razdaljah v veˇcjem prostoru, ampak samo v ozkem pasu. Poslediˇcno je namenjeno izkljuˇcno za uporabo na prehodih v trgovskih centrih, letaliˇsˇcih, muzejih ter drugje.
Druga reˇsitev oziroma primerljiv konˇcni izdelek, ki izstopa je S–Series Lidar, podjetja Quanergy [4]. Tipalo oziroma elektronska naprava je na- menjena predvsem industrijski uporabi. Temelji na tehnologiji optiˇcnega faznega polja (OFP) (angleˇska kraticaOP A) in s tem nima premiˇcnih de- lov. Ponuja izniˇcevanje tresljajev in natanˇcne meritve zasedenosti prostora do 30 metrov daleˇc. Naprava podpira skalabilnost in povezovanje veˇcjega ˇstevila tipal v oblak tipal. Prav tako se sistemska programska oprema izvaja na zmogljivejˇsi napravi oziroma osebnem raˇcunalniku in tako tudi ta naprava ni uporabna za povezavo na obstojeˇce sisteme avtomatizacije zgradb. V tem primeru je algoritem za ˇstetje oseb v prostoru zelo kompleksen, saj uporablja
tudi umetno inteligenco.
Oba izdelka sta imela pri naˇsi diplomski nalogi kljuˇcno vlogo, saj smo lahko z njima povlekli kar nekaj vzporednic. Prav tipalo podjetja Sick P eopleCounter ima podoben namen uporabe ter naˇcin delovanja in je bil, zato primeren vir informacij tekom izdelave diplomskega dela. Naˇs izdelek smo hoteli izdelati kot samostojno celoto, ki bi bila v naˇsih ciljnih primerih uporabe cenovno dostopna. Obe izmed reˇsitev, ki smo jih med samim delom imeli za zgled sta namreˇc zelo dragi ter jih je tako ne smiselno uporabiti v samostojnem avtomatizacijskem sistemu. Prav tako sta za naˇs predviden namen uporabe opisani reˇsitvi preveˇc natanˇcni ter kompleksni. Motivacijo med delom nam je torej dajala tudi ideja o cenejˇsi ter konˇcni reˇsitvi, ki bi bila prenosljiva ter bi se zaradi svoje modularne zasnove lahko uporabljala v veˇc razliˇcnih konˇcnih sistemih avtomatizacije zgradb.
Poleg obeh naˇstetih konˇcnih izdelkov, smo naˇsli tudi strokovni ˇclanek ter dve diplomski deli, ki se ukvarjata s podobno tematiko. Prva publikacija [1], oziroma strokovni ˇclanek, se nanaˇsa bolj na sam prikaz podatkov merje- nja v 3D obliki in tudi na prepoznavanje objektov oziroma oseb v teh vzorcih.
Publikacija predvsem opisuje, kako si razlagati podatke zajete z vrteˇcim li- dar tipalom, ki ga uporabljamo tudi pri naˇsi diplomski nalogi. Dotika se problematike loˇcevanja podatkov ozadja od ospredja ter opisuje probleme, ki nastajajo pri dojemanju ter obdelavi samih podatkov. Vsebuje tudi lepo predstavljen konˇcni avtomat stanj za algoritem zaznavanja sprememb v pro- storu oziroma algoritma za nadzor nad premiki peˇscev. Slednji strokovni ˇclanek nam je bil koristen predvsem pri pretvorbi zajetih vrednosti elektron- ske naprave lidar v smiselne karteziˇcne koordinate ter izris le teh na vizualno privlaˇcen in razumljiv naˇcin.
Druga publikacija oziroma diplomska naloga [5] se bolj nanaˇsa na dejan- sko ˇstetje oseb v prostoru in opazovanje zasedenosti nekega prostora. Publi- kacija se predvsem nanaˇsa na fiziˇcne lastnosti naprave lidar, njeno postavi- tev ter moˇznosti oziroma scenarije njene uporabe. Opisuje tudi uporabniˇski vmesnik, ki so ga pri tem projektu oblikovali za njihovo napravo ter hkrati
Diplomska naloga 7 dodobra predstavi dejansko lidar tipalo in njegove karakteristike. Navedeni so tudi programski jeziki, ki so bili uporabljeni pri izvedbi ter vse knjiˇznice, ki so jih pri tem koristili. To delo nam je bilo ponovno v pomoˇc pri izdelavi samega algoritma za zaznavanje zasedenosti prostora in pri samem obdelova- nju zajetih podatkov merjenj, ki jih prejmemo od elektronske naprave lidar.
Obenem pa smo skozi delo spoznali ustrezne knjiˇznice za programske jezike, ki smo jih kasneje tudi sami uporabili pri izdelavi naˇsega diplomskega dela.
Zadnja publikacija oziroma diplomska naloga pa se osredotoˇca na vi- zualizacijo podatkov zajetih s pomoˇcjo lidar tipala v 3D prostoru [3]. V tem diplomskem delu so zajete predvsem metode ter postopki za izris velike koliˇcine zajetih podatkov z lidar tipalom in hkrati tudi metode za izris le teh v 3D prostoru z veliko natanˇcnostjo. Za nas je bil predvsem zanimiv naˇcin optimizacije ter obdelave samih podatkov pred izrisom, ter prilagoditev le teh za ˇse nazornejˇsi in toˇcnejˇsi prikaz.
Vsa naˇsteta literatura je bila pri naˇsem diplomskem delu nepogreˇsljiva, saj nam je ponudila drugaˇcen vpogled v celotno problematiko, ki smo jo reˇsevali. Hkrati nam je ponudila veliko razliˇcnih metod ter orodij, ki so nam bile med izdelavo naˇse diplomske naloge v veliko oporo ter pomoˇc.
Poglavje 4
Elektronska naprava lidar
Osrednji del aparaturne opreme predstavlja elektronska naprava LIDAR LM P −1.LI1. Zasnovana je bila v podjetju Smarteh d. o. o., kjer so jo ˇze dalj ˇcasa naˇcrtovali in jo nato oblikovali ter nam jo predali. Po predaji so nas na podjetju seznanili s celotnim postopkom izdelave ter delovanjem te naprave. Opravili smo tudi celoten pregled vgrajene programske opreme (an- gleˇskoF irmware oziroma s kratico F W), ki smo jo skozi celotno delo na diplomski nalogi ˇse dodatno dodelali ter celotno delovanje optimizirali.
Prav tako smo napravili doloˇcene popravke v aparaturni strukturi naprave ter vpetju lidar tipala in nosilcu le tega.
Elektronska naprava lidar je sestavljena iz lidar tipala podjetja Bene- wakeT F02P ro40m IP65 LiDAR[2], dveh koraˇcnih motorjev (sestavljata pogonski del) ter elektronskega vezja (slika 4.1). Slednje obsega gonilnik koraˇcnih motorjev, napajalni del, komunikacijski gonilnik ter mikrokrmilnik.
Lidar tipalo Benewake T F02 −P ro 40m IP65 LiDAR je cenovno ugodno tipalo za merjenje razdalj do 40 metrov. Uporablja tehnologijo ˇcasa preleta svetlobe (angleˇsko T ime of f light oziroma s kratico T OF).
Prilagojen je tako za zunanjo kot notranjo uporabo in lahko deluje tudi v oko- ljih z visoko osvetlitvijo. Optimizacijski algoritem za izboljˇsanje natanˇcnosti meritev razdalje je vgrajen ˇze na samem tipalu.
Elektromehanski oziroma pogonski del elektronske naprave lidar na-
prave sestavljata dva klasiˇcna koraˇcna motorja, ki sta med seboj mehansko povezana v vrtljiv sklop. Na ta naˇcin doseˇzemo horizontalni in vertikalni pre- mik glave lidar tipala, ki lahko tako meri razdalje celotnega spodnjega dela sfere. Konˇcna lega koraˇcnih motorjev je po horizontali ter vertikali mehansko omejena.
Slika 4.1: Blok shema elektronske naprave LM P −1.LI1.
Diplomska naloga 11 Gonilnik (angleˇskoDriver) koraˇcnih motorjev skrbi za pretvorbo na- petostnih preklopnih nivojev mikrokrmilnika v viˇsje napetostne nivoje koraˇcnega motorja. Gonilnik hkrati zagotavlja tudi veˇcje tokove potrebne za delovanje koraˇcnega motorja. Vsak izmed koraˇcnih motorjev je bipolaren s po dvema navitjema tako, da za krmiljenje posameznega motorja potrebujemo po ˇstiri tranzistorske izhodne stopnje.
Za napajanje elektronske naprave lidar skrbi preklopni napajalnik. Ta pretvarja vhodno napajalno napetost v napetost potrebno za napajanje mi- krokrmilnika, lidar tipala in komunikacijskega gonilnika ter napetost po- trebno za napajanje koraˇcnih motorjev.
Komunikacijski gonilnik elektronske naprave lidar skrbi za pretvorbo logiˇcnih nivojev mikrokrmilnika v RS485 komunikacijske nivoje in za pravi- len preklop med oddajo ter sprejemom.
Jedro elektronske naprave lidar je mikrokrmilnik. Preko komunikacij- skega gonilnika komunicira z nadrejeno napravo, katera mu preda nastavitve za ˇzelen naˇcin delovanja, nadrejeni napravi pa posreduje zajete meritve raz- dalj in zastavice. S pomoˇcjo gonilnika koraˇcnih motorjev v skladu s prej prejetimi nastavitvami upravlja poloˇzaja obeh koraˇcnih motorjev. Preko UART vhoda sprejema izmerjene meritve razdalj lidar tipala ob posame- znem poloˇzaju koraˇcnih motorjev. Vsi omenjeni sestavni deli naprave so prikazani na sliki 4.2.
Komunikacija z glavno napravo, ki je v naˇsem primeru osebni raˇcunalnik, poteka prek standardnega Modbus RTU protokola. Za pravilno nastavitev komunikacije je na strani osebnega raˇcunalnika najprej potrebno vnesti pra- vilne parametre v Modbus RTU gonilnik.
Po vzpostavljeni serijski komunikaciji med osebnim raˇcunalnikom ter elektronsko napravo lidar, v elektronski napravi lidar nastavimo parametre potrebne za ˇzeleno delovanje. Ti zajemajo hitrost in navor koraˇcnih motorjev, velikost koraka v stopinjah ter zaˇcetno in konˇcno pozicijo podroˇcja merjenja razdalje za oba koraˇcna motorja.
ki je lahko avtomatski oziroma roˇcni. Oba je potrebno nastaviti pred samim preklopom naprave v aktivni naˇcin oziroma pred zagonom prve sekvence delovanja.
Avtomatski naˇcin poˇzene elektronsko napravo lidar, da izmeri razda- lje znotraj obmoˇcja, ki smo ga omejili s ˇstevilom korakov doloˇcenega kota po horizontalnem kotu alfa α ter vertikalnem kotu beta β. Po koncu vsake sekvence avtomatskega naˇcina zajemanja, elektronska naprava lidar vrne za- stavico Scan F inished, kar pomeni, da je konˇcala z zajemanjem razdalj ter nadrejena naprava le te lahko prebere. Zajeti podatki o razdaljah so razvrˇsˇceni po korakih znotraj nastavljenega obmoˇcja merjenja. Posamezna vrednost, ki jo preberemo v seznam, je izmerjena razdalja v centimetrih do predmeta, pri posameznih kotih lidar tipala alfa α in beta β. Posamezna zaporedna pozicija podatka v seznamu pa nam hkrati doloˇca tudi prej ome- njen kot alfa α ter beta β. Glava tipala elektronske naprave lidar se v tem naˇcinu premika od zgornje toˇcke nastavljenega obmoˇcja merjenja po verti- kali do spodnje toˇcke nastavljenega obmoˇcja merjenja. Nato se premakne za en korak naprej po horizontali ter se vraˇca do zgornje toˇcke nastavljenega obmoˇcja merjenja po vertikali. Celoten postopek merjenja se nato ponavlja, dokler ne doseˇze konˇcne lege po horizontali, ki smo jo doloˇcili s konˇcnim korakom nastavljenega obmoˇcja merjenja. Podatki o zajetih razdaljah se zaradi laˇzjega kasnejˇsega obdelovanja, v spomin mikrokrmilnika elektronske naprave lidar zapisujejo, kot da bi naprava razdalje vedno zajemala samo od zgoraj navzdol. V prej opisanem dejanskem naˇcinu zajemanja se bi podatki v spomin namreˇc morali zapisovati v obliki kaˇce.
Roˇcni naˇcin delovanja nam omogoˇca postavitev lidar tipala v toˇcno doloˇceno toˇcko v celotni polsferi. Ta toˇcka je doloˇcena s ˇstevilom korakov doloˇcenega kota alfa α po horizontali ter beta β po vertikali. Roˇcni naˇcin delovanja je namenjen predvsem preverjanju natanˇcnosti postavitve samega lidar tipala ter umerjanju koraˇcnih motorjev v vertikalni ter horizontalni smeri. Poleg navedenega je ta naˇcin namenjen tudi neprestanemu spremlja- nju prepoznavanja odprtja vrat v hotelskih sobah ter drugih prostorih. Na-
Diplomska naloga 13 prava po vsakem konˇcanem merjenju v roˇcnem naˇcinu vrne zastavico Scan F inished, po pojavitvi le te prek Modbus RTU komunikacije iz elektronske naprave lidar preberemo podatek o zadnji izmerjeni razdalji. Vrednost, ki jo preberemo, je izmerjena razdalja v centimetrih do predmeta, pri nastavlje- nem kotu alfaα in beta β lidar tipala. Mesto tega podatka v seznamu pa je hkrati tudi enako zaporednemu koraku doloˇcenega kota alfa α ter betaβ, ki smo ga nastavili.
Slika 4.2: Elektronska naprava LIDAR LM P −1.LI1 z vrha (levo) ter s strani (desno).
Poglavje 5
Realizacija prototipnega sistema
Realizacijo prototipnega sistema smo zaradi laˇzje izdelave ter razumevanja razdelili na veˇc smiselnih delov oziroma korakov. Pri izdelavi smo uporabili veˇc razliˇcnih metod ter orodij. Vsak del sistema smo skuˇsali oblikovati sa- mostojno ter ga s tem narediti prenosljivega in primernega za uporabo tudi v drugih konˇcnih sistemih.
Prvi del tega poglavja se predvsem osredotoˇca na serijsko komunikacijo s ciljno napravo ter na same nastavitve elektronske naprave lidar. Drugi del se nanaˇsa na zajem podatkov iz elektronske naprave lidar ter pretvorbo le teh iz polarnih koordinat v karteziˇcne. Tretji del zajema izris pretvorjenih podatkov zajetih s pomoˇcjo elektronske naprave lidar v 3D koordinatnem sis- temu, ki uporabniku olajˇsa razumevanje delovanja same naprave. ˇCetrti del je sestavljen iz preprostega algoritma, ki poskuˇsa ˇcimbolj natanˇcno doloˇciti zasedenost prostora in preko tega podatka ugotoviti prisotnost oziroma od- sotnost oseb v njem. Nazadnje pa je bil izdelan tudi grafiˇcni uporabniˇski vmesnik (angleˇska kratica GU I), ki sistem zakljuˇci v smiselno celoto in uporabniku pomaga pri interakciji z napravo. Grafiˇcni uporabniˇski vmesnik je primeren za uporabo tudi v drugih konˇcnih sistemih, kot so na primer PLK ali mikrokrmilnik z vgrajenim zaslonom na dotik.
Sistemska programska oprema (angleˇskoSof twareoziroma s kratico
SW) na konˇcni napravi, to je v naˇsem primeru osebni raˇcunalnik, je za- pisana v programskem jeziku Python in sicer v dveh loˇcenih programskih paketih (slika 5.1). Primer izseka sistemske programske opreme je prikazan na sliki 5.2. V prvem programskem paketu je zajeta programska koda za vzpostavitev povezave z elektronsko napravo lidar ter nastavitev parametrov delovanje le te. Programska koda prvega programskega paketa nadalje po- kriva tudi serijsko komunikacijo po standardnem Modbus RTU protokolu, pretvorbo in obdelavo zajetih podatkov, 3D izris pretvorjenih podatkov ter preprost algoritem za zaznavanje zasedenosti prostora. Drugi programski paket pa zajema grafiˇcni uporabniˇski vmesnik, ki je bil napisan s pomoˇcjo knjiˇznice PyQt5. Ta obsega celotno grafiˇcno podobo in podporno kodo za de- lovanje grafiˇcnega uporabniˇskega vmesnika ter kodo za izmenjavo podatkov med obema programskima paketoma.
Slika 5.1: Diagram zgradbe sistemske programske opreme.
Diplomska naloga 17
Vgrajena programska oprema na sami elektronski napravi lidar se na- haja v mikrokrmilniku, zapisana pa je v programskem jeziku C (slika 5.3).
Slednja obsega Modbus RTU komunikacijski del, gonilnik dveh koraˇcnih mo- torjev, analogno digitalno pretvorbo (angleˇska kraticaADC) razdalj zaje- tih z lidar tipalom in shranjevanje le teh v pomnilnik mikrokrmilnika. Vgra- jena programska oprema je bila za potrebe diplomske naloge izdelana na podjetju Smarteh d. o. o., kjer so nam jo kasneje predstavili ter nam jo tekom izdelave diplomske naloge pomagali dodelati ter popraviti in hkrati tudi nadgraditi in prilagoditi naˇsim potrebam ter zahtevam.
Slika 5.3: Izsek vgrajene programske opreme za branje holding registrov.
Diplomska naloga 19
5.1 Komunikacija z elektronsko napravo lidar
Komunikacija z elektronsko napravo lidar poteka preko standardnega Mod- bus RTU protokola. Elektronska naprava lidar ima vgrajen mikrokrmilnik, ki preko vmesnika LSA−2.U SB [7] podjetja Smarteh d. o. o. (slika 5.4) , komunicira s ciljno napravo, ki je v naˇsem primeru osebni raˇcunalnik. Ome- njeni vmesnik pretvarja elektriˇcne in funkcijske standarde vmesnikov U SB inRS485 v obeh smereh. Elektronska naprava lidar je v naˇsem primeru po- drejena naprava (angleˇsko slave), osebni raˇcunalnik pa gospodar oziroma nadrejena naprava (angleˇskomaster) v hierarhiji te serijske komunikacije.
Na osebnem raˇcunalniku nato s programsko opremo v programskem jeziku Python sprejemamo in obdelujemo podatke prejete z elektronske naprave lidar. Stabilnost ter delovanje komunikacije je bilo najprej preverjeno s pro- gramsko opremo M odbus P ool, kjer smo najprej samo izvajali bralne in pi- salne operacije na razliˇcne programsko dostopne registre elektronske naprave lidar.
Za potrebe serijske komunikacije z elektronsko napravo lidar smo upo- rabili knjiˇznico MinimalModbus ter pySerial v Pythonu. Knjiˇznica Mini- malModbus je namenjen za poganjanje na nadrejeni napravi, ki je v naˇsem primeru osebni raˇcunalnik. Knjiˇznica pySerial podpira dostop do serijskih vrat. Za pravilno komunikacijo je najprej potrebno vse parametre nastaviti v programski kodi na strani osebnega raˇcunalnika. To je potrebno izvesti zato, da lahko komunikacija med lidar napravo ter osebnim raˇcunalnikom deluje nemoteno ter, da se podatki pravilno prenaˇsajo. Na spodnji sliki je prikazan izsek kode za inicializacijo komunikacije z elektronsko napravo lidar (slika 5.5).
Slika 5.5: Izsek kode za nastavitev parametrov standardnega Modbus RTU komunikacijskega protokola na osebnem raˇcunalniku.
Elektronski napravi lidar moramo posredovati ˇse vse potrebne para- metre, ki definirajo naˇcin delovanja. Potrebno je doloˇciti velikost koraka v stopinjah, zaˇcetno in konˇcno pozicijo podroˇcja merjenja razdalje, hitrost koraˇcnih motorjev ter obratovalni in drˇzalni navor le teh.
Te parametre v programski opremi preberemo iz datoteke Settings.txt in jih nato zapiˇsemo na ustrezne registre v elektronski napravi lidar. Prej navedena datoteka se doloˇci preko interakcije uporabnika z grafiˇcnim upo- rabniˇskim vmesnikom, ˇce interakcija ni prisotna se na registre vpiˇsejo pri- vzete vrednosti prej omenjenih parametrov za delovanje naprave lidar.
Diplomska naloga 21
Slika 5.6: Imena ter opisi drˇzalnih (angleˇsko holding) registrov mikrokr- milnika.
Elektronska naprava lidar po zakljuˇcku vsakega cikla merjenja postavi zastavicoScan F inished, ki nam pove, da je elektronska naprava lidar zajela vse podatke lidar tipala v zadnjem ciklu delovanja, ter je v naˇsem primeru pripravljena na operacijo branja s strani osebnega raˇcunalnika. Po tem, ko prejmemo navedeno zastavico lahko preberemo zajete podatke iz vhodnih (angleˇsko input) registrov elektronske naprave lidar. Slednji so eni izmed ˇstirih objektnih tipov protokola Modbus RTU, kot vhodni registri so name- njeni izkljuˇcno bralnim operacijam (angleˇsko read only). V eni operaciji branja lahko preberemo 125 podatkov iz vhodnih registrov hkrati. Funkcije ter opisi drˇzalnih (angleˇskoholding) registrov so prikazani za zgornji sliki (slika 5.6). Na sliki 5.7 pa je prikazan izsek kode za zapis parametrov za naˇcin delovanja v prej omenjene registre.
Slika 5.7: Izsek kode za zapis parametrov delovanja elektronske naprave lidar.
Diplomska naloga 23
5.2 Branje ter pretvorba zajetih podatkov
Podatki, ki jih prek standardnega Modbus RTU protokola beremo iz elektron- ske naprave lidar, so razdalje do objektov oziroma oseb v centimetrih. Hori- zontalni kot alfaαter vertikalni kot betaβ, predstavljata zaporedno pozicijo podatka v seznamu, kamor te zajete razdalje shranjujemo. Pri pretvorbi za- jetih podatkov o razdaljah smo si pomagali z Math knjiˇznico v Pythonu, ki omogoˇca dostop do matematiˇcnih funkcij, opredeljenih s standardom C. Te podatke potem prek formul prikazanih na spodnji sliki pretvorimo iz polar- nega v karteziˇcni zapis in jih kasneje izriˇsemo v 3D koordinatnem sistemu.
Na spodnji sliki (slika 5.8) je ta pretvorba nazorno prikazana.
Podatke beremo prek standardne Modbus RTU komunikacije, kjer lahko preberemo 125 registrov oziroma podatkov v eni bralni operaciji. Vseh po- datkov je v primeru nastavitve elektronske naprave lidar za zajem celotne polsfere z minimalnima korakoma za kot alfa α ter beta β natanko 5000.
Minimalni kot alfa α za horizontalni premik je po privzetem nastavljen na 1,8°. To je obenem tudi najmanjˇsi moˇzni korak uporabljenih koraˇcnih mo- torjev. Minimalni kot beta β za vertikalni premik pa je nastavljen na 3,6°. Nastavitve minimalnih kotov so bile doloˇcene glede na rezultate preizkuˇsanja same elektronske naprave lidar, kjer se je doloˇcalo optimalno delovanje tipala glede na ˇstevilo meritev razdalj in hitrosti zajema posamezne razdalje tipala.
Vse te podatke preberemo v seznam in jih nato pretvorimo iz polarnih v karteziˇcne koordinate (slika 5.9).
Za pravilen izraˇcun karteziˇcnih koordinat je potrebno upoˇstevati tudi oddaljenost lidar tipala od same elektronske naprave lidar. Samo lidar ti- palo je vpeto na razdalji 8 centimetrov od osi vrtenja in poslediˇcno od same elektronske naprave lidar. Ravno zaradi tega odmika je potrebno vsaki po- ziciji lidar tipala, upoˇstevajoˇc oddaljenost le tega od elektronske naprave lidar, izraˇcunati lastne koordinate, ki jih priˇstejemo vsaki konˇcni koordinati zajetega podatka o razdalji posebej.
Pravilnost izraˇcunov in tudi pravilen izris podatkov v 3D prostoru sta odvisna tudi od upoˇstevanja zaˇcetne lege tipala. Pri izraˇcunu koordinate z ter radija r je potrebno od kota 90° oziroma π2 odˇsteti trenutni vertikalni kot beta β. To je potrebno storiti, ker glava lidar tipala pri naˇsih nastavi- tvah zaˇcne svoj cikel delovanja v zaˇcetni legi, ki je usmerjena vodoravno v viˇsini postavitve elektronske naprave lidar ter nato zaˇcne svoj premik nav- zdol, dokler ne gleda neposredno v tla. Po dosegu lege, kjer lidar tipalo na elektronski napravi gleda neposredno navzdol, se le ta premakne za en korak alfaα v desno ter nadaljuje merjenje navzgor, dokler ni lidar tipalo ponovno usmerjeno vodoravno v viˇsini postavitve elektronske naprave lidar.
Diplomska naloga 25
Potrebno je tudi upoˇstevati odmik same elektronske naprave lidar od tal. Prav tako je za pravilen izris pomembno, da se ne zanemari samega poloˇzaja naprave v prostoru, ˇce le ta ni postavljena v kotu sobe. Izsek kode, ki upoˇsteva poloˇzaj naprave v prostoru je prikazan na spodnji sliki (slika 5.10). Po upoˇstevanju vsega naˇstetega so podatki pravilno pretvorjeni iz polarnih v karteziˇcne koordinate ter izraˇcunane koordinate lepo teˇcejo od zaˇcetne do konˇcne lege po horizontalnem kotu α ter vertikalnem kotuβ.
Slika 5.10: Izsek kode za nastavitev odmika elektronske naprave lidar iz privzete lege (kot sobe).
Diplomska naloga 27
5.3 Izris podatkov v 3D koordinatnem sis- temu
Po pretvorbi podatkov iz polarnih koordinat v karteziˇcne lahko le te izriˇsemo v 3D koordinatnem sistemu in tako dobimo boljˇso prostorsko predstavo o zajetih podatkih merjenj. Za pomoˇc pri izrisu pretvorjenih podatkov o raz- daljah smo uporabili Python knjiˇznico NumPy ter Matplotlib. Knjiˇznica NumPy je temeljni paket za znanstveno raˇcunanje, medtem, ko je Matplo- tlib celovita knjiˇznica za ustvarjanje statiˇcnih, animiranih in interaktivnih vizualizacij. Iz same 3D slike prostora lahko tudi vizualno razberemo, kje v prostoru se nahajajo predmeti oziroma osebe in hkrati med zaporednimi mer- jenji zaznavamo spremembe. Z vizualnim prikazom zajetih podatkov lahko tudi preverjamo pravilnost v prejˇsnjem podpoglavju opisanih postopkov za pretvorbo podatkov iz polarnih koordinat v karteziˇcne. Poleg tega pa nam je vizualni prikaz zajetih podatkov pomagal tudi pri snovanju ter preverjanju delovanja preprostega algoritma za zaznavanje zasedenosti prostora.
Pri oblikovanju izrisa smo uporabili samo 25 podatkov po vertikalnem kotu beta β za vsak horizontalni premik po kotu alfa α. Za tolikˇsno ˇstevilo izrisanih podatkov smo se odloˇcili, saj pri veˇcjem ˇstevilu izrisanih podatkov slika postane prenasiˇcena ter nepregledna. Te podatke smo nato povezali po horizontali za ˇse boljˇsi in nazornejˇsi prikaz. Nadaljnje smo za glajenje krivulj po horizontali uporabili linearno ter kubiˇcno interpolacijo podatkov.
Izris smo za boljˇso predstavo tudi obarvali glede na vertikalni kot beta β z mavriˇcno barvno lestvico, ki teˇce od toplih proti hladnim barvam (sliki 5.14 ter 5.15). Za bolj nazoren prikaz podatkov smo v konˇcni verziji program- ske opreme pripravili tri razliˇcne naˇcine vizualizacije podatkov. Slednje so toˇckovni grafScatter, povezani toˇckovni grafConnectedter grafInterpolate, kjer smo za glajenje zajetih podatkov uporabili linearno ter kubiˇcno interpo- lacijo. Pri izrisu toˇckovnega grafa Scatter, smo v 3D koordinatnem sistemu samo izrisali toˇcke izraˇcunane iz zajetih podatkov elektronske naprave lidar.
Slika 5.11: Izsek programske kode za izris grafa Scatter.
Zajete podatke smo izrisali tudi v obliki grafa Connected, kjer smo samo povezali prej izrisane toˇcke toˇckovnega grafa Scatter po horizontali v premico. Premica se na nekaterih mestih lomi zaradi majhnih napak ter odstopanj v samem zajemanju podatkov lidar tipala na elektronski napravi lidar. V zadnjem naˇcinu izrisa smo to zgladili z uporabo linearne ter kubiˇcne interpolacije. Izsek programske kode za izris grafaConnectedje prikazan na sliki 5.12.
Diplomska naloga 29
Slika 5.12: Izsek programske kode za izris grafaConnected.
Nazadnje smo za natanˇcnejˇsi prikaz podatkov uporabili ˇse linearno ter kubiˇcno interpolacijo, s katero smo povezali zajete podatke oziroma toˇcke toˇckovnega grafa Scatter po horizontali in tako zgladili premico, ki smo jo ˇze prej prikazali na grafu Connected. Na ta naˇcin je poslediˇcno nastal graf Interpolate, slednji je med vsemi tremi izrisi tudi najbolj nazoren (sliki 5.14 ter 5.15). Izsek programske kode za izris grafa Interpolate je prikazan na
Slika 5.13: Izsek programske kode za izris grafaInterpolate.
Diplomska naloga 31
Slika 5.14: Izris zajetih podatkov zglajenih s kubiˇcno interpolacijo v obliki grafaInterpolate (prazna soba).
Slika 5.15: Izris zajetih podatkov zglajenih s kubiˇcno interpolacijo v obliki
5.4 Preprost algoritem za zaznavanje zasede- nosti prostora
Kljuˇcni del diplomske naloge je namenjen zaznavanju zasedenosti prostora oziroma preprostemu algoritmu, ki nam preko zaznavanja sprememb v pro- storu pomaga doloˇciti prisotnost oziroma odsotnost oseb v prostoru. Za- snovali smo ga modularno in mu tudi med samo izdelavo diplomske naloge namenili najveˇc pozornosti, saj lahko deluje samostojno in je prenosljiv (slika 5.16).
V zaˇcetku je potrebno elektronsko napravo lidar namestiti tako, da pre- meri prazen prostor ter tako zajame referenˇcno sliko razdalj v prostoru, s katero potem primerjamo vse sledeˇce zaporedne meritve. Podatke prvega merjenja shranimo v seznam in jih hranimo kot referenˇcne podatke za prazno sobo. V naslednjih merjenjih najprej preverimo ali je maksimalna razlika v podatkih glede na koordinatne osi x, y ali z veˇcja ali enaka kot faktor k, ki predstavlja neko povpreˇcno razliko v podatkih (slika 5.17). Ob dovolj velikem razlikovanju nato preverimo, po kateri osi koordinatnega sistema je razlika najveˇcja in pogledamo okolico podatkov te spremembe. Spremljati je potrebno razpon te spremembe v podatkih. Ob dovolj visoki vrednosti nato naˇs algoritem vrne zastavico P ersonsP resent=T rue.
Pomembno je tudi sprotno preverjanje tega ali so trenutno zajeti po- datki enaki podatkom zajetim v prejˇsnjem ciklu merjenja oziroma se od teh le minimalno razlikujejo. ˇCe to drˇzi, se poveˇca ˇstevec SimilarF actor. Po- tem, ko vrednost ˇstevca SimilarF actor preseˇze vrednost 5, kar pomeni, da so se v petih ciklih merjenja zajeti podatki minimalno razlikovali oziroma so bili enaki, privzamemo, da so trenutni podatki, kar novi zaˇcetni podatki oziroma nova prazna soba. Na ta naˇcin ne upoˇstevamo premika statiˇcnega predmeta v prostoru. ˇCasovni interval med posamezno sekvenco merjenja smo privzeto nastavili na 3 minute oziroma 180 sekund. Ta interval se bo kasneje spreminjalo glede na dinamiko samega ciljnega prostora uporabe.
Diplomska naloga 33
Slika 5.16: Izsek kode algoritma za zaznavanje zasedenosti prostora.
Slika 5.17: Izsek kode za zaznavanje sprememb med zaporednimi zajemi
5.5 Grafiˇ cni uporabniˇ ski vmesnik
Po zakljuˇcku izdelave prvega programskega paketa, ki zajema programsko opremo za celotno delovanje elektronske naprave lidar, smo se odloˇcili izde- lati ˇse preprost grafiˇcni uporabniˇski vmesnik, ki je hkrati tudi prenosljiv na poljubne druge sisteme, kot so na primer PLK ter mikrokrmilniki z zaslonom na dotik. Na ta naˇcin smo celotno elektronsko napravo lidar zakljuˇcili v smi- selno celoto, ki uporabniku ponuja enostavno ter prijazno izkuˇsnjo pri sami interakciji z njo. Sam grafiˇcni uporabniˇski vmesnik je napisan s pomoˇcjo knjiˇznice PyQt5 v Pythonu.
Grafiˇcni uporabniˇski vmesnik je sestavljen iz glavnegaM ainokna (slika 5.18), ki je izhodiˇsˇce celotnega vmesnika in vsebuje veˇc elementov. Med temi elementi najdemo gumb Start, ki odpre istoimensko podokno (slika 5.20), gumb Stop ter gumbSettings, ki prav tako odpre istoimensko podokno.
GumbStartodpira istoimensko podokno, ki se ˇse naprej veji v podokna V isualization (slika 5.21) ter Statistics (slika 5.22). Ob pritisku na gumb Start se sproˇzi podproces, ki poˇzene prvi programski paket namenjen ko- munikaciji z elektronsko napravo lidar ter obdelovanju podatkov prejetih od nje. Podproces se kreira le, ˇce je elektronska naprava lidar ustrezno pove- zana v konˇcni sistem in so hkrati vsi parametri za komunikacijo z njo pravilno nastavljeni. Omeniti moramo tudi, da je potrebno od elektronske naprave lidar pred kreiranjem podprocesa za prvo programsko opremo prejeti odgo- vor. Ob kliku na gumb Start se hkrati odpre podokno Start ne glede na to ali je elektronska naprava lidar povezana ali ne.
GumbStopzaustavi izvajanje procesa, ki poganja prvi programski paket za komunikacijo z elektronsko napravo lidar in poslediˇcno delovanje celotne elektronske naprave lidar. Elektronska naprava lidar po pritisku gumbaStop najprej dokonˇca trenutno sekvenco zajemanja podatkov in se nato vrne v izhodiˇsˇcno pozicijo.
Diplomska naloga 35 Zadnji gumb na glavnem oknu M ainje gumb Settings (slika 5.23). Ta gumb odpre podokno, kjer lahko uporabnik neposredno spreminja parametre za delovanje same elektronske naprave lidar. Omenjeni parametri se zapiˇsejo v datoteko Settings.txt in se kasneje uporabijo za nastavitve parametrov delovanja elektronske naprave lidar. Pravilnost parametrov se pred zapisom v datoteko Settings.txt preverja.
Slika 5.18: Glavno M ain okno grafiˇcnega uporabniˇskega vmesnika.
Uporabnika skozi celotno interakcijo z grafiˇcnim uporabniˇskim vmesni- kom spremljajo tudi pogovorna okna, ki ga opozarjajo na razliˇcne uspeˇsno ter neuspeˇsno izvedene akcije, kot so na primer: uspeˇsna ter neuspeˇsna povezava z elektronsko napravo lidar, uspeˇsen vnos ter zapis nastavitev elektronske na- prave lidar v datotekoSettings.txt, uspeˇsna zaustavitev elektronske naprave lidar ter druge (slika 5.19).
V podoknuStart lahko uporabnik odpre ˇse podoknaV isualizationter Statistics.
Slika 5.20: Podokno Start grafiˇcnega uporabniˇskega vmesnika.
V podoknuV isualization lahko uporabnik pregleda tri razliˇcne 3D iz- rise zajetih podatkov in sicer v obliki toˇckovnega grafaScatter, povezanega toˇckovnega grafa Connected ter grafa Interpolate, kjer je bila za glajenje krivulj po horizontali uporabljena linearna ter kubiˇcna interpolacija.
Slika 5.21: Podokno V isualizationokna Start.
Diplomska naloga 37 V podoknuStatisticslahko uporabnik pregleda nekatere statistiˇcne vre- dnosti podatkov zajetih med samim merjenjem. Med drugim lahko pre- veri maksimalno oddaljenost ovire po Y osi Distance Y axis maximum, po Z osi Distance Z axis maximum ter X osi Distance X axis maximum.
Prav tako pa se na tem oknu izpiˇse tudi zastavicaP ersonsP resent oziroma P eople present in the room, ki nam pove ali je prostor zaseden ali ne.
Slika 5.22: Podokno Statistics oknaStart.
V zadnjem podoknu glavnega okna in sicer podoknu Settings pa lahko uporabnik spremeni razliˇcne nastavitve, kot so omejitev korakov alfa po ho- rizontali step α, omejitev korakov beta po vertikali step β, hitrost koraˇcnih motorjev M otors speed, ter obratovalni navor koraˇcnih motorjev M otors working torqueter drˇzalni navor koraˇcnih motorjevM otors holding torque.
Poglavje 6
Preizkuˇ sanje v realnem prostoru
Preizkuˇsanje se je izvajalo v obiˇcajni delovni sobi, kjer je elektronska naprava lidar postavljena na vrh 2 metra visoke omare in ima iz kota prostora jasen pregled nad celotno sobo. Elektronska naprava lidar tako premeri samo pol krogle oziroma 180° prostora oziroma polovico maksimalnega moˇznega za- jema te naprave, ki je pol sfere. To je za naˇse potrebe dovolj, saj s tem ne zajema samo zida ob katerem je elektronska naprava lidar postavljena.
Postavitev same naprave je pogojena z naˇcinom uporabe ter okolju delova- nja. Naprava je za potrebe preizkuˇsanja tekla v neskonˇcni zanki in zajemala podatke. Po vsakem ciklu je nato naredila primerjavo trenutno zajetih po- datkov merjenj z zaˇcetnimi podatki oziroma podatki, ki jih naprava zajame v prvi sekvenci delovanja, to je v bistvu zajem prazne sobe.
Samo toˇcnost merjenja elektronske naprave lidar smo vzporedno pre- izkuˇsali z roˇcnim naˇcinom merjenja razdalje. To pomeni, da smo samo na- pravo postavili na mizo in najprej brez premikov koraˇcnih motorjev premerili objekt na razliˇcnih razdaljah in hkrati tudi roˇcno merili njegovo oddaljenost z merilom. Elektronska naprava lidar je bila kasneje za potrebe preizkuˇsanja tudi nastavljena na roˇcni naˇcin delovanja, ki omogoˇca postavitev lidar tipala v toˇcno doloˇceno toˇcko v celotni polsferi delovanja. Ta toˇcka je doloˇcena s
ˇstevilom korakov doloˇcenega kota alfa α po horizontali ter beta β po verti- kali. Po prejetju podatkov z elektronske naprave lidar smo tudi te primerjali z vzporednimi roˇcnimi meritvami. Ugotovili smo, da odstopanj skoraj ni. V nekaterih primerih smo zaznali, da samo napravo ob veˇcji osvetljenosti zmoti prisotnost veˇcjih steklenih povrˇsin, saj se tam zgodi odboj ter lom svetlobe.
Tekom preizkuˇsanja smo ugotovili, da je potrebno elektronski napravi lidar omejiti tudi domet merjenja oziroma ji doloˇciti, da zanemari vse podatke zajete zunaj najveˇcje dovoljene razdalje merjenja. To je potrebno storiti zato, ker v primeru odprtih vrat oziroma prehodov v prostoru, lidar tipalo meri razdalje tudi v sosednjih prostorih do naslednje ovire, zaradi njegove velike maksimalne razdalje merjenja. To ob neustrezni omejitvi obmoˇcja zajema predstavlja problem, saj bodo meritve nenatanˇcne in hkrati samo delovanje elektronske naprave lidar nepravilno. Napravo bo za odpravo te teˇzave potrebno zagnati v praznem ciljnem prostoru delovanja in omejiti obmoˇcje merjenja glede na zaznano odstopanja v podatkih.
Ob ustrezni stopnji dokonˇcanosti celotnega projekta, se bo celoten izde- lek naˇsega diplomskega dela testiral ˇse v konferenˇcnih sobah, hotelski sobah ter ostalih ciljnih prostorih uporabe. Ob ugodnih rezultatih se bo elektron- ska naprava lidar lahko uporabila za nadgradnjo sistemov namenjenih za avtomatizacijo omenjenih prostorov.
Poglavje 7
Rezultati delovanja sistema
Rezultati diplomske naloge skupaj z dosedanjim pregledom zajetih ter obde- lanih podatkov so zadovoljivi in omogoˇcajo pozitivne izsledke. Pomembno je, da je komunikacija z elektronsko napravo lidar tekoˇca in pravilna ter, da sta samo zajemanje podatkov z elektronsko napravo lidar in pretvorba le teh iz polarnih v karteziˇcne koordinate stabilni in vraˇcata koristne rezultate.
Izris prostora v 3D je izdelan za potrebe izdelave diplomske naloge. Vi- zualizacija je potrebna predvsem zato, da je bralcu samo zajemanje podat- kov ter delovanje elektronske naprave lidar laˇzje predstavljivo. Hkrati nam je vizualna predstava prostora pomagala pri preverjanju pravilnosti izvaja- nja programske opreme ter pri samemu naˇcrtovanju algoritma za zaznavanje zasedenosti prostora. Izris je bolj primeren za veˇcje prostore, saj tam majhni predmeti in majhne motnje ne popaˇcijo slike, kar je v majhnih prostorih predstavljajo problem. To je posledica velike natanˇcnosti tipala, zaradi ka- tere postane poslediˇcno tudi izris obˇcutljiv ˇze na zelo majhne spremembe in se, zato slika popaˇci. Trenutna mavriˇcna barvna lestvica za izris prostora, teˇce od toplih do hladnih barv mavrice glede na kot glave tipala po vertikal- nem kotu beta β. Za ˇse boljˇsi prikaz bliˇzine oziroma oddaljenosti predmeta bi lahko barvno paleto spreminjali glede na oddaljenost zajete toˇcke. Tega za potrebe izdelave diplomske naloge nismo uporabili, saj je na majhnem prostoru razlika med oddaljenostjo predmetov zelo majhna in bi poslediˇcno
vsi predmeti bili navidezno pribliˇzno isto oddaljeni.
Sam algoritem za zaznavanje zasedenosti prostora vraˇca dobre rezultate, hkrati pa tudi dokaj natanˇcno zazna spremembo v prostoru oziroma premik.
Pomembno je, da sam algoritem zazna, ˇce gre le za nek premik statiˇcnega objekta na primer stola, ter ga po dovolj preteˇcenih ciklih delovanja elek- tronske naprave lidar zanemari. V primeru premika osebe pa le to zaznava, dokler ni ˇcisto statiˇcna v veˇc kot petih zaporednih ciklih merjenja. Pri sa- mem algoritmu bi bilo potrebno ˇse dodati nekaj robnih pogojev ter dodelati obˇcutljivost samega zaznavanja predmetov v prostoru. Pomembno je, da je algoritem delujoˇc in ga je v trenutnem stanju mogoˇce dograditi oziroma pre- delati v obliko, ki bo ustrezala zahtevanemu naˇcinu delovanja. Predvideni naˇcini delovanja so med drugim pregled hodnikov, pregled prehodov ter vrat, pregled hotelske sobe, pregled konferenˇcne sobe ter tudi zaznavanje statiˇcnih oseb v prostoru na primer pri spanju oziroma poˇcitku. Nadaljnji razvoj za- jema ˇse izdelavo algoritma za natanˇcno ˇstetje ˇstevila oseb v prostoru, ki pa je ˇze nekoliko bolj kompleksen problem in zahteva precej bolj natanˇcno ter obseˇzno preizkuˇsanje. Trenutni algoritem je prenosljiv na druge konˇcne sisteme ter zato lahko uporabljen v kombinaciji z drugimi lidar tipali.
Grafiˇcni uporabniˇski vmesnik je prav tako izdelan predvsem za potrebe diplomske naloge, da bi bilo samo razumevanje delovanja elektronske naprave lidar laˇzje. Grafiˇcni uporabniˇski vmesnik je miˇsljen tudi za laˇzjo interakcijo uporabnika s samo elektronsko napravo lidar oziroma s celotnim sistemom.
Med samim izdelovanjem grafiˇcnega uporabniˇskega vmesnika pa smo predvi- devali tudi kasnejˇso uporabo le tega in ga ravno s tem namenom oblikovali, da je prenosljiv. V prihodnosti bo tako lahko programska koda za grafiˇcni uporabniˇski vmesnik prenesena na razliˇcne PLK-je ali mikrokrmilnike z vgra- jenim zaslonom na dotik.
Poglavje 8 Zakljuˇ cek
Cilje zastavljene ob zaˇcetku izdelave diplomske naloge smo v celotnem obsegu uresniˇcili. Tekom procesa izdelave diplomske naloge smo pridobili veliko oprijemljivih rezultatov in indikatorjev, da celoten projekt lahko ob ustrezni uporabi doseˇze svoj poln potencial.
Komunikacija med osebnim raˇcunalnikom ter elektronsko napravo lidar je stabilna in deluje tekoˇce. Pretvorba zajetih podatkov iz karteziˇcnih ko- ordinat v polarne je ustrezna, kar smo potrdili tudi z vizualnim prikazom podatkov s pomoˇcjo 3D izrisa. Vizualni prikaz samemu bralcu ter uporab- niku pomaga pri laˇzjem razumevanju delovanja celotne elektronske naprave lidar in nam hkrati pomaga pri iskanju ter odpravljanju napak oziroma teˇzav pri samem delovanju naprave. Sam algoritem za zaznavanje zasedenosti pro- stora deluje ustrezno in vraˇca dobre rezultate. Grafiˇcni uporabniˇski vmesnik je intuitiven ter uporabniku prijazen in lepo zakljuˇci prototipni sistem z na- pravo lidar v uporabno celoto.
Cilji diplomske naloge so obsegali izdelavo cenovno ugodne reˇsitve za za- znavanje zasedenosti prostora, ki bi bila hkrati uporabniku prijazna ter zanj nemoteˇca. Obenem smo hoteli z naˇso konˇcno reˇsitvijo tudi zmanjˇsati ener- gijsko porabo zgradb ter izboljˇsati uˇcinkovitost ter zanesljivost sistemov av- tomatizacije le teh. Poenostavljeno povedano, izdelati smo hoteli izboljˇsano napravo, kot je klasiˇcno PIR tipalo. Cenovno gledano smo hoteli izdelati
konˇcno reˇsitev, katere prodajna cena bi bila se gibala pod sto evri. V pri- merjavi z ostalimi podobnimi reˇsitvami, ki so danes prisotne na trgu, je to le majhen del cene. Cene teh reˇsitev se namreˇc gibljejo od nekaj sto pa do nekaj tisoˇc evrov. Reˇsitve, ki je neposredno primerljiva z naˇso in deluje kot samostojna enota niti nismo zasledili.
Naˇsa konˇcna reˇsitev je ˇze v trenutni fazi uporabniku prijazna ter ne- moteˇca. Uporabniku v primerjavi z RFID sistemom ni potrebna nobena interakcija ob prihodu ter odhodu iz prostora. Konˇcna naprava bo v takem prosojnem ohiˇsju, da se premikanja same naprave na zunaj ne bo opazilo.
Sama energijska poraba se bo v realnih sistemih predvidoma zmanjˇsala za dodatnih nekaj odstotkov, predvsem na raˇcun zanesljivejˇsega prepoznava- nja dejanske zasedenosti prostora. Zanesljivost ter uˇcinkovitost zaznavanja zasedenosti prostora pa smo dosegli s tem, da smo prepreˇcili laˇzno zaznava- nje prisotnosti uporabnika v prostoru. Naˇsa konˇcna reˇsitev lahko zaznava zasedenost prostora tudi, ko je uporabnik statiˇcen.
Menimo, da smo tekom celotne izdelave diplomske naloge odnesli veliko novega znanja ter izkuˇsenj, predvsem s podroˇcja obvladovanja ter naˇcrtovanja veˇcjih projektov ter nadzora nad verzijami programske opreme. Predvsem pa bi radi izpostavili, da smo med samo izdelavo diplomskega dela vseskozi povezovali elektromehanski sklop ter strojno in programsko opremo. Pri tem je potrebno poudariti, da z mehanskim sklopom mislimo na oba koraˇcna motorja ter njuno mehansko povezavo. Strojna oprema obsega elektronsko tiskano vezje. Programska oprema pa je sestavljena iz vgrajene programske opreme na mikrokrmilniku elektronske naprave lidar ter sistemske program- ske opreme na osebnem raˇcunalniku.
V nadaljnjem udejstvovanju na tem projektu bi radi ˇse nadgradili do se- daj opravljeno delo ter hkrati dodobra preizkusili celotno programsko opremo ter elektronsko napravo lidar tudi v drugih ciljnih prostorih delovanja. Vizu- alizacija prostora ter grafiˇcni uporabniˇski vmesnik v konˇcni verziji projekta oziroma v konˇcnem izdelku predvidoma ne bosta potrebna, saj bo za potrebe nadgradenj sistemov avtomatizacije zgradb potreben le prenos dela kode iz
Diplomska naloga 45 prvega programskega paketa te diplomske naloge na obstojeˇce PLK oziroma mikrokrmilniˇske sisteme. Ta del je, kot smo ˇze opisali, sestavljen iz komunika- cijskega dela, dela za pretvorbo zajetih podatkov o razdaljah ter preprostega algoritma za zaznavanje zasedenosti prostora.
Poudariti je ˇse potrebno, da je bil celoten sistem oblikovan z mislijo na konˇcni izdelek ter moˇznostjo uporabe le tega. Skozi celoten postopek razvoja programske opreme ter optimizacije elektronske naprave lidar smo sistem dograjevali v skladu z naˇcinom delovanja v realnem prostoru ter re- alnih okoliˇsˇcinah. Celoten sistem se bo po dokonˇcanju elektronske naprave lidar ter ob zadostni stopnji preizkuˇsenosti programske opreme koristil kot dodaten element v sistemih avtomatizacije hotelskih ter konferenˇcnih sob.
V teh sistemih bo zelo dobrodoˇsla informacija o zasedenosti prostora, ki je lahko izvedena tudi samo z enostavnim relejskim kontaktom.
Clanki v revijah ˇ
[1] Csaba Benedek. “3D people surveillance on range data sequences of a rotating Lidar”. V:Pattern Recognition Letters 50 (2014). Depth Image Analysis, str. 149–158. issn: 0167-8655. doi: https : / / doi . org / 10 . 1016/j.patrec.2014.04.010. url: https://www.sciencedirect.
com/science/article/pii/S0167865514001287.
Celotna literatura
[1] Csaba Benedek. “3D people surveillance on range data sequences of a rotating Lidar”. V:Pattern Recognition Letters 50 (2014). Depth Image Analysis, str. 149–158. issn: 0167-8655. doi: https : / / doi . org / 10 . 1016/j.patrec.2014.04.010. url: https://www.sciencedirect.
com/science/article/pii/S0167865514001287.
[2] Benewake TF02-Pro 40m IP65 LiDAR. http : / / en . benewake . com / product/detail/5c345c9de5b3a844c4723299. Accessed: 2021-09-6.
[3] Jaka Kordeˇz. “Vizualizacija podatkov LiDAR na spletu”. Diplomska naloga. Fakulteta za raˇcunalniˇstvo in informatiko, Univerza v Ljubljani, 2018.
[4] Quanergy S Series LiDAR Sensors.https://quanergy.com/products/
s3/. Accessed: 2021-09-6.
[5] Surender Sampath. “People counting and tracking based on LIDAR data.” Doktorska disertacija. Avg. 2019.doi:10.13140/RG.2.2.22181.
24808.
[6] Sick Counting people with 3D-LiDAR sensors.https://www.sick.com/
at/en/industries/building-management/access-control-gates/
counting - people - with - 3d - lidar - sensors / c / p616144. Accessed:
2021-09-6.
[7] Smarteh d. o. o. LSA-2.USB, USB RS-232/RS-485 adapter. https://
www.smarteh.com/wp-content/uploads/2020/12/206lsa10002001_
lsa2_usb_usrman.pdf. Accessed: 2021-09-6.
