Kristjan Cuznar
OPTIMIZACIJA KAKOVOSTI HLADNEGA VALJANJA NA
PODLAGI ANALIZE
ZGODOVINSKIH PODATKOV
Diplomsko delo
Visokoˇsolski strokovni ˇstudijski program prve stopnje Aplikativna elektrotehnika
Mentor: doc. dr. Vito Logar Somentor: dr. Miha Glavan
Ljubljana, 2021
Najprej bi se rad zahvalil mentorju, doc. dr. Vitu Logarju, za vso pomoˇc med nastajanjem diplomskega dela. Posebna zahvala gre somentorju, dr. Mihi Gla- vanu, za usmerjanje, strokovno pomoˇc, komentarje in predloge, ki so prispevali k vsebini priˇcujoˇcega dela. Hvala tudi Odseku za sisteme in vodenje na Institutu
“Joˇzef Stefan” za moˇznost sodelovanja pri projektu, v sklopu katerega je bilo delo izvedeno.
Predvsem bi se rad zahvalil starˇsema, Jakobu in Martini, ter bratu Klemenu.
Hvala, ker verjamete vame in me podpirate!
iii
Diplomsko delo se osredotoˇca na problem izrabe zgodovinskih proizvodnih po- datkov za namene izboljˇsevanja kakovosti produktov. Obravnavan je proces hla- dnega valjanja, kjer je po obseˇzni digitalizaciji procesa na voljo podroben vpogled v procesne razmere.
Hladno valjanje predstavlja enega pomembnejˇsih postopkov pri izdelavi ploˇcevine in je namenjeno zmanjˇsanju debeline, izenaˇcitvi debeline ter zagoto- vitvi ustreznih mehanskih lastnosti obdelovanca. Da se zagotovi ustrezna kako- vost izdelka, je izjemnega pomena ustrezna nastavitev valjavskega ogrodja, ki se obiˇcajno izvaja po receptih ter z roˇcnimi posegi operaterja pred in/ali med valjanjem. Pravila za korekcijo osnovnih receptov so obiˇcajno izkustvena, kar predstavlja znaten vpliv operaterja na konˇcno kakovost izdelka.
Za doseganje viˇsje kakovosti izdelkov, veˇcje konsistence pri obdelavi in zmanjˇsanje vpliva operaterjev, v diplomskem delu predlagamo podporno orodje, ki temelji na zgodovinskih podatkih o delovanju sistema in realno-ˇcasovnih meri- tvah procesnih veliˇcin ter vsebuje ustrezne procesne modele, simulacijsko okolje in pravila, ki predlagajo ustreznejˇso korekcijo parametrov recepta.
Kljuˇcne besede: optimizacija procesa, mnoˇziˇcni podatki, podatkovno rudarje- nje, strojno uˇcenje, modeliranje, identifikacija, odkrivanje znanja
v
This thesis focuses on the problem of using historical production data for the purpose of product quality improvement. The subject of the discussion is cold rolling process where a detailed insight into the process conditions is available after an extensive digitalization of the process.
Cold rolling is one of the most important processes in sheet metal production and is used for reducing the thickness, making thickness uniform, and ensuring the appropriate mechanical properties of the workpiece. In order to ensure the appropriate quality of the product, it is extremely important to adjust the rolling mill properly, which is set according to the recipes and with manual interventions of the operator before and/or during rolling. The rules for a base recipe correction are usually experiential, which shows a significant impact of the operator on the final product quality.
For the purpose of achieving a higher product quality, a greater processing consistency, and a smaller influence of operators, the thesis proposes a support tool which is based on historical production data and real-time measurements of process variables. It also includes the appropriate process models, a simulation environment and the rules that suggest a more suitable base recipes correction.
Key words:process optimization, big data, data mining, machine learning, mod- elling, identification, knowledge extraction
vii
1 Uvod 1
1.1 Ozadje problema . . . 2
1.2 Cilji . . . 3
2 Postopek analize zgodovinskih procesnih podatkov 5 2.1 Analiza zgodovinskih procesnih podatkov za optimizacijo kakovosti produkta . . . 6
2.1.1 Sintetiˇcni primer . . . 6
2.1.2 Pridobivanje podatkov . . . 7
2.1.3 Predpriprava podatkov . . . 8
2.1.4 Izbira najvplivnejˇsih znaˇcilk . . . 13
2.1.5 Identifikacija regresijskega modela . . . 16
2.1.6 Vrednotenje modela . . . 19
2.1.7 Veˇckriterijska optimizacija . . . 24
2.2 Identifikacija operaterske prakse . . . 28
2.2.1 Sintetiˇcni primer . . . 28 ix
2.2.2 Pridobivanje podatkov . . . 29
2.2.3 Predpriprava podatkov . . . 29
2.2.4 Izbira najvplivnejˇsih znaˇcilk . . . 31
2.2.5 Izbira in parametrizacija klasifikacijskega modela . . . 32
2.2.6 Vrednotenje modela . . . 34
3 Optimizacija kakovosti izdelkov hladnega valjanja ploˇcevine 39 3.1 Valjavsko ogrodje Sendzimir . . . 40
3.1.1 Opis procesa . . . 42
3.1.2 Naloge operaterja . . . 45
3.2 Optimizacija parametrov recepta . . . 46
3.2.1 Predpriprava podatkov . . . 47
3.2.2 Identifikacija modelov . . . 52
3.2.3 Preverjanje vpliva parametrov recepta na kakovost produkta 64 3.2.4 Optimizacija parametrov recepta . . . 67
3.3 Identifikacija operaterske prakse sprotne korekcije sile natega . . . 68
3.3.1 Identifikacija dogodkov korekcije sil nategov in izbor znaˇcilk 69 3.3.2 Izbira metode za klasifikacijo dogodkov korekcije sile natega 75 3.3.3 Identifikacija najboljˇsih parametrov modela . . . 75
4 Rezultati 79 4.1 Vrednotenje identificiranih modelov . . . 79
4.2 Primer uporabe: nadzorno-svetovalni sistem . . . 81
4.2.1 Optimizator . . . 82
4.2.2 Simulator . . . 84
4.2.3 Primer uporabe . . . 86
5 Zakljuˇcek 91
Literatura 93
A Obˇcutljivostna analiza – model1 99
B Izbrane znaˇcilke v modelih 101
C Vrednotenje identificiranih modelov 105
2.1 Potek modeliranja in optimizacije. . . 7
2.2 Pridobivanje podatkov. . . 8
2.3 Metode predpriprave podatkov. . . 9
2.4 Vpliv normalizacije in standardizacije podatkov. . . 13
2.5 Algoritmi za izbiro najvplivnejˇsih znaˇcilk. . . 14
2.6 Nevronsko omreˇzje. . . 18
2.7 Iskanje v mreˇzi – parameter α. . . 19
2.8 Primer deljenja uˇcnih, validacijskih in testnih podatkov. . . 20
2.9 Primer pet-kratnega preˇcnega preverjanja. . . 21
2.10 Rezultati modela sintetiˇcnega primera. . . 23
2.11 Vizualizacija optimizacijske funkcije – prvi primer. . . 27
2.12 Vizualizacija optimizacijske funkcije – drugi primer. . . 27
2.13 Porazdelitev vzorcev po razredih – sintetiˇcni primer, (zgoraj – ori- ginalni podatki, spodaj – korigirani podatki). . . 30
2.14 Primer strukture odloˇcitveno drevo. . . 33 xiii
2.15 Struktura modela odloˇcitveno drevo na sintetiˇcnem primeru upo-
rabe roˇcnega avtomobilskega menjalnika. . . 35
3.1 Klasifikacija valjavskih naprav glede na ˇstevilo ogrodij. . . 41
3.2 Valjavsko ogrodje Sendzimir tipa 1-2-3-4. . . 42
3.3 Valjavska naprava Sendzimir. . . 43
3.4 Regulacijska zanka. . . 45
3.5 Diagram poteka predpriprave podatkov. . . 48
3.6 Ilustracija razliˇcnih dolˇzin prevlekov kolobarja. . . 49
3.7 Uˇcinek korekcije zamika signalov. . . 50
3.8 Diagram poteka identifikacije modelov. . . 53
3.9 Uspeˇsnost modela model1 – Ridge. . . 55
3.10 Uspeˇsnost modela model1 – MLP. . . 56
3.11 Vzorˇcenje v ustaljenem stanju. . . 57
3.12 Uspeˇsnost modela model2 2. . . 58
3.13 Uspeˇsnost modela model2 3. . . 59
3.14 Uspeˇsnost modela model2 4. . . 59
3.15 Uspeˇsnost modela model2 5. . . 60
3.16 Uspeˇsnost modela model3 1. . . 61
3.17 Uspeˇsnost modela model3 2. . . 62
3.18 Uspeˇsnost modela model3 3. . . 62
3.19 Uspeˇsnost modela model3 4. . . 63
3.20 Uspeˇsnost modelamodel3 5. . . 63
3.21 Diagram poteka Sobolove obˇcutljivostne analize. . . 66
3.22 Obˇcutljivostna analiza znaˇcilk modela model 1. . . 66
3.23 Uporaba regresijskega modela za optimizacijo parametrov recepta. 67 3.24 Primer identifikacije trenutka korekcije sile. . . 72
3.25 Porazdelitev vzorcev korekcij sil nategov po razredih – (zgoraj – originalni podatki, spodaj – korigirani podatki . . . 74
3.26 Struktura modela odloˇcitveno drevo za identifikacijo operaterske prakse. . . 76
4.1 Diagram poteka Optimizatorja. . . 83
4.2 Grafiˇcni vmesnik Optimizatorja. . . 84
4.3 Diagram poteka Simulatorja. . . 85
4.4 Grafiˇcni vmesnik Simulatorja. . . 86
4.5 Optimizator – segmentiranje prevleka . . . 86
4.6 Optimizator – nastavljanje uporabniˇskih nastavitev recepta. . . . 87
4.7 Optimizator – predviden potek izhodne kakovosti naslednjega pre- vleka. . . 87
4.8 Simulator – tek simulacije. . . 88
4.9 Simulator – povzetek simulacije. . . 89
C.1 Vrednotenje modelamodel1. . . 105
C.2 Vrednotenje modelamodel2 2. . . 106
C.3 Vrednotenje modela model2 3. . . 106
C.4 Vrednotenje modela model2 4. . . 107
C.5 Vrednotenje modela model2 5. . . 107
C.6 Vrednotenje modela model3 1. . . 108
C.7 Vrednotenje modela model3 2. . . 108
C.8 Vrednotenje modela model3 3. . . 109
C.9 Vrednotenje modela model3 4. . . 109
C.10 Vrednotenje modela model3 5. . . 110
2.1 Struktura podatkov sintetiˇcnega primera lakirne linije. . . 8 2.2 Izbrane najvplivnejˇse znaˇcilke s Spearmanovim rangom. . . 16 2.3 Rezultati pet-kratnega preˇcnega preverjanja sintetiˇcnega primera
lakirne linije. . . 23 2.4 Struktura podatkov sintetiˇcnega primera uporabe roˇcnega avtomo-
bilskega menjalnika. . . 29 2.5 Manjkajoˇci podatki sintetiˇcnega primera uporabe roˇcnega avtomo-
bilskega menjalnika. . . 29 2.6 Izbrane najvplivnejˇse znaˇcilke z metodo analize variance. . . 32 2.7 Identificirani parametri modela odloˇcitveno drevo za sintetiˇcni pri-
mer uporabe roˇcnega avtomobilskega menjalnika. . . 34 2.8 Rezultati pet-kratnega preˇcnega preverjanja na sintetiˇcnem pri-
meru uporabe roˇcnega avtomobilskega menjalnika. . . 36 2.9 Poroˇcilo uspeˇsnosti klasifikacijskega modela na sintetiˇcnem pri-
meru uporabe roˇcnega avtomobilskega menjalnika. . . 36
3.1 Nabor razpoloˇzljivih spremenljivk ZRM. . . 52 3.2 Okrajˇsave uporabljenih regresijskih modelov. . . 54 xvii
3.3 Pravilo za izraˇcun sile natega vhodnega in izhodnega navijalnika. 70 3.4 Identificirani parametri modela odloˇcitveno drevo za identifikacijo
operaterske prakse. . . 76
4.1 Vrednotenje identificiranih modelov. . . 80
4.2 Poroˇcilo uspeˇsnosti klasifikacijskega modela za identifikacijo ope- raterske prakse. . . 81
A.1 Rezultati obˇcutljivostne analize modelamodel 1. . . 99
B.1 Izbrane znaˇcilke – model 1. . . 101
B.2 Izbrane znaˇcilke – model 2. . . 102
B.3 Izbrane znaˇcilke – model 3. . . 102
B.4 Izbrane znaˇcilke – identifikacija operaterske prakse. . . 103
OLS metoda najmanjˇsih kvadratov (ang. Ordinary Least Squares)
SMOTE sintetiˇcno prevzorˇcenje manjˇsinskega razreda (ang. Syntetic Minority Oversampling TEchnique)
ANOVA analiza variance (ang. analysis of variance)
SVM metoda podpornih vektorjev (ang. Support Vector Machines) ANN umetne nevronske mreˇze (ang. Artificial Neural Network) DT odloˇcitveno drevo (ang. Decision Tree)
MLP veˇcplastni perceptron (ang. Multi-Layer Perceptron) ZRM valjavsko ogrodje Sendzimir (ang. Sendzimir Rolling Mill) POR posebni odvijalni kolut (ang. Pay-Off-Reel)
AGC avtomatski sistem za nastavljanje reference reˇze (ang. Automatic Gauge Control)
RGC osnovna regulacije reˇze (ang. Roll Gap Control)
GUI grafiˇcni uporabniˇski vmesnik (ang. Graphical User Interface)
CSV datoteka z vrednostmi, loˇcenimi z vejico (ang. Comma Seperated Values) DSS sistem za podporo pri odloˇcanju (ang. Decision Support System)
xix
Sodobna industrija teˇzi k ˇcim bolj uˇcinkoviti rabi sredstev ter kvalitativni in kvantitativni optimizaciji procesov. Zaradi globalizacije podjetij se poveˇcuje trg in ˇstevilo naroˇcil, katerih dobavni roki so vedno krajˇsi, prav tako pa naroˇcniki zahtevajo vedno oˇzje tolerance produktov.
Za doseganje tovrstnih zahtev na vedno bolj zahtevnem trgu, so podjetja pri- morana poiskati nove naˇcine, da bi svoj poloˇzaj med konkurenco ohranili oziroma bi poveˇcali svojo konkurenˇcnost.
Ker se v ˇcedalje kompleksnejˇsih procesih ne moremo veˇc zanaˇsati zgolj na izkuˇsnje operaterjev, ki upravljajo z njimi, se ena izmed reˇsitev ponuja v digi- talizaciji proizvodnih procesov z dodajanjem raznih senzorskih sistemov, ki nam omogoˇcajo podrobnejˇsi vpogled v dejansko proizvodno dogajanje. Na podlagi velike mnoˇzice podatkov, ki razkrivajo trenutno stanje procesa, lahko izvedemo statistiˇcne analize, s katerimi lahko sklepamo kakˇsne nastavitve so najboljˇse pri doseganju ˇcim boljˇse kakovosti produkta in ˇcim viˇsje stopnje izkoriˇsˇcenosti proi- zvodne linije. To znanje lahko uporabimo za optimizacijo nastavitev procesa, ki bodo v prihodnje zagotavljali viˇsjo stopnjo produktivnosti in konˇcne kakovosti.
V praksi pa se kljub optimalnim nastavitvam procesa med samim delovanjem naprave pojavijo nepredvideni pojavi, na katere morajo ustrezno odreagirati ope- raterji. Le-ti se obiˇcajno zanaˇsajo na svoje ˇstevilne izkuˇsnje, zato je pri iskanju optimalnih nastavitev smiselno dodatno raziskati logiko odloˇcanja operaterja, ki je teˇzila h korekciji nastavitev procesa z namenom izboljˇsevanja obratovalnih po- gojev, ki sluˇzijo za boljˇsi izplen procesa.
Diplomsko delo je izdelano v sklopu izvajanja projekta INEVITABLE [1], ka- terega cilj je optimizacija in izboljˇsanje kakovosti v kovinski industriji na podlagi 1
digitalizacije procesov.
1.1 Ozadje problema
Z modernizacijo procesne linije, ki se lahko bodisi po mehanski bodisi po elektro plati razlikuje od starejˇse razliˇcice, obiˇcajno ni moˇc enostavno prenesti podatkov o postopku (nastavitev procesa, receptov). Za doseganje enakih ali boljˇsih rezul- tatov jih je potrebno ustrezno prilagoditi. S tovrstno problematiko se po nedavni posodobitvi procesne linije ZRM ukvarjamo v priˇcujoˇcem diplomskem delu. Do- datno poznavanje linije pa omogoˇca tudi boljˇsi vpogled v izvajanje procesa, kar omogoˇca vpeljavo novih, naprednejˇsih postopkov prilagajanja linije na proizvo- dne variacije. Eden izmed takˇsnih konceptov je pristop proizvodnje brez napak (ang. zero defect) [2], kjer z aktivnim spremljanjem proizvodnje in izvajanjem preventivnih in korektivnih akcij prepreˇcujemo napake na izdelkih.
Pomemben vpliv na konˇcno uˇcinkovitost proizvodnih procesov pa imajo tudi posegi operaterjev, ki prilagodijo obratovalne parametre procesa. Pravila za ko- rekcijo parametrov procesa in poslediˇcno uˇcinki na konˇcno kakovost produkta pogosto temeljijo na dolgoletnih izkuˇsnjah operaterjev, katere pogosto operaterji sami teˇzko formalizirajo v obliki pravil oziroma nasvetov, temveˇc so za njih po- membne praktiˇcne izkuˇsnje. Problem tovrstnega dela se izkaˇze ob menjavi ope- raterjev, saj pogosto ni ustreznega prenaˇsanja znanja na novo generacijo opera- terjev. Hladno valjanje ploˇcevine je primer procesa, v katerem pomembno vlogo igra ustrezna nastavitev in prilagoditev procesnih nastavitev operaterjev. Po- dobne ploˇcevine se sicer obdelujejo po predpisanem osnovnem receptu, ki pa ga operater po potrebi prilagodi z namenom zagotavljanja boljˇse konˇcne kakovosti produkta. Tovrstna korekcija parametrov se izvaja bodisi pred samim zaˇcetkom valjanja bodisi med valjanjem.
Na eni strani se pojavlja vpraˇsanje, ˇce lahko iz ogromne mnoˇzice podatkov, ki se med procesom valjanja meri in shranjuje, sklepamo kako izbrane nastavitve in izmerjene procesne veliˇcine vplivajo na konˇcno kakovost produkta. Takˇsno znanje nam lahko sluˇzi kot orodje za preizkuˇsanje vplivov razliˇcnih osnovnih nastavitev, lahko pa ga tudi uporabimo za neposredno optimizacijo osnovnih receptov. Na
takˇsen naˇcin je mogoˇce implementirati nadzorno-svetovalni sistem, ki lahko teˇce v realnem ˇcasu vzporedno s procesom ali pa ga uporabimo kot orodje za analizo preteklega dogajanja na procesni liniji.
Po drugi strani pa nas zanima, ˇce lahko iz teh zgodovinskih proizvodnih po- datkov zapiˇsemo pravila, ki bi formalizirala operatersko logiko odloˇcanja in bi omogoˇcala prenos dobrih praks med operaterji.
1.2 Cilji
Glavni cilji naloge so (i) raziskati vpliv izbranih parametrov recepta na konˇcno kakovost izdelka, (ii) optimizirati osnovne parametre recepta ter (iii) poiskati in formalizirati pogoje, v katerih je bila korekcija receptov izvedena.
Identificirane zakonitosti in pridobljeno znanje omogoˇca izgradnjo nadzorno- svetovalnega sistema, ki bo:
• svetoval boljˇse nastavitve recepta pred priˇcetkom procesa,
• spremljal razmere valjanja in operaterjem v realnem ˇcasu svetoval ustrezno korekcijo primarnega recepta,
• omogoˇcal naknadno podrobno analizo ustreznosti uporabljenih procesnih nastavitev na podlagi analize arhivskih podatkov.
S tem se poleg aktivnega svetovanja o korekciji primarnih nastavitev recepta omogoˇci laˇzji prenos znanja in hitrejˇse uvajanje novih operaterjev.
Za izgradnjo in identifikacijo matematiˇcnih modelov, ki bodo omogoˇcali eno- stavno interpretacijo relacij med vhodnimi (znaˇcilke) ter izhodnimi (pokazatelji kakovosti) veliˇcinami, je potrebno obvladovati velike koliˇcine tako zgodovinskih kot realno-ˇcasovnih podatkov o delovanju sistema.
Digitalizacija sistemov ponuja moˇznosti identifikacije novih znanj in njihove upo- rabe za izboljˇsevanje procesov.
Kakovost proizvodov je pomemben dejavnik uspeˇsnosti podjetja, kateremu se zaradi naraˇsˇcajoˇcega konkurenˇcnega pritiska posveˇca ogromno pozornosti. Veliko specializiranih procesov je namensko grajenih ter prilagojenih konˇcnim uporab- nikom, zato je kljub ogromno znanja ekspertov na dotiˇcnih podroˇcjih potrebno optimizirati parametre procesa glede na aktualno stanje proizvodnega procesa in zahteve naroˇcnika.
V t. i. dobi mnoˇziˇcnih podatkov (ang. big data) se podjetja odloˇcajo za imple- mentacijo kompleksnih merilnih sistemov v sam proces, s katerimi lahko pridobijo podroben vpogled v same obratovalne razmere. Z uporabo statistiˇcnih analiz in naprednejˇsih algoritmov strojnega uˇcenja je na podlagi zgodovinskih (arhivskih) podatkov moˇzno identificirati matematiˇcne modele, ki se lahko uporabijo za spre- mljanje opreme (ang. equipment monitoring), prediktivno vzdrˇzevanje (ang. pre- dictive maintenance) in tudi za optimizacijo nastavitev procesa oz. receptov (ang.
process recipe optimization) ter identifikacijo operaterskih praks posegov v proces (ang. operators’ actions identification), s katerima se ukvarjamo v tem delu.
Z namenom poveˇcanja berljivosti naloge bo osnovna ideja naloge v tem po- glavju prikazana teoretiˇcno in na poenostavljenih sintetiˇcnih primerih, ki sta ana- logna dejanskemu problemu. Naslednje poglavje pa bo prikazalo dejanski problem in rezultate optimizacije kakovosti izdelkov procesne linije ZRM na podlagi ana- lize zgodovinskih podatkov.
5
2.1 Analiza zgodovinskih procesnih podatkov za optimi- zacijo kakovosti produkta
V sledeˇcem poglavju predstavimo kako lahko na podlagi arhivskih podatkov, ki bi jih dobili z meritvami in analizami, identificiramo model, s katerim lahko na podlagi vhodnih spremenljivk (znaˇcilk) ocenimo oz. napovemo definirano izho- dno veliˇcino. Prikazano je tudi kako lahko s pomoˇcjo identificiranega modela optimiziramo proizvodno uˇcinkovitost.
Za vsak predstavljen korak je opisano teoretiˇcno ozadje, nato pa sledi upo- raba aktualnega algoritma na zgledu (sintetiˇcnemu primeru), ki je zasnovan z obvladljivo mnoˇzico umetno generiranih brezdimenzijskih podatkov.
2.1.1 Sintetiˇcni primer
Podjetje ˇzeli optimizirati lakirno procesno linijo na naˇcin, da bodo zmanjˇsali stroˇske lakiranja, ampak hkrati tudi dosegali ˇcim veˇcjo obstojnost naneˇsenega laka. Oba cilja sta si med seboj nasprotujoˇca, zato morajo najprej poiskati ustre- zno relacijo med njima in glede na omejitve poiskati ustrezen kompromis pri doseganju obeh ciljev.
Predpostavimo, da so v podjetju implementirali informacijski sistem, ki zapi- suje razne procesne podatke, kateri se uporabljajo za spremljanje in izboljˇsanje proizvodnje. Med drugim se beleˇzijo:
• povrˇsina obdelovanca (povrsina),
• debelina materiala (h material),
• debelina nanosa laka (h nanos) in
• temperatura okolice (temp okolice).
Cena proizvodnega procesa za obdelovanec (cena) je doloˇcena preko naslednje relacije:
cena=
(︃h nanos
2 + 1
)︃
· povrsina
100 . (2.1)
Na podlagi povratnih informacij naroˇcnikov in lastnih testiranj pa smo mnoˇzici podatkov dodali ˇse informacijo o obstojnosti naneˇsenega laka (obstojnost).
Da bi poiskali optimalne nastavitve procesa, moramo najprej iz podatkovne baze pridobiti ustrezne podatke, jih ustrezno predpripraviti, ugotoviti katere iz- merjene veliˇcine pomembno vplivajo na obstojnost laka, nato pa doloˇciti model, ki bo na podlagi vhodnih podatkov znal vnaprej napovedati vrednost obstoj- nosti laka. Z dobrim poznavanjem relacije med lastnostmi procesa in doseˇzeno obstojnostjo laka, bomo lahko poiskali boljˇse procesne parametre, ki bodo dose- gali ˇzeleni kompromis med obema ciljema – najniˇzja cena na izdelek ob zadostni kakovosti (obstojnost laka), ki jo zahteva naroˇcnik.
Slika 2.1 prikazuje diagram poteka identifikacije modela ter optimizacije pro- cesa.
Pridobivanje podatkov
Predpriprava podatkov
Izbira najbolj vplivnih značilk
Vrednotenje Optimizacija
Izbira in učenje modela
Slika 2.1: Potek modeliranja in optimizacije.
2.1.2 Pridobivanje podatkov
Kljuˇcno za izvajanje tovrstnih del je, da ima proces oziroma proizvodnja linija implementiran informacijski sistem, iz katerega bomo lahko pridobili mnoˇzico podatkov, ki nam bo dala informacije za poglobljen vpogled v samo dogajanje v sistemu. Prvi korak pri modeliranju sistema je pridobivanje podatkov, ki lahko odloˇcilno vpliva na konˇcne rezultate, zato je pametno dodobra razmisliti o lastno- stih sistema in se morebiti pogovoriti s strokovnjaki iz podroˇcja, na katerega se obravnavan problem navezuje.
Slika 2.2 prikazuje blokovno shemo za zajem oziroma pridobivanje podatkov iz obravnavanega sistema.
Senzorji Sistem za zajem
podatkov Podatkovna baza
Proces
Pridobivanje podatkov
Nadaljnja obdelava
Slika 2.2: Pridobivanje podatkov.
Podatki, ki jih informacijski sistem zapisuje v podatkovne baze so lahko:
• ˇze v obliki, ki jih lahko uporabimo tudi v naˇsem modelu (obravnavamo pri sintetiˇcnem primeru v tem poglavju),
• pri nekaterih pa je potrebna zasnova algoritma za ustrezno zajemanje po- datkov (obravnavamo pri realnem problemu v poglavju 3.2).
V primeru sintetiˇcnega problema, so podatki ˇze v primerni obliki (tabela 2.1) za direktno dostopanje in izvajanje operacij nad njimi, torej jih le prenesemo iz podatkovne baze informacijskega sistema.
Tabela 2.1: Struktura podatkov sintetiˇcnega primera lakirne linije.
indeks povrsina h material h nanos temp okolice obstojnost cena
0 82,47 3,50 40,59 21 4,65 17,56
1 86,38 2,83 37,18 21 4,42 16,92
· · · ·
98 51,94 1,80 5,95 22 1,01 2,07
99 55,27 3,40 16,67 24 2,63 5,16
2.1.3 Predpriprava podatkov
V realnih sistemih pogosto ni moˇc dobiti podatkov shranjenih v zapisu, ki omogoˇca direktno uporabo algoritmov za manipulacijo nad podatki, saj so za- radi ogromnih koliˇcin, ki izhajajo iz veˇc merilnih sistemov, tj. izvorov, dovzetni
za ˇsum, pojavijo se manjkajoˇci in nekonsistentni podatki ter podobno. Zato jih moramo ˇse pred uporabo ustrezno organizirati, dopolniti, korigirati ali sploˇsno reˇceno prilagoditi glede na naˇse potrebe, kot to prikazuje slika 2.3 [3, str. 84–
125], [4, str. 25–33]. V nadaljevanju bodo nekoliko podrobneje predstavljeni ne- kateri izmed potrebnih korakov za predpripravo podatkov.
Transformacija podatkov v ustrezne podatkovne tipe
1 2 3,8 1,0 2,0 3,8
Korekcija nepopolnih ali deformiranih podatkovnih zapisov
? ? ?
Skaliranje podatkov Združevanje podatkov
Identifikacija in korekcija šuma
Slika 2.3: Metode predpriprave podatkov.
1. Zdruˇzevanje podatkov
Ta postopek je relevanten pri uvaˇzanju podatkov iz informacijskega sistema, ki upravlja z veˇc porazdeljenimi podatkovnimi bazami. Skrbna integracija podatkov nam pomaga pri prepreˇcevanju ali zmanjˇsanju koliˇcine uvaˇzanja redundantnih ali nekonsistentnih podatkov. Pri tem se posluˇzimo raznih algoritmov, ki nam pomagajo pri iskanju in odstranjevanju podvojenih za- pisov, iskanju konfliktov med enotami ipd.
2. Transformacija podatkov v ustrezne podatkovne tipe
Dandanes je na trgu veliko razliˇcnih merilnih sistemov, ki kljub vse veˇcjemu uveljavljanju standardizacije na tem podroˇcju lahko poˇsiljajo podatke v viˇsje procesne nivoje v razliˇcnih oblikah, te pa zopet lahko v podatkovno bazo zapiˇsejo podatek v nekem drugem formatu, ki ga programski jezik, ki
ga uporabljamo za manipulacijo nad podatki ne podpira oziroma na njem ni mogoˇce izvajati ˇzeljenih operacij.
Primer: ˇCas delovanja naprave se beleˇzi v celoˇstevilskem tipu (ang. in- teger) podatka. Za pravilen izraˇcun relativnega delovanja naprave v raz- poloˇzljivem obratovalnem ˇcasu moramo zaradi prepreˇcevanja neˇzelenih za- okroˇzitev, ki so zapisane v standardu programskega jezika, pretvoriti v tip spremenljivke s plavajoˇco vejico (ang. float).
3. Korekcija nepopolnih ali deformiranih podatkovnih zapisov Zaradi razliˇcnih vplivov, kot so preobremenjenost omreˇzja, okvara senzorja, izpad sistema, se lahko pripeti nedokonˇcana transakcija podatkov v podat- kovne baze. V tem primeru se ob nepopolnih podatkovnih zapisih lahko odloˇcimo za:
• brisanje zapisa z manjkajoˇcim podatkom – uporabno, ˇce en zapis v primerjavi z vsemi predstavlja relativno malo informacije;
• dopolnjevanje manjkajoˇce vrednosti s primerno vrednostjo, ki je lahko povpreˇcna vrednost zastopane spremenljivke ali pa interpolirana vre- dnost glede na ostale podatke v tem zapisu.
Posebno pozornost je potrebno posvetiti tudi pravilnosti podatkov, ki so lahko zaradi razliˇcnih razlogov drugaˇcni od priˇcakovanih. Primer tega je ˇcasovni zamik zvoˇcnega signala med oddajnikom in sprejemnikom zaradi latence na prenosnem mediju. Deformacijo lahko korigiramo na dva naˇcina:
• privzamemo konstantni zamik za vse vzorˇcene podatke ter kompenzi- ramo z aditivno komponento;
• uporabimo kriˇzno korelacijo signalov ter kompenziramo odseke, s ˇcimer v sploˇsnem doseˇzemo boljˇso kompenzacijo.
4. Identifikacija in korekcija ˇsuma v podatkih
ˇSum je navadno neˇzelen pojav, ki je med podatki prisoten v raznih obli- kah, najpogosteje pa ga predstavimo kot aditivno komponento opazovane veliˇcine:
y=k·x+N, (2.2)
kjer so:
y = odvisna spremenljivka, x = regresijski koeficient, k = neodvisna spremenljivka, N = ˇsum.
V kolikor je omenjenega ˇsuma v podatkih preveˇc, se odloˇcimo za uporabo tehnik za obvladovanje ˇsuma. Kot najpogostejˇse primere lahko navedemo razliˇcico kvantizacije (ang. binning), regresijo (ang. regression) in odkriva- nje rojev (ang. clustering) [4, str. 111–120].
Vˇcasih pa zaradi omejenega seta razpoloˇzljivih podatkov ˇzelimo dejanskim vrednostim znaˇcilk umetno dodati ˇsum, saj tako lahko prepreˇcimo morebi- tno pretirano prileganje (ang. overfitting), kar se pozna na veˇcji robustnosti modela [4, str. 364–377].
5. Skaliranje podatkov
Zaradi narave procesnih veliˇcin, ki lahko nastopajo v zelo razliˇcnih veliko- stnih razredih in merskih enotah, lahko izgubimo informacijo o pomembno- sti posameznega atributa, zato je v izogib temu potrebno podatke skalirati, kar navadno doseˇzemo z normalizacijo ali standardizacijo.
Normalizacija je metoda skaliranja, ki poizkuˇsa vsem atributom dati enako teˇzo, kar navadno pomeni, da vrednostim atributa priredi novo vrednost v intervalu [xmin, xmax].
Enaˇcba normalizacije je:
z = x−xmin
xmax−xmin, (2.3)
kjer so:
z = normalizirana spremenljivka, x = vhodna spremenljivka,
xmin = minimalna vrednost atributa, xmax = maksimalna vrednost atributa.
Ker z omenjeno metodo normaliziramo glede na maksimalno in minimalno vrednost atributa, jo pogosto imenujemo tudi “Min-Max skalirna metoda”.
Standardizacija je druga metoda skaliranja, ki vrednosti transformira tako, da so centrirane okoli aritmetiˇcne srednje vrednosti z enotnim standardnim odklonom. To pomeni, da je nova aritmetiˇcna srednja vrednost enaka niˇc, rezultirajoˇc standardni odklon pa enak ena.
z = x−X
s , (2.4)
kjer so:
z = normalizirana spremenljivka, x = vhodna spremenljivka,
X = aritmetiˇcna srednja vrednost vseh spremenljivk istega atributa,
s = standardna deviacija spremenljivk istega atributa.
Na sintetiˇcnem primeru si poglejmo vpliva normalizacije in standardizacije podatkov. Najlaˇzje si ta vpliv predstavimo z grafom “ˇskatla z brki (ang.
box plot)” [5], ki prikazuje povzetek skupin ˇstevilˇcnih podatkov, razdeljenih v kvartile, s petimi ˇstevili (minimum, prvi kvartil, mediana, tretji kvartil in maksimum).
Zgornji graf na sliki 2.4 predstavlja porazdelitev podatkov posameznega atributa pred skaliranjem, srednji graf po normalizaciji, spodnji pa po stan- dardizaciji.
0 100
vrednosti[/]
0 1
norm.vrednosti[/]
povrsina h material h nanos temp okolice znaˇcilka [/]
−2 0 2
stand.vrednosti[/]
Slika 2.4: Vpliv normalizacije in standardizacije podatkov.
S tem smo dosegli, da so znaˇcilke zastopane z enako teˇzo, ˇcetudi so njihove surove vrednosti (ang. raw values) lahko razliˇcnih velikostnih razredov.
2.1.4 Izbira najvplivnejˇsih znaˇcilk
Znaˇcilke (tudi atributi in vhodne spremenljivke) so lastnosti oziroma vrednosti, ki ocenjujejo stanje sistema. Najosnovnejˇse jih razdelimo v dve domeni:
• kategoriˇcne (konˇcno ˇstevilo diskretnih vrednosti, kot je na primer vrsta spola – moˇski/ˇzenski);
• zvezne (navadno ˇstevilske vrednosti).
V enostavnih primerih, kot je linearna regresijska funkcija, se lahko uporabi ena znaˇcilka, v veˇcini realnih problemov pa znaˇcilke, kot vhod v model, nastopajo v vektorski obliki:
x=x1, x2, . . . , xN. (2.5) Izbira najbolj vplivnih znaˇcilk je proces, v katerem izberemo najbolj opti- malno podmnoˇzico znaˇcilk, ki je kompromis med kompleksnostjo, toˇcnostjo ter uporabnostjo modela. Navadno nam ˇstevilo relevantnih znaˇcilk vnaprej ni znano, zato se moramo posluˇziti sistematiˇcnega iskanja najbolj vplivnih znaˇcilk, ki nam na izhodu poda minimalno ˇstevilo znaˇcilk, ki bistveno ne poslabˇsa mere toˇcnosti modela. To nam da pomembne prednosti [6]:
• hitrejˇse uˇcenje,
• izboljˇsanje uˇcinkovitosti modela,
• enostavnejˇso interpretativnost rezultatov in
• bolj robusten model.
Za izraˇcun ˇstevilske mere, na podlagi katere izberemo najvplivnejˇse znaˇcilke, je bilo razvitih veˇc metod [6, str. 364–377], uporabnost posamezne pa je moˇcno odvisna od podatkovnih tipov vhodnih (neodvisnih) ter izhodnih (odvisnih) spre- menljivk. Na sliki 2.5 je prikazano hierarhiˇcno drevo, ki nam sluˇzi kot pomoˇc pri izbiri primernega algoritma za naˇs primer.
Vhodne spremenljivke
Numerične
Izhodne spremenljivke
Kategorične
Izhodne spremenljivke
Numerične Kategorične Numerične Kategorične
Spearmanov rang
Analiza variance
Kendallov rang
Hi-kvadrat test
Medsebojna informacija Pearsonov
rang
Slika 2.5: Algoritmi za izbiro najvplivnejˇsih znaˇcilk.
Stevilo znaˇˇ cilk, ki jih klasificiramo kot najvplivnejˇse, pa izberemo bodisi z metodo “izberi k-najboljˇsih (ang. select k-best)”, ki kot rezultat vrne k znaˇcilk z
najveˇcjo ˇstevilsko mero, bodisi z “izberi najboljˇsih n odstotkov (ang. select per- centile)” metodo, ki kot rezultat vrne izbran odstotek znaˇcilk z najveˇcjo ˇstevilsko mero vplivnosti.
Na sintetiˇcnem primeru si poglejmo pomen izbora vplivnih spremenljivk. Z diagrama na sliki 2.5 razberemo, da sta najverjetneje najbolj primerna algoritma za izbiro najvplivnejˇsih znaˇcilk “Pearsonov rang” ali “Spearmanov rang”, ki se od Pearsonovega razlikuje v tem, da ne predpostavi linearne povezanosti spremen- ljivk in normalne porazdelitve podatkov. Ker se ne ˇzelimo zanaˇsati na normalno porazdelitev podatkov, se odloˇcimo za Spearmanov rang [5, stran 372–377].
Privzemimo N parov vhodne in izhodne spremenljivke ter ju loˇceni razvrstimo od najmanjˇse do najveˇcje vrednosti
x: x1 ≤. . . ≤xN in y: y1 ≤. . . ≤yN (2.6) ter z ui oznaˇcimo rang i-tega elementa vhodne spremenljivke, z vi pa rang i-tega elementa izhodne spremenljivke. Spearmanov poenostavljen korelacijski koefici- ent ρ je definiran kot
ρ= 1− 6∑︁N i=1di2
N(N2−1), kjer je di =ui−vi (2.7) in je v obmoˇcju
−1≤ρ≤1, (2.8)
kjer –1 pomeni popolno negativno korelacijo, 1 pa popolno pozitivno korelacijo.
Za dokaz signifikantnosti Spearmanovega koeficienta uporabimo t-test niˇcelne hi- poteze, ki pravi, da ni monotone povezave med dvema spremenljivkama.
V kolikor je
t < tα
2 ali t > t1−α
2, (2.9)
kjer je α raven znaˇcilnosti, ovrˇzemo niˇcelno hipotezo in potrdimo signifikan-
tnost povezave med dvema spremenljivkama. Enakovredno lahko niˇcelno hipotezo ovrˇzemo z izraˇcunom vrednosti p(verjetnost, da je niˇcelna hipoteza napaˇcna), ki jo primerjamo z ravnijo znaˇcilnosti, ˇce velja p < α.
V naˇsem primeru izberemo raven znaˇcilnosti α = 0,05 in dobimo rezultate, ki so prikazani v tabeli 2.2.
Tabela 2.2: Izbrane najvplivnejˇse znaˇcilke s Spearmanovim rangom.
znaˇcilka ρ [/] p[/] izberemo
h nanos 0,9601 ≈ 0 DA
temp okolice 0,2307 0,0209 DA h material 0,0382 0,7062 NE povrsina 0,0072 0,9435 NE
2.1.5 Identifikacija regresijskega modela
Matematiˇcne modele lahko zgradimo z metodo teoretiˇcnega ali eksperimentalnega modeliranja. Pri metodi teoretiˇcnega modeliranja so parametri modela doloˇceni s funkcijskimi odvisnostmi med procesnimi veliˇcinami na podlagi fizikalnih zakoni- tosti, pri eksperimentalnemu modelu pa s ˇstevilskimi vrednostmi, ki jih moramo z nekimi metodami oceniti.
Procesu ocenjevanja parametrov modela na podlagi uˇcnih podatkov pravimo tudi identifikacija modela (ang. model identification). Ker nas pri uporabi mo- dela najpogosteje zanimajo le vhodno-izhodne relacije, lahko identificirani model imenujemo tudi model ˇcrne ˇskatle (ang. black box model).
Regresijski model matematiˇcno opiˇse zveze med vhodnimi (neodvisnimi) in izhodno (odvisno) spremenljivko. Odloˇcitev za tip regresijskega modela je pred- vsem odvisna od tipov vhodnih podatkov (znaˇcilk), kompleksnosti relacij med vhodnimi podatki. Dodaten dejavnik za izbiro med podobnimi tipi modelov pa je lahko tudi osebna preferenca ali boljˇse poznavanje lastnosti posameznega mo- dela.
Zaradi enostavnosti na tem mestu obravnavamo linearne regresijske modele
(ang. linear regression models). Nekateri izmed njih so [7, str 311–315]:
• Metoda najmanjˇsih kvadratov (ang. Ordinary Least Squares – OLS), ki je tudi najstarejˇsi in najbolj preprost izmed vseh,
• Metoda sedelnega spusta (ang. ridge regression) – izboljˇsava OLS, ki se po- gosto uporablja v primerih visoke korelacije med neodvisnimi spremenljiv- kami, dodatno pa prepreˇcuje pretirano prileganje s pomoˇcjo regularizacije in kompromisa povpreˇcni pogreˇsek – obˇcutljivost (ang. bias – variance),
• Lasso regression (Least Absolute Shrinkage And Selection Operator), ki je razliˇcica metode sedelnega spusta z vkljuˇceno izbiro najbolj informativnih znaˇcilk,
• Metoda delnih najmanjˇsih kvadratov (ang. Partial Least Squares), ki naj- prej preslika znaˇcilke v manj razseˇzen prostor in izvede regresijo na teh znaˇcilkah.
Pri kompleksnejˇsih problemih, ko linearni regresijski modeli ne opisujejo do- bro relacij med vhodnimi znaˇcilkami in izhodom lahko uporabimo kompleksnejˇse regresijske modele. Eden izmed njih, ki je uˇcinkovit pri velikih koliˇcinah uˇcnih podatkov, je regresijski model veˇcplastnega perceptrona (ang. multi-layer per- ceptron – MLP), ki je v poenostavljeni obliki prikazan na sliki 2.6. Vhodna plast predstavlja prvo plast nevronskega omreˇzja, kjer je i-ta znaˇcilka povezana z i-tim nevronom vhodne plasti. V globjih plasteh je vsak nevron k-te plasti povezan z nevronom plasti [k+ 1] prekoωij[k], ki predstavlja uteˇz povezave k-te plasti med i-tim nevronom in j-tim nevronom plasti [k + 1]. Izhodna plast predstavlja en nevron z definirano aktivacijsko funkcijo.
V fazi razvoja navadno preizkuˇsamo veˇcje ˇstevilo modelov razliˇcnih struktur in med njimi poiˇsˇcemo najboljˇsega za naˇs aktualni primer. Pri tem pa je celoten spekter modelov smiselno parametrizirati (hiper-parametri se razlikujejo glede na tip modela) glede na naravo vhodnih podatkov, saj lahko sprememba istega para- metra v enem primeru povzroˇci izboljˇsanje delovanja modela, v drugem primeru pa poslabˇsanje v smislu toˇcnosti in hitrosti uˇcenja oziroma napovedovanja. Za iskanje najbolj ustreznih hiper-parametrov, ki bodo zagotovili najboljˇsi rezultat lahko uporabimo:
1
2
i . . .
1
2
j . . .
f(x) Značilka 1
Vhodna plast Prikrita plast
(k-ta plast) Izhodna plast
ωij(k)
Izhod Značilka 2
Značilka i
Slika 2.6: Nevronsko omreˇzje.
• nakljuˇcno iskanje (ang. random search),
• uporabo genetskih algoritmov (ang. genetic algorithms),
• iskanje v mreˇzi (ang. grid search).
Na primeru sintetiˇcnega primera uporabimo model Ridge. Enaˇcba modela [8]
je v vektorski obliki zapisana kot
y=xβ+ϵ, (2.10)
kjer jey odvisna spremenljivka, xvektor znaˇcilk,β vektor regresijskih koeficien- tov, ki ga moramo oceniti, ϵ pa niˇcelna povpreˇcna normalna porazdelitev.
Koeficiente β ocenimo z minimizacijo funkcije izgube (ang. loss function):
LRidge(β;α) =∥y−xβ∥2+α∥β∥, (2.11) kjer jeαkoeficient regularizacije. Z veˇcanjemα zmanjˇsujemo varianco modela, a poveˇcujemo povpreˇcni pogreˇsek. Parameterα, ki bo zagotovil najboljˇsi rezultat modela pa bomo poiskali z metodo iskanja v mreˇzi, ki v sploˇsnem omogoˇca hiper- parametrizacijo modela. Rezultat, ki prikazuje vpliv parametra α na R2 mero uspeˇsnosti je prikazan na sliki 2.7.
Vidimo, da pri α = 0,01 in α = 0,1 dobimo enako mero uspeˇsnosti modela, zato za naˇs model izberemo α = 0,1, kar se bo izkazalo na modelu z manjˇso
0.01 0.1 1 10 100 1000 parameterα
0.2 0.4 0.6 0.8 1.0
R2
Rezultat iskanja v mreˇzi
Slika 2.7: Iskanje v mreˇzi – parameter α.
varianco in veˇcjo odpornostjo na morebitnem ˇsumu med podatki.
2.1.6 Vrednotenje modela
V veˇcini primerov na aktualnem podroˇcju uporabe ne razpolagamo s testno mnoˇzico podatkov, ki bi jo lahko uporabili za vrednotenje modela, zato moramo del zgodovinskih podatkov nameniti za nepristransko vrednotenje identificiranih modelov, preostali del pa za uˇcenje parametrov modela. ˇSe boljˇsi pristop pa je, ˇce pred samim razdeljevanjem podatkov v uˇcno mnoˇzico in mnoˇzico za vrednotenje (validacijsko mnoˇzico) odvzamemo deleˇz podatkov, ki ga uporabimo le v konˇcni fazi vrednotenja. Tovrstno delitev predstavlja slika 2.8.
Nabor podatkov za vrednotenje je namenjen vrednotenju modela v fazi hiper parametrizacije modela, zato ni primeren tudi za konˇcno vrednotenje modela, saj je informacija iz nabora podatkov za vrednotenje vkljuˇcena v njegovo konfigura- cijo. V izogib temu, za konˇcno nepristransko vrednotenje modela uporabimo ˇze omenjen testni nabor podatkov, ki ni vkljuˇcen v proces identifikacije.
Preostali razpoložljivi podatki Testni podatki
Učni podatki Testni
podatki Podatkovna zbirka
Validacijski podatki
Slika 2.8: Primer deljenja uˇcnih, validacijskih in testnih podatkov.
Uˇcenje modela na podatkih lahko pripelje do odliˇcnega rezultata, saj ga opti- malno parametriramo glede na uporabljen set podatkov. Lahko se pa izkaˇze, da ob drugih vhodnih podatkih model ne zmore generalizirati nauˇcenega znanja na sploˇsne primere. Prihaja do tako imenovane prenauˇcenosti oziroma pretiranega prileganja (ang. overfitting), kjer model dobro ponovi nauˇceno preslikavo, vendar le-ta ne odraˇza dejanskih relacij med signali. V izogib temu se posluˇzimo algo- ritma za k kratno preˇcno preverjanje (ang. k-fold cross validation), ki mnoˇzico podatkov razdeli v k skupin enake velikosti in v posamezni iteraciji uˇcenja mo- dela razdeli podatke k-te skupine na deleˇz namenjen testni, preostali (navadno veˇcji) deleˇz pa uˇcni mnoˇzici podatkov. S tem navidezno pridobimo veˇcjo koliˇcino podatkov za vrednotenje, s katerimi z veˇcjim zaupanjem v pravilnost modela identificiramo najboljˇse parametre modela in zmanjˇsamo moˇznost pretiranega prileganja modela.
Na sliki 2.9 je prikazan princip pet-kratnega preˇcnega preverjanja.
Za objektivno oceno uporabnosti modela potrebujemo mere uspeˇsnosti. Ne- katere izmed njih so:
• maksimalni pogreˇsek (ang. max error)
max error(y, yˆ) = max (|yi−yˆi|), (2.12)
Mera uspešnosti 1
Mera uspešnosti 2
Mera uspešnosti 3
Mera uspešnosti 4
Mera uspešnosti 5
Povprečna mera uspešnosti Učna množica podatkov
Validacijska množica podatkov Iteracija
1.
2.
3.
4.
5.
Slika 2.9: Primer pet-kratnega preˇcnega preverjanja.
• povpreˇcna absolutna vrednost pogreˇska (ang. mean absolute error – MAE) M AE(y, yˆ) = 1
N
N
∑︂
i=1
|yi−yˆi|, (2.13)
• povpreˇcna kvadratiˇcna vrednost pogreˇska (ang. mean squared error – MSE) M SE(y, yˆ) = 1
N
N
∑︂
i=1
(yi −yˆi)2, (2.14)
• koeficient deterministiˇcnosti (R2 uspeˇsnost) R2(y, yˆ) = 1−
∑︁N
i=1(yi−yˆi)2
∑︁N
i=1(yi−y¯i)2 , kjer je y¯ = 1 N
N
∑︂
i=1
yi, (2.15)
kjer v vseh enaˇcbah yˆ predstavlja izhodno (napovedano) vrednost modela.
Dodatne mere, ki imajo pomembno teˇzo pri uspeˇsnosti uvajanja (ang. deplo- ying) modela v uporabo so:
• hitrost (ang. speed), ki se nanaˇsa na raˇcunsko zahtevnost,
• robustnost (ang. robustness), ki predstavlja odpornost na ˇsum,
• razˇsirljivost (ang. scalability), ki se nanaˇsa na posodabljanje modelov z novimi podatki,
• razloˇzljivost (ang. interpretability), ki se nanaˇsa na enostavno pojasnjevanje izhodov modela.
Ker na voljo nimamo neskonˇcno vzorcev, moramo na podlagi razpoloˇzljive mnoˇzice podatkov in dobljenih rezultatov sklepati na mero uspeˇsnosti, ki bo veljala za celotno populacijo. Pravilo 68–95–99 [9] pravi, da pˆ (ocena mere uspeˇsnosti) v 95 % vseh vzorcev leˇzi najveˇc dva standardna odklona od p(prave mere uspeˇsnosti celotne populacije), torej je pˆ najverjetneje oddaljena od p kveˇcjemu za
2σpˆ = 2·
√︃p·(100−p)
N . (2.16)
V enaˇcbi (2.16) opazimo, da je standardni odklon odvisen od parametra p, ki ga sicer ne poznamo, vendar v praksi privzamemopˆ≈p, saj lahko dokaˇzemo, da se standardni odklon ob spreminjanju parametra pspreminja le zelo poˇcasi. Ker pa je tako dobljeni standardni odklon le ocena in ne poznamo natanˇcne vrednosti, ga oznaˇcimo s spˆ. Tako lahko zapiˇsemo, da za ocenjeno mero uspeˇsnosti s 95-%
verjetnostjo trdimo, da se nahaja v intervalu±2spˆ.
p=pˆ±2spˆ =pˆ±2·
√︃pˆ·(100−pˆ)
N (2.17)
V sintetiˇcnem primeru se odloˇcimo, da za mero uspeˇsnosti izberemo R2, ki jo zaradi manjˇsega nabora podatkov izraˇcunamo s postopkom k-kratno preˇcno preverjanje (k = 5), kot je prikazano na sliki 2.9. Za posamezno iteracijo dobimo rezultate, prikazane v tabeli 2.3.
Za primer ene iteracije izriˇsemo grafa, ki nam bolj intuitivno predstavljata uspeˇsnost modela na testnih podatkih.
Na sliki 2.10 zgoraj je graf, na katerem abscisna os predstavlja ˇstevilko vzorca, ordinatna os pa pravo in napovedano vrednost hkrati.
Spodnji graf, na kateremu abscisna os predstavlja pravo, ordinatna pa na- povedano vrednost, pa na drugaˇcen naˇcin prikazuje rezultat modela in omogoˇca
Tabela 2.3: Rezultati pet-kratnega preˇcnega preverjanja sintetiˇcnega primera lakirne linije.
iteracija [/] mera uspeˇsnostiR2i [/]
1 0,9900
2 0,9863
3 0,9859
4 0,9901
5 0,9937
0 5 10 15 20
vzorec [/]
0,00 1,00 2,00 3,00 4,00 5,00 6,00
vrednosti[/]
R2 mera uspeˇsnosti: 0.9905
prava napovedana
0,00 1,00 2,00 3,00 4,00 5,00 6,00
prava vrednost [/]
0,00 1,00 2,00 3,00 4,00 5,00 6,00
napovedanavrednost[/]
Slika 2.10: Rezultati modela sintetiˇcnega primera.
enostavno interpretacijo R2 mere uspeˇsnosti, ki predstavlja prileganje toˇck na grafu premici.
Konˇcno oceno mere uspeˇsnosti Rˆ2 izraˇcunamo kot povpreˇcje mer uspeˇsnosti posamezne iteracije preˇcnega preverjanja in dobimo:
Rˆ = 1 5·
5
∑︂
i=1
Rˆi = 0,9892 = 98,92 %. (2.18)
S 95-% verjetnostjo pa lahko trdimo, da bo prava mera uspeˇsnosti modela
R=Rˆ ±2·
⌜
⃓
⃓
⎷Rˆ ·(︂
100−Rˆ)︂
N = 98,92 %±1,01 %. (2.19) Model na podlagi informacije o debelini naneˇsenega laka in temperature oko- lice zanesljivo oceni obstojnost laka. S tem smo pridobili ˇzeleno relacijo, ki jo v kombinaciji z enaˇcbo cene izdelka (2.1) lahko uporabimo za optimizacijo proce- snih nastavitev.
2.1.7 Veˇckriterijska optimizacija
Za optimizacijo manipulativnih spremenljivk, tj. spremenljivk, ki jih ˇzelimo op- timizirati, se ponuja ideja uporabe inverza modela. Med vhodne spremenljivke umestimo ˇzelen izhod, kot izhod pa bi dobili optimalne manipulativne spremen- ljivke. Teˇzava je v tem, da kompleksnejˇsi modeli v sploˇsnem take moˇznosti ne dopuˇsˇcajo.
Idejo lahko implementiramo z uporabo optimizacijskega algoritma, s katerim manipulativne spremenljivke korigiramo v smeri minimizacije oz. maksimizacije kriterijske funkcije (cenilke), ki jo doloˇca tudi izhod modela. S kriterijsko funkcijo pa doloˇcimo cilj optimizacije, ki je lahko na primer veˇcja kakovost, manjˇsi izmet ipd.
Narava optimizacijskih problemov je pogosto taka, da se pri soˇcasni opti- mizaciji [10] po razliˇcnih kriterijih in ob upoˇstevanju robnih pogojev sooˇcamo z nasprotujoˇcimi kriteriji. To pomeni, da izboljˇsanje reˇsitve po enem kriteriju povzroˇci poslabˇsanje po drugih. Poslediˇcno nimamo le ene, temveˇc mnoˇzico op- timalnih reˇsitev, imenovanih Pareto-optimalne reˇsitve.
optimiraj f(x) = (f1(x), . . . , fN(x)) (2.20) Glede na to ali imamo informacijo o pomembnosti posameznih reˇsitev se lahko odloˇcimo za enega od pristopov veˇckriterijske optimizacije [10]:
• prednostni pristop – reˇsitev, ki jo dobimo je odvisna od pomembnosti kri- terijev, na podlagi katerih smo pri pretvorbi veˇckriterijskega problema v enokriterijskega zapisali optimizacijsko funkcijo,
• idealni pristop – pomembnost kriterijev upoˇstevamo ˇsele pri izbiri ˇze izraˇcunanih moˇznih optimalnih reˇsitev, kar nam omogoˇca bolj transparentni vpogled v moˇzne reˇsitve.
Primer prednostnega pristopa je tradicionalna metoda, imenovana tudi me- toda uteˇzene vsote (ang. weighted-sum approach), ki temelji na pretvorbi pro- blema v enokriterijsko obliko, pri ˇcemer pomembnost kriterijev doloˇcimo z uteˇzmi.
Na ta naˇcin se enaˇcba (2.20) pretvori v
optimiraj g(x) = ω1·f1+. . .+ωN ·fN (2.21) Pogosto se zaradi izboljˇsanja konvergence problema posamezne funkcije kva- drira, tako se enaˇcba (2.21) pretvori v
optimirajg(x) =ω1·f12+. . .+ωN ·fN2. (2.22) Ker se optimum te naloge ne spremeni, ˇce uteˇzi pomnoˇzimo s konstanto, navadno predpostavimo, da za uteˇzi velja
ωi ∈[0, 1] in
N
∑︂
i=1
ωi = 1. (2.23)
Pomembno je, da pri omenjeni metodi posamezne kriterije normiramo (vpliv normalizacije je prikazan na sliki 2.4), saj je metoda obˇcutljiva na razmerja vre- dnostnih kriterijev.
Na sintetiˇcnem primeru si za ilustracijo poglejmo metodo uteˇzene vsote in poizkusimo izraˇcunati optimalne nastavitve, ki bodo zagotovile minimalno ceno in zadostno kakovost produkta. Oba zasledovana cilja sta si med seboj nasprotujoˇca.
Z optimizacijo tako ˇzelimo identificirati kompromis med obema ciljema. To lahko
storimo z enokriterijsko obliko optimizacijskega problema, ki je po enaˇcbi (2.22) in ob upoˇstevanju enaˇcbe za ceno izdelka (2.1) enaka
optimirajg({h nanos, temp okolice, povrsina}) = ω1·model({h nanos, temp okolice})2
⏞ ⏟⏟ ⏞
kriterij kakovosti
+ω2·
(︃(︃h nanos
2 + 1
)︃
· povrsina 100
)︃
⏞ ⏟⏟ ⏞
kriterij cene
.
(2.24) Kriterijska funkcija optimizacijskega problema v enaˇcbi (2.24) je torej sesta- vljena iz dveh nasprotujoˇcih si ciljev: ˇcim daljˇsa obstojnost laka in ˇcim niˇzja cena izdelka, zaradi ˇcesar se moramo odloˇciti za kompromis med ciljema. To storimo z nastavljanjem uteˇzi optimizacijske funkcije.
Na sliki 2.11 si poglejmo vrednosti optimizacijske funkcije izraˇcunane po enaˇcbi (2.24), kjer so:
• povrsina = 82,47 (povrˇsina izdelka),
• ω1 = 0,6 (veˇcji poudarek na boljˇsi kakovosti materiala kot na cenejˇsi izde- lavi),
• ω2 = 0,4,
• h nanos ∈[5,45],
• temp okolice ∈[19,25],
pri ˇcemer predpostavimo, da sta h nanos in temp okolice enakomerno vzorˇcena v opazovanem intervalu s 50 vzorci. Zelena puˇsˇcica na sliki 2.11 oznaˇcuje rdeˇco oznaˇcbo, ki predstavlja optimalne nastavitve za doseganje ˇzelene kakovosti in cene.
5.00 10.00 15.00 20.00 25.00 30.00 35.00 45.00 45.00 h nanos [/]
1920 2122 2324 25
tempokolice[/] Vizualizacija optimizacijske funkcije
0.25 0.50
normiranacenilka[/]
Slika 2.11: Vizualizacija optimizacijske funkcije – prvi primer.
V kolikor optimizacijski funkciji nastavimo veˇcji poudarek na cenejˇsi izdelavi kot na boljˇsi kakovosti materiala, spremenimo uteˇzi na:
• ω1 = 0,2 in
• ω2 = 0,8
ter dobimo drugaˇcen rezultat optimizacije, ki je prikazan na sliki 2.12.
5.00 10.00 15.00 20.00 25.00 30.00 35.00 45.00 45.00 h nanos [/]
1920 2122 2324 25
tempokolice[/] Vizualizacija optimizacijske funkcije
0.25 0.50
normiranacenilka[/]
Slika 2.12: Vizualizacija optimizacijske funkcije – drugi primer.
Na podlagi analize lahko tako ugotovimo, da ˇce ˇzelimo proizvesti optimalen izdelek z naˇsim procesom, pri ˇcemer damo veˇc poudarka na kakovost kot na proizvodno ceno (primer 1: ω1 = 0,6 in ω2 = 0,4) je potrebno zagotoviti sledeˇce parametre procesa:
• h nanos = 28,19 in
• temp okolice = 25.
S pomoˇcjo napovedi identificiranega modela pa lahko tudi vnaprej predvidimo, kakˇsna bo obstojnost izdelka, ceno pa izraˇcunamo po enaˇcbi (2.1). Napoved predvideva obstojnost 4,08 in ceno izdelka 12,45.
2.2 Identifikacija operaterske prakse
V sledeˇcem poglavju predstavimo kako lahko na podlagi arhivskih podatkov, ki bi jih dobili z meritvami in analizami, raziˇsˇcemo skrite povezave med merje- nimi spremenljivkami in operaterjevimi posegi v proces. Prikazano je tudi kako lahko s pomoˇcjo tako identificiranega modela zaznamo in svetujemo kdaj je po- trebno poseˇci v proces. Za vsak predstavljen korak, ki se razlikuje od opisanega v prejˇsnjem poglavju je opisano teoretiˇcno ozadje, nato pa sledi uporaba izbranega algoritma na zgledu.
Zaradi ilustrativnih namenov bo ponovno uporabljen sintetiˇcni primer, zasno- van z obvladljivo mnoˇzico umetno generiranih podatkov, ki bo prikazal praktiˇcno uporabo predstavljene teorije.
2.2.1 Sintetiˇcni primer
Zelimo zasnovati enostavni svetovalni sistem za uporabo roˇˇ cnega menjalnika v av- tomobilu. Predpostavimo, da je v avtomobilu implementiran sistem za zajemanje in shranjevanje podatkov, ki v pomnilnik med drugim beleˇzi:
• hitrost avtomobila (hitrost),
• vrtljaje motorja (vrtljaji),
• poloˇzaj stopalke za plin (polozaj plin),
• temperaturo okolice (temp okolice) in
• dogodek prestavljanja v ˇcasu zajema (prestava).
Spremenljivka prestava predstavlja prestavljanje v viˇsjo (1) prestavo oziroma stanje, v katerem ni bilo prestavljanja (0).
2.2.2 Pridobivanje podatkov
Iz pomnilnika sistema za zajemanje moramo najprej pridobiti podatke (tabela 2.4, jih ustrezno predpripraviti, ugotoviti katere izmerjene veliˇcine pomembno vpli- vajo na odloˇcitev voznika za menjavo prestave, nato pa doloˇciti model, ki bo na podlagi vhodnih podatkov svetoval kdaj je potrebno spremeniti prestavo (ustre- zno napovedati vrednost spremenljivke prestava).
Tabela 2.4: Struktura podatkov sintetiˇcnega primera uporabe roˇcnega avtomo- bilskega menjalnika.
indeks hitrost vrtljaji polozaj plin temp okolice prestava
0 50 3864 77 19 1
1 89 1537 17 19 0
· · · ·
98 58 1430 24 22 0
99 77 1235 8 19 0
2.2.3 Predpriprava podatkov
Med zajetimi podatki smo naˇsli dva vzorca z manjkajoˇcimi podatki, kot je razvi- dno v tabeli 2.5.
Tabela 2.5: Manjkajoˇci podatki sintetiˇcnega primera uporabe roˇcnega avtomo- bilskega menjalnika.
indeks hitrost vrtljaji polozaj plin temp okolice prestava
· · · ·
19 89 / / 25 0
24 51 / 81 25 · · ·
· · · ·
V veˇcini primerov bi se zaradi relativno majhnega ˇstevila vzorcev odloˇcili korigirati podatke na naˇcine, kot so opisani v poglavju 2.1.3, vendar se na tem
mestu zaradi neenakomerne porazdelitve vzorcev v pripadajoˇce razrede (prestava) odloˇcimo manjkajoˇce podatke izbrisati ter uporabiti metodo prevzorˇcenja, ki jo uporabimo z namenom zagotoviti bolj enakomerno porazdelitev vzorcev v pripa- dajoˇce razrede.
Najenostavnejˇsa metoda prevzorˇcenja podatkov iz manj zastopanih razredov je podvajanje vzorcev, vendar tako ne dobimo dodatne informacije o sistemu, veliko veˇcja moˇznost pa je tudi za pretirano prileganje modela. Zato uporabimo metodo za sintetiˇcno prevzorˇcenje manjˇsinskega razreda (ang. Syntetic Minority Oversampling TEchnique – SMOTE), ki vsak dodatni vzorec iz manjˇsinskega razreda formira z interpolacijo vzorcev iz manjˇsinskega razreda [11].
Porazdelitev vzorcev po razredih pred prevzorˇcenjem je prikazana na sliki 2.13 (zgoraj). S prevzorˇcenjem ustvarimo toliko novih vzorcev iz manjˇsinskih razre- dov, da je skupno ˇstevilo novih vzorcev posameznih manjˇsinskih razredov enako ˇstevilu vzorcev iz najbolj zastopanega razreda (slika 2.13 spodaj). V odstotkih je predstavljeno relativno ˇstevilo vzorcev enega razreda proti vsem vzorcem, v oklepaju pa je zapisano absolutno ˇstevilo vzorcev pripadajoˇcega razreda.
65,31% (64)
34,69% (34)
01
50,0% (64) 50,0% (64)
Razred
Slika 2.13: Porazdelitev vzorcev po razredih – sintetiˇcni primer, (zgoraj – origi- nalni podatki, spodaj – korigirani podatki).
2.2.4 Izbira najvplivnejˇsih znaˇcilk
Izbran algoritem za izbiro najvplivnejˇsih znaˇcilk je glede na diagram na sliki 2.5 analiza variance [9] (ang. analysis of variance – ANOVA). F-statistika, s katero ovrednotimo niˇcelno hipotezo, ki pravi, da so vsa povpreˇcja atributov enaka, je definirana kot
F = M Sbetween
M Swithin , (2.25)
kjer so:
M Sbetween= SSbetween dfbetween
=
∑︁k
i=1ni·(x¯i−x¯)2
k−1 (2.26)
M Swithin = SSwithin dfwithin =
∑︁k i=1
∑︁ni
j=1(xij −x¯ )i 2
n−k (2.27)
x¯ =i 1 ni
ni
∑︂
j=1
xij (2.28)
x
¯ = 1 n
k
∑︂
i=1
x¯i, (2.29)
kjer so:
M Sbetween = povpreˇcje kvadratov med skupinami, M Swithin = povpreˇcje kvadratov znotraj skupin,
df = ˇstevilo prostostnih stopenj, k = indeks skupine,
ni = velikost vzorca i-te skupine, n = velikost vseh vzorcev.
F-statistika, ki jo izraˇcunamo po enaˇcbi (2.25) je pri pogojih za potrditev niˇcelne hipoteze blizu vrednosti 1, veˇcja pa je pri pogojih, ko lahko ovrˇzemo niˇcelno hipotezo.
Niˇcelno hipotezo testiramo s primerjavo izraˇcunane in kritiˇcne F-statistike, ki jo razberemo iz pripadajoˇcih tabel, kjer sta parametra ˇstevili prostostnih stanj dfbetween indfwithin. Druga moˇznost sprejema oziroma zavrnitve niˇcelne hipoteze pa je s primerjavo vrednosti p, kot je opisano v poglavju 2.1.4.
V naˇsem sintetiˇcnem primeru izberemo dobljene rezultate, ki so prikazani v tabeli 2.6 in se na podlagi ravni znaˇcilnosti α = 0,05 odloˇcimo za dve najbolj informativni znaˇcilki.
Tabela 2.6: Izbrane najvplivnejˇse znaˇcilke z metodo analize variance.
znaˇcilka F-mera [/] p [/] izberemo
hitrost 1,9308 0,1671 NE
vrtljaji 157,751 ≈ 0 DA
polozaj plin 271,9752 ≈ 0 DA temp okolice 2,0456 0,1551 NE
Intuitivno bi morda priˇcakovali, da je prestavljanje v viˇsjo predstavo predvsem odvisno od ˇstevila vrtljajev, vendar se izkaˇze, da je prav tako pomemben poloˇzaj stopalke za plin, s katerim se odloˇcamo ali bomo pospeˇsili.
2.2.5 Izbira in parametrizacija klasifikacijskega modela
Klasifikacija [4] je pristop, s katero modeli (imenovani tudi klasifikatorji) na pod- lagi nauˇcenih povezav med znaˇcilkami in kategoriˇcnimi izhodi izhodni spremen- ljivki priredijo kategoriˇcno oznako. S tem posamezen vzorec glede na kombinacijo vhodnih spremenljivk razvrstijo v ustrezen razred.
Raziskovalci so na podroˇcju strojnega uˇcenja predlagali ˇstevilne metode razvrˇsˇcanja, prepoznavanja vzorcev oziroma statistike. Med drugim tudi:
• metodo K-najbliˇzjih sosedov (ang. K-nearest neighbours),
• metodo podpornih vektorjev (ang. Support Vector Machines – SVM),
• umetne nevronske mreˇze (ang. Artificial Neural Network – ANN) in
• odloˇcitveno drevo (ang. Decision Tree – DT).
Predstavitev vseh metod presega namen te naloge, zato v nadaljevanju bolj podrobno predstavimo zgolj metodo odloˇcitveno drevo.
Odloˇcitveno drevo je drevesna struktura, ki je na videz podobna diagramu poteka, kjer vsako notranje vozliˇsˇce (ang. nonleaf node) oznaˇcuje preizkus atri- buta. Vsaka veja (ang. branch) predstavlja odloˇcitev glede na preizkus atributa, vsako listno vozliˇsˇce (ang. leaf node) pa predstavlja oznako razreda. Najviˇsje (iz- hodiˇsˇcno) vozliˇsˇce pa imenujemo korensko vozliˇsˇce (ang. root node). Enostavna struktura drevesa je prikazana na sliki 2.14:
korensko vozlišče (vreme==sončno?)
notranje vozlišče (napoved==dež?)
listno vozlišče (vzemi dežnik = NE)
veja (DA)
listno vozlišče (vzemi dežnik = DA) listno vozlišče
(vzemi dežnik = NE)
veja (NE)
veja (DA) veja
(NE)
Slika 2.14: Primer strukture odloˇcitveno drevo.
Za analizo sintetiˇcnega primera uporabimo model odloˇcitveno drevo (ang.
decision tree classifier).
Uporabljena implementacija uˇcenja modela odloˇcitveno drevo ponuja veˇc pa- rametrov, ki jih moramo nastaviti glede na konkreten primer. Med pomemb- nejˇsimi v smislu najveˇcjega vpliva na konfiguracijo modela so:
• kriterij (ang. criterion) – funkcija za mero kakovosti delitve,
• najveˇcja globina drevesa (ang. max depth),
• najmanjˇse potrebno ˇstevilo za nastanek listnega vozliˇsˇca (ang. min samples leaf).
Za doloˇcitev najboljˇsih parametrov modela uporabimo metodo iskanja v mreˇzi. Nastavimo prostor parametrov in zaˇzenemo algoritem iskanja v mreˇzi, ki v kombinaciji s pet-kratnim preˇcnim preverjanjem poiˇsˇce najboljˇse parame- tre modela. Kot izhod dobimo najboljˇsi model z identificiranimi parametri in uspeˇsnost modela, kar je prikazano v prvi vrstici tabele 2.7. V drugi vrstici so za ilustracijo predstavljeni parametri modela, ki z modelom dosegajo niˇzjo mero uspeˇsnosti:
Tabela 2.7: Identificirani parametri modela odloˇcitveno drevo za sintetiˇcni primer uporabe roˇcnega avtomobilskega menjalnika.
criterion max depth [/] min samples leaf [/] score [/]
gini 4 3 0,992 ± 0,032
entropy 1 5 0,875 ± 0,058
Struktura drevesa z izbranimi najboljˇsimi parametri za sintetiˇcni primer je prikazana na sliki 2.15. Vsaka vejitev v levo predstavlja negativno, vejitev v desno pa pozitivno odloˇcitev glede na preizkus atributa v notranjem vozliˇsˇcu.
Prednost modela odloˇcitvenega drevesa je relativno enostavna razloˇzljivost, ki omogoˇca enostavno izpeljavo pravil oziroma notranje logike odloˇcanja, kar pa ne velja tudi za druge vrste klasifikacijskih modelov.
2.2.6 Vrednotenje modela
Za namene vrednotenja modela enako kot na primeru v poglavju 2.1.6 uporabimo k-kratno preˇcno preverjanje, kjer v posamezni iteraciji uˇcenja modela razdelimo podatke k-te skupine na deleˇz namenjen validacijski, preostali (navadno veˇcji) deleˇz pa uˇcni mnoˇzici podatkov.
gini = 0.0 samples = 6 value = [6, 0]
class = 0
gini = 0.0 samples = 7 value = [0, 7]
class = 1 polozaj_plin <= 72.164
gini = 0.497 samples = 13 value = [6, 7]
class = 1
gini = 0.0 samples = 42 value = [0, 42]
class = 1 gini = 0.0
samples = 47 value = [47, 0]class = 0
vrtljaji <= 3086.605 gini = 0.194 samples = 55 value = [6, 49]class = 1 polozaj_plin <= 41.5
gini = 0.499 samples = 102 value = [53, 49]class = 0
Slika 2.15: Struktura modela odloˇcitveno drevo na sintetiˇcnem primeru uporabe roˇcnega avtomobilskega menjalnika.
Za objektivno oceno uporabnosti modela potrebujemo mere uspeˇsnosti, ki so drugaˇcne od mere uspeˇsnosti regresijskih modelov. Iz ˇstirih vrst dogodkov pri izidu preizkusa:
• pravilno potrjen (ang. true positive – TP),
• pravilno zavrnjen (ang. true negative – TN),
• napaˇcno potrjen (ang. false positive – FP),
• napaˇcno zavrnjen (ang. false negative – FN),
ki jih navadno podajamo v kontigenˇcni tabeli (ang. confusion matrix), je izpe- ljanih veˇc statistiˇcnih mer. Nekatere pomembnejˇse izmed njih so [12]:
• natanˇcnost (ang. precision, positive predictive value – PPV)
PPV = TP
TP + FP (2.30)
• priklic (ang. recall, sensitivity, true positive rate – TPR)
TPR = TP
TP + FN (2.31)
