A N T O N Z ID A R 20 MA G IST RS K A N A L O G A
FAKULTETA ZA MANAGEMENT KOPER
NEVRONSKE MREŢE KOT MODELI ZA NAPOVEDOVANJE PRODAJE
PREHRAMBENIH DOBRIN
ANTON ZIDAR
KOPER, 2009
MAGISTRSKA NALOGA
Koper, 2009
NEVRONSKE MREŢE KOT MODELI ZA NAPOVEDOVANJE PRODAJE
PREHRAMBENIH DOBRIN
Anton Zidar Magistrska naloga
Mentor: izr. prof. dr. Roberto Biloslavo
orodje, ki omogoča reševanje raznovrstnih problemov iz različnih področij. Zato so tudi zanimive za reševanje problemov na področju managementa. Ta raziskava (magistrska naloga) odgovarja na vprašanje: Ali se (usmerjena) nevronska mreţa kaţe kot boljša metoda za napovedovanje prodaje prehrambenih dobrin kot tradicionalna regresijska metoda. V ta namen sta se oblikovali dve hipotezi, ki sta se preverjali na vzorcu treh dobrin z metodo statističnega sklepanja. Modeli so se ocenili tudi z dodatnimi metodami. Rezultati so pokazali, da je regresijska metoda šele začela konkurirati nevronski metodi, ko je regresijski model dosegel visoko pojasnjeno varianco. Pri niţji pojasnjeni varianci je bila nevronska mreţa bistveno boljša. Skratka nevronska mreţa se je pokazala kot boljša metoda za napovedovanje (prodaje prehrambenih dobrin). To ugotovitev so še dodatno podkrepili rezultati ocenjevalnih metod. Vendar zaradi premajhnega vzorca (treh) dobrin se te ugotovitve ne da posploševati, zato bi bilo potrebno opravit več podobnih raziskav.
Ključne besede: nevronske mreţe, regresijski modeli, napovedovanje, povpraševanje, prodaja.
SUMMARY
Neural networks are a relatively young developmental area. They represent an important tool for solving various problems from different fields. For this reason they are interesting for solving management problems. This paper gives an answer to the following basic question: Is the (feedforward) neural network a better method for forecasting food retail than the traditional regressive method? In order to answer this question two hypotheses were formed which were tested on the pattern of three kinds of goods with method of statistical inference. The models were also estimated with other methods. The results have shown that the regressive method became a competitive method only when the regressive model reached a high explanatory variance. When the regressive model had a lower explanatory variance the neural network proved to be a much better method than the regressive method. The method of neural network has proved to be a better method for forecasting the food retail then the traditional regressive method. This has additionally been confirmed by the results of estimating methods. Since the testing pattern (3 types of goods only) was too small the conclusions cannot be generalized. In order to do that similar researches need to be carried out.
Key words: neural networks, regressive models, forecasting, retail forecast.
UDK: 658.8:004.032.26(043.2)
1.1 Opis problematike ... 1
1.2 Namen in cilji magistrskega dela ... 3
1.3 Metode dela ... 3
1.4 Predpostavke in omejitve ... 5
1.5 Zasnova poglavij ... 5
2 Umetne nevronske mreţe ... 7
2.1 Zgodovina razvoja nevronskih mreţ ... 8
2.2 Definicije nevronskih mreţ ... 8
2.3 Aplikacije nevronskih mreţ ... 9
2.4 Vrste nevronskih mreţ ... 10
2.4.1 Nevronske mreţe glede na namen ... 11
2.4.2 Arhitektura oz. topologije nevronskih mreţ ... 12
2.4.3 Pravila in paradigme učenja ... 13
2.4.4 Prenosne funkcije ... 14
2.4.5 Pragovno logična enota – v spomin na McCulloch-Pittsov model ... 14
2.4.6 Nevronske mreţe in teorija grafov (digrafi) ... 14
2.5 Nevronske mreţe in napovedovanje ... 14
2.6 Model nevrona ... 15
2.6.1 Matematični zapis nevrona ... 16
2.6.2 Prenosne funkcije ... 17
2.7 Perceptron ... 18
2.7.1 Perceptron in aproksimacija funkcij ... 19
2.7.2 Simbolno označevanje usmerjene nevronske mreţe ... 19
2.8 Učno pravilo delta ... 20
2.8.1 Splošno učno pravilo perceptrona ... 20
2.8.2 Padajoči gradient na napaki oz. iskanje minimuma funkcije ... 21
2.9 Učenje perceptrona ... 22
2.9.1 Problem posploševanja (generalizacija) ... 23
2.9.2 Metoda prečnega vrednotenja ... 25
2.10 Testiranje modela perceptrona ... 25
2.11 Transformacija vhodnih in/ali izhodnih podatkov ... 26
3 Management trţenja in napovedovanje prodaje ... 29
3.1 Temeljne pojmovne opredelitve ... 29
3.1.1 Podjetje in osrednji cilj podjetja ... 29
3.1.2 Usmeritve in koncepti poslovanja podjetij ... 30
3.1.3 Trţno gospodarstvo ter mehanizem ponudbe in povpraševanja ... 30
3.2 Trţna funkcija ... 34
3.2.1 Razvoj trţne funkcije ... 35
3.2.2 Pomen napovedovanja trţnega povpraševanja ... 36
3.2.3 Pojmi pri merjenju povpraševanja ... 37
3.2.4 Dimenzije merjenja trţnega povpraševanja ... 37
3.2.5 Opredelitev trgov z vidika trţnega povpraševanja ... 38
3.2.6 Ocenjevanje prihodnjega povpraševanja (namere kupcev) ... 38
3.2.7 Trţne poti – distribucija dobrin in vloga napovedovanja ... 38
3.2.8 Vertikalni trţenjski sistemi – širše obvladovanje trţnih poti ... 39
3.2.9 Veriga vrednosti – kot gradnik oskrbovalne verige ... 40
3.2.10 Oskrbovalne verige ... 40
3.3 Načrtovanje poslovanja ... 41
3.3.1 Vrste načrtovanja in načrtov ... 41
3.3.2 Trţno usmerjeno načrtovanje poslovanja ... 43
3.3.3 Celostni predračun poslovanja in vloga napovedovanja ... 44
3.4 Metode in modeli za napovedovanje prodaje ... 45
3.4.1 Trţenjske raziskave in napovedovanje prodaje ter metode... 46
3.4.2 Metode za napovedovanje in vidiki razvrščanja metod ... 47
3.4.3 Postopek napovedovanja ... 48
3.4.4 Korelacijska analiza in napovedovanje ... 48
3.4.5 Regresijska analiza in napovedovanje ... 49
3.4.6 Analiza odvisnost od časovnih vrst in napovedovanje ... 51
3.4.7 Analiza (dekompozicija) časovnih vrst in napovedovanje ... 51
3.4.8 Multivariantna regresija in napovedovanje ... 52
3.5 Metode za evalvacijo kakovosti napovedovanja ... 53
3.5.1 Srednja absolutna napaka – MAD ... 53
3.5.2 Srednja kvadratna napaka – MSE ... 53
3.5.3 Srednja absolutna odstotna napaka – MAPE ... 53
3.5.4 Srednja odstotna napaka – MPE ... 53
3.5.5 Korelacijski koeficient – r ... 54
4 Vzorčenje in priprava podatkov ... 55
4.1 Vzorčenje ... 55
4.1.1 Pogoji vzorčenja ... 55
4.1.2 Vir podatkov in osnovni opis značilnosti vira ... 55
4.1.3 Izvedba vzorčenja ... 55
4.2 Priprava podatkov ... 56
4.2.1 Agregiranje (surovih) podatkov in formiranje vzorcev ... 56
4.2.2 Dodatno pridobivanje in opredeljevanje podatkov o vremenu ... 57
4.2.3 Finalizacija vzorcev ... 58
4.3 Statistične opredelitve populacije oz. statistične mnoţice ... 58
5 Analiziranje podatkov ... 59
5.1 Deskriptivna analiza ... 59
5.1.1 Analiza podatkov za dobrino pivo ... 59
5.1.2 Analiza podatkov za dobrino mleko ... 62
5.1.3 Analiza podatkov za dobrino kruh ... 65
5.2 Analiza razvrščanja enot v skupine (rojenje) ... 67
5.2.1 Analiza razvrščanja dnevnih prodaj za dobrino pivo ... 68
5.2.2 Analiza razvrščanja dnevnih prodaj za dobrino mleko ... 69
5.2.3 Analiza razvrščanja dnevnih prodaj za dobrino kruh ... 70
5.3 Korelacijska analiza ... 71
5.3.1 Korelacijska analiza za dobrino pivo ... 71
5.3.2 Korelacijska analiza za dobrino mleko ... 71
5.3.3 Korelacijska analiza za dobrino kruh ... 72
5.4 Sinteza – nastavki napovedovalnih modelov ... 72
5.4.1 Opredelitev dejavnikov ... 72
5.4.2 Koncept pojasnjevanja tedenske periode ... 73
5.4.3 Koncept pojasnjevanje sezonskih vplivov oz. letne periode ... 74
5.4.4 Koncept pojasnjevanja nekaterih posameznih dnevnih prodaj ... 75
5.4.5 Standardizacija spremenljivk ... 75
5.4.6 Nastavek napovedovalnega modela za dobrino pivo ... 76
5.4.7 Nastavek napovedovalnega modela za dobrino mleko ... 80
5.4.8 Nastavek napovedovalnega modela za dobrino kruh ... 82
6 Modeliranje napovedovalnih modelov ... 87
6.1 Modeliranje z regresijo ... 87
6.1.1 Regresijski napovedovalni model za dobrino pivo ... 87
6.1.2 Regresijski napovedovalni model za dobrino mleko ... 90
6.1.3 Regresijski napovedovalni model za dobrino kruh ... 92
6.2 Modeliranje z nevronsko mreţo ... 94
6.2.1 Nevronski napovedovalni model za dobrino pivo ... 96
6.2.2 Nevronski napovedovalni model za dobrino mleko ... 98
6.2.3 Nevronski napovedovalni model za dobrino kruh ... 100
7 Testiranje in evalvacija ... 103
7.1 Regresijski napovedovalni Model P1 ... 103
7.1.1 Rezultati testiranja in osnovni statistični parametri ... 103
7.1.2 Rezultati evalvacijskih metod ... 104
7.2 Regresijski napovedovalni Model M1 ... 105
7.3 Regresijski napovedovalni Model K1 ... 107
7.3.1 Rezultati testiranja in osnovni statistični parametri ... 107
7.3.2 Rezultati evalvacijskih metod ... 108
7.4 Nevronski napovedovalni Model P1 ... 109
7.4.1 Rezultati testiranja in osnovni statistični parametri ... 109
7.4.2 Rezultati evalvacijskih metod ... 110
7.5 Nevronski napovedovalni Model M1 ... 110
7.5.1 Rezultati testiranja in osnovni statistični parametri ... 110
7.5.2 Rezultati evalvacijskih metod ... 112
7.6 Nevronski napovedovalni Model K1 ... 112
7.6.1 Rezultati testiranja in osnovni statistični parametri ... 112
7.6.2 Rezultati evalvacijskih metod ... 113
7.7 Statistično preverjanje hipotez ... 114
7.7.1 Rezultati za napovedovalni Model P1 ... 115
7.7.2 Rezultati za napovedovalni Model M1 ... 116
7.7.3 Rezultati za napovedovalni Model K1 ... 116
7.8 Razprava ... 116
7.8.1 Model P1 – primerjalni vidiki ... 116
7.8.2 Model M1 – primerjalni vidiki ... 118
7.8.3 Model K1 – primerjalni vidiki ... 118
7.8.4 Ugotovitve raziskave ... 119
7.8.5 Pomembna ugotovitev raziskave ... 122
7.8.6 Zakaj se nevronske mreţe kaţejo kot boljše pri napovedovanju ... 125
7.8.7 Sorodne raziskave ... 125
7.8.8 Razširitev razprave ... 126
8 Sklep ... 129
Literatura in viri ... 139
Priloge ... 143
SLIKE
Slika 1.1 Potek raziskave ... 5
Slika 2.1 Zgradba biološkega nevrona ... 8
Slika 2.2 Model razpoznavalnika vzorcev ... 10
Slika 2.3 Primer delovanja asociativnega pomnilnika... 11
Slika 2.4 Topologije nevronskih mreţ ... 13
Slika 2.5 Model nevrona ... 15
Slika 2.6 Tipične prenosne funkcije ... 16
Slika 2.7 Osnovne oblike perceptronov in zmogljivosti reševanja problemov ... 19
Slika 2.8 Padajoči gradient oz. minimizacija funkcije ... 21
Slika 2.9 Primer večplastnega perceptrona... 23
Slika 2.10 Primerno in prekomerno prileganje perceptrona ... 24
Slika 2.11 Aproksimacija točke na krivulji ... 24
Slika 2.12 Prečno vrednotenje – prekomerno in premajhno prileganje ... 25
Slika 3.1 Trţni mehanizem ... 31
Slika 3.2 Ponazoritev trţenja in managementa trţenja ter napovedovanja ... 33
Slika 3.3 Ponazoritev kompleksnosti trţenjske funkcije oz. managementa trţenja ... 35
Slika 3.4 Razvoj pogledov na trţno funkcijo ... 36
Slika 3.5 Trţne poti na porabniškem trgu ... 39
Slika 3.6 Trţne poti na medorganizacijskem trgu ... 39
Slika 3.7 Veriga vrednosti ... 40
Slika 3.8 Oskrbovalna veriga... 41
Slika 3.9 Tradicionalna veriga fizičnega procesa ... 44
Slika 3.10 Veriga ustvarjanja in posredovanja vrednosti ... 44
Slika 3.11 Načelna ponazoritev poslovnega procesa... 44
Slika 3.12 Predračun prodaje ... 45
Slika 3.13 Sestavine časovne vrste ... 52
Slika 5.1 Ponazoritev trenda in sezonskosti prodaje za dobrino pivo 2001–2002 ... 76
Slika 5.3 Alternativni pristop sledenja trenda prodaje za dobrino pivo ... 78
Slika 5.4 Ponazoritev trenda in sezonskosti prodaje za dobrino mleko 2001–2002 ... 80
Slika 5.5 Ponazoritev nastavka napovedovalnega modela za dobrino mleko ... 81
Slika 5.6 Alternativni pristop sledenja trenda prodaje za dobrino mleko ... 81
Slika 5.7 Ponazoritev trenda in sezonskosti prodaje za dobrino kruh 2001–2002 ... 83
Slika 5.8 Ponazoritev nastavka napovedovalnega modela za dobrino kruh ... 83
Slika 5.9 Alternativni pristop sledenja trenda prodaje za dobrino kruh ... 84
Slika 7.1 Primerjava R2 in napak regresijskega in nevronskega modela ... 123
Slika 7.2 Krivulja konvergence med nevronskim in regresijskim modelom ... 124
Slika 7.3 Vidiki-vloge in proces eksploatacije nevronskih mreţ ... 127
Slika 8.1 Štiri-fazni model za reševanje poslovnega problema z nevronsko mreţo .... 132
TABELE Tabela 2.1 Vidiki delitve nevronskih mreţ ... 11
Tabela 2.2 Simbolne označbe usmerjenih nevronskih mreţ ... 20
Tabela 3.1 Dejavniki povpraševanja in ponudbe... 32
Tabela 3.2 Pojem napovedovati in predvidevati ... 34
Tabela 3.3 Vsebinska ponazoritev trţenjskega spleta (4P) ... 35
Tabela 3.4 Najpomembnejša pojma pri merjenju povpraševanja... 37
Tabela 3.5 Vrste načrtovanja ... 41
Tabela 3.6 Nekatere najbolj tipične vrste načrtov – kot posledica načrtovanja ... 42
Tabela 3.7 Običajna struktura poslovnega načrta ... 42
Tabela 3.8 Sestava celostnega predračuna podjetja... 45
Tabela 3.9 Vzorčenje ... 46
Tabela 3.10 Kvantitativna orodja za podporo trţenjskim odločitvam... 47
Tabela 3.11 Kvantitativne in kvalitativne metode za napovedovanje ... 47
Tabela 3.12 Opredelitev in pomen korelacijskih območij ... 49
Tabela 3.13 Tipične funkcije za aproksimiranje napovedovanja ... 50
Tabela 3.14 Časovne vrste in ponazoritev odvisnosti ... 51
Tabela 4.1 Podatki o vzorčenju oz. vzorci za modeliranje in testiranje ... 57
Tabela 4.2 Struktura podatkov v datoteki o vremenu za obdobje 2001–2004 ... 57
Tabela 4.3 Finalizirana struktura podatkov v datotekah za modeliranje in testiranje ... 58
Tabela 4.4 Statistične spremenljivke za dobrine (pivo, mleko, kruh) ... 58
Tabela 5.1 Statistični parametri za dobrino pivo za 2001 in 2002 ... 62
Tabela 5.2 Statistični parametri za dobrino mleko za 2001 in 2002 ... 65
Tabela 5.3 Statistični parametri za dobrino kruh za 2001 in 2002 ... 67
Tabela 5.4 Statistični parametri za podvzorce za dobrino pivo 2001 in 2002... 69
Tabela 5.5 Statistični parametri za podvzorce za dobrino mleko 2001 in 2002 ... 70
Tabela 5.6 Statistični parametri za podvzorce za dobrino kruh 2001 in 2002 ... 71
Tabela 5.7 Skupna opredelitev dejavnikov za vse tri dobrine (pivo, mleko, kruh) ... 73
Tabela 5.8 Ponazoritev binarnih spremenljivk po tipu dneva ... 74
Tabela 5.9 Ponazoritev binarnih spremenljivk po kvartalu ... 74
Tabela 5.10 Ponazoritev binarnih spremenljivk po mesecu ... 75
Tabela 5.11 Ponazoritev binarnih spremenljivk glede na posamezne dejavnike ... 75
Tabela 5.12 Formalizacija spremenljivk za napovedovalne modele ... 76
Tabela 5.13 Spremenljivke za modeliranje Modela P1, P2 in P3 ... 79
Tabela 5.14 Spremenljivke za modeliranje Modela M1, M2 in M3 ... 82
Tabela 5.15 Spremenljivke za modeliranje Modela K1, K2 in K3 ... 85
Tabela 6.1 Regresijski modeli za dobrino pivo (Model P1, P2 in P3) ... 88
Tabela 6.2 Regresijski modeli za dobrino mleko (Model M1, M2 in M3) ... 90
Tabela 6.3 Regresijski modeli za dobrino pivo (Model K1, K2 in K3) ... 92
Tabela 6.4 Naključno vzorčenje validacijskega in testnega podvzorca ... 95
Tabela 6.5 Struktura vhodnih spremenljivk in parametri za skaliranje za Model P1 ... 96
Tabela 6.6 Parametri in rezultati modeliranja z nevronsko mreţo za Model P1 ... 98
Tabela 6.7 Struktura vhodnih spremenljivk in parametri za skaliranje za Model M1 .... 99
Tabela 6.8 Parametri in rezultati modeliranja z nevronsko mreţo za Model M1 ... 100
Tabela 6.9 Struktura vhodnih spremenljivk in parametri za skaliranje za Model K1 ... 100
Tabela 7.1 Rezultati testiranja za regresijski Model P1 ... 104
Tabela 7.2 Rezultati evalvacijskih metod za regresijski Model P1 ... 105
Tabela 7.3 Rezultati testiranja za regresijski Model M1 ... 106
Tabela 7.4 Rezultati evalvacijskih metod za regresijski Model M1... 107
Tabela 7.5 Rezultati testiranja za regresijski Model K1 ... 108
Tabela 7.6 Rezultati evalvacijskih metod za regresijski Model K1 ... 108
Tabela 7.7 Rezultati testiranja za nevronski Model P1 ... 110
Tabela 7.8 Rezultati evalvacijskih metod za nevronski Model P1 ... 110
Tabela 7.9 Rezultati testiranja za nevronski Model M1 ... 111
Tabela 7.10 Rezultati evalvacijskih metod za nevronski Model M1 ... 112
Tabela 7.11 Rezultati testiranja za nevronski Model K1... 113
Tabela 7.12 Rezultati evalvacijskih metod za nevronski Model K1 ... 114
Tabela 7.13 Pravila glede sklepa o hipotezah... 115
Tabela 7.14 Parametri za sklep o uporabi nevronske metode za Modela P1 ... 117
Tabela 7.15 Parametri za sklep o uporabi nevronske metode za Modela M1 ... 118
Tabela 7.16 Parametri za sklep o uporabi nevronske metode za Modela K1 ... 119
Tabela 7.17 Napake napovedovalnih modelov in R2 za obdobje 2003–2004... 122
KRAJŠAVE
COBISS Kooperativni online bibliografski sistem in servisi oz. virtualna knjiţnica Slovenije
MATLAB Programsko orodje za statistično analiziranje ipd.
Model K1 Napovedovalni model za dobrino kruh (K1, K2, K3) Model M1 Napovedovalni model za dobrino mleko (M1, M2, M3) Model P1 Napovedovalni model za dobrino pivo (P1, P2, P3) SAS Programsko orodje za statistično analiziranje ipd.
SPSS Programsko orodje za statistično analiziranje ipd.
SQL Poizvedbeni jezik (angl. Select Query Language) SRS Slovenski računovodski standardi 2006
SSKJ Slovar slovenskega knjiţnega jezika
UNM Umetna nevronska mreţa
ZGD Zakon o gospodarskih druţbah
ZPDPD-UPB1 Zakon o praznikih in dela prostih dnevih v Republiki Sloveniji uradno prečiščeno besedilo
1.1 Opis problematike
Ţivimo v obdobju globalizacije in internacionalizacije poslovanja, kjer je ponudba dobrin na trgu običajno večja od povpraševanja. V teh pogojih poskušajo podjetja realizirati svoj osrednji cilj, ki je, da s poslovanjem doseţejo profit ali na splošno ekonomski uspeh (Lipičnik 2001, 9). Za doseganje tega cilja se podjetja usmerjajo v potrebe, ţelje in pričakovanja odjemalcev, kar se imenuje trţenjska usmeritev (Tavčar 2002, 121; Kotler 2004, 17–27). Podjetja s trţnimi raziskavami poskušajo ugotoviti, kakšne so prihodnje potrebe in ţelje na ciljnem trţišču, zato da bi proizvajala in prodajala tisto, kar trg potrebuje in ţeli ob konkurenčni ceni. Podjetja na ta način izhajajo iz ocen povpraševanja ali prodaje na ciljnem trţišču, kar je tudi izhodišče za strateško, taktično in operativno načrtovanje poslovanja (Biloslavo 1999, 84). Tukaj pa se srečamo s problematiko predvidevanja in napovedovanja ter katero metodo izbrati za napovedovanje (na primer) prodaje prehrambenih dobrin.
Avtor Ljubič (2008) ugotavlja in v predgovoru pove, da je v širšem poslovnem svetu predvidevanje in napovedovanje dobrodošel pripomoček za smotrno gospodarjenje, a da je v slovenskem okolju manj prisotno in da tudi primanjkuje slovenske literature na to tematiko. Slednje sem pri raziskovanju literature tudi sam ugotovil (COBISS). Avtor še navaja, da je za takšno stanje moţno iskati razlog v pomanjkanju znanja in v odporu proti pogosto formalizirani statistiki (Ljubič 2008).
S problematiko napovedovanja pojavov se v poslovnem okolju lahko srečamo na različnih področjih, ravneh in časovnih dimenzijah. Pojavi so lahko dinamični, ti se pojavljajo v odvisnosti od časa, ali statični, ti se pojavljajo kot vzrok in posledica. Za napovedovanje pojavov so se razvile razne metode, kar pomeni, da lahko z različnimi metodami oblikujemo razne napovedovalne modele, ki zasledujejo enake cilje in se modelirajo na enakih podatkih. Vendar je pri tem pomembno razumeti, da so takšni načini napovedovanja le ocene prihodnjih pojavov. Med napovedanim in doseţenim ali realiziranim običajno prihaja do nekih razlik ali odmikov. Ti odmiki so lahko relativno majhni ali veliki, to pa nam pove, koliko so metode oziroma napovedovalni modeli kakovostni pri napovedovanju. Zato je pomembno, katero metodo bomo izbrali za modeliranje napovedovalnega modela, ki bo nato kot orodje v pomoč managementu pri odločanju in načrtovanju poslovanja. Vendar je ob tem potrebno razumeti še naslednje, če se kaţe neka metoda za napovedovanje v primerjavi z neko drugo metodo kot statistično boljša, še to ne pomeni, da je to tudi ekonomsko sprejemljivo (Artenjak 2003).
Iz napovedi povpraševanja je moţno napovedati tudi potrebne prvine poslovnega procesa, kot so delovna sredstva, predmeti dela, zunanje storitve, delo, kar je značilno za celostni predračun podjetja. Iz celotne strukture predračunov je razvidno, kako
pomembno je napovedovanje povpraševanja in kje vse se lahko pojavljajo problemi, če je to nekakovostno. Napovedovanje povpraševanja predstavlja izhodišče za izdelavo celostnega predračuna podjetja.
Za napovedovanje povpraševanja ali prodaje se lahko uporabijo metode, kot so ekspertni paneli, Delfi, skupinske ocene prodajalcev, pričakovanja odjemalcev, drseče povprečje, linearni trend, eksponentno glajenje, dekompozicija časovnih vrst, regresijska analiza (Biloslavo 1999, 84).
Regresijski modeli so splošno poznani modeli, ki omogočajo napovedovanje pojavov. V zadnjem času pa so popularne tudi nevronske mreţe, ki so neke vrste alternativa regresijskim modelom. Nevronske mreţe si zaradi široke uporabne vrednosti in sofisticiranosti ter v zadnjem času relativno enostavne tehnično tehnološke podpore utirajo pot na razna področja in s tem pridobivajo na pomembnosti v vsakdanji praksi.
Kar je prepoznavno tudi v raznih statističnih programih, kot so SPSS, MATLAB, SAS ipd, ki ţe imajo vgrajene dodatne funkcije za modeliranje raznih standardnih nevronskih mreţ in njihovo simulacijo. To pa je ugodno za raziskovanja in preverjanje praktične uporabnosti nevronskih mreţ v poslovnem okolju, kot sem v tej magistrski nalogi tudi sam storil in preveril nevronsko mreţo na področju napovedovanja prodaje.
Sofisticiranost nevronskih mreţ je v tem, da posnemajo princip delovanja bioloških moţganov. Na začetku jih je potrebno primerno naučiti, nato jih je moţno uporabljati kot orodje za reševanje takšne vrste problemov, kot so bile poprej naučene. Kar pa primerjalno kaţe na bistveno razliko med modeliranjem napovedovalnih modelov na osnovi nevronskih mreţ in regresije. Nevronski modeli se oblikujejo po principu učenja z učnimi primeri iz učne mnoţice, regresijski modeli pa na principu vzorčne statistične mnoţice z enkratnim dokončnim izračunom. Kar pomeni, da se pri nevronskem napovedovalnem modelu v procesu modeliranja z iteracijami in s preračunavanjem išče optimalni model. Pri regresijskem napovedovalnem modelu pa se v procesu modeliranja izračuna optimalni model z metodo najmanjših kvadratov.
Pri pregledu literature na temo nevronske mreţe sem ugotovil, da je te v slovenskem prostoru relativno malo, to tudi ugotavlja in pove v predgovoru Potočnik (2007). Predvsem na področju druţboslovja ni bilo moč zaslediti literature, kot na primer kakšen učbenik ali podobno, kjer bi se druţboslovec spoznal z nevronskimi mreţami. Obstoječi učbeniki so prirejeni in namenjeni za naravoslovje in tehniko. Prav tako obstaja o nevronskih mreţah več diplomskih, magistrskih nalog ter doktorskih disertacij na področju naravoslovja in tehnike kot druţboslovja (COBISS). Skratka ugotovil sem, da je področje raziskav v tem delu druţboslovja še relativno neobdelano v slovenskem prostoru.
Nekakovostno oziroma kakovostno napovedovanje povpraševanja ima vpliv na uspešnost poslovanja, zato je vsaka nova metoda dobrodošla in jo je zato smiselno spoznati in preveriti na konkretnih primerih.
1.2 Namen in cilji magistrskega dela
Namen magistrskega dela je preveriti nevronsko mreţo na področju napovedovanja prodaje na treh primerih dobrin iz različnih panog in ugotoviti, kakšna je kakovost napovedovanja v primerjavi z regresijskim modelom. Prav tako je namen predstaviti nevronske mreţe na splošni ravni, kako delujejo, za kaj jih lahko uporabimo ali jih ţe uporabljamo (aplikacije) ter predstaviti usmerjeno nevronsko mreţo (perceptron), ki se lahko uporablja tudi za napovedovanje pojavov (prodaje). Hkrati pa je namen v raziskavi predstaviti postopek modeliranja napovedovalnih modelov z nevronsko mreţo za napovedovanje prodaje s programskim paketom MATLAB, vključno s programsko kodo. Skratka namen je odgovoriti na naslednje temeljno raziskovalno vprašanje:
1. Ali se nevronske mreţe kaţejo kot boljša metoda za napovedovanje prodaje kot regresijski modeli v smislu kakovosti napovedano-realizirano?
V ta namen sta se oblikovali dve hipotezi:
Ničelna hipoteza H0 predpostavlja, da ima napovedovalni model, ki temelji na regresijskem modelu, v povprečju manjšo ali enako napako kot napovedovalni model, ki temelji na nevronski mreţi.
Hipoteza H1 predpostavlja, da ima napovedovalni model, ki temelji na regresijskem modelu, v povprečju večjo napako kot napovedovalni model, ki temelji na nevronski mreţi.
Cilji magistrskega dela so naslednji:
predstaviti nevronske mreţe, kako delujejo, za kaj so uporabne oziroma jih ţe uporabljamo (aplikacije),
predstaviti trţno funkcijo ter metode in modele za napovedovanje prodaje,
izbrati tri primere dobrin iz različnih panog za preverjanje napovedovanja prodaje z nevronsko mreţo in regresijskim modelom ter opredeliti dejavnike, ki vplivajo na prodajo izbranih dobrin,
izdelati (modelirati) za vsako dobrino posebej nevronski in regresijski napovedovalni model za napovedovanje prodaje ter ga testirati in evalvirati z vidika kakovosti napovedovanja,
primerjati in pojasniti pridobljene rezultate ter podati predloge za nadaljnje raziskovanje.
1.3 Metode dela
Za doseganje prvega in drugega cilja magistrskega dela sem uporabil metode poizvedovanja, deskripcije in kompilacije.
Za doseganje tretjega cilja, kjer je treba opraviti vzorčenje ter podatke obdelati in pripraviti, sem za vir podatkov izbral trgovsko podjetje (sekundarni vir podatkov).
Takšna podjetja običajno razpolagajo z velikim številom raznovrstnih dobrin iz različnih panog. Vzorčenje treh dobrin sem opravil na mnoţici dobrin, ki so bile prodane končnim odjemalcem. Uporabil sem metodo razvrščanja dobrin po vrednosti in količini prodaje oziroma kot medsebojni produkt količina krat vrednost. Izbrane so bile tri dobrine, ki so bile rangirane najvišje po vrednosti produkta. Za vsako posamezno izbrano dobrino sta se opredelila dva vzorca podatkov. Prvi vzorec za namene modeliranja in drugi vzorec za namene testiranja in evalvacijo kakovosti napovedovanja prodaje. Pri tem je vzorec za modeliranje zgodovinsko starejši kot vzorec za testiranje in evalvacijo. Na ta način doseţemo, da je testiranje napovedovalnih modelov postavljeno v časovno dimenzijo, kot da bi jih resnično uporabljali v praksi za napovedovanje prodaje v podjetju. Časovna dimenzija vzorca za modeliranje napovedovalnih modelov je dve leti, kot to priporoča Ljubič (2008, 28). Časovna dimenzija vzorca za testiranje in evalvacijo kakovosti napovedovalnih modelov je prav tako dve leti. V tem obdobju se običajno zajamejo vsi dejavniki, ki vplivajo na dinamiko prodaje dobrin (Ljubič 2008, 28). Dejavniki, ki vplivajo na prodajo izbranih dobrin, so se ugotovili z metodami statističnega analiziranja. Pridobljeni podatki so se obdelali in pripravili ter analizirali s programskim orodjem Excel in SPSS.
Za doseganje četrtega cilja, to je modeliranje napovedovalnih modelov, sem uporabil metodo usmerjene nevronske mreţe ali t. i. perceptron, kjer se je uporabila metoda prečnega vrednotenja za optimizacijo in algoritem vzvratnega razširjanja napake (back-propagation) ter metodo skaliranja vhodnih podatkov. Pri tem sem uporabil programsko orodje MATLAB. Na drugi strani pa sem uporabil metodo multivariantne regresijske analize v okviru programskega paketa SPSS. Za evalvacijo kakovosti napovedovanja, sem uporabil metode MAPE – srednja absolutna odstotna napaka, MAD – srednja absolutna napaka, MSE – srednja kvadratna napaka, MPE – srednja odstotna napaka, r – korelacijski koeficient (dejansko, napovedano). Te metode so predstavljene v teoretičnem okvirju. Za ugotavljanje, katera metoda se kaţe kot boljša pri napovedovanju, sem uporabil hipoteze, ki sem jih preveril z metodo statističnega sklepanja. Hipoteze temeljijo na primerjavi povprečne napake (E) med regresijskim in nevronskim napovedovalnim modelom za vsako posamezno dobrino posebej. Hipoteza v obliki obrazca je:
mreža nevronska regresija
mreža nevronska regresija
E E
H
E E
H
1
0
: :
Hipoteze so se preverjale pri 5-odstotni stopnji tveganja oziroma α=0,05. V ta namen sem uporabil programsko orodje SPSS in Excel ter MATLAB.
Potek raziskave sem razdelil na osem faz, ki so razvidne iz spodnjega diagrama (slika 1.1), ki so si zaporedoma sledile v procesu raziskovanja, kar je tudi skladno s strukturo kazala.
Slika 1.1 Potek raziskave
1.4 Predpostavke in omejitve
Kredibilnost raziskave je z vidika posploševanja omejena, saj se preverjanje nevronske mreţe v primerjavi z regresijskim modelom opravlja na treh primerih dobrin, kar je premajhen vzorec za širše posploševanje. Če bi raziskavo opravili na drugem subjektu (trgovskem podjetju) z enakimi dobrinami, bi verjetno preko modeliranja dobili drugačne napovedovalne modele, kar je logično in razumljivo, vendar kot končno primerjanje obeh metod, katera je boljša, pa bi naj dobili podobne zaključke. Vendar vse je v pogojniku, kar kaţe, da bi do splošnega zaključka lahko prišli le po večjem številu podobnih raziskav ali študij primerov. Z vidika triangulacije raziskave se je zagotovila triangulacija podatkov.
Teoretični okvir nevronskih mreţ temelji na splošni predstavitvi nevronskih mreţ in na fokusu predstavitve usmerjene nevronske mreţe ali t. i. perceptrona in ni namen podrobneje predstavljati ostalih nevronskih mreţ, ker bi se s tem bistveno presegal okvir tako zasnovane raziskave. Tematika napovedovanja prodaje je omejena samo na količinsko prodajo in ne na vrednostno prodajo oziroma prihodek, torej gre za napovedovanje količinske prodaje. Pri raziskavi sem se omejil na praktično uporabo, katera metoda je boljša in se ne ukvarjam z razlago matematičnih ozadij, zakaj je katera metoda boljša, ampak ali je boljša pri praktični uporabi. Raziskava ne obravnava ostalih metod napovedovanja, ampak je omejena samo na dve metodi napovedovanja, to je z usmerjeno nevronsko mreţo in regresijsko analizo.
1.5 Zasnova poglavij
Magistrsko delo je razdeljena na osem poglavij, kjer je prvo poglavje uvodno. V drugem poglavju se predstavijo umetne nevronske mreţe. Predstavi se zgodovinski razvoj nevronskih mreţ, kakšna je definicija nevronskih mreţ, kakšne so aplikacije nevronskih mreţ, kakšne so delitve nevronskih mreţ, kakšne so moţnosti napovedovanja z nevronsko mreţo, kakšen je model nevrona, kaj je perceptron, kaj je učno pravilo delta, kako poteka učenje perceptrona, kakšen je način testiranja modela
perceptrona, kako se transformirajo (skalirajo) vhodni in/ali izhodni podatki, kakšni so koraki modeliranja perceptrona oziroma napovedovalnega modela. V tretjem poglavju se predstavi napovedovanje prodaje z vidika managementa trţenja. Najprej se opredelijo temelji pojmi nato, kaj je trţna funkcija podjetja, kaj je načrtovanje poslovanja podjetja, katere metode in modele za napovedovanje prodaje je moţno uporabiti in kakšne metode obstajajo za evalvacijo kakovosti napovedovanja. V četrtem poglavju se predstavi vzorčenje in priprava podatkov za izbrani tri dobrini. V petem poglavju se predstavi analiza podatkov za izbrani tri dobrini, poglavje se zaključi z opredelitvijo nastavkov napovedovalnih modelov. V šestem poglavju se predstavi modeliranje napovedovalnih modelov z regresijo in nevronsko mreţo za izbrane tri dobrine. V sedmem poglavju se predstavi testiranje in evalvacija regresijskih in nevronskih napovedovalnih modelov za napovedovanje količinske prodaje za izbrane tri dobrine.
Poglavje se zaključi s predstavitvijo rezultatov statističnega preverjanja hipotez in razpravo glede na uporabljeno regresijsko in nevronsko metodo. V zadnjem osmem poglavju se predstavi sklep raziskave, kjer se odgovori na temeljno raziskovalno vprašanje in podajo predlogi za nadaljnje delo.
2 UMETNE NEVRONSKE MREŢE
Umetne nevronske mreţe (angl. artificial neural network), ki jih običajno poimenujemo samo nevronske mreţe, so grajene iz gradnikov, ki se imenujejo nevroni.
Nevroni v nevronski mreţi so med seboj povezani na različne načine. Osnovna značilnost nevronske mreţe je, da se je sposobna učiti oziroma se naučiti vhodne podatke povezovati z izhodnimi podatki. Nevronska mreţa se uči na osnovi učnih primerov, ki jih imenujemo učni vzorci. Učni vzorci so pari vhodnih in izhodnih vzorcev. Naučeno znanje nevronska mreţa shranjuje v povezavah (sinapsah) v obliki uteţi med nevroni. V procesu učenja se te uteţi v celotni nevronski mreţi spreminjajo na takšen način in s takšno teţnjo, da bi se doseglo optimalno stanje uteţi v celotni nevronski mreţi. Nevronska mreţa je v takšnem stanju sposobna oziroma ima primerno znanje za posploševanje, torej je sposobna povezati neznani vhodni vzorec s pravilnim ali ţelenim izhodnim vzorcem. Zato imajo nevronske mreţe kot takšne veliko aplikativno vrednost. Nevronske mreţe v bistvu posnemajo princip delovanja bioloških moţganov.
Analogija z biološkimi možgani ter zgradba in delovanje biološkega nevrona
Nevronske mreţe delujejo po podobnih principih kot biološki moţgani.1 Moţgani so grajeni iz celic, katere imenujemo nevroni2 ali ţivčne celice (Dobnikar 1990, 4;
Hutchinsonov priročnik znanosti 2004, 439). Ocenjuje se, da so človeški moţgani sestavljeni iz okoli 1011 nevronov, ki so med seboj prepleteni in ocenjuje se, da je teh povezav (sinaps) med nevroni okoli 1014 (Bobnikar 1990; Russell in Norvig 1995).
Biološki nevron je celica, ki se deli na telo celice, dendrite in akson (slika 2.1). Na koncu aksona so sinapse, ki se povezujejo z drugimi nevroni preko dendritov ali drugimi specializiranimi efektorskimi celicami, kot je na primer mišica. Biološki nevroni se po obliki in velikosti lahko med seboj razlikujejo. Dendriti imajo vlogo, da sprejemajo od drugih nevronov preko sinaps vhodne signale, ki jih pošiljajo v jedro nevrona. Če je vsota teh signalov dovolj velika, bo nevron generiral impulz, ki se bo prenašal preko aksona, sinaps in dendritov do drugih nevronov. Če vsota signalov ni dovolj velika je nevron v mirovanju, torej ne generira impulza oziroma celica se ne
»vţge« in po aksonu se ne prenaša impulz. Nevron ima na eni strani vhod in na drugi strani izhod, ki se povezuje z ostalimi nevroni, s tem se tvori biološka nevronska mreţa ali biomreţa.
1 Več o tem piše avtor Peruš (2001) v knjigi Biomreţe, mišljenje in zavest.
2 Moţganske nevrone so odkrili leta 1836, koncept sinapse pa leta 1897 (Potočnik 2007).
Slika 2.1 Zgradba biološkega nevrona
Vir: leva slika – prirejeno po Peruš 2001, 23; desna slika – prirejeno po Mramor 2007.
2.1 Zgodovina razvoja nevronskih mreţ
McCulloch in Pitts sta leta 1943 razvila prvo nevronsko mreţo po principu delovanja ţivčnega sistema. Umetni nevron je deloval kot preklopna binarna enota oziroma logična funkcija. Rosenblatt je leta 1958 zasnoval in izdelal perceptron, ki se je bil sposoben naučit povezave med vhodom in izhodom. Widrov in Hoff sta leta 1960 izdelala ADALINE (angl. adaptive linear element) sistem, ki se je učil z metodo najmanjših kvadratov. Minsky in Papert sta leta 1969 izdala knjigo o omejitvah enoplastnega perceptrona in sta s tem zavrla nadaljnji razvoj nevronskih mreţ, čeprav so nekateri posamezniki še kljub temu nadaljevali z raziskavami. Paul Werbos je leta 1974 razvil učno metodo povratne zanke, ki še je danes uporabljena kot najpogostejša metoda. Napredki v sedemdesetih in osemdesetih letih je ponovno zagnal razvoj nevronskih mreţ. V zadnjih dobrih dveh desetletjih so nevronske mreţe doţivele pospešen razvoj in številne aplikacije (Mramor 2007; Potočnik 2007; Guid in Strnad 2007).
2.2 Definicije nevronskih mreţ
Nevronske mreţe se v literaturi ne definirajo na enoten način, čeprav se iz vsebinskega vidika opredeljujejo podobno, razen da nekateri avtorji poudarijo eden vidik bolj drugi manj.
Avtorja Guid in Strnad (2007, 211) v učbeniku definirata nevronske mreţe kot sledi:
Nevronska mreţa je masovni paralelni porazdeljeni procesor, ki shranjuje eksperimentalno znanje in omogoča njegovo uporabo. Moţganom je podoben v dveh vidikih: 1. znanje se zbira z mreţo skozi postopek učenja in 2. mednevronske povezave, znane kot sinaptične uteţi, se uporabljajo za shranjevanje tega znanja.
Kononeko (1997, 189) razlaga v učbeniku, da so nevronske mreţe abstrakcija in poenostavitev moţganskih celic ter da z reševanjem problemov z nevronsko mreţo skušamo oponašati delovanje človeških moţganov in hkrati doseči večjo učinkovitost reševanja zahtevnejših problemov. Pove tudi, da so nevronske mreţe robustne glede na
okvare in glede na manjkajoče podatke, da imajo sposobnost učenja in avtomatske generalizacije in da imajo dobro matematično podlago. Kot glavno pomanjkljivost nevronskih mreţ pa navaja, da so nezmoţne obrazloţiti svoje odločitve.
Potočnik (2007, 10) pravi v učbeniku, da so nevronske mreţe primerno orodje za področje razpoznavanje vzorcev in da se v praksi zelo velikokrat uporabljajo za reševanje nalog razpoznavanja oziroma razvrščanja vzorcev.
Avtorica Mramor (2007) opisuje nevronsko mreţo kot model za obdelavo informacij, ki posnema delovanje biološkega ţivčnega sistema, kot so npr. človeški moţgani in da je bistven element tega modela drugačna struktura obdelava informacij.
Avtorica še pove, da nevronske mreţe iščejo rešitve s pomočjo poprej naučenih primerov in da jih uporabljamo na tistih področjih, kjer nas zanima samo končni rezultat ne pa tudi vmesni koraki.
Peruš (2001) v knjigi opredeli, da so nevronske mreţe splošno priznano najboljši model moţganov na mikroskopski stopnji. In da so v posplošeni, funkcionalistični različici tudi najuspešnejši model duševnih procesov, vsaj če se zanemari zavest in kvalije. Pove še, da v najbolj razširjenem pojmovanju izraz nevronske mreţe ponazarja model nekega kompleksnega sistema, kjer je mnogo pribliţno enakih elementov povezanih med seboj in interagirajo.
2.3 Aplikacije nevronskih mreţ
Avtorica Mramor (2007) navaja, da so nevronske mreţe zelo uporabne za reševanje poslovnih problemov in problemov v industriji ter medicini. Zaradi sposobnosti prepoznavanja vzorcev in trendov podatkov, so zelo uporabne za predvidevanje in napovedovanje npr. prodaje, kontrole industrijskih procesov, raziskovanja navad kupcev, preverjanja podatkov, kontrole kvalitete izdelkov in identifikacije objektov z radarjem. Prav tako so uporabne za prepoznavanje glasu, diagnozo pacientov na osnovi signala EKG, obnavljanje telekomunikacij z obrabljenih elektronskih virov, interpretacijo večpomenskih kitajskih besed, podvodno iskanje min, analizo površin, tridimenzionalno prepoznavanje objektov, prepoznavo ročno napisanih besed, prepoznavo obrazov, prstnih odtisov itd.
Guid in Strnad (2007) navajata, da se nevronske mreţe uporabljajo za (aplikacije večplastnih perceptronov) razpoznavanje optičnih znakov, razpoznavanje ročno napisanih znakov v realnem času, razpoznavanja govora, upravljanje avtomatskega vozila, radarsko zaznavanje cilja, medicinska diagnoza srčnega napada, modeliranje kontrole očesnega gibanja, izračun predvidene dolţine hospitalizacije bolnikov, napoved gibanja borznih tečajev čez šest mesecev. Slednji primer je bil realiziran z dvoplastno in triplastno nevronsko mreţo. Bolje je napovedovala dvoplastna nevronska mreţa s tremi vhodi in enim izhodom. Aplikacije Kohonenovih mreţ se uporabljajo za gibanje robota, vektorsko kvantifikacijo, prilagodljivo enačenje, fonetični pisalni stroj,
segmentacijo teksture, radarsko klasifikacijo ledenih gor, modeliranje moţganov, zaznavanje klonov v velikih telekomunikacijskih programskih sistemih.
Pavešić (2000) navaja uporabo bolj sistematično, čeprav to navaja z vidika razpoznavanje vzorcev, kar sicer ni povsem za enačiti z nevronskimi mreţami, ker gre pri tem za model razpoznavalnika vzorcev (slika 2.2). Ta pa je lahko sestavljen v celoti iz nevronskih mreţ ali delno ali tudi brez, saj še obstajajo ostale metode za razpoznavanje vzorcev. Vendar je navedbe kljub temu smiselno predstaviti, saj se da vsa področja realizirati ravno tako z nevronsko mreţo. Avtor področja razdeli na razpoznavanje vidnih vzorcev, razpoznavanje slušnih vzorcev, razpoznavanje biomedicinskih vzorcev, razpoznavanje potresnih signalov in razpoznavanje obnašanja sistemov. Razpoznavanje vidnih vzorcev so: razpoznavanje znakov (črk, števk, tiska, rokopisa), razpoznavanje prstnih odtisov in človeških obrazov, razpoznavanje zgradb celic (obolele in zdrave), razpoznavanje naravnih virov iz letalskih in satelitskih posnetkov ipd. Razpoznavanje slušnih vzorcev so: razpoznavanje posamezno ločeno izgovorjenih besed, razpoznavanje (razumevanje) normalnega govora, istovetenje govorcev, razpoznavanje zvoka ipd. Razpoznavanje biomedicinskih vzorcev so: analiza elektrokardiograma in vektorskega elektrokardiograma, analiza elektroencefalograma, razpoznavanje bolezni (diagnoze) ipd. Razpoznavanje potresnih signalov so:
razpoznavanje (razločevanje) med potresi, razpoznavanje korakov oziroma razločevanje npr. človeških od slonjih ipd. Razpoznavanje obnašanja sistemov so: razpoznavanje (napovedovanje) smernic razvoja, razpoznavanje (napoved) vremena, razpoznavanje razvoja ponudbe in povpraševanja ipd.
Slika 2.2 Model razpoznavalnika vzorcev
Vir: prirejeno po Potočnik 2007, 20 in Pavešić 2000, 21.
2.4 Vrste nevronskih mreţ
V literaturi avtorji različno navajajo pojmovanja nevronskih mreţ, ki se običajno poimenujejo glede na namen uporabe ali po samem avtorju nevronske mreţe ali s splošnim poimenovanjem. V najbolj splošni obliki se nevronske mreţe poimenujejo kot:
asociativne nevronske mreţe,
usmerjene plastne nevronske mreţe,
samoorganizirajoče nevronske mreţe.
Te nevronske mreţe avtorji v literaturi običajno širše opisujejo in obrazloţijo.
Nekateri avtorji usmerjene večplastne nevronske mreţe poimenujejo kot perceptroni, asociativne nevronske mreţe kot Hopfieldove nevronske mreţe, samoorganizirajoče nevronske mreţe kot Kohonenove nevronske mreţe. Takšna poimenovanje nevronskih mreţ je moţno največkrat zaslediti, čeprav še obstajajo nevronske mreţe, kot je Bayeseva nevronska mreţa, Elmanova nevronska mreţa, Boltzmanova nevronska mreţa ipd. Nevronske mreţe se običajno delijo (tabela 2.1) glede na namen, topologijo oziroma arhitekturo, pravila in paradigme učenja ter binarne ali zvezne oziroma kombiniranja prenosnih funkcij (Kononeko 1997, 197).
Tabela 2.1 Vidiki delitve nevronskih mreţ
Namen Arhitektura/topologija Učenje Prenosne funkcije
- avtoasociativni pomnilnik, - heteroasociativni
pomnilnik, - časovni asociativni
pomnilnik, - klasifikacija, - grupiranje,
- samoorganizacija in sortiranje.
- usmerjene enoplastne, - usmerjene dvoplastne, - usmerjene večplastne, - dvosmerni asociativni
pomnilniki, - neplastne, - rekurzivne;
- statične in dinamične.
Pravila učenja:
- pravilo delta, - Hebbovo pravilo, - tekmovalno pravilo, - Boltzmano pravilo.
Paradigme učenja:
- nadzorovano/vodeno, - nenadzorovano ali
samoorganizirajoče, - okrepitveno.
Binarne:
- pragovna funkcija, - funkcija signum, Zvezne:
- logistična funkcija, - funkcija hiperbolični
tanges,
- odsekoma linearna funkcija.
Vir: Guid in Strnad 2007 in Kononeko 1997.
2.4.1 Nevronske mreže glede na namen
Glede na namen se nevronske mreţe delijo na 1. avtoasociativne pomnilnike, 2.
heteroasociativne pomnilnike, 3. časovno asociativne pomnilnike, 4. klasifikacijo, 5.
grupiranje in 6. samoorganizirajoče in sortirne (Kononeko 1997, 201–203).
Slika 2.3 Primer delovanja asociativnega pomnilnika
Avtoasociativni pomnilnik deluje tako, da so nevroni hkrati vhodni in izhodni. Na vhodu se predstavi vzorec (slika 2.3), ki je običajno s šumi in mreţa nato z iteracijami popravlja šume oziroma napačne ali pomanjkljive dele vhodnega vzorca. Po določenem
številu iteracij se mreţa umiri in na izhodu predstavi popravljen (pravilni) vhodni vzorec. Če je vhodni vzorec preveč popačen, je moţno, da je na izhodu ta vzorec napačno popravljen. Predhodno je potrebno mreţo naučiti s pravilnimi vzorci, da bi lahko sploh tako delovala. Najbolj popularna takšna nevronska mreţa je Hopfieldova nevronska mreţa (Kononeko 1997, 201–203).
Heteroasociativni pomnilnik je različica asociativnega pomnilnika s tem, da je vzorec sestavljen iz več podvzorcev. Če se na vhodu predstavi eden ali več podvzorcev, se na izhodu predstavi celoten vzorec z vsemi podvzorci (Kononeko 1997, 201–203).
Časovni asociativni pomnilnik deluje tako kot heteroasociativni pomnilnik, vendar da se na vhodu predstavi vzorec iz nekega časovnega interval in se na tej osnovi na izhodu predstavi oziroma napove vzorec za naslednji časovni interval. Mreţa pravzaprav iz dane situacije napove naslednjo situacijo (Kononeko 1997, 201–203).
Klasifikacija pomeni razvrščanje vzorcev v razrede, ki temelji na posebni vrsti heteroasociativnega pomnilnika z določenim vhodom nevronov in določenim izhodom nevronov. Izhodni nevroni določajo neko število razredov. Pri učenju se vhodni vzorci razvrščajo v določene razrede, kar pri uporabi pomeni, da bo mreţa neznane oziroma pomanjkljive vhodne vzorce klasificirala v opredeljene razrede (Kononeko 1997, 201–
203).
Grupiranje pomeni, da mora mreţa sama vhodne vzorce grupirati v določeno število razredov. Število razredov je lahko vnaprej določeno ali tudi ne (Kononeko 1997, 201–203).
Samoorganizacija in sortiranje temelji na tem, da se nevroni uredijo tako, da vsak odgovarja na določeno vrednost vhodnega parametra (npr. frekvenco). S primerno topologijo nevronov je moţno, da se nevroni sami uredijo tako, da sosedno leţeči nevroni odgovarjajo na podobne vhodne signale. Primer takšne mreţe je dvoplastna mreţa, kjer so izhodni nevroni še povezani z bliţnjimi nevroni s povratnimi vezmi.
Bliţje leţeči nevroni imajo vzbujevalne vezi, dalje leţeči nevroni imajo zaviralne vezi (Kononeko 1997, 201–203).
2.4.2 Arhitektura oz. topologije nevronskih mrež
S topologijo označimo organiziranost nevronov in število nevronov v nevronski mreţi. Topologija nevronskih mreţ se deli na 1. enoplastne nevronske mreţe, 2.
večplastne nevronske mreţe, včasih posebej poimenujemo dvoplastne in triplastne, 3.
neplastne nevronske mreţe in 4. rekurzivne nevronske mreţe. V literature se pri večplastnih nevronskih mreţah uporabljajo pojmi, kot je usmerjena nevronska mreţa ali nevronska mreţa s povezavami naprej ipd. S tem se misli na to, da so nevroni povezani enosmerno naprej iz ene plasti v naslednjo plast, to je od vhoda proti izhodu. Slika 2.4 ponazarja nekatere topologije nevronskih mreţ (Guid in Strnad 2007, 220–223;
Kononeko 1997, 197–200; Potočnik 2007).
Slika 2.4 Topologije nevronskih mreţ
a) enoplastna b) dvo/večplastna c) tro/večplastna č) rekurzivna Vir: prirejeno po Guid in Strnad 2007, 220–224.
Enoplastne usmerjene nevronske mreţe so grajene tako, da imajo samo eno plast nevronov, ki so hkrati vhodni in izhodni (slika 2.4, a). Značilnost takšne mreţe je, da lahko rešuje samo linearne probleme v smislu polravnine (slika 2.7).
Dvoplastne (slika 2.4, b) usmerjene nevronske mreţe (poseben primer večplastne nevronske mreţe) so grajene iz skupine vhodnih nevronov in iz skupine izhodnih nevronov. V bistvu je razširjena za eno skrito plast nevronov od enoplastne usmerjene nevronske mreţe. Značilnost dvoplastne nevronske mreţe je, da lahko rešujejo samo linearne probleme v smislu konveksno odprtih ali zaprtih področij (slika 2.7).
Večplastne usmerjene nevronske (slika 2.4, c) mreţe so grajene enako kot slednje, s tem da se širijo z dodajanjem skritih plasti nevronov. Značilnost teh nevronskih mreţ je, da so sposobne reševati nelinearne probleme v smislu poljubnih področjih (slika 2.7).
Rekurzivne nevronska mreţa (slika 2.4, č) se sestoji iz ene plasti nevronov in nima skritih plasti in nima lastnega izhoda iz nevrona k sebi povezanega na vhod, mora pa imeti vsaj eno povratno zanko.
Neplastne nevronske mreţe (brez plasti) v splošni obliki so takšne, kjer je vsak nevron povezan z vsakim nevronom v obeh smereh in hkrati je tudi vhoden in izhoden.
2.4.3 Pravila in paradigme učenja
Avtorja Guid in Strnad (2007, 223) v učbeniku definirata učenje kot proces, pri katerem se prosti parametri nevronske mreţe prilagodijo skozi nenehen proces vzpodbude iz okolja, v katerega je mreţa vloţena. Tip učenja določa način, po katerem se spreminjajo parametri (uteţi).
Nevronske mreţe je moţno učiti z naslednjimi pravili (algoritmi), kot je Hebbovo pravilo, delta pravilo, tekmovalno pravilo, Boltzmmanovo pravilo. Hebbovo in tekmovalno pravilo temeljita na nevrobiologiji. Boltzmmanovo pravilo temelji na idejah iz termodinamike in teorije informacij. Pravilo delta temelji na popravljanju napake s teţnjo proti minimumu oziroma z metodo padajoči gradient.
Obstajajo še paradigme učenja, te so nadzorovano učenje ali vodeno učenje, okrepitveno učenje in samoorganizirajoče učenje ali nenadzorovano učenje. Pri nadzorovanem učenju ta proces nadzira učitelj, kar je nasprotje od samoorganizirajočega učenja, kjer ni potreben učitelj. Okrepitveno učenje poteka tako, da ob vsakem učnem vzorcu podamo numerično vrednost, ki predstavlja vrednost funkcije obnašanja mreţe, skratka določimo, kaj to je.
Pri učenju sta še pomembna dva parametra, to je parameter pozabljanja () in parameter hitrost učenja (). Najbolj popularno pravilo učenja večplastnih usmerjenih nevronskih mreţ oziroma perceptronov je algoritem vzvratnega razširjanja (angl. back- propagation learning), ki bo v nadaljevanju predstavljen.
2.4.4 Prenosne funkcije
Nevroni v nevronskih mreţah se lahko med seboj prepletajo glede na vhod in izhod na različne načine in kombinacije prenosnih funkcij. Vendar se običajno za vse nevrone uporablja ena (izbrana) prenosna funkcija. Obstaja več vrst prenosnih funkcij kot so pragovna funkcija, odsekoma linearna funkcija, logistična funkcija, funkcija hiperbolični tangens, funkcija signum, ki bodo v nadaljevanju predstavljene. Iz tega vidika je moţno nevronske mreţe še deliti na binarne ali zvezne (Guid in Strnad 2007, 215–217).
2.4.5 Pragovno logična enota – v spomin na McCulloch-Pittsov model
Nevronu s pragovno prenosno funkcijo, ki je v bistvu binarni nevron, imenujemo tudi McCulloch-Pittsov model, ki sta ga avtorja leta 1943 zasnovala. Čeprav se danes v literaturi ta model različno poimenuje kot npr. pragovno logična enota (angl. TLU – Threshold Logic Unit), ki se uporablja za linearno ločevanje vhodnih vzorcev ali klasifikacijo in je osnova za perceptron (Guid in Strnad 2007, 217–218).
2.4.6 Nevronske mreže in teorija grafov (digrafi)
Nevronske mreţe je moţno predstavljati tudi v obliki usmerjenih grafov ali digrafov (Guid in Strnad 2007, 218). Usmerjeni grafi ali digrafi so področje veje matematike, ki se imenuje teorija grafov, ki ima mnoge aplikativne vrednosti, več o tem piše Wilson (1997).
2.5 Nevronske mreţe in napovedovanje
Za napovedovanje se običajno uporabi dvoplastna ali triplastna usmerjena nevronska mreţa (t. i. perceptron), ki se bo v nadaljevanju predstavila. S takšnim tipom nevronske mreţe je moţno reševati linearne in nelinearne probleme, kot je ţe bilo predhodno omenjeno. Za prenosne funkcije se običajno uporabijo zvezne sigmoidne
funkcije, razen v izhodni plasti, kjer so tudi moţne linearne prenosne funkcije zaradi neposredne napovedi. Izhodna plast je lahko grajena iz enega nevrona ali več nevronov, kar je odvisno od namena napovedovanja. Za učenje se uporablja algoritem vzvratnega razširjanja. Za optimizacijo učenja se uporablja metoda prečnega vrednotenja. Vhodne podatke je primerno (ni obvezno) skalirati oziroma transformirati na interval [0, 1] ali [- 1, 1], kar je odvisno od vrste prenosne funkcije. Enako velja za izhodne dejanske podatke in izhodne ţelene ali ciljne podatke.
V literaturi ni moţno zaslediti eksaktnega pravila, ki bi opredelil učinkovito modeliranje napovedovalnega modela na osnovi nevronske mreţe. Nekateri avtorji povedo, da je to bolj stvar izkušenj in neposrednega eksperimentiranja ter teoretičnega poznavanja nevronskih mreţ za konkretno reševanje nekega problema, kot je npr.
napovedovanje.
2.6 Model nevrona
Model umetnega nevrona, ki je osnovni gradnik nevronske mreţe, je sestavljen iz treh osnovnih elementov (slika 2.5). Bistveno pri modelu je, na kašen način se bo izhod nevrona proţil preko prenosne funkcije glede na vhodne signale. Vhodni in izhodni signali nevrona so lahko binarni ali zvezni, to je odvisno od namena uporabe nevronske mreţe in izbora prenosne funkcije (Guid in Strnad 2007, 214–215).
Slika 2.5 Model nevrona
model nevrona operacionaliziran model nevrona
Vir: prirejeno po Guid in Strnad 2007, 214–215.
Prvi element nevrona je moţica sinaps ali povezav na vhodu, ki ima vsaka svojo uteţ (wkj). Posamezno sinapso nevrona označimo s simbolom j. Posamezen nevron v nevronski mreţi označimo s simbolom k. Vhodni signali (podatki), ki se označijo s simbolom xj, se pomnoţijo z uteţmi (wkj xj). Sinapsa je lahko zavirajoča ali vzbujajoča oziroma uteţ sinapse je lahko pozitivna ali negativna (+wkj ali –wkj).
Drugi element nevrona je seštevalnik, kjer se seštejejo vsi produkti vhodnih signalov in uteţi (wk1 x1 + wk2 x2 + … + wks xs) od nevrona. Vsota produktov (sumand) od nevrona se označi s simbolom uk in se imenujejo aktivacija na izhodu seštevalnika.
Tretji element nevrona je prenosna funkcija z izhodom. V tem elementu je vhod aktivacija (sumand), od katere se odšteje vrednost praga (uk – k). Prag določa mejo proţenja nevrona, ki se označi s simbolom k. Od tukaj naprej je odvisno, kako se obravnava vrednost dobljene razlike (uk – k) in proţenje nevrona (izhodni signal) oziroma katera prenosna funkcija se uporabi, te bodo predstavljene v nadaljevanju.
Tipične izhodne vrednosti nevrona so v intervalu [0, 1] ali intervalu [-1, 1], ki so lahko tudi binarne, to je ena ali nič.
2.6.1 Matematični zapis nevrona
Model nevrona se matematično zapiše z dvema enačbama. Prva enačba (2.1) ponazarja prvi in drugi element modela nevrona in druga enačba (2.2) ponazarja tretji element modela nevrona. Simbol k pomeni indeks za nevron v nevronski mreţi, simbol s pomeni število vseh vhodnih spremenljivk (Guid in Strnad 2007, 213–215).
s
j j kj
k w x
u
1
(2.1) yk
uk k
(2.2)Model nevrona je še moţno matematično operacionalizirati tako, da se prag prenese na vhod nevrona. Za to je potrebno vhodne spremenljivke (xj) razširiti za eno dodatno spremenljivko z vrednostjo minus ena (x0=-1). Prav tako je potrebno razširiti uteţi za eno dodatno uteţ, ki je enaka pragu (wk0=k).
k k
k u
v (2.3)
s
j
j kj
k w x
v
0
(2.4) yk
vk (2.5) Slika 2.5 in enačbe (2.3), (2.4), (2.5) ponazarjajo operacionalizacijo modela nevrona oziroma dodano novo sinapso v model nevrona, ki je vstavljena na pozicijo z indeksom nič (j=0).Ostane še problem, kako opredeliti vrednost izhoda nevrona yk v zaprtem intervalu [0, 1] ali [-1, 1] glede na vrednost vk po enačbi (2.4). V ta namen je potrebno vpeljati pravila in prenosne funkcije, ki bodo delovale v teh intervalih.
Slika 2.6 Tipične prenosne funkcije
pragovna, binarna odsekoma linearna sigmoidna
Vir: Guid in Strnad 2007, 215–217.
2.6.2 Prenosne funkcije
V modelu nevrona se uporabljajo prenosne funkcije za proţenje nevrona oziroma za ustvarjanje izhodnega signala, kar je odvisno od vrste prenosne funkcije.
Obstajajo tri tipične prenosne funkcije (slika 2.6). Prva je pragovna ali binarna, druga je odsekoma linearna in tretja je sigmoidna, ki se običajno opredeljuje kot logistična funkcija, funkcija signum in funkcija hiperbolični tangens.
Značilnost pragovne ali binarne funkcije (v) je, da deluje po pravilu (2.6), če je vrednost v po enačbi (2.4) večja ali enaka nič, potem je izhod y ena, če je vrednost v manjša od nič, potem je izhod y nič. Torej, če je vrednost razlike med vrednostjo aktivacijo in vrednostjo praga pozitivna ali enaka nič, potem je izhod 1, če je vrednost razlike negativna, potem je izhod 0.
0, če je 0 0 je če , 1
v u v
v
y (2.6)
Značilnost odsekoma linearne funkcije (v) je, da deluje po pravilu (2.7), če je vrednost v po enačbi (2.4) večja ali enaka od 1/2, potem je izhod y ena, če je vrednost v večja od -1/2 in manjša od 1/2, potem je izhod y vrednost aktivacije v, če je vrednost v manjša od -1/2, potem je izhod y nič.
2 / 1 je če , 0
2 / 1 2 / 1 je če ,
2 / 1 je če , 1
v
v v
v
v (2.7)
Značilnost (sigmoidne) logistične funkcije (v) je, da deluje zvezno v zaprtem intervalu [0, 1] in je odvedljiva. V matematični obliki je predstavljena z enačbo (2.8), kjer simbol a predstavlja parameter naklona krivulje. Vloga parametra naklona je, da naredi krivuljo bolj sploščeno (majhne vrednosti a) ali strmo (večje vrednosti a).
avv e
v
1
) 1
(
(2.8)
Značilnost (sigmoidne) funkcije hiperbolični tangens (v) je, da deluje zvezno v zaprtem intervalu [-1, 1], ki je v bistvu modificirana logistična funkcija za razliko, da je v spodnjem intervalu razširjena do vrednosti minus ena, kar daje večji razpon izhodnih vrednosti. V matematični obliki je predstavljena z enačbo (2.9).
vve e
v v
1
1 tanh2
(2.9)
Značilnost (sigmoidne) funkcije signum (v) je, da deluje po pravilu (2.10), če je vrednost v po enačbi (2.4) večja od nič, potem je izhod y ena, če je vrednost v enaka nič, potem je izhod y nič, če je vrednost v manjša od nič, potem je izhod y minus ena.
0 je če , 1
0 je če , 0
0 je če , 1 ) sgn(
v v v v
v (2.10)
Ta pravila in funkcije določajo proţenje nevrona ali vrednosti izhoda iz modela nevrona oziroma nevrona, ki so lahko binarne ali zvezne vrednosti. Binarne vrednosti zavzamejo dve stanji ena ali nič. Iz tega razloga obstajajo binarne nevronske mreţe in zvezne nevronske mreţe.
2.7 Perceptron
V šestdesetih letih prejšnjega stoletja so Rosenblatt, Minsky in Papert raziskovali moţnosti uporabe nevronske mreţe za razpoznavanje vzorcev, iz tega razloga so nevronsko mreţo poimenovali kot perceptron v smislu percepcije oziroma zaznavanja.
Perceptron je nadgradnja pragovno logične enote (TLU), ki so se sposobni naučiti in reševati manj ali bolj kompleksne probleme. V literaturi avtorji različno poimenujejo takšne nevronske mreţe. Perceptron je lahko vsebinsko binarna ali zvezna eno ali večplastna usmerjena nevronska mreţa. Torej je pojmovanje perceptronske nevronske mreţe odvisno od izbrane prenosne funkcije za nevrone in koliko plasti bo nevronska mreţa imela. V najmanjši in osnovni obliki prepoznamo tri vrste perceptronov, kot so enonevronski enoplastni perceptron, tronevronski dvoplastni perceptron in večnevronski večplastni perceptron. Slika 2.7 ponazarja osnovne oblike perceptronov in kaj so zmoţni reševati. Skratka perceptron lahko ima poljubno število plasti in nevronov po plasteh. Nevroni lahko imajo poljubne prenosne funkcije, čeprav se običajno izbere ena in velja za vse nevrone. Pogoj perceptrona je le-ta, da so nevroni povezani enosmerno naprej iz plasti v naslednjo plast, čeprav ni nujo, da so vsi izhodi nevronov povezani z vsemi vhodi nevronov v naslednji plasti.
Binarne večplastne perceptrone se lahko uporablja za razpoznavanje vzorcev oziroma za razvrščanje vzorcev. Če se uporablja binarni dvoplastni perceptron, ki ima na izhodu samo eden binarni nevron, potem bo ta perceptron razvrščal samo v dva razreda. Če se ţeli razvrščati v več razredov, potem je potrebno število izhodnih binarnih nevronov povečati. Pri tem se lahko uporabi enoznačno klasificiranje ali binarno kodiranje razredov. Enoznačno razvrščanje pomeni, da bo na izhodu »priţgan«
samo eden binarni nevron. Pri binarno kodiranem izhodu pa bo »priţgana« kombinacija nevronov. Razlika med tema dvema pristopoma je v tem, da enoznačno razvrščanje zahteva toliko izhodnih binarnih nevronov, kot je razredov objektov. Binarno kodiranje pa zahteva manj izhodnih binarnih nevronov za doseganje enakega števila razredov objektov razvrščanja. Takšen tip mreţe ni najbolj primeren za napovedovanje z realnimi števili, čeprav se z binarnim kodiranjem to da doseči, vendar je potrebno veliko
