Univerza v Ljubljani
Fakulteta za raˇ cunalniˇ stvo in informatiko
Luka Zorko
Uporaba rekurentnih nevronskih mreˇ z za generiranje umetnih ˇ clankov
DIPLOMSKO DELO
UNIVERZITETNI ˇSTUDIJSKI PROGRAM PRVE STOPNJE
RA ˇCUNALNIˇSTVO IN INFORMATIKA
Mentor : prof. dr. Igor Kononenko
Ljubljana, 2021
Copyright. Rezultati diplomske naloge so intelektualna lastnina avtorja in Fakultete za raˇcunalniˇstvo in informatiko Univerze v Ljubljani. Za objavo in koriˇsˇcenje rezultatov diplomske naloge je potrebno pisno privoljenje avtorja, Fakultete za raˇcunalniˇstvo in informatiko ter mentorja.
Fakulteta za raˇcunalniˇstvo in informatiko izdaja naslednjo nalogo:
Tematika naloge:
Naloga je primerjati razliˇcne tipe rekurentnih nevronskih mreˇz za avtomatsko generiranje besedil. Pri tem naj kandidat preizkusi tudi razliˇcne nastavitve nevronskih mreˇz. Mreˇze naj uˇci na vsaj dveh veˇcjih zbirkah besedil. Zgeneri- rana besedila naj oceni roˇcno in naj preveri, kako dobro se umetno generirane ˇclanke da avtomatsko loˇcevati od roˇcno napisanih.
Zahvaljujem se mentorju prof. dr. Igorju Kononenku za pomoˇc pri struktu- riranju naloge in za vse strokovne nasvete. Zahvaljujem se tudi starˇsem za vso podporo in pomoˇc pri izdelavi te diplomske naloge.
Kazalo
Povzetek Abstract
1 Uvod 1
2 Uporabljene metode 3
2.1 Rekurentne nevronske mreˇze . . . 3
2.2 LSTM . . . 4
2.3 GRU . . . 5
2.4 Dvosmerne rekurentne nevronske mreˇze . . . 7
2.5 Aktivacijske funkcije . . . 9
2.6 Uporabljena orodja . . . 10
3 Uˇcenje modelov 11 3.1 Podatkovna mnoˇzica . . . 11
3.2 Predprocesiranje podatkov . . . 12
3.3 Modeli . . . 13
3.4 Casi uˇˇ cenja in generiranja besedila . . . 14
4 Rezultati 15 4.1 Postopek ocenjevanja . . . 15
4.2 Predstavitev ocen . . . 16
4.3 Primeri . . . 18
4.4 Preizkus avtomatskega prepoznavanja umetnih ˇclankov . . . . 20
5 Zakljuˇcek 27
A Celotna tabela ocen 29
B Daljˇsa primera izvornega besedila 33 C Daljˇsi primeri generiranega besedila z modelom LSTM in
nastavitvami 1 37
Literatura 40
Seznam uporabljenih kratic
kratica angleˇsko slovensko
RNN recurrent neural network rekurentna nevronska mreˇza LSTM long short-term memory nevronske mreˇze z dolgim
kratkoroˇcnim spominom GRU gated recurrent units rekurentna nevronska mreˇza z
vrati
CNN convolutional neural network konvolucijska nevronska mreˇza BLSTM bidirectional long short-term
memory
dvosmerna nevronska mreˇza z dolgim kratkoroˇcnim spomi- nom
Povzetek
Naslov: Uporaba rekurentnih nevronskih mreˇz za generiranje umetnih ˇclankov Avtor: Luka Zorko
V diplomskem delu sem raziskoval in primerjal razliˇcne tipe rekurentnih nevronskih mreˇz za namen generiranja umetnih ˇclankov. Opisal in preizku- sil sem razliˇcne tipe rekurentnih nevronskih mreˇz in sicer klasiˇcno, mreˇzo z dolgim kratkoroˇcnim spominom LSTM (ang. Long Short Term Memory) in poenostavljeno verzijo LSTM, GRU (ang. Gated recurrent unit). Mo- dele sem uˇcil na zbirki ˇsportnih ˇclankov, ki sem jo dobil na internetu in na Shakespearovi igri Romeo in Julija. Vsako izmed mreˇz sem pognal s sed- mimi razliˇcnimi nastavitvami in za vsako izmed njih generiral po 6 kratkih besedil in jih na koncu, po pregledu, ocenil z ocenami od 1 do 5. Na gene- riranih besedilih sem preizkusil tudi 5 modelov (3 znakovne in 2 besedna) za klasifikacijo oz. razlikovanje roˇcno napisanih in generiranih ˇclankov. Pri prepoznavanju generiranih besedil, se je najbolje odrezal besedni model, ki uporablja dvosmerno mreˇzo z dolgim kratkoroˇcnim spominom BLSTM (ang.
Bidirectional Long Short Term Memory), pri generiranju besedil, pa je naj- slabˇse ocene dobila navadna rekurentna nevronska mreˇza RNN, najboljˇse pa mreˇza LSTM.
Kljuˇcne besede: umetna inteligenca, nevronske mreˇze, procesiranje narav- nega jezika.
Abstract
Title: Use of recurrent neural networks for generating artificial text Author: Luka Zorko
In this thesis I researched and compared different types of recurrent neural networks for natural language generation. I described and tested various types of recurrent neural networks: classic RNN, neural net with long short term memory LSTM, and a simplified version of LSTM called GRU (Gated recurrent unit). I trained the models on a collection of short sports articles from the internet and on Shakespeare’s play Romeo and Juliet. Each type of neural net was run with 7 different settings. For each of the settings I generated 6 short text outputs and graded them from 1 to 5. I also tested the effectiveness of 5 models (3 character-based and 2 word-based) in differ- entiating handwritten and generated articles. In this task the word-based bidirectional neural net with long short term mermory BLSTM performed the best, while in the task of text generation, the regular RNN performed the worst and LSTM performed the best.
Keywords: artificial intelligence, neural networks, natural language pro- cessing.
Poglavje 1 Uvod
V zadnjih letih se dogaja hiter napredek nevronskih mreˇz zaradi zelo zmo- gljive in dostopne strojne opreme. Z napredkom se je pojavila tudi metoda generiranja umetnih ˇclankov. Generirana besedila z uporabo trenutno znanih metod niso preveˇc prepriˇcljiva in jih je mogoˇce ob pregledu precej preprosto loˇciti od pravih.
Trenutno programi generirajo umetne ˇclanke, ki na hiter pogled izgledajo pravi, pri podrobnem pregledu pa lahko hitro opazimo, da so avtomatsko generirani. Najpogosteje se za ta namen uporabljajo rekurentne nevronske mreˇze. Tematika je pomembna, ker bomo lahko, ko bo metoda bolj izpo- polnjena, dejansko kreirali nove ˇclanke, ki jih ne bo preprosto loˇciti od ti- stih, ki jih je napisal ˇclovek. Ta tehnologija se bo lahko uporabljala tudi za pomembne stvari, kot so pisanje poroˇcil, anliza podatkov, komuniciranje s strankami, povzetki grafov in tabel in podobno [24].
Cilj diplomske naloge je primerjava razliˇcnih vrst rekurentnih nevronskih mreˇz na problemu generiranja umetnih ˇclankov. V drugem poglavju sem opisal uporabljene metode in orodja. V tretjem poglavju sem opisal postopek priprave podatkov in uˇcenja razliˇcnih modelov, na koncu pa sem opisal razlike v natanˇcnosti razliˇcnih tipov rekurentnih nevronskih mreˇz in opisal, kako na rezultate vpliva uporaba dvosmernosti. Preveril sem tudi razlike med besednimi in znakovnimi modeli, kar je opisano v ˇcetrtem poglavju. Modele
1
2 Luka Zorko sem roˇcno testiral (pregledal) in na njih tudi preizkusil metodo avtomatskega loˇcevanja ˇclankov, ki jo je pripravil kolega Stopinˇsek [26].
Poglavje 2
Uporabljene metode
2.1 Rekurentne nevronske mreˇ ze
Rekurentna nevronska mreˇza (ang. Recurrent Neural Network, RNN) je tip nevronske mreˇze, kjer uporabimo izhod prejˇsnjega koraka kot vhod v trenu- tni korak. RNN so zato zelo primerne za obdelavo sekvenˇcnih podatkov, kot naprimer besedil, saj si za razliko od navadnih nevronskih mreˇz, kjer so vsi vhodi in izhodi med seboj neodvisni, lahko zapomnijo do sedaj izraˇcunane in- formacije [25, 16]. Problem klasiˇcnih RNN pa je, da imajo teˇzave z gradienti.
Gradient lahko eksplodira, kar je mogoˇce reˇsiti tako, da vrednost gradienta omejimo, ali izginja, kar lahko reˇsimo tako, da zamenjamo klasiˇcno RNN z mreˇzo z dolgim kratkoroˇcnim spominom (Long short-term memory, LSTM) ali pa rekurentno nevronsko mreˇzo z vrati (Gated recurrent unit, GRU).
Slika 2.1 Prikazuje delovanje osnovnega modela rekurentne nevronske mreˇze. X prikazuje vhod v mreˇzo, o prikazuje izhod, s pa je skrito sta- nje mreˇze (spomin). To stanje se izraˇcuna glede na prejˇsnje skrito stanje in vhod v trenutnem koraku. Funkcija, s katero ga izraˇcunamo, pa je aktivacij- ska funkcija.
3
4 Luka Zorko
Slika 2.1: Skica osnovne rekurentne nevronske mreˇze [25].
2.2 LSTM
LSTM je tip RNN, ki se lahko uˇci dolgoroˇcnih odvisnosti. Bolj kot se poveˇcuje dolˇzina vhodnih podatkov, slabˇse se obnese klasiˇcna RNN, zato se bolj pogo- sto uporablja LSTM. Ta tip nevronske mreˇze je bil predstavljen leta 1997 [8].
Struktura klasiˇcne RNN je preprosta, vsebuje samo eno aktivacijsko funkcijo, npr. hiperboliˇcni tangens. Struktura LSTM pa je malo bolj zapletena. Sesta- vljena je iz spominskih vrat, vhodnih vrat in izhodnih vrat [23]. Spominska vrata doloˇcajo, kolikˇsen deleˇz starih informacij si bomo zapomnili. Izhod iz prejˇsnje celice seˇstejemo s trenutnim vhodom in pristranskostjo spomin- skih vrat, jih poˇsljemo skozi sigmoidno funkcijo, da dobimo vrednosti med 0 in 1, kot prikazuje formula (2.1), nato pa ˇse pomnoˇzimo dobljeno matriko s spominom, kot prikazuje formula (2.2), in tako dobimo nov (zaˇcasni) spomin.
W in U sta uteˇzi, b je pristranskost, x vhod v celico, h pa izhod celice v prejˇsnjem koraku.
ft=σ(Wfxt+Ufht−1 +bf) (2.1)
ct=ct−1ft (2.2)
Diplomska naloga 5 Vhodna vrata doloˇcijo, katere nove informacije bomo shranili v spomin.
Sestavljena so iz dveh delov. Prvi del po enaˇcbi (2.3) doloˇca, katere vredno- sti bomo posodobili. Drugi del pa po enaˇcbi (2.4) ustvari nove vrednosti.
Ti vrednosti potem zmnoˇzimo s Hadamardovim produktom in ta produkt priˇstejemo spominu, kar predstavlja enaˇcba (2.5).
it=σ(Wixt+Uiht−1+bi) (2.3)
˜
c=tanh(Wcxt+Ucht−1+bc) (2.4)
ct=ct+ ˜cit (2.5)
Spomin je sedaj posodobljen, ostalo nam je samo ˇse generiranje izhoda, to pa naredijo izhodna vrata. Najprej s pomoˇcjo sigmoidne funkcije doloˇcimo, kateri deli stanja bodo ˇsli na izhod z enaˇcbo (2.6), potem pa dobljen rezultat s Hadamardovim produktom pomnoˇzimo z vrednostjo hiperboliˇcnega tangensa od spomina v enaˇcbi (2.7).
ot =σ(Woxt+Uoht−1 +bo) (2.6)
ht=ottanh(ct) (2.7)
2.3 GRU
GRU je podobna LSTM, vendar je malo bolj preprosta in hitrejˇsa za iz- vajanje. Uˇcinkovitost teh dveh modelov pa je zelo podobna, zato je teˇzko priporoˇciti eno ali drugo. Rekurentna nevronska mreˇza GRU je bila predsta- vljena leta 2014 [16, 20]. Za razliko od LSTM ima GRU dvoja vrata. Vrata za posodabljanje in vrata za resetiranje. V formulah x predstavlja vhod v celico,h skrito stanje oz. spomin, W in U sta uteˇzi,b pa pristranskost.
6 Luka Zorko
Slika 2.2: Skica LSTM [29].
Diplomska naloga 7 Vrata za posodabljanje se odloˇcijo, koliko starih informacij bomo po- slali naprej (so pomembne) in tako reˇsijo problem izginjajoˇcega gradienta.
Izraˇcunajo se po formuli (2.8).
zt=σ(Wzxt+Uzht−1 +bz) (2.8) Vrata za resetiranje doloˇcijo, koliko starih informacij naj pozabimo. Izraˇcunajo se po formuli (2.9).
rt=σ(Wrxt+Urht−1+br) (2.9) Naslednji korak je izraˇcun novega kandidata za skrito stanje oz. spomin.
Izraˇcunamo ga tako, da s Hadamardovim produktom pomnoˇzimo vrednost vrat za resetiranje s skritim stanjem iz prejˇsnjega koraka in priˇstejemo vhod v celico in pristranskost. Dobljeno na koncu ˇse poˇsljemo skozi funkcijo tanh, kot prikazuje formula (2.10).
h˜t =tanh(Wzxt+Uzht−1rt+bz) (2.10) Zadnji korak je, da izraˇcunamo novo skrito stanje. Za to uporabimo vrata za posodabljanje, ki se odloˇcijo, katere informacije bomo vzeli iz prejˇsnjega spomina in katere iz novega kandidata za spomin. Konˇcni spomin izraˇcunamo po formuli (2.11).
ht= (1−zt)ht−1+zth˜t (2.11)
2.4 Dvosmerne rekurentne nevronske mreˇ ze
Dvosmerne rekurentne nevronske mreˇze delujejo kot dve RNN skupaj. Eni kot vhod damo normalno zaporedje podatkov, drugi pa jih damo v obratnem vrstem redu. Rezultate ene in druge na koncu zdruˇzimo, za zdruˇzevanje pa je moˇznih veˇc naˇcinov. En pogost naˇcin, ki je tudi privzet v knjiˇznici za python - Keras, je konkatenacija. Moˇznosti so tudi vsota, zmnoˇzek in
8 Luka Zorko
Slika 2.3: Skica GRU [16].
Diplomska naloga 9
Slika 2.4: Skica Dvosmerne rekurentne nevronske mreˇze [22].
povpreˇcje. Njihova uporaba ni priporoˇcena za vse tipe problemov, lahko pa pri nekaterih izboljˇsa rezultate.
2.5 Aktivacijske funkcije
Aktivacijske funkcije so funkcije, ki doloˇcajo ali se nevron aktivira ali ne.
Pretvarjajo vhod v izhod. Obstaja zelo veliko aktivacijskih funkcij, tukaj pa jih je opisanih samo nekaj.
2.5.1 Sigmoida ali logistiˇ cna funkcija
Sigmoida je funkcija, ki stisne izhod na obmoˇcno od 0 do 1. V navadnih nevronskih mreˇzah se danes ne uporablja veˇc veliko, ker je draga za izraˇcun in ima problem izginjajoˇcega gradienta [28, 27]. Funkcija pa se uporablja v LSTM in GRU, ki problem izginjajoˇcega gradienta reˇsijo drugaˇce.
f(x) = 1
1 +e−x (2.12)
10 Luka Zorko
2.5.2 Hiperboliˇ cni tangens
Hiperboliˇcni tangens je funkcija, ki ima zalogo vrednosti od -1 do 1. Tudi ta funkcija ima problem izginjajoˇcega gradienta, se pa drugaˇce ponavadi obnese bolje v globokih nevronskih mreˇzah kot sigmoidna [28, 27].
f(x) =tanh(x) = 1−e−2x
1 +e−2x (2.13)
2.5.3 ReLu
ReLu je aktivacijska funkcija, ki reˇsi problem izginjajoˇcega gradienta in je raˇcunsko zelo poceni, zato se danes zelo pogosto uporablja [28, 27].
f(x) = max(0, x) (2.14)
2.5.4 Softmax
Softmax je funkcija, ki pretvori ˇstevilske vrednosti v verjetnosti, ki se sku- paj seˇstejejo v 1. Uporablja se kot zadnja plast pri problemih klasifikacije, saj nam vrne napovedano verjetnost za vsakega izmed naˇsih razredov, tisti element z najveˇcjo verjetnostjo pa je naˇsa napoved [28, 27].
f(xi) = exi P
jeyj (2.15)
2.6 Uporabljena orodja
Program sem napisal v programskem jeziku python s pomoˇcjo knjiˇznice za delo z nevronskimi mreˇzami Tensorflow Keras [12]. Za poganjanje programa sem uporabil orodje Google Colab, ki omogoˇca brezplaˇcno uporabo grafiˇcnih kartic in je predvsem namenjen uporabi za strojno uˇcenje in analizi velike koliˇcine podatkov [4].
Poglavje 3
Uˇ cenje modelov
3.1 Podatkovna mnoˇ zica
Modele sem testiral na mnoˇzici 1000 kratkih ˇclankov ˇsportnih novic [10], ki so dolgi 3.951.935 znakov oziroma 829.078 besed, in shakespearovi igri Romeo in Julija, ki je dolga 1.115.394 znakov, oziroma 262.412 besed (v ˇstevilo besed so vkljuˇcena tudi loˇcila). ˇCe bi podatkovno mnoˇzico zbiral znova, bi izbral oˇzjo temo ˇclankov (npr. tenis namesto ˇsport). Taka zbirka je na voljo na strani [2]. Sledita kratka primera iz obeh mnoˇzic podatkov, najprej iz Romea in Julije, nato iz ˇsportne novice.
Find them out whose names are written here! It is written, that the shoemaker should meddle with his yard, and the tailor with his last, the fisher with his pencil, and the painter with his nets; but I am sent to find those persons whose names are here writ, and can never find what names the writing person hath here writ. I must to the learned.–In good time.
11
12 Luka Zorko
Lionel Messi celebrated another goalscoring milestone with four more as Barcelona demolished 10-man Osasuna 5-1 in La Liga on Sun- day.The Argentinian went one better than great rival Cristiano Ro- naldo’s hat-trick earlier in the evening as he was part of a Barca side who utterly outclassed woefully inferior opposition. His second was his 200th goal in the Primera Division, another landmark feat in his ever-growing list of achievements, which now also includes becoming the first player to score in 11 successive La Liga matches.
3.2 Predprocesiranje podatkov
Besedilo je program najprej najprej prebral in na podlagi tega generiral slo- varja za pretvorbo znakov v ˇstevilke in obratno. Znak je bil lahko tukaj tudi beseda, odvisno od izbrane metode testiranja. S pomoˇcjo omenjenega slo- varja sem besedilo pretvoril v tabelo ˇstevil (npr. [116, 266, 1, 777, 43, 1848, 153, 4070, 148, 24...]). Dolˇzina te tabele je bila seveda enaka ˇstevilu znakov v besedilu. To besedilo sem potem razdelil na sekvence (npr. [116, 266, 1, 777, 43, 1848, 153, 4070, 148, 24, 134]) doloˇcene dolˇzine (101 za znakovne in 11 za besedne modele). Dolˇzine sekvenc sem naˇsel v primerih na internetu [15, 13, 11], te pa sem potem rahlo spreminjal in poskuˇsal dobiti boljˇsi re- zultat. Na koncu sem naredil delitev na primer in tarˇco. To sem storil tako, da sem vsako sekvenco razdelil na dva dela. Prva vsebuje vse elemente razen zadnjega, druga pa vse razen prvega. Zgornji primer sekvence bi se tako razdelil v [116, 266, 1, 777, 43, 1848, 153, 4070, 148, 24] in [266, 1, 777, 43, 1848, 153, 4070, 148, 24, 134]. Vsak indeks teh vektorjev se v mreˇzi procesira kot en ˇcasovni korak. Rezultat teh operacij je bila tabela, ki je sluˇzila kot vhod v nevronsko mreˇzo.
Diplomska naloga 13
3.3 Modeli
Besedila sem generiral z mreˇzami LSTM, GRU in navadno RNN. Vsako od teh mreˇz sem pognal z uporabo razliˇcnih nastavitev. Od nastavitev, ki sem jih preskusil, sem jih podrobno testiral sedem. Vkljuˇceni modeli niso sedem najboljˇsih, ki sem jih uspel najti. Moj namen je bil predvsem preveriti, katera od teh mreˇz se najbolje odreˇze (primerjalno). V izbranih sedem sem vkljuˇcil nekaj boljˇsih, nekaj srednjih in tudi kakˇsno zelo slabo mreˇzo, z namenom pri- kaza razlik med nastavitvami. Kvaliteta mreˇz je prikazana z besedo v tabeli 3.1, podrobnejˇse pa so rezultati opisani kasneje. Preskuˇsal sem predvsem razlike pri poveˇcevanju ˇstevila nevronov in dodajanju veˇcih plasti. Prvih pet modelov je znakovnih, zadnja dva pa sta besedna. Prva plast je vloˇzitvena plast (ang. embedding). To sem po priporoˇcilu iz dokumentacije [12] vkljuˇcil v vse modele. Ta plast pretvori vsako ˇstevilo, ki predstavlja znak ali besedo, v vektor dolˇzine 256. Prav tako sem v vsak model kot zadnjo plast vkljuˇcil polno povezano plast, iz katere lahko dobimo verjetnosti za naslednji znak ali besedo. Vmes se nahajajo plasti izbrane rekurentne nevronske mreˇze.
Tabela 3.1 prikazuje ˇstevilo teh plasti in ˇstevilo nevronov v posamezni plasti.
ˇStevilo plasti ˇStevilo nevronov Kvaliteta modela
Model 1 2 1024 Zelo dober
Model 2 2 64 Slab
Model 3 3 1024 Dober
Model 4 3 256 Dober
Model 5 1 4096 Slab
Model 6 2 1024 Srednje dober
Model 7 2 64 Dober
Tabela 3.1: ˇStevilo plasti in nevronov na plast za vseh sedem modelov.
14 Luka Zorko
3.4 Casi uˇ ˇ cenja in generiranja besedila
Kot sem omenil, sem program poganjal v Colabu, zato so ˇcasi odvisni tudi od razpoloˇzljivosti njihove opreme ob ˇcasu zagona programa. Spodnji tabeli prikazujeta povpreˇcne ˇcase uˇcenja in generiranja besedila. Za ta namen sem uporabil igro Romeo in Julija kot vhodno besedilo, ki je dolga 1.115.394 znakov, oziroma 262.412 besed. ˇCasi uˇcenja so na obhod (ang. epoch), ˇcasi generiranja besedila pa na 1000 znakov ali na 200 besed pri zadnjih dveh modelih. Vsi ˇcasi so v sekundah. Pomembno je, da je bila za uˇcenje vseh modelov uporabljeno pospeˇsevanje z grafiˇcno kartico (tisto, ki je bila ob ˇcasu na voljo v Colabu), ˇcasi brez uporabe le te pa bi bili bistveno veˇcji. Navadna RNN je pri nastavitvah Modela 1 za en obhod potrebovala 766 sekund, kar je pribliˇzno 40 krat veˇc kot z uporabo grafiˇcne kartice. Tabela 3.2 prikazuje ˇcase uˇcenja na obhod, tabela 3.3 pa ˇcase generiranja.
Model 1 Model 2 Model 3 Model 4 Model 5 Model 6 Model 7 Povpreˇcni ˇcas
RNN 19 16 68 38 138 30 23 55.80
GRU 25 2 80 95 236 52 7 87.60
LSTM 31 2 103 108 310 54 8 110.80
Tabela 3.2: ˇCasi uˇcenja mreˇze na obhod.
Model 1 Model 2 Model 3 Model 4 Model 5 Model 6 Model 7 Povpreˇcni ˇcas
RNN 7.70 7.52 14.32 14.69 7.17 1.60 1.33 10.28
GRU 6.57 6.95 13.30 13.22 15.25 2.04 1.20 11.06
LSTM 6.93 7.10 15.40 15.41 22.35 2.26 1.38 13.44
Tabela 3.3: ˇCasi generiranja besedila.
Kot sem ˇze omenil, so ˇcasi zelo odvisni od razpoloˇzljivosti strojne opreme v Colabu, kljub temu pa so relativne vrednosti povpreˇcnih ˇcasov, kot bi jih priˇcakovali. Iz teorije nam je jasno, da je LSTM najbolj raˇcunsko komple- ksna, navadna RNN pa najmanj, kar so tudi potrdili zgornji ˇcasi.
Poglavje 4 Rezultati
4.1 Postopek ocenjevanja
Vsako generirano besedilo je bilo pregledano in ocenjeno z oceno 1-5. Besedila sem ocenjeval po kriterijih, ki jih prikazuje tabela 4.1. Za oceno se je bilo dokaj preprosto odloˇciti, razen med ocenama 3 in 4. Za oceno 4 sem predvsem iskal smiseln celoten stavek, se pravi ocene 4 ni mogel dobiti ˇclanek brez vsaj kakˇsnega stavka, ki je v celoti smiseln. Ocena 5 je konˇcni cilj tega podroˇcja in je priˇcakovano nisem dosegel.
Ocena Opis
1 Besedilo oˇcitno umetno (slabo) ˇze na prvi pogled.
2 Besedilo oˇcitno umetno (slabo) po hitrem pregledu (preletu).
3 Besedilo oˇcitno umetno po kratkem branju, ima smiselne dele stavkov.
4 Besedilo oˇcitno umetno po podrobnejˇsem pregledu.
5 Besedila ni mogoˇce loˇciti od takega, ki bi ga napisal ˇclovek.
Tabela 4.1: Ocene generiranih besedil na podlagi igre Romeo in Julija.
15
16 Luka Zorko
4.2 Predstavitev ocen
Spodnji dve tabeli prikazujeta povpreˇcno oceno modelov na obeh podatkov- nih mnoˇzicah. Veˇcje tabele, ki vsebujejo vse posamezne ocene generiranih besedil, se nahajajo v prilogi. Tabela 4.2 vsebuje rezultate na podlagi be- sedila Romeo in Julija, tabela 4.3 na podlagi zbirke kratkih ˇsportnih novic, tabela 4.4 pa vsebuje povpreˇcne vrednosti.
Model 1 Model 2 Model 3 Model 4 Model 5 Model 6 Model 7 Povpreˇcje
RNN 3.33 2.67 3.00 3.00 2.00 2.00 3.33 2.42
GRU 3.83 3.17 3.50 3.67 1.00 3.00 3.17 2.67
LSTM 3.83 2.33 3.67 3.00 3.83 3.83 3.67 3.02
Tabela 4.2: Ocene generiranih besedil na podlagi igre Romeo in Julija.
Model 1 Model 2 Model 3 Model 4 Model 5 Model 6 Model 7 Povpreˇcje
RNN 2.67 2.83 3.00 2.67 2.00 3.00 3.33 2.44
GRU 3.33 2.17 2.83 3.00 3.00 2.25 3.17 2.47
LSTM 3.83 2.17 2.67 3.17 3.00 3.83 3.17 2.73
Tabela 4.3: Ocene generiranih besedil na podlagi zbirke kratkih ˇsportnih ˇclankov.
Model 1 Model 2 Model 3 Model 4 Model 5 Model 6 Model 7 Povpreˇcje Povpreˇcje 5 rezultatov
RNN 3.00 2.75 3.00 2.83 2.00 2.50 3.33 2.77 2.98
GRU 3.58 2.67 3.17 3.33 2.00 2.63 3.17 2.94 3.18
LSTM 3.83 2.25 3.17 3.08 3.42 3.83 3.42 3.29 3.53
Povpreˇcje 3.47 2.56 3.11 3.08 2.47 2.99 3.31 3.00 3.23
Tabela 4.4: Povpreˇcna ocena, izraˇcunana iz ocen za obe vhodni besedili.
Iz vseh povpreˇcnih ocen (zadnji stolpec posamezne tabele) je razvidno, da je bila najboljˇsa mreˇza LSTM, nato GRU, zadnja pa navadna RNN. Tako kvaliteto mreˇz je ugotovil tudi kolega na nalogi loˇcevanja umetnih in roˇcno napisanih ˇclankov [26].
Diplomska naloga 17
Slika 4.1: Graf povpreˇcnih ocen
Kar se tiˇce modelov, sta se najslabˇse odrezala model 2 in model 5. Oba modela sta znakovna, saj je laˇzje prepoznati slab znakovni kot besedni model.
Model 2 je pokazal, da je za znakovni model 64 nevronov v vsaki od dveh plasteh veliko premalo. Model je bil veˇckrat preizkuˇsen in je vedno z uˇcenjem zakljuˇcil zelo hitro, kar mi pove, da se tak model ni sposoben nauˇciti dovolj podrobnosti, oziroma nima dovolj parametrov za to nalogo. Model 5 pa nam pove, da ni pomembno le ˇstevilo parametrov in da ena plast ni dovolj za tak model. Najboljˇse ocene sta dobila modela 1 in 7. Model 1 je znakovni model z dvema plastema po 1024 nevronov. Ta model se je izkazal za dobrega.
Preizkus dodajanja tretje plasti z 1024 nevroni je bil storjen (model 3) in pokazal, da to, vsaj za moje vhodno podatke, rahlo pokvari rezultate. Za iskanje najboljˇsega modela bi bilo verjetno najbolje delati majhne spremembe na tem modelu in poskuˇsati dobiti boljˇse rezultate. Model 7 je besedni model in me je rahlo presenetil. Ker so se take nastavitve izkazale za zelo slabe pri znakovnem modelu sem priˇcakoval podoben rezultat tudi pri besednem.
18 Luka Zorko To se je izkazalo kot napaˇcno in je pokazalo, da besedni model potrebuje popolnoma drugaˇcne parametre kot znakovni.
4.3 Primeri
Ocena 1 se je pojavila le pri enem modelu in sicer pri mreˇzi GRU z nasta- vitvami 5 na besedilu igre Romeo in Julija. Pri teh nastavitvah se je uˇcenje ustavilo zelo hitro in je bilo neuˇcinkovito. Rezultat je le rahlo boljˇsi, kot ˇce bi izbirali za naslednji znak kar nakljuˇcnega, kot kaˇze spodnji primer.
rryde sot tia t biana!ed cind parne do ins tane uweneu toul hfiip e ye yhce she hone e the.o wtohy, cos fuuue hinHs houniath hn ta alnd tihod me hoe annt on hom kran yor
Ocena 2 se je pojavila veˇckrat, tako pri besednih kot znakovnih modelih.
Rezultat pri znakovnih modelih je besedilo z veliko angleˇskimi besedami, ostale pa izgledajo, kot da bi lahko bile angleˇske in niso le nakljuˇcne ˇcrke, kot pri oceni 1. Naslednji izsek je iz besedila, ki ga je generirala navadna RNN pri nastavitvah 5, nauˇcena na zbirki kratkih ˇsportnih novic.
tradiegan after the have the feet the past players are was and the came iard seet, made as first and a percusion be just caring batwayer he said shouch also up us NFL over most playing
Kot vidimo, je besedilo popolnoma nesmiselno, vendar se je mreˇza uspela nauˇciti, kako generirati angleˇske besede, ali vsaj besede, ki izgledajo kot da bi lahko bile angleˇske. Po podobnem kriteriju se je ocena 2 pojavila tudi pri besednih modelih. Spodnji izsek je rezultat mreˇze GRU s parametri Model 6, nauˇcene na zbirki ˇsportnih novic.
they’re holding expected the showed finishing to Davis our interested and when standings herself he they absence
Za oceno 3 je moralo imeti besedilo veˇcino pravih besed in smiselne dele
Diplomska naloga 19 stavka, oziroma nize nekaj besed. Spodnji primer je generirala mreˇza GRU z nastavitvami 4 na podatkih kratkih ˇsportnih ˇclankov.
He was one of several matches and finished third. I really have to go to the game. Anthony emplishment as he did with two scores for the rest of the season.
Drugi primer je gneriral besedni model GRU z nastavitvami 7, prav tako na podatkih kratkih ˇsportnih ˇclankov.
Brady he was so focused in the entire 2011 with Stoke for the first time and a lot of rightly in the in the integrity of the 80 minutes.
Za oceno 4 je morala mreˇza predvsem generirati vsaj nekaj smiselnih stavkov. Prvi primer je generirala mreˇza LSTM z nastavitvami 1 na besedilu Romeo in Julija.
First Murderer: Ho! who is like the hollow savage of his face, Not able to endure the sight of day.
QUEEN: And must we be divided? must we part?
KING RICHARD II: My crown is lawful convey’d and be her not; I cry you mercy; I did not see your grace: humbly thank you all.
To je en primer generiranega besedila, nad katerim sem bil zelo pozitivno preseneˇcen in z njim zadovoljen.
Drugi primer je generirala mreˇza LSTM z nastavitvam 6, prav tako na besedilu Romeo in Julija.
PETRUCHIO: Marry, so I will bid good morrow to my bride, And seal them in the secret part of his withdrawing.
DUKE VINCENTIO: I remember you, sir, here it
Ta primer se mi zdi nekoliko slabˇsi in je oceno 4 ujel za rep.
Kot sem ˇze omenil, besedil z oceno 5 ni bilo, niti nisem priˇcakoval tako dobrega rezultata.
20 Luka Zorko
4.4 Preizkus avtomatskega prepoznavanja ume- tnih ˇ clankov
Na svojih umetno generiranih besedilih sem preizkusil tudi nekatere metode loˇcevanja umetno generiranih ter roˇcno napisanih ˇclankov po metodologiji kolega Amona Stopinˇska. Preizkusil sem vse njegove znakovne modele ter dva besedna modela. Modelov nisem prav niˇc spreminjal in so torej natanˇcno taki, kot so opisani v razdelku 4.2 njegovega diplomskega dela [26]. Za zna- kovne modele je dosegel najboljˇse rezultate z dolˇzinami vhoda: CNN 356, GRU 316 in LSTM 172, zaradi pomanjkanja delovnega spomina (RAM-a) pa sem moral rahlo zmanjˇsati dolˇzine vhodov na 128, kar pa je glede na nje- gov graf v sliki 4.1 ˇse vedno zelo dobro. Tudi pri testu z dolˇzino vhoda 128 so vsi modeli pravilno klasificirali vse slabe roˇcno napisane ˇclanke iz origi- nalne testne mnoˇzice. Uporabil sem znakovne nevronske mreˇze CNN (ang.
Convolutional Neural Network), LSTM in GRU, ter besedni mreˇzi BLSTM (ang. Bidirectional Long Short Term Memory) in CNN. V kolegovih rezul- tatih so znakovne nevronske mreˇze prepoznale vse slabe generirane ˇclanke kot umetne, niso pa uspele prepoznati dobrih generiranih ˇclankov in so jih klasificirale kot roˇcno napisane. Besedni modeli so se obnesli dosti bolje.
Najboljˇsi izmed njih je bil BLSTM z uporabo besednih vloˇzitev word2vec, ki je pravilno klasificiral 97.41% ˇclankov, generiranih z dobrim modelom.
Za uˇcno mnoˇzico sem uporabil podatke kolega Stopinˇska iz njegovega diplomskega dela [26]. Dolˇzina uˇcne mnoˇzice je bila 36.328.576 besed, vali- dacijske mnoˇzice pa 1.837.312 besed. Za testiranje sem uporabil 240 ˇclankov, ki so bili generirani z mojimi modeli, opisanimi v tem diplomskem delu in 240 roˇcno napisanih ˇclankov oz. besedil. Teh 480 besedil sem loˇcil glede na ˇzanr in opravil dva preizkusa. Za preizkus ˇsportnih ˇclankov sem uporabil 260 ˇclankov (130 roˇcno napisanih in 130 generiranih), za preizkus Romeo in Julija pa sem uporabil 220 besedil (110 izsekov iz roˇcno napisanega dela in 110 generiranih izsekov). Za besedne modele je bila dolˇzina besednjaka (ang.
vocabulary) 17.215 besed. Tematike uˇcnih in validacijskih ˇclankov so bile
Diplomska naloga 21 precej raznolike, npr. hrana, zdravje, finance in politika, niso pa vkljuˇcevale ˇsportnih ˇclankov, jasno pa tudi Shakespeara ne. To je verjetno tudi eden iz- med razlogov za slabˇso klasifikacijsko toˇcnost teh mreˇz na mojih generiranih ˇclankih v primerjavi z rezultati, ki jih je dobil kolega v svojem preizkusu.
Drugi razlog za slabˇse rezultate pa bi lahko bila normalizacija - vsi ˇclanki, tako generirani kot resniˇcni, uporabljeni za uˇcenje modela, so bili, po me- todologiji kolega Stopinˇska - podpoglavje 4.1.1, zapisani samo z majhnimi ˇcrkami, brez posebnih znakov, loˇcil in ˇstevilk.
Tudi pri prepoznavanju mojih generiranih ˇclankov oz. besedil sta se dosti bolje obnesla preizkuˇsena besedna modela, kot katerikoli znakovni model.
V tabelah 4.5, 4.6, 4.7, 4.8 so prikazani ˇstevilo ter odstotek prepoznanih in sumljivih ˇclankov. Prepoznani ˇclanki so tisti, za katere je model z verjetnostjo vsaj 50% ocenil, da so umetni oz. realni (odvisno od njihovega dejanskega razreda), sumljivi pa so tisti za katere je bila ta verjetnost vsaj 15% in manj kot 50%.
Da izbrani znakovni modeli ne morejo prepoznati dobrih generiranih ˇclankov, je ugotovil ˇze kolega, jaz pa sem v tem testu ugotovil, da ne morejo prepoznati tudi slabih, ˇce se pri tem zamenja ˇzanr, pravilno pa klasificirajo vse roˇcno napisane ˇclanke. Besedni modeli pravilno klasificirajo skoraj vse roˇcno napisane ˇsportne ˇclanke in kar nekaj generiranih ˇsportnih ˇclankov (ta- beli 4.9 in 4.10), pri izsekih besedil iz igre Romeo in Julija pa so bili precej zmedeni, tako pri roˇcno napisanih kot generiranih izsekih (tabeli 4.11, 4.12), kar pa je razumljivo, glede na zelo poseben in drugaˇcen naˇcin pisanja v pri- merjavi z uˇcno mnoˇzico.
Priˇcakoval sem sicer, da bodo modeli uspeli prepoznati dosti veˇc mojih umetnih ˇclankov, saj jih je mogoˇce pri branju dosti hitro oceniti kot umetne, vendar pa so modeli oˇcitno obˇcutljivi na spremembo ˇzanrov oz. teme in so se obnesli malo slabˇse kot sem predvideval.
22 Luka Zorko
Slika 4.2: Prikaz odstotkov prepoznanih ˇclankov oz. izsekov iz igre Romeo in Julija.
Slika 4.3: Prikaz odstotkov prepoznanih ˇsportnih ˇclankov.
Diplomska naloga 23
CNN LSTM GRU w-BLSTM w-CNN
St prepoznanih ˇˇ clankov 0 0 0 66 61
St sumljivih ˇˇ clankov 0 0 0 78 74
Odstotek prepoznanih ˇclankov 0 0 0 60 55.45
Odstotek sumljivih ˇclankov 0 0 0 70.91 67.27
Tabela 4.5: ˇStevilo prepoznanih generiranih ˇclankov oz. izsekov (Romeo in Julija) z uporabo razliˇcnih nevronskih mreˇz.
CNN LSTM GRU w-BLSTM w-CNN
St prepoznanih ˇˇ clankov 110 110 110 63 67
St sumljivih ˇˇ clankov 110 110 110 77 80
Odstotek prepoznanih ˇclankov 100 100 100 57.27 60.91 Odstotek sumljivih ˇclankov 100 100 100 70 72.73
Tabela 4.6: ˇStevilo prepoznanih roˇcno napisanih izsekov iz igre Romeo in Julija z uporabo razliˇcnih nevronskih mreˇz.
CNN LSTM GRU w-BLSTM w-CNN
St prepoznanih ˇˇ clankov 0 0 0 40 34
St sumljivih ˇˇ clankov 0 0 0 57 45
Odstotek prepoznanih ˇclankov 0 0 0 30.77 26.15
Odstotek sumljivih ˇclankov 0 0 0 43.85 34.62
Tabela 4.7: ˇStevilo prepoznanih generiranih ˇsportnih ˇclankov z uporabo razliˇcnih nevronskih mreˇz.
24 Luka Zorko
CNN LSTM GRU w-BLSTM w-CNN
ˇSt prepoznanih ˇclankov 130 130 130 123 121
St sumljivih ˇˇ clankov 130 130 130 129 128
Odstotek prepoznanih ˇclankov 100 100 100 94.62 93.08 Odstotek sumljivih ˇclankov 100 100 100 99.23 98.46
Tabela 4.8: ˇStevilo prepoznanih roˇcno napisanih ˇsportnih ˇclankov z uporabo razliˇcnih nevronskih mreˇz.
Slika 4.4: Prikaz klasifikacijskih toˇcnosti.
Napovedani razred roˇcno generirani Resniˇcni razred roˇcno 123 7
generirani 90 40
Tabela 4.9: Tabela zmot z uporabo besednega modela BLSTM, pri klasifika- ciji ˇsportnih ˇclankov.
Diplomska naloga 25
Napovedani razred roˇcno generirani Resniˇcni razred roˇcno 121 9
generirani 96 34
Tabela 4.10: Tabela zmot z uporabo besednega modela CNN, pri klasifikaciji ˇsportnih ˇclankov.
Napovedani razred roˇcno generirani Resniˇcni razred roˇcno 63 47
generirani 44 66
Tabela 4.11: Tabela zmot z uporabo besednega modela BLSTM, pri klasifi- kaciji izsekov iz igre Romeo in Julija.
Napovedani razred roˇcno generirani Resniˇcni razred roˇcno 67 43
generirani 49 61
Tabela 4.12: Tabela zmot z uporabo besednega modela CNN, pri klasifikaciji izsekov iz igre Romeo in Julija.
26 Luka Zorko
Poglavje 5 Zakljuˇ cek
V diplomskem delu sem preizkusil sposobnosti razliˇcnih rekurentnih nevron- skih mreˇz za generiranje naravnega jezika. Po priˇcakovanjih je najboljˇse rezultate dosegla mreˇza LSTM, morda v nasprotju s priˇcakovanji pa sem (subjektivno) najboljˇse rezultate dobil z znakovnim modelom (morda zato, ker sem znakovnim posvetil nekaj veˇc ˇcasa). Znakovni model, s katerim sem bil najbolj zadovoljen, je uporabil dve plasti po 1024 rekurentnih enot. Pre- izkusil sem tudi avtomatsko oz. programsko loˇcevanje generiranih besedil po metodologiji kolega Stopinˇska. Za znakovne modele sem podobno kot kolega ugotovil, da pravilno klasificirajo vse roˇcno napisane ˇclanke, ne morejo pa pravilno klasificirati dobrih generiranih ˇclankov, ali ˇclankov, ki vkljuˇcujejo drugo tematiko kot tisti iz uˇcne mnoˇzice. Dosti bolje so se obnesli besedni modeli, predvsem pri prepoznavanju ˇsportnih ˇclankov. Pravilno so klasifici- rali skoraj vse roˇcno napisane ˇsportne ˇclanke in pribliˇzno tretjino generiranih ˇsportnih ˇclankov.
Nadaljnje delo bi lahko ˇslo v dve smeri. Prva je v temi diplomske naloge, se pravi primerjava razliˇcnih mreˇz in nastavitev. Tako bi dodal veˇc besednih modelov, vkljuˇcno z razliˇcnimi vnaprej pripravljenimi besednimi vloˇzitvami in veˇc tipov nevronskih mreˇz. Pri tem bi bilo potrebno primerjati le nekaj najboljˇsih mreˇz, saj bi ob nadaljevanju postopka, ki sem ga uporabil v tej nalogi, tabela ocen postala ogromna in teˇzka za predstavitev. Bolj uporabno
27
28 Luka Zorko nadaljevanje dela bi bilo morda, da se vzame najboljˇso znakovno in najboljˇso besedno mreˇzo in se dela na izboljˇsavi le teh.
Dodatek A
Celotna tabela ocen
29
30 Luka Zorko
Romeo in Julija
SlikaA.1:TabelaocengeneriranihˇclankovnapodlagiigreRomeoinJulija.Diplomska naloga 31
ˇ Sp
ortne no vice
SlikaA.2:Tabelaocengeneriranihˇclankovnapodlagikratkihˇsportnihnovic.32 Luka Zorko
P o v pre ˇcne o cene
SlikaA.3:Tabelapovpreˇcnihocengeneriranihˇclankov.Dodatek B
Daljˇ sa primera izvornega besedila
Romeo in Julija
ROMEO O, she doth teach the torches to burn bright! It seems she hangs upon the cheek of night Like a rich jewel in an Ethiope’s ear; Beauty too rich for use, for earth too dear! So shows a snowy dove trooping with crows, As yonder lady o’er her fellows shows. The measure done, I’ll watch her place of stand, And, touching hers, make blessed my rude hand. Did my heart love till now? forswear it, sight! For I ne’er saw true beauty till this night. TYBALT This, by his voice, should be a Montague. Fetch me my rapier, boy. What dares the slave Come hither, cover’d with an antic face, To fleer and scorn at our solemnity? Now, by the stock and honour of my kin, To strike him dead, I hold it not a sin. CAPULET Why, how now, kinsman! wherefore storm you so? TYBALT Uncle, this is a Montague, our foe, A villain that is hither come in spite, To scorn at our solemnity this night. CAPULET Young Romeo is it? TYBALT ’Tis he, that villain Romeo. CAPULET Content thee, gentle coz, let him alone; He bears him like a portly gentleman; And, to say truth, Verona brags of him To be a virtuous and well-govern’d youth: I would not for the wealth of all the town
33
34 Luka Zorko Here in my house do him disparagement: Therefore be patient, take no note of him: It is my will, the which if thou respect, Show a fair presence and put off these frowns, And ill-beseeming semblance for a feast.
Sportne novice ˇ
City manager Roberto Mancini has consistently said his fellow Italian is not for sale throughout this month’s transfer window but that has not quashed rumors linking him with the San Siro giants. Milan have made their li- king for the 22-year-old clear but have previously baulked at City’s reported
£28million valuation. Now fresh reports have emerged claiming negotiations between the clubs have begun but City’s public message on the matter has not changed. First-team coach David Platt said: ”I saw that speculation (on Sunday) but I’ve not heard anything. ”As far as we are concerned I think he is still a Manchester City player. I don’t think there is anything is go- ing to happen.”Platt was speaking on Mancini’s behalf at a press conference to preview City’s Barclays Premier League trip to QPR on Tuesday night.
Mancini was equally forthright on the Balotelli subject when asked when he last met the press last week. Mancini said: ”No, it is not true, Mario stays here. We didn’t have any requests about Mario or other players.”Balotelli has been involved in a number of high-profile controversies on and off the field during his time at City, including a training-ground bust-up with Man- cini this month. But Mancini said he remains part of his long-term plans.
He said: ”Yes, Mario has another three years on his contract.”Platt claims that situation has not changed. ”I can only go off what you know and I have seen. I know exactly the same as you, which is speculation. It’s a shame Robbie’s not here. He might know more than me.”
In terms of fitness, Balotelli missed Saturday’s FA Cup fourth-round tie at Stoke after illness but he is in contention for the game at Loftus Road.
Captain Vincent Kompany will be missing after straining his calf at the Britannia Stadium and the Belgian will also be doubtful for Sunday’s clash
Diplomska naloga 35 with Liverpool. Platt said: ”It could be a fortnight, it could be three weeks.
My experience of calf strains would be no chance for Tuesday, Liverpool a big doubt with an outside chance, but that would depend on the gravity of it. ”In all honesty you’re probably looking at the game after that being a potential realistic target.”Kompany’s absence increases City’s defensive problems with Kolo Toure on international duty and Matija Nastasic also doubtful with a minor knee injury. When asked if Nastasic was available, Platt said: ”Maybe, but he will have to train (on Monday).”
36 Luka Zorko
Dodatek C
Daljˇ si primeri generiranega besedila z modelom LSTM in nastavitvami 1
Romeo in Julija
First Murderer: Ho! who’s here?
BRAGULBvide in France again, Or die a soldier, as I lived a king.
GLOUCESTER: And yet methinks your grace hath not deny, and is angers of the world.
BUCKINGHAM: Who, I, that knows your men are ready, something rare reasons!
GONZALO: He’ll be hang’d, When Becks, help to your assing both your hands? Now join with it: it all the street pluck him And no man ever so recompense me in man, as well as I do, she would think scolding words?
’Twere gentle maiden, go along Upon the giddy forefore, at the fair with him!
CLIFFORD: Had you such leisure in this cause! O mother! wife!
AUFIDIUS:
CORIOLANUS: Ay, by and by; Now shall he try his friends to thee, for 37
38 Luka Zorko I had thought That thou hadst call’d me all forsworn again.
ROMEO: And I’ll be she with you.
Provost: What’s your will, father.
DUKE VINCENTIO: ’Tis well borne up.
MIRANDA: O the heavens!
Nurse: Go, you cot-quean, go, Get you to be ingrateful, will come on, And then with grief and sorrows grow together! Se
Sportne novice ˇ
First - the clock must begin tournament, running from July to watching period against the Lakers, you knew that you can make the three-point play and then say that he was huge,”Adams said. “I remember being in the team degree. We started the final match and he had an immediate impact. I’m just going to call my parents at home and was 447 with 7:29 to play. Jamie Printy made it 53-51 on a jumper by Metta World Cup qualifier Jick Police Al-Masavine, said. “So that was enough. Curry field a quarter of the Premier League that the longest red from the cars in California for the procedure. We needed more or last season’s running of the Gunners fans are reinstated to the quarterfinals after Garcia Harrison and Anthony Hargrove. Vilma’s lawsuit could off a simple trip with Miami after his ing family. Almost immediately with a straight-sets win over Radek Stars. The combination was so deal to the second half of group play. The United States roster will be see in London o
Diplomska naloga 39
40 Luka Zorko
Literatura
[1] 7 types of neural network activation functions: How to cho- ose? https://missinglink.ai/guides/neural-network-concepts/
7-types-neural-network-activation-functions-right/. [Acces- sed 15-October-2019].
[2] Alternative sports article dataset. http://mlg.ucd.ie/datasets/bbc.
html. [Accessed 20-January-2021].
[3] Backpropagation in neural networks. https://missinglink.ai/
guides/neural-network-concepts/backpropagation-neural- networks-process-examples-code-minus-math/. [Accessed 4-July- 2019].
[4] Colab. https://colab.research.google.com/notebooks/intro.
ipynb. [Accessed 21-July-2020].
[5] The complete guide to artificial neural networks: Concepts and mo- dels. https://missinglink.ai/guides/neural-network-concepts/
complete-guide-artificial-neural-networks/. [Accessed 4-July- 2019].
[6] Introduction to recurrent neural network. https://www.
geeksforgeeks.org/introduction-to-recurrent-neural- network/. [Accessed 30-June-2019].
[7] Keras lstm tutorial. https://adventuresinmachinelearning.com/
keras-lstm-tutorial/. [Accessed 11-January-2020].
41
42 Luka Zorko [8] Long short term memory. https://en.wikipedia.org/wiki/Long_
short-term_memory. [Accessed 29-June-2019].
[9] Recurrent neural network. https://en.wikipedia.org/wiki/
Recurrent_neural_network. [Accessed 29-June-2019].
[10] Sports article dataset. https://archive.ics.uci.edu/ml/machine- learning-databases/00450/. [Accessed 20-January-2021].
[11] Tensorflow. https://www.tensorflow.org/tutorials/text/text_
generation. [Accessed 21-January-2020].
[12] Tensorflow keras. https://www.tensorflow.org/guide/keras/.
[Accessed 20-January-2020].
[13] Harsh Bansal. Text generation with lstm recurrent neural ne- tworks in python with keras. https://bansalh944.medium.com/text- generation-using-lstm-b6ced8629b03. [Accessed 1-December-2020].
[14] Jason Brownlee. How to prepare text data for deep learning with keras. https://machinelearningmastery.com/prepare-text-data- deep-learning-keras/. [Accessed 11-January-2020].
[15] Jason Brownlee. Text generation with lstm recurrent neural networks in python with keras. https://machinelearningmastery.com/text- generation-lstm-recurrent-neural-networks-python-keras/.
[Accessed 1-December-2020].
[16] Georgios Drakos. What is a recurrent neural networks (rnns) and gated recurrent unit (grus). https://medium.com/@george.drakos62/what- is-a-recurrent-nns-and-gated-recurrent-unit-grus-
ea71d2a05a69. [Accessed 6-July-2019].
[17] T. Iqbal and S. Qureshi. The survey: Text generation models in deep learning,.https://doi.org/10.1016/j.jksuci.2020.04.001. [Acces- sed 1-September-2020].
Diplomska naloga 43 [18] Jiwon Jeong. The most intuitive and easiest guide for artificial neural network. https://towardsdatascience.com/the-most- intuitive-and-easiest-guide-for-artificial-neural-network- 6a3f2bc0eecb. [Accessed 29-June-2019].
[19] Jiwon Jeong. The most intuitive and easiest guide for recurrent neural network. https://towardsdatascience.com/the-most- intuitive-and-easiest-guide-for-recurrent-neural-network- 873c29da73c7. [Accessed 30-June-2019].
[20] Simeon Kostadinov. Understanding gru networks. https:
//towardsdatascience.com/understanding-gru-networks- 2ef37df6c9be. [Accessed 5-July-2019].
[21] Michael Nguyen. Illustrated guide to lstm’s and gru’s.
https://towardsdatascience.com/illustrated-guide-to-lstms- and-gru-s-a-step-by-step-explanation-44e9eb85bf21. [Accessed 3-July-2019].
[22] Cristopher Olah. Neural networks, types, and functional programming.
http://colah.github.io/posts/2015-09-NN-Types-FP/. [Accessed 6-July-2019].
[23] Cristopher Olah. Understanding lstm networks. https://colah.
github.io/posts/2015-08-Understanding-LSTMs/. [Accessed 3- July-2019].
[24] Sciforce. A comprehensive guide to natural language gene- ration. https://medium.com/sciforce/a-comprehensive-guide- to-natural-language-generation-dd63a4b6e548. [Accessed 1- September-2020].
[25] Pranjal Srivastava. Essentials of deep learning : Introduction to long short term memory. https://www.analyticsvidhya.com/blog/2017/
44 Luka Zorko
12/fundamentals-of-deep-learning-introduction-to-lstm/.
[Accessed 29-June-2019].
[26] Amon Stopinˇsek. Uporaba globokih nevronskih mreˇz za loˇcevanje av- tomatsko generiranih in roˇcno napisanih ˇclankov. Diplomsko delo, Uni- verza v Ljubljani, Fakulteta za raˇcunalniˇstvo in informatiko, 2018.
[27] Avinash Sharma V. Understanding activation functions in neu- ral networks. https://medium.com/the-theory-of-everything/
understanding-activation-functions-in-neural-networks- 9491262884e0. [Accessed 15-October-2019].
[28] Anish Singh Walia. Activation functions and it’s types.
https://towardsdatascience.com/activation-functions-and- its-types-which-is-better-a9a5310cc8f. [Accessed 15-October- 2019].
[29] Shi Yan. Understanding lstm and its diagrams. https://medium.com/
mlreview/understanding-lstm-and-its-diagrams-37e2f46f1714.
[Accessed 3-July-2019].
