Správa XI

Venoval som sa písaním textu 3. kapitoly týkajucej sa návrhu a 4. kapitoly. Pripravil som predbeznú formu prezentácie, ktorú odprezentujem na bakalárskom semináry.

Správa X

Venoval som sa realizácii experimentov s porovnaním nástrojov a písaním príslušných textov 4. kapitoly o realizácii experimentu. Výsledkom čoho som si zvolil nástroj určený pre data mining RapidMiner. Kedže v prezentácii experimentu nebudem sa zameriavať na MSE ale na celkovú úspešnosť klasifikácie spomenutý nástroj je najviac vyhovujúci.

Sprava IX

Tento týždeň som sa venoval písaniu a čisteniu textov v teoretickej časti.

Src: http://1.bp.blogspot.com/-9F-l1ML9j1Y/TZDQ3fvLDvI/AAAAAAAAAII/F_UMfZoId3I/s1600/neuron-network.jpg

Sprava VIII

Tento týždeň som venoval experimentu s feedforward sietou s použitím 3rd party java implementacie na realnych datach. Konkrétne dáta z bc. práce Mareka Mardiaka z 2008, pre porovnanie výsledkov, kde výsledky sú porovnateľé avšak priemerná chyba pre testovaciu množinu sa blížila 20% čo pre neurónovú sieť nie je ideálne. Avšak berúc do úvahy fakt, že úloha dolovania je predpoveď zemetrsení na zaklade polohy, hlbky a počtu stanic ktoré udalosť zaznamenali, je pravdepodobné že lepšie výsledky sa použitá metóda klasického backpropagation lepšie výsledky nedosiahne.


Uvediem ilustračný graf závislosti priemernej chyby od počtu epoch.
Konfiguracia:
- 4 vstupy (long., lat., depth, no. of stations)
- 1 výstup
- 3 vrstvový perceptron
- plne prepojený
- skryté vrstvy logistická aktivačna funkcia
- výstupná vrstva linearna aktivačna funkcia
- trenovanie 2000 epoch

Správa VII

V tohto tíždňovej správe zverejním predbežný obsah mojej bakalárskej práce. Rád by som zdôraznil slovo "predbežný". Obsah bude učite dopĺňovaný a nazvy budú upravované, aby lepšie vystihli myšlienku. Budem ho tíždenne aktualizovať v prípade zmeny. Zverejnená bude časť medzi úvodom a záverom, zvýšok považujte za samozrejmosť.

Úvod

1. Datamining
   1. Pojem datamining
   2. Historický vývoj
   3. Dátové sklady
   4. Pred-spracovanie
   5. Metódy a nástroje
   6. Využitie a budúcnosť
2. Klasifikácia
   1. Využtie error backpropagation-learningu pri klasifikácii
   2. Model neurónu
   3. Perceptron
      1. Jedno-vrstvový perceptron
      2. Viac-vrstvový perceptron
   4. Učenie
   5. Pred-spracovanie
   6. Budúcnosť
3. Navrh
   1. Charakteristika problému
   2. Návrh riešenia
4. Experiment na reálnych dátach
   1. Popis datasetu
   2. Predspracovanie
   3. Výber nástroja
   4. Konfigurácia a realizácia
5. Diskusia
   1. Porovnanie výsledkov experimentu

        Záver

Čo sa týka pokroku v práci úspešne pokračujem v písaní témy obsiahnutéj v 2. kapitole. Prišlo mi na um zopakovať experiment z bakalarskej práce Mareka Mardiaka z 2008, ktorý ho realizoval rozhodovacími stromami. Ja ho zrealizujem s pomocou backpropagation a tak budem vediet urobiť porovnanie.

Správa VI

Začal som vypracovávať drafty bakalarskej práce. Konkrétne sa mi podarilo vypracovať solídny základ teórie o data miningu a klasifikácii, ktoré už budú len upravované alebo doplňované podla potreby a začlenené do príslušných kapitol. Spoznámkoval som taktiež kľúčové poznatky o backpropagation učení pre viac vrstvový perceptron. Ďalej pokračujem písanim draftov o klasifikacii pomocou backpropagation.

Správa V

Tento týždeň sa mi podarilo uskutočniť konzúltáciu s pánom doc. Igor Farkašom, komu som veľmi vdačný. Pomohol mi učit na, ktoré teoretické oblasti sa mám zamerať ako poskytol niekoľko praktických rád. 


Pokračujem v štúdiu knihy Neural Networks od Simona Haykina a sprácuvam materialy.

Správa IV

Tento týždeň do mojej výpožičnej zbierky pribudli nasledovne knihy v tlačených verziách:

• Data Mining: Concepts and Techniques (autori: Jiawei Han a Micheline Kamber) 
• Neural Networks: A Comprehensive Foundation (autor: Simon Hakyn)

Čo sa týka štúdia taktiež pokračujem v spisovaní informácií o feedforward sieťach z knihy "Data Mining: Concepts, Models, Methods, and Algorithms". Paralelne opisujú obidve knihy so spoločným menovateľom "Data mining" problematiku klasifikácie neurónovými sieťami, avšak každá iným podaním, čo je obohacujúce.

Správa III

Po zvážení tém predchádzajúcich bakalárskych prác pomaly sa utvrdzujem v tom, že nástroj dataminingu, ktorý si bude vyžadovať vačšiu pozornosť budú neuronové sieťe. Pevne verím, že napriek faktu, že genetické algoritmy boli témou diplomovej práce Aleksandra Takača: Genetic programming data mining : Cellular approach, zostáva mi ešte čím prispiet. Po prestudovaní spomentutej práce vyhodnotím ďalši postup. 

Preferujem momentálne vrátane zbežného úvodu a rozboru metód, porovnať klasifikáciu rozhodovacími stromami (napr. generovaými algoritmom ID3) a klasifikáciu neuronovými sieťami s dôrazom na neurónové siete. Zatiaľ ako najpravdepodobnejšie prevedenie pokladám použitie Feedforward neuronovej siete. Avšak rozsah implementácie je otázka, na ktorú neviem odpovedať zatial.

Užitočné linky o neuronových sieťach

http://uceresource.org/articles/IT/2009/JATIT-09-Vol-05-1-5.pdf

• krátky úvod do DM(datamining)
• úuvod do NN(neural networks)
• praktické použitie NN v DM

http://neuron.tuke.sk/~hudecm/helps/NN/DUDA_HART_STORK/DHSAppendix.pdf

• Pattern Classification and Scene Analysis,
• klasika v odbore
• podobný autor: Fisher

http://www.emilstefanov.net/Projects/NeuralNetworks.aspx

• veľmi dobrý a k veci úvod do NN

 

Software

http://www.kdnuggets.com/software/classification-neural.html

• zoznam rôzneho softwareu na klasifikaciu s NN

http://sharktime.com/us_Downloads.html

• free software na klasifikáciu s NN
• limitácie: pracuje len s bodmy (x,y), kde x,y ∊ R

http://www.ncorpus.com/aydingurel/codes_java_neural/java_neural_feed_forward.html

• java implementácia NN so spustiteľnými príkladmi
• licencia GPLv3
• možné limitácie:  podporuje len spojité atribúty

Pokiaľ v poslednom bode spomenutá java implementácia NN, bude obsahovať danú limitáciu, a nenajdem iný vhodnejši software(knižnicu) na klasifikaciu s NN, vytvorí mi to príležitosť doimplementovať podporu pre enumerované atribúty.