Piszę bibliotekę do deep learning

Awatar użytkownika
Juliusz Bulwa
zaufany użytkownik
Posty: 8370
Rejestracja: pn lip 30, 2018 9:52 pm
płeć: mężczyzna
Gender: None specified

Piszę bibliotekę do deep learning

Post autor: Juliusz Bulwa » ndz kwie 29, 2018 9:09 pm

https://github.com/mrlukaszfuszara/RuNNet

Już ma podstawową funkcjonalność, do rozpoznawania obrazów jeszcze się nie nadaje.
Szczęście, Kreatywność, Miłość. 🍀💧
Lucjusz

Awatar użytkownika
Juliusz Bulwa
zaufany użytkownik
Posty: 8370
Rejestracja: pn lip 30, 2018 9:52 pm
płeć: mężczyzna
Gender: None specified

Re: Piszę bibliotekę do deep learning

Post autor: Juliusz Bulwa » wt maja 01, 2018 10:12 am

Dopisałem liczenie pochodnej z entropii krzyżowej, naprawiłem parę błędów związanych z rozmiarami macierzy.
Szczęście, Kreatywność, Miłość. 🍀💧
Lucjusz

Awatar użytkownika
Juliusz Bulwa
zaufany użytkownik
Posty: 8370
Rejestracja: pn lip 30, 2018 9:52 pm
płeć: mężczyzna
Gender: None specified

Re: Piszę bibliotekę do deep learning

Post autor: Juliusz Bulwa » sob maja 05, 2018 11:01 am

https://github.com/mrlukaszfuszara/DeepLearninig.rb

Ostateczny adres, już ma softmaxa.
Szczęście, Kreatywność, Miłość. 🍀💧
Lucjusz

Awatar użytkownika
Juliusz Bulwa
zaufany użytkownik
Posty: 8370
Rejestracja: pn lip 30, 2018 9:52 pm
płeć: mężczyzna
Gender: None specified

Re: Piszę bibliotekę do deep learning

Post autor: Juliusz Bulwa » pn cze 04, 2018 8:49 pm

Dodałem algorytm fft do konwolucji 2D.
Szczęście, Kreatywność, Miłość. 🍀💧
Lucjusz

danielek
zaufany użytkownik
Posty: 1573
Rejestracja: czw sie 17, 2017 6:26 pm
Status: portier
płeć: mężczyzna
Gadu-Gadu: 63718896
Lokalizacja: Bydgoszcz
Gender: None specified

Re: Piszę bibliotekę do deep learning

Post autor: danielek » pn cze 04, 2018 9:10 pm

Sławomir a co to daje ?Można polecieć?Pozdro ;)

Awatar użytkownika
karuna
zaufany użytkownik
Posty: 11959
Rejestracja: pt lut 06, 2015 7:06 pm
płeć: mężczyzna
Gadu-Gadu: 100%
Gender: Male

Re: Piszę bibliotekę do deep learning

Post autor: karuna » pn cze 04, 2018 10:17 pm

danielek pisze:
pn cze 04, 2018 9:10 pm
Sławomir a co to daje ?Można polecieć?Pozdro ;)
leczy ze schizy

danielek
zaufany użytkownik
Posty: 1573
Rejestracja: czw sie 17, 2017 6:26 pm
Status: portier
płeć: mężczyzna
Gadu-Gadu: 63718896
Lokalizacja: Bydgoszcz
Gender: None specified

Re: Piszę bibliotekę do deep learning

Post autor: danielek » pn cze 04, 2018 10:35 pm

:lol:

Awatar użytkownika
Juliusz Bulwa
zaufany użytkownik
Posty: 8370
Rejestracja: pn lip 30, 2018 9:52 pm
płeć: mężczyzna
Gender: None specified

Re: Piszę bibliotekę do deep learning

Post autor: Juliusz Bulwa » wt cze 05, 2018 6:37 pm

https://gitlab.com/lukaszfuszara/DeepLearning.rb

GitHub sprzedał się Microsoftowi, zmieniłem repozytorium, Ruby 2.6 będzie kompilowany do C i mocno przyspieszy.
Szczęście, Kreatywność, Miłość. 🍀💧
Lucjusz

Awatar użytkownika
Juliusz Bulwa
zaufany użytkownik
Posty: 8370
Rejestracja: pn lip 30, 2018 9:52 pm
płeć: mężczyzna
Gender: None specified

Re: Piszę bibliotekę do deep learning

Post autor: Juliusz Bulwa » pt cze 08, 2018 8:06 pm

danielek pisze:
pn cze 04, 2018 9:10 pm
Sławomir a co to daje ?Można polecieć?Pozdro ;)
Sieci konwolucyjne pozwalają wyekstrahować cechy ze zdjęć aby później sieci neuronowe mogły je rozpoznać i zakwalifikować dane zdjęcie do kategorii na zasadzie przewidywania prawdopodobieństwa że dane zdjęcie przedstawia daną kategorię obiektu. Za szacowanie prawdopodobieństwa odpowiada funkcja softmax.

Dodałem normalizację danych na warstwach w sieci konwolucyjnej, problemem były tzw. eksplodujące gradienty (oznacza to że dane przetworzone przy pomocy konwolucji za szybko rosły w górę i reprezentowane były przez zbyt duże liczby). Przeciwieństwem są zanikające gradienty, cechy są reprezentowane przez zbyt małe liczby. Normalizacja polega na policzeniu średniej i wariancji z cech, w szczegóły nie wchodzę, przykład jest w kodzie.

Część mojej biblioteki odpowiedzialna za sieci rekurencyjne jeszcze nie działa, skupiłem się na neuronowych i konwolucyjnych, nie wiem czy mam dobrze policzoną pochodną z softmaxu, przyspieszyłem natomiast część konwolucyjną i teraz przetwarza jedno zdjęcie (227x227 px) przez 3 min zamiast przez 40.

O sieciach konwolucyjnych nie przeczytacie prac naukowych po polsku ponieważ na uczelniach się tym nie zajmują. A jak już to prostą konwolucją przez sumowania, ja używam konwolucji poprzez szybką transformację Fouriera.
Szczęście, Kreatywność, Miłość. 🍀💧
Lucjusz

Awatar użytkownika
Juliusz Bulwa
zaufany użytkownik
Posty: 8370
Rejestracja: pn lip 30, 2018 9:52 pm
płeć: mężczyzna
Gender: None specified

Re: Piszę bibliotekę do deep learning

Post autor: Juliusz Bulwa » pt cze 08, 2018 8:08 pm

Mogę jeszcze napisać że mam chrapkę na uczenie ze wzmocnieniem (reinforcement learning) i algorytm A3C, ale nie wiem czy mnie temat nie przerasta.
A3C pozwala na naukę przez komputer gry w gry np. na Atari.
Szczęście, Kreatywność, Miłość. 🍀💧
Lucjusz

danielek
zaufany użytkownik
Posty: 1573
Rejestracja: czw sie 17, 2017 6:26 pm
Status: portier
płeć: mężczyzna
Gadu-Gadu: 63718896
Lokalizacja: Bydgoszcz
Gender: None specified

Re: Piszę bibliotekę do deep learning

Post autor: danielek » pt cze 08, 2018 9:58 pm

Aha ok :Pozdro z Bydzi :angelic-flying:

Wróć do „informatyka”