Piszę bibliotekę do deep learning

  -TMOVE_BUTT AMOVE_BUTT SMOVE_BUTT
User avatar
Sławomir
bywalec
Posts: 180
Joined: Tue Feb 13, 2018 9:03 pm

Piszę bibliotekę do deep learning

Postby Sławomir » Sun Apr 29, 2018 9:09 pm

https://github.com/mrlukaszfuszara/RuNNet

Już ma podstawową funkcjonalność, do rozpoznawania obrazów jeszcze się nie nadaje.

User avatar
Sławomir
bywalec
Posts: 180
Joined: Tue Feb 13, 2018 9:03 pm

Re: Piszę bibliotekę do deep learning

Postby Sławomir » Tue May 01, 2018 10:12 am

Dopisałem liczenie pochodnej z entropii krzyżowej, naprawiłem parę błędów związanych z rozmiarami macierzy.

User avatar
Sławomir
bywalec
Posts: 180
Joined: Tue Feb 13, 2018 9:03 pm

Re: Piszę bibliotekę do deep learning

Postby Sławomir » Sat May 05, 2018 11:01 am

https://github.com/mrlukaszfuszara/DeepLearninig.rb

Ostateczny adres, już ma softmaxa.

User avatar
Sławomir
bywalec
Posts: 180
Joined: Tue Feb 13, 2018 9:03 pm

Re: Piszę bibliotekę do deep learning

Postby Sławomir » Mon Jun 04, 2018 8:49 pm

Dodałem algorytm fft do konwolucji 2D.

User avatar
danielek
zaufany użytkownik
Posts: 1075
Joined: Thu Aug 17, 2017 6:26 pm
Status: portier
płeć: mężczyzna
Gadu-Gadu: 63718896
Location: Bydgoszcz

Re: Piszę bibliotekę do deep learning

Postby danielek » Mon Jun 04, 2018 9:10 pm

Sławomir a co to daje ?Można polecieć?Pozdro ;)
:animals-chickencatch:

User avatar
karuna
moderator
moderator
Posts: 10967
Joined: Fri Feb 06, 2015 7:06 pm
Status: Zachowuj umysł w równowadze a wszechświat będzie w równowadze.
płeć: mężczyzna
Gadu-Gadu: gie gie
Location: Ziemia. wczorej jak i dziś

Re: Piszę bibliotekę do deep learning

Postby karuna » Mon Jun 04, 2018 10:17 pm

Sławomir a co to daje ?Można polecieć?Pozdro ;)
leczy ze schizy
zaiste. koniec.

User avatar
danielek
zaufany użytkownik
Posts: 1075
Joined: Thu Aug 17, 2017 6:26 pm
Status: portier
płeć: mężczyzna
Gadu-Gadu: 63718896
Location: Bydgoszcz

Re: Piszę bibliotekę do deep learning

Postby danielek » Mon Jun 04, 2018 10:35 pm

:lol:
:animals-chickencatch:

User avatar
Sławomir
bywalec
Posts: 180
Joined: Tue Feb 13, 2018 9:03 pm

Re: Piszę bibliotekę do deep learning

Postby Sławomir » Tue Jun 05, 2018 6:37 pm

https://gitlab.com/lukaszfuszara/DeepLearning.rb

GitHub sprzedał się Microsoftowi, zmieniłem repozytorium, Ruby 2.6 będzie kompilowany do C i mocno przyspieszy.

User avatar
Sławomir
bywalec
Posts: 180
Joined: Tue Feb 13, 2018 9:03 pm

Re: Piszę bibliotekę do deep learning

Postby Sławomir » Fri Jun 08, 2018 8:06 pm

Sławomir a co to daje ?Można polecieć?Pozdro ;)
Sieci konwolucyjne pozwalają wyekstrahować cechy ze zdjęć aby później sieci neuronowe mogły je rozpoznać i zakwalifikować dane zdjęcie do kategorii na zasadzie przewidywania prawdopodobieństwa że dane zdjęcie przedstawia daną kategorię obiektu. Za szacowanie prawdopodobieństwa odpowiada funkcja softmax.

Dodałem normalizację danych na warstwach w sieci konwolucyjnej, problemem były tzw. eksplodujące gradienty (oznacza to że dane przetworzone przy pomocy konwolucji za szybko rosły w górę i reprezentowane były przez zbyt duże liczby). Przeciwieństwem są zanikające gradienty, cechy są reprezentowane przez zbyt małe liczby. Normalizacja polega na policzeniu średniej i wariancji z cech, w szczegóły nie wchodzę, przykład jest w kodzie.

Część mojej biblioteki odpowiedzialna za sieci rekurencyjne jeszcze nie działa, skupiłem się na neuronowych i konwolucyjnych, nie wiem czy mam dobrze policzoną pochodną z softmaxu, przyspieszyłem natomiast część konwolucyjną i teraz przetwarza jedno zdjęcie (227x227 px) przez 3 min zamiast przez 40.

O sieciach konwolucyjnych nie przeczytacie prac naukowych po polsku ponieważ na uczelniach się tym nie zajmują. A jak już to prostą konwolucją przez sumowania, ja używam konwolucji poprzez szybką transformację Fouriera.

User avatar
Sławomir
bywalec
Posts: 180
Joined: Tue Feb 13, 2018 9:03 pm

Re: Piszę bibliotekę do deep learning

Postby Sławomir » Fri Jun 08, 2018 8:08 pm

Mogę jeszcze napisać że mam chrapkę na uczenie ze wzmocnieniem (reinforcement learning) i algorytm A3C, ale nie wiem czy mnie temat nie przerasta.
A3C pozwala na naukę przez komputer gry w gry np. na Atari.

User avatar
danielek
zaufany użytkownik
Posts: 1075
Joined: Thu Aug 17, 2017 6:26 pm
Status: portier
płeć: mężczyzna
Gadu-Gadu: 63718896
Location: Bydgoszcz

Re: Piszę bibliotekę do deep learning

Postby danielek » Fri Jun 08, 2018 9:58 pm

Aha ok :Pozdro z Bydzi :angelic-flying:
:animals-chickencatch:


Return to “informatyka”

Who is online

Users browsing this forum: CommonCrawl [Bot] and 1 guest