Nov. 24th, 2015

old_ufo: (old_ufo)

Впервые я (почти?) не опоздал с проверкой мейнстримовой идеи и отправкой её на конференцию.
Как следует инициализировать нейросетки - All you need is a good init
Сам код прост до примитивности: https://github.com/ducha-aiki/LSUVinit/blob/master/tools/extra/lsuv_init.py

Почему "почти"? Потому что на ту же конференцию отправили статью с очень похожей идеей ребята из Беркли и Карнеги-Меллон - Data-dependent Initializations of Convolutional Neural Networks. У них инициализация чуть другая, зато вариантов предложено больше.

Снова встает старая проблема. Если ты делаешь что-то в мейнстримовом направлении, очень трудно не опоздать, плюс статьи быстро стареют. Если ты делаешь не мейнстрим, то мало кто статьи читает (даже если там новый state-of-art на порядки лучше).

upd.: Похожий вопрос на quora

Profile

old_ufo: (Default)
old_ufo

December 2017

S M T W T F S
     12
3456789
10111213141516
1718 1920212223
24252627282930
31      

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 29th, 2025 02:41 am
Powered by Dreamwidth Studios