Мейнстрим или не мейнстрим?
Nov. 24th, 2015 12:16 pmВпервые я (почти?) не опоздал с проверкой мейнстримовой идеи и отправкой её на конференцию.
Как следует инициализировать нейросетки - All you need is a good init
Сам код прост до примитивности: https://github.com/ducha-aiki/LSUVinit/blob/master/tools/extra/lsuv_init.py
Почему "почти"? Потому что на ту же конференцию отправили статью с очень похожей идеей ребята из Беркли и Карнеги-Меллон - Data-dependent Initializations of Convolutional Neural Networks. У них инициализация чуть другая, зато вариантов предложено больше.
Снова встает старая проблема. Если ты делаешь что-то в мейнстримовом направлении, очень трудно не опоздать, плюс статьи быстро стареют. Если ты делаешь не мейнстрим, то мало кто статьи читает (даже если там новый state-of-art на порядки лучше).
upd.: Похожий вопрос на quora