old_ufo: (old_ufo)
[personal profile] old_ufo

Нулевой день конференции. Начался с завтрака, спонсированного Байду.



А НВидиа тем временем спонсировала бейджики %)

Завтрак хороший, кофе - обычный американский :( Зато свежий апельсиновый и ананасовый сок.


Открытие. Офигение часа - то, что орги произносят ICLR не как ай-си-эл-ар, а как ай-клиар.
Конференция стремительно увеличивается. С одной стороны - хорошо, с другой - у конференции небольшого размера свои плюсы. Во-первых, один трек, ничего не пропустишь. Во-вторых, проще со всеми переговорить и перезнакомиться. Ну да ладно.

Два интересных keynote: про посимвольные модели в обработке текстов (в английском дают умеренный прирост качества, в других языках - очень большой)

и close-loop для роботов.

Идея:
1)end-to-end обучение это хорошо, надо оптимизировать сразу и восприятие и реакцию на него.
2)Можно сначала обучить делать отдельные действия легко и быстро, а потом все объединить и дотренировать. Отдельно хватать, отдельно вставлять ключ в отверстие, например.
Думаю, может пригодиться в doom challenge - отдельно учимся стрелять из разных видов оружия, отдельно - уклонять, потом все объединяем.

Дальше были воркшопные постеры. Их надо уметь готовить - обычно эксперименты очень слабые, ну и фиг с ними, главное - идея. И - не принято критиковать "вы неправы", вопросы задаются чтобы понять и чтобы предложить идеи для развития.

Из того, что запомнилось:

1) Neurogenic Deep Learning

У нас есть автоэнкодер, скажем, натренированных на ноликах и двойках.
Потом на вход приходят еденички. Оно чешет в затылке и добавляет новые нейроны для новых классов\данных.
Чтобы не разучиться распознавать нолики - оно само себе генерит примеры для вспоминания. По условиям задачи - мы не можем хранить старые данные, надо генерить их из головы.

2)GradNets: Dynamic Interpolation Between Neural Architectures

Идея - смесь простой и сложной архитектуры, нелинейности и др. Например, для нелинейности:
y=alpha * ReLU + (1-alpha)* linear.
При этом альфа изменяется от нуля до единицы в процессе обучения.


3)О подгонке результатов
Neural Network Training Variations in Speech and Subsequent Performance Evaluation



Кратко - результаты тренировки (по крайней мере на небольшом датасете) зависят от random seed (но не очень сильно), гауссово распределение. И очень нехило зависят от порядка следования примеров (даже без batch-norm). Так что относитесь осторожно к результатам в статьях, которые не усреднены по 5-10 экспериментов.

4)Deep Motif: Visualizing Genomic Sequence Classifications


Привет [livejournal.com profile] progenes . Кстати, если набрать датасетов, статей про сетки для геномиков очень мало, полно low-hanging fruits. Можно докинуть для Шкотской.

5)Incorporating Nesterov Momentum into Adam

К автору подошел чувак из Тензорфлоу команды и попросил скинуть имплементацию :)


Вечер - ужин - разные знакомства. Например, с конкурентами украинского Ecoisme - PlotWatt. https://plotwatt.com/ Относительно много (человек 5) славян. Меня снова и снова радует, что в западной науке несмотря на все эти ваши Гуглы и фейсбуки нет концепта "Москва и остальная Россия". Куча университетов, каждый из которых сильно слабее лидера, в сумме делают бОльшее количество хороших публикаций, чем несколько лидеров. У каждого свой бекграунд, своя специализация. С другой стороны, много публикаций от таких как я - кто пришел в deep learning только недавно.
Кстати, познакомился с Сандером - человеком, которого позвали в Deep Mind из-за его побед на kaggle.

После ужина разразился ливень и пока я стоял - думал что делать, подъехал какой-то автобус, как оказалось - развозка на Дипмайндовскую вечеринку. Дипмайндовцы загребли всех, кого увидели, и мы поехали в какой-то бар. Там молодые ученые бухали, знакомились и рассказывали друг другу о своих исследованиях. Довольно частая картина - магистерка в физике, phd -neuroscience, сейчас - дип. лернинг. Привет украинской концепции "одна специальность от бакалаврата до аспирантуры".

Еще - все встреченные люди из ДипМайнда рассказывают, как там круто, и как хорошо в Лондоне. Плюс они активно публикуются, в отличие от Applе. Касталия, в общем :)

P.S. <хваст мод он> Большинство встреченных людей, которые спрашивали, чем я занимаюсь, после начала ответа говорили "А, так это твоя статья про LSUV"

P.P.S. Минус первый день будет позже, как перепишу фотки.


Profile

old_ufo: (Default)
old_ufo

July 2017

S M T W T F S
      1
2345678
9101112131415
16 171819202122
23242526272829
3031     

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 25th, 2017 10:48 am
Powered by Dreamwidth Studios