old_ufo: (old_ufo)
[personal profile] old_ufo

Нулевой день конференции. Начался с завтрака, спонсированного Байду.



А НВидиа тем временем спонсировала бейджики %)

Завтрак хороший, кофе - обычный американский :( Зато свежий апельсиновый и ананасовый сок.


Открытие. Офигение часа - то, что орги произносят ICLR не как ай-си-эл-ар, а как ай-клиар.
Конференция стремительно увеличивается. С одной стороны - хорошо, с другой - у конференции небольшого размера свои плюсы. Во-первых, один трек, ничего не пропустишь. Во-вторых, проще со всеми переговорить и перезнакомиться. Ну да ладно.

Два интересных keynote: про посимвольные модели в обработке текстов (в английском дают умеренный прирост качества, в других языках - очень большой)

и close-loop для роботов.

Идея:
1)end-to-end обучение это хорошо, надо оптимизировать сразу и восприятие и реакцию на него.
2)Можно сначала обучить делать отдельные действия легко и быстро, а потом все объединить и дотренировать. Отдельно хватать, отдельно вставлять ключ в отверстие, например.
Думаю, может пригодиться в doom challenge - отдельно учимся стрелять из разных видов оружия, отдельно - уклонять, потом все объединяем.

Дальше были воркшопные постеры. Их надо уметь готовить - обычно эксперименты очень слабые, ну и фиг с ними, главное - идея. И - не принято критиковать "вы неправы", вопросы задаются чтобы понять и чтобы предложить идеи для развития.

Из того, что запомнилось:

1) Neurogenic Deep Learning

У нас есть автоэнкодер, скажем, натренированных на ноликах и двойках.
Потом на вход приходят еденички. Оно чешет в затылке и добавляет новые нейроны для новых классов\данных.
Чтобы не разучиться распознавать нолики - оно само себе генерит примеры для вспоминания. По условиям задачи - мы не можем хранить старые данные, надо генерить их из головы.

2)GradNets: Dynamic Interpolation Between Neural Architectures

Идея - смесь простой и сложной архитектуры, нелинейности и др. Например, для нелинейности:
y=alpha * ReLU + (1-alpha)* linear.
При этом альфа изменяется от нуля до единицы в процессе обучения.


3)О подгонке результатов
Neural Network Training Variations in Speech and Subsequent Performance Evaluation



Кратко - результаты тренировки (по крайней мере на небольшом датасете) зависят от random seed (но не очень сильно), гауссово распределение. И очень нехило зависят от порядка следования примеров (даже без batch-norm). Так что относитесь осторожно к результатам в статьях, которые не усреднены по 5-10 экспериментов.

4)Deep Motif: Visualizing Genomic Sequence Classifications


Привет [livejournal.com profile] progenes . Кстати, если набрать датасетов, статей про сетки для геномиков очень мало, полно low-hanging fruits. Можно докинуть для Шкотской.

5)Incorporating Nesterov Momentum into Adam

К автору подошел чувак из Тензорфлоу команды и попросил скинуть имплементацию :)


Вечер - ужин - разные знакомства. Например, с конкурентами украинского Ecoisme - PlotWatt. https://plotwatt.com/ Относительно много (человек 5) славян. Меня снова и снова радует, что в западной науке несмотря на все эти ваши Гуглы и фейсбуки нет концепта "Москва и остальная Россия". Куча университетов, каждый из которых сильно слабее лидера, в сумме делают бОльшее количество хороших публикаций, чем несколько лидеров. У каждого свой бекграунд, своя специализация. С другой стороны, много публикаций от таких как я - кто пришел в deep learning только недавно.
Кстати, познакомился с Сандером - человеком, которого позвали в Deep Mind из-за его побед на kaggle.

После ужина разразился ливень и пока я стоял - думал что делать, подъехал какой-то автобус, как оказалось - развозка на Дипмайндовскую вечеринку. Дипмайндовцы загребли всех, кого увидели, и мы поехали в какой-то бар. Там молодые ученые бухали, знакомились и рассказывали друг другу о своих исследованиях. Довольно частая картина - магистерка в физике, phd -neuroscience, сейчас - дип. лернинг. Привет украинской концепции "одна специальность от бакалаврата до аспирантуры".

Еще - все встреченные люди из ДипМайнда рассказывают, как там круто, и как хорошо в Лондоне. Плюс они активно публикуются, в отличие от Applе. Касталия, в общем :)

P.S. <хваст мод он> Большинство встреченных людей, которые спрашивали, чем я занимаюсь, после начала ответа говорили "А, так это твоя статья про LSUV"

P.P.S. Минус первый день будет позже, как перепишу фотки.


From:
Anonymous( )Anonymous This account has disabled anonymous posting.
OpenID( )OpenID You can comment on this post while signed in with an account from many other sites, once you have confirmed your email address. Sign in using OpenID.
User
Account name:
Password:
If you don't have an account you can create one now.
Subject:
HTML doesn't work in the subject.

Message:

 
Notice: This account is set to log the IP addresses of everyone who comments.
Links will be displayed as unclickable URLs to help prevent spam.

Profile

old_ufo: (Default)
old_ufo

July 2017

S M T W T F S
      1
2345678
9101112131415
16 171819202122
23242526272829
3031     

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 25th, 2017 10:51 am
Powered by Dreamwidth Studios