2015

Dec. 31st, 2015 09:51 pm
old_ufo: (old_ufo)
Если 2011 был годом ленивого хомячка, то 2015 годом сумасшедшей белки, а я - человеком-дедлайном.

Пересчислять всё нет смысла, хвастаться буду в другой раз. Важнее, что стало ясно, чем я хочу заниматься. Наука. Можно и нужно замахиваться на конкуренцию с мировыми светилами (ну, пока скорее учениками мировых светил) и это более, чем реально. И если в 2014 году я учился, придумывал идеи, и...ничего не делал дальше, то в этом начал их реализовывать. И да, Джобс прав - важнее то, что ты решил не делать, чем то, что решил делать. Пора переходить к стратегии ежа из Коллинза, хотя для начала лисица тоже была неплоха.

И хотя с дедлайновостью и неумением рассчитать силы нужно что-то делать, но библейская притча про таланты правдива на все 100%. Возвращается только то, что потрачено - силы, энергия, эмоции и мысли. Экономия - путь в никуда.

И еще. Кажется, что "нахождением и углублением себя" этот год был не только для меня. Несколько друзей осупружились и по их глазам видно, что наконец-то они дома. Кое-кто другой, напротив, рассупружился - и именно поэтому нашел себя. Кто-то плюнул на всех советчиков (включая меня, каюсь), добился желаемой работы и тоже счастлива.

Персональное достижение - теперь, хотя и не всегда, я могу лечь спать, даже если в интернете кто-то неправ.

Ну и главный итог года должна родиться в конце февраля :)

С праздником всех!
old_ufo: (old_ufo)
Сегодня выложили результаты ImageNet2015. Выиграла азиатская лаборатория Microsoft - MSRA с еще неопубликованным методом для тренировки сверх-глубоких сетей - 150 слоев. Выглядит как более простая и логичная версия Highway networks.

Google в детекции не участвовал, а в локализации/классификации их команда ReCeption = Inception 2.0 немного уступила MSRA.

Как обычно, additional training data entries, уступили лидерам, которые не использовали никакой дополнительной информации.

Очень круто выступили китайцы-КГБшники (или кто это), команда Trimps-Soushen из "The Third Research Institute of the Ministry of Public Security, P.R. China".

Отдельно порадовал участник cuhk_loc из fdfdfdfd. Кроме этого, команда Henry Machine с traditional feature engineering (no deep learning), занявшая предпоследнее место в распознавании сцен.

Мой результат от имени Szokcka Research Group, отправленный скорее для галочки, внезапно, не самый последний, ни в локализации, ни в классификации.

Если говорить об exUSSR, отсюда по-прежнему практически никто не участвует. Кроме, в этот раз, меня и ребят из Санкт-Петербурга - Deep Punx. А вот участников вообще - хоть отбавляй, причем подавляющее большинство - из Азии.

И да, ImageNet в превращается полностью командный вид спорта.
old_ufo: (old_ufo)

Впервые я (почти?) не опоздал с проверкой мейнстримовой идеи и отправкой её на конференцию.
Как следует инициализировать нейросетки - All you need is a good init
Сам код прост до примитивности: https://github.com/ducha-aiki/LSUVinit/blob/master/tools/extra/lsuv_init.py

Почему "почти"? Потому что на ту же конференцию отправили статью с очень похожей идеей ребята из Беркли и Карнеги-Меллон - Data-dependent Initializations of Convolutional Neural Networks. У них инициализация чуть другая, зато вариантов предложено больше.

Снова встает старая проблема. Если ты делаешь что-то в мейнстримовом направлении, очень трудно не опоздать, плюс статьи быстро стареют. Если ты делаешь не мейнстрим, то мало кто статьи читает (даже если там новый state-of-art на порядки лучше).

upd.: Похожий вопрос на quora

old_ufo: (old_ufo)

Обновление в списке computer vision публикаций из пост-СССР.

А именно, наши старые знакомые из Яндекса :) Всё, больше никого.
ICCV 2015




Статья

Авторы

Организация
Aggregating local deep features for image retrieval Artem Babenko, Victor Lempitsky

Skoltech, Yandex, МФТИ

old_ufo: (old_ufo)

После соревнования по распознаванию планктона и покупки видеокарты, я замахнулся на ImageNet 2015.
Одним из прошлых выводов было "команда - это круто", ну я и попробовал такую собрать.

Вначале все было хорошо, но вскоре один за другим начали появляться дедлайны, проекты и прочее, так что я в итоге остался один. Итого вывод первый:

1) Важно не (с)только количество ресурсов, а их определенность и предсказуемость.
Если знать с самого начала, на что можно рассчитывать, а на что нет, то можно успеть больше и лучше - тупо концентрируясь и отсекая лишнее.

Дедлайны появились и у меня тоже, в результате на имаджнет наложились аж три других дедлайна - две статьи и отправка нашего рабочего приложения в эппл-стор. Отсюда вывод второй:

2) Проблема не (с)только в нехватке времени, а в нехватки времени эффективного. Точнее - умственной энергии.

Посему на локализацию я забил (вернее, попробовал поздно, вышла хрень) и отправил результаты практически только потому, что было бы неудобно перед NVIDIA и IBM, которые предоставили сервер для вычислений. Гонять его месяц и ничего не отправить, как-то совсем тупо.

Мини-вывод: K80 - полная фигня. Нет, 4 ядра по 12 Гб оперативы это, конечно, круто. Но эти 4 ядра вместе тренируют сетку МЕДЛЕННЕЕ, чем Titan X. Из-за неучета этого, кстати, я не успел получить предсказания для полноразмерных картинок и результат минимум на один абсолютный процент хуже, чем должен был быть.

3) ImageNet 2015 - как чемпионат мира, готовиться к нему и проверять идеи нужно весь год. Группой.

А в отведенные два месяца - просто натренировать свой алгоритм на представленных данных.
Почему? Потому что ждать проверки одной гипотезы 2 недели - увольте. Тогда нужно иметь парк серверов, чтобы 2 недели ждать проверки сотни гипотез. Правда, чтобы придумать сотню гипотез, нужны выспавшиеся мозги, см. пункт 2.
Чтобы вы оценили уровень оснащенности, которым оперирует Майкрософт для проверки алгоритмов на Иманджнет уровне, цитата из сегодняшней их статьи:

The resulting architecture was implemented in DMLC as well, and we trained the network for 1000 epochs using (mini-) batches composed of 100.000 images (which was feasible due to distribution of the computational load to a cluster of 52 CPUs and 12 hosts, where each host is equipped with a NVIDIA Tesla K40 GPU).

Пятьдесят два проца и двенадцать блоков по 4 видеокарты.

Тем не менее, не жалею, что попробовал - получил ценный опыт по сбору людей, тайм-менеджменту, и, если все будет хорошо, будет статья по нейросеткам.

old_ufo: (old_ufo)
Сразу после CVPR Сережа Шелпук позвал на Lviv IT Arena рассказать про компьютерное зрение. До того я на "общеайтишных" конференциях ни разу не был. AI Ukraine - не в счет, она специализированная.
Скажу сразу, арена мне понравилась, но я еще раз убедился, что на общеайтишные конфы стоит ездить, только если там будет куча междисциплинарных докладов. Эджайл, азур и прочий спарк - в сад.

Итак, впечатления, организация, интересные моменты )
old_ufo: (old_ufo)
Я все-таки поборю себя и не буду начинать пост про Лондон самым очевидным способом :)
Потому начну с Енотика!

Лондон! )
old_ufo: (old_ufo)
Пост будет на английском, чтобы мог пригодиться максимальному количеству людей
Here is my list of papers I found useful/worth reading (definitely biased by my preferences).


Deep Fishing: Gradient Features from Deep Nets Idea - take "backwards features" aka gradients w.r.t uniform class distribution instead of activations for CNN when use pretrained CNN as feature exptractor (i.e. ImageNet -> PASCAL)
Manitest: Are classifiers really invariant?
How to get single number, characterizing invariance of classifier to affine transformation of image. Nice theory, even if authors haven`t convince me that it is better, than classical bunch of graphs "accuracy w.r.t rotation, scale, etc.".


Sparse 3D convolutional neural networks
Nice idea to rotate image and than use triangular neighboring instead of square. Actually, other papers of Ben Graham also worth reading. And he is image-classification star at kaggle: two 1st places and one 3rd out of 3 entered competitions.

Automated Identification of Individual Great White Sharks from Unrestricted Fin Imagery
Oral. An example of rigorous multistage preprocessing - essence of the "classical" computer vision. Could be useful for "Right whale" competition at kaggle as source of inspiration.


Very Efficient Training of Convolutional Neural Networks using Fast Fourier Transform and Overlap-and-Add
Yet another (but nice!) improvement of CNN by FFT training. Guys are from U.S. Air Force Research Laboratory (!) :)


Beyond MSER: Maximally Stable Regions using Tree of Shapes
MSER detector improvement by using more general approach. I am waiting for sources for testing it myself. Also very-very nice tree-like poster.


Fitting models to data: Accuracy, Speed, Robustness
Tutorial about optimization - very-very-very nice, or oda to 2nd order methods :)


R-CNN minus R
Oral. Independent variant of "Faster R-CNN" - end-to-end training, no object proposals for detection, very fast.


Convolutional Neural Networks for Direct Text Deblurring
Oral, very impressive. Also I think,  nice approach - select areas, where you can GENERATE labels instead of manual labeling itself.


Diagnosing state-of-the-art object proposal methods
Nice comparison, but lacking some stuff like complementarity of proposals. However, there is a chance they will add this - I had a discussion with authors about this.


Robust Multiple Model Fitting with Preference Analysis and Low-rank Approximation
How to use RANSAC-like approach (except obvious greedy one) for mutiple models.


Learning the Structure of Deep Architectures Using L1 Regularization
Instead of dropout, they try to learn needed level of sparsity and neccesary number of filters. But for some reason they haven`t tried obvious next step: after learning needed number of filter, train a CNN with exactly this number of filters.


A BoW-equivalent Recurrent Neural Network for Action Recognition
Gyus are new to computer vision, come from speech processing. Nice idea though.


Face Painting: querying art with photos
Cross-domain retrieval, nice results. Paper from Andrea Vedaldi students cannot be bad ;)

BMVC-2015

Sep. 13th, 2015 05:27 pm
old_ufo: (old_ufo)
Вначале немного о самом городе - Суонси (Swansea, он же Abertawe).Чуть-чуть о городе )



Но вернемся к конференции )
old_ufo: (old_ufo)
Но подробный пост потом - конференция-то только завтра начнется.


Кратко: Лондон хорошо, Суонси (а точнее, его универ) - офигенен. Университет находится на берегу моря, в красивенном парке, в номере есть чайний, чай и кофе. Когда искал, куда идти, наткнулся на корпус "Egypt studies", когда селился - на профессора, которая тоже приехала на конференцию. Но что-то по биопсии.
Все надписи продубированы на валлийском. Кроме пароля на вайфай - он только на валлийском :) Клевый язык, почти эльфийский. И 6 согласных подряд.

Завтра напишу чуть более связно :)
old_ufo: (old_ufo)
Сейчас как раз настал момент, когда люди начали задумываться над "традиционными" и "привычными" вещами и о том, все ли хорошо в датском королевстве. Потому продолжим готовить почву для перемен в образовании, на сей раз - чисто по форме, а не содержанию. Итак, что было в моей школе (и есть во многих школах поныне) и почему это полный бред.

Дисклеймер: я считаю, что моя школа была далеко не худшей, а то и лучшей в городе. Меня лично никто не обижал, я, вроде, тоже, с учебой проблем не было.

Форма. Установленного отдельного комплекта не было, тем не менее, костюм, рубашка, брюки, вот это всё. Пиджак мне в те времена даже нравился - наличием множества карманов, но форму я не то, чтобы не любил, но не видел в ней смысла. На уроках рассказывали про индивидуальность, а тут - форма. Потому, когда я не видел смысла - я её не носил, например, в те дни, когда была физкультура. В дни физры я приходил сразу в спортивном костюме. И переодеваться не надо, и сменку носить не надо. А индивидуальных шкафчиков не было, так что альтернативой была перспектива таскать больше килограмма лишней хрени. На центральной лестнице на 2-й этаж (на 1-м были начальные классы) периодически стоял какой-то учитель и типа проверял внешний вид, если не ок - отправлял домой переодеваться. Меня тоже пытались, но я отвечал в стиле "о, я ж тогда на урок не успею. Опаздывать нехорошо, так что дома останусь". Родители меня всегда поддерживали, потому надавить было никак нельзя.

В свое время в спорах о форме мы с [livejournal.com profile] grafinya_orlova сломали немало копий, но моя позиция осталась неизменной - это полнейший бред. Не, ну если мы хотим вырастить толпу одинаковых серостей - пожалуйста. Но мы же, вроде, не. Ну и Википедия подсказывает, что в Финляндии (чье школьное образование было признано одним из лучших) никакой формы нет. [livejournal.com profile] progenes подсказывает, что её нет и в Германии. Dixi.

Линейки, дежурства, отработки и классный час )

 А что из этих инновационных и воспитывающих индивидуальность ученика традиций было в вашей школе?
old_ufo: (old_ufo)
>"I am pleased to inform you that your manuscript referenced above has been accepted for publication in Computer Vision and Image Understanding."

Продолжаем собирать камни. Статья MODS: Fast and Robust Method for Two-View Matching принята к публикации. Третий по цитируемости журнал в computer vision, если верить майкрософту и восьмой, если гуглу. Впрочем, в гугле там общий рейтинг с pattern recognition.

Время прохождения:
21.01.2015 - отправили статью.
23.04.2015 - статья вернулась на minor revision
25.05.2015 - отправили назад с ответом рецензетам и изменениями
14.08.2015 - принята к публикации
01.09.2015 - опубликована (пока препринт) http://www.sciencedirect.com/science/article/pii/S1077314215001800
01.11.2015 - опубликована финальная версия, до 21 декабря в свободном доступе здесь

P.S. Кстати, обратите внимание на конференции и arXiv. Их популярность все растет, а журналов понемногу падает.
old_ufo: (old_ufo)
Чтобы не быть голословным по поводу качества нашей науки я написал простенький скрипт и составил список публикаций из пост-СССР учреждений на топовых конференциях по компьютерному зрению. Начнем с этого года.
Есть статьи c CVPR и BMVC, ICCV будет чуть позже, а ECCV проводится только по четным годам.

Методика очень проста - черновой список авторов я получаю с помощью скрипта, а потом гуглю, кто откуда. Учитываются только те, чьи организации находятся на территории бывшего СССР. Скажем, Александр Шеховцов - выпускник КНУ им. Шевченка - в список не попал, потому как сейчас работает и публикуется из TU Graz.

Итак, поехали

CVPR2016





Статья



Авторы



Организация
Fast ConvNets Using Group-wise Brain Damage Vadim Lebedev, Victor Lempitsky

Skoltech, Yandex

Efficient Indexing of Billion-Scale Datasets of Deep Descriptors. Artem Babenko, Victor Lempitsky

Skoltech, Yandex


BMVC 2015


Статья


Авторы


Организация
Perceptually Motivated Benchmark for Video Matting Mikhail Erofeev, Yury Gitman, Alexey Fedorov, Dmitriy Vatolin and Jue Wang http://graphics.cs.msu.ru/ МГУ
Camera Pose and Focal Length Estimation Using Regularized Distance Constraints Alexander Vakhitov, Katerina Kanaeva and Lev Gurevich http://se.math.spbu.ru/ СПбГУ

CVPR 2015



Статья


Авторы


Организация
Tree Quantization for Large-Scale Similarity Search and Classification Artem Babenko, Victor Lempitsky Skoltech, Yandex, ВШЭ
Learning To Look Up: Realtime Monocular Gaze Correction Using Machine Learning Daniil Kononenko, Victor Lempitsky Skoltech


ICCV 2015



Статья


Авторы


Организация
Aggregating local deep features for image retrieval Artem Babenko, Victor Lempitsky

Skoltech, Yandex, МФТИ

Негусто, правда? Буду обновлять по мере прохождения конференций.

P.S. Качайте скрипт и добавляйте данные по machine learning и другим областям :)

old_ufo: (old_ufo)
Кому публикацию бесплатно и именной серебряный знак профессора экономических наук?
old_ufo: (old_ufo)
Из дискуссий про науку, сокращения штатов и феномен "сохранения рабочего места после декрета" наконец сформировались мысли. Мысли об экспе. экспа - experience - очки развития, получаемые персонажами в результате выполнения квестов или битв

Для начала три миниатюры-вступления.
Первое. [livejournal.com profile] borisakunin (который на самом деле Г.Ч., и вообще) запустил два новых псевдонима -
Анатолий Брусникин и Анна Борисова. Первый активно рекламировался, вторая - практически нет. Оба "автора" стали бестселлерами в итоге, оба неплохо заработали. Без использования бренда. Да, издательство знало, да, были деньги на раскрутку. Тем не менее, довольно честный "старт с чистого листа".

Второе. Ylvis. Которые "вот даз зе фокс сэд" и прочая-прочая. Как-то они решили попробовать стать известными в Киргизии за неделю. Звездами, конечно, не стали, но на радио попасть сумели. И да, песню написали на месте, а слова вообще помогал подбирать их местный "продюссер", потому что они не так, чтобы сильно знают русский.

Третье. В сюжетной кампании в 3-х Героях, собственно герои переносились из миссии в миссию. Без войск, и без артефактов, но с уровнем, заклинаниями и умениями. Мой любимый момент - когда без какой-либо отстройки замков, с мизерными стартовыми войсками герои легко и непринужденно разносят любого противника на пути.

То, что объединяет это всё - опыт, знания и талант. Опытный писатель может быстро стать известным под новым псевдонимом, талантливые и опытные артисты - попасть на радио за неделю.

Все, что вы делаете - учитесь, работаете, деретесь, читаете, ругаетесь или миритесь - все приносит новые знания и  впечатления. Если их не упускать, то понемногу они накапливаются, пока то самое количество не перейдет в качество - левел-ап.  Вещи, которые казались сложными, окажутся рядовыми. А потом станет вообще интересно - knowledge transfer и domain adaptation, которые сейчас активно развивают в компьютерных нейросетях, вполне применимы для человека. Все эти "чем лучше ваши сотрудники как люди, тем лучше они как сотрудники". Аудио-кортекс в мозгу вполне может стать визуальным кортексом, а чем больше вы читаете, тем лучше играете на музыкальном инструменте.
Разумеется, если не сидеть сложа руки перед телевизором фейсбуком.

Так вот, про эффективность НАНУ и про, то что если закрыть ее, то определенный процент (скажем, 10) действительно хороших ученых окажутся на улице. Умные люди не пропадут. Они или уедут за границу, или найдут другую работу, или окажется кто-то, кто сможет профинансировать исследования без бюрократии. Если они действительно профессионалы - построить карьеру снова будет куда легче - как Илвисам или тем героям без войск.

Сорокалетний боец не может соревноваться в скорости с двадцатилетним. Но пока молодой будет быстро-быстро молотить воздух, мастер плавно и не спеша выставит кулак, об который и стукнется его соперник. А если нет, то, может, он и не мастер?  Если вы можете выполнять работу - вы устроитесь на нее и после перерыва или найдете новую. Если нет - а смысл?

Не зря говорят, что лучшее вложение денег - вложение их в себя - опыт, эмоции, знания и умения. Экспа намного круче шмоток, поверьте.
old_ufo: (old_ufo)
Вот здесь. Еще не NIPS, но уже не воркшоп. New state-of-art, снова без нейросетей.
Paper
old_ufo: (old_ufo)
Поездки в Бостон и во Львов (спасибо [livejournal.com profile] tassadar_ha за гостеприимство и экскурсию по УКУ) помогли наконец систематизировать мысли "что не так с нашим образованием и наукой". И нет, это не недостаток денег, это в головах. В смысле, денег, конечно, не особо много, но это решаемая и скорее производная проблема.

  • "Им виднее". Не важно, кому - профессору, чиновнику или еще кому-то. Где-то есть люди, специальным образом подготовленные, которым дают очень крутые аналитические сводки. А мы...а что мы? То, чему нас учат, давно устарело и не имеет отношения к реальности. Really? Очень часто все хорошо с отношением к реальности, да и методы работают, как минимум в первом приближении. Это напрямую связано со следующим пунктом:

  • Критика и авторитеты. Дайте угадаю, какая лабораторная работа была у вас в школе\институте. Вычисление ускорения свободного падения - g, верно? Или заряда электрона. Это не интересно (проверять привычные вещи вообще не интересно, особенно те, которые настолько железобетонны), это учит доверять книгам и учителю, а не своим результатам. Почему? Да потому, что или будет как в книге, или вы где-то напортачили - а, значит, придется подгонять результат под ответ. И никаких увлекательных вещей вроде постройки роботов или хотя бы чего-то приближенного к реальности и впечатляющего. Потому - смысл проводить эксперимент, проще поверить на слово. Проблемы возникнут, когда слова врут или их не будет, но поздно. В США же, если верить Возняку, ребята делали радио своими руками на школьные выставки-соревнования. Обратите внимание - тогда, когда радио это было круто. Сейчас делают роботов. Когда ты реально делаешь что-то современное, видишь, что это просто и что никакие годы обучения для этого не нужны - это нереально вдохновляет. Кстати, про современное.

  • Знаете, как узнать, представляет ли из себя что-то профессор\доцент\аспирант как ученый? Спросите, какой state-of-art сейчас. Это может быть популярная тема исследований, результат на каком-то датасете, недавно открытая формула, что угодно.

  • Теперь спросите про топ-1..5 конференций\журналов в его\её области знаний. Все это, конечно, еще нужно будет погуглить и проверить, но сам факт ответа будет огромным плюсом. И, наконец, а как работы вашего собеседника отодвигают\уточняют\объясняют\вообще-что-то-делают-с state-of-art. Отсюда следующая проблема:

  • Девальвация искренности. "Актуальность моей дипломной работы состоит в том, что без нее мне не дадут диплом", вот это всё. На самом деле, времени и сил на диплом, который что-то из себя представляет, уйдет не намного больше, чем на непонятную хрень (если, конечно, не совсем наглеть и не сдавать чужой). Я делал и то, и то, я знаю. Проблема в том, научруки не имеют представления о state-of-art, а на защите требуются только формальные "актуальность и новизна" работы. А как иначе, ведь научрук не знаком со state-of-art, требования идиотские (пять ВАКовских журнальных публикации на кандидатскую? В Чехии нужна только одна, но в журнале с импакт-фактором. И сам процесс написания и публикации займет год, не говоря уже о получении результатов).

  • Опять же, конференции и публикации нужны только для того, чтобы набрать необходимое количество. Когда вы в последний раз видели у нас ученого, который бы продвигал работу и беспокоился о том, чтобы как можно больше людей прочли и использовали его работу? И когда в последний раз видели конференцию, где люди беспокоились бы не только о том, как бы отстреляться, а о том, чтобы послушать как можно больше, ведь интересно же и вообще когда еще можно будет задать вопросы лично?

  • И, наконец, закрытость. Ай-ай-ай, "нас хотят использовать". "У нас украдут идею". Украдут - и фиг с ней, значит не ваша она на самом деле. Если она настолько проста, её даже воровать не нужно. За последний год я прочел штук 15 научных статей, авторы которых реализовали то, о чем я только подумал. Но я только подумал, а они реализовали. И никто ничего не воровал, просто довольно очевидные, хотя и новые вещи. Да то, что вы ничего не попробуете и не проверите на ком-то намного хуже, чем если кто-то украдет идею. Тем более, что если этот кто-то в состоянии её реализовать, то у него или своих идей навалом и нет времени, или желания нет. Или еще чего-то.

Вот скажите, что из этого требует в первую очередь денег, а не мировоззрения?
old_ufo: (old_ufo)
Про собственно Бостон будет еще поста два или три, а сейчас о том, зачем Енотик ездил в Бостон.


Итак, CVPR, топовая конференция по компьютерному зрению. Бюджет по минимальным прикидкам (стоимость регистрации + спонсорства - больше $1,5 млн).

2260 зарегистрированных участников, 602 статьи (28,4% от присланных работа), 71 устная презентация (3,3% от присланных).

Собственно тут я понял, как должна выглядеть научная конференция и какие у нее цели.

Конференция и мой доклад )
old_ufo: (old_ufo)
Этим полукреслом мастер Гамбс... Знакомьтесь, это Енотик


На прошлой неделе он летал на CVPR и взял меня в качестве сопровождающего. Итак, поехали.

Перелет и парижский аэропорт )

Profile

old_ufo: (Default)
old_ufo

July 2017

S M T W T F S
      1
2345678
9101112131415
16 171819202122
23242526272829
3031     

Syndicate

RSS Atom

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 25th, 2017 10:41 am
Powered by Dreamwidth Studios