old_ufo: (Default)
Напишу-ка я по горячим следам отчет о EECVC 2017.

Прошлая конференция была очень хорошей и задала уровень, который не так просто побить. Отличное место, неплохие, в большинстве своем, доклады.
Тем не менее, планку в этом году подняли еще выше, даже опасаюсь ехать в 18-м, чтобы не испортить.

Давайте по порядку.
Город проведения: та же Одесса. Интерсити едет 7 часов, что утомительно, но ок. Правда, приежает в полночь, что слегка не ок, но да ладно.
Место проведения: другой коворкинг: Терминал 42. Заведение хорошее, хотя прошлое было чуть уютнее.
Время: Одесский кинофестиваль. Квартиру было найти не так, чтобы просто, но и не так, чтобы нереально. Зато можно пойти посмотреть фильмы.

Доклады.
Доклады были круты. Если в прошлом году доклад Джеймса про BoW Retrieval был сияющей недосягаемой вершиной, то в этом году только немного выделялся. И не потому, что уровень Джимми упал - это остальные сильно подтянулись.

Саша Шеховцов рассказал о современных (сеточных) optical flow алгоритмах. Немного перенасыщенно для тех, кто не в теме, но в целом все равно понятно. Ну и state-of-art от автора, все дела (раз)

Tolga Birdal из Siemens/TU Munich  рассказал о 3D реконструкции из лазерного сканера при наличии CAD-модели - для оценки точности изготовления. Круто и интересно - особенно учитывая, что такие темы редко встречаются как на CVPR, так и на украинских индустриальных конференциях. Снова стейт-оф-арт и снова от автора метода (два).

Sergii Kharagorgiev рассказал и показал продукт своей компании (https://www.starship.xyz/) : автономных роботах для решения проблемы последней мили. Тут вроде и реклама себя, и постановка задачи (бизнес и технической), и рассказ о том, как у них работает автономная навигация. Достаточно подробно, чтобы было интересно, но недостаточно деталей, чтобы быстро скопировать. ИМХО, отличный образец технического доклада от представителя компании.

Дальше был выпускник КПИшного физтеха и студент М.И. Шлезингера Валерий Крыгин с докладом о 3д реконструкции лица по одному изображению. С одной стороны, доклад был заметно слабее, чем все остальные. С другой - для украинской магистерской работы, это ого-го какой уровень. Ну и то, что доклад слабее, но все-таки сравним с другими, говорит о многом.

Евгений Горовий из IT-Jim рассказывал об обработке и распознавании радарных (SAR) снимков. Интересный доклад - выжимка из серии статей автора и тоже стейт-оф-арт в какой-то специфической области.

После обеда Виктор Сдобников презентовал статью коллег - Евгения Водолазского и М.И. Шлезингера . Непонятно, правда, почему презентовал Виктор, ведь автор статьи на конференции был и даже рассказывал во второй половине доклада. Ну да ладно. Доклад был интересный, но с несколькими проблемами. Во-первых, мало кто его понял, увы. Как минимум потому, что такие вещи лучше воспринимать не с голоса, а вдумчиво читая статью. Во-вторых, результаты хороши, но для случая небольшого трейнинг сета. Чем больше тренировочных данных, тем меньше разница между "правильной" и "неправильной" стратегией принятия решения. Ну и, наконец, метод оптизации для представленной целевой функции не за всё время мира пока отсутствует :)

Джимми рассказал о детектировании повторяющихся паттернов и какие прикольные штуки с ними можно делать - его текущая работа + прошлые статьи (+1 стейт-оф-арт)

Ну и Andrew Rabinovich, директор по исследованиям из Magic Leap (тех, которые привлекли $1.5B и оцениваются в 8 ) Его доклад "Then, Now, Tomorrow: Neural Networks for Computer Vision" был обзором нейросетей "с начала времен". Несмотря на то, что я ожидал как минимум части в стиле "ваш кэп", но таковый оказался весь доклад. Визионерской (на которую я надеялся), пусти и общей, части, увы, не было. Еще он заявил, что компьютер вижн будет решен к 2020 году, с чем присутствующие не согласились, было весело :)

Ну да свою функцию он выполнил - просто приехать на конференцию. Теперь можно хвастаться, что в Украине есть конференциия, где выступает менеджмент Magic Leap и все-такое.


Подведем итоги. В отличие от прошлой EECVC (и других украинских конференций, где я был), неинтересных докладов не было вообще. Более того, на половине докладов были показаны алгоритмы с мировым state-of-art в своей области. Причем не просто пересказаны кем-то, а рассказаны самими авторами.

Организация в технических моментах - отличная.

Итого. Я ничуть не жалею, что вписывался за конференцию, а совсем наоборот. Пусть таких конференций будет больше в Украине. Точнее, не так. Пусть будет больше конференций в AI/CV/ML/... такого уровня, но со своей направленностью: бизнес, академической, и т.д.
old_ufo: (Default)
Recipe from here
"So, I've spent a week and a half getting Caffe to work on my machine. I've finally managed to do so on my Asus N551JQ which is running on Ubuntu 14.04 LTS. The laptop features an NVIDIA GT845M dGPU and Intel HD Graphics iGPU, which caused some problems installing NVIDIA drivers. However, everything is working now. As it took me a long time to get everything running, I figured I could help future users by explaining my method of installation. Below is the method I used:

  1. Install a clean version of Ubuntu 14.04 LTS
  2. Remove UEFI secure boot. sudo mokutil --enable-validation After restart Mok managment will pop up. There will be an option where you can enable secure boot (just like you disabled after installing Ubuntu). - from http://askubuntu.com/a/768822/241348
  3. remove dkms and  bbswitch and bumbleebee 
  4. Download NVIDIA Geforce driver 352.79 from: http://www.geforce.com/drivers
  5. Download CUDA 7.0 from: https://developer.nvidia.com/cuda-toolkit-70
  6. Follow post #4 on the following link untill point 5 http://ubuntuforums.org/showthread.php?t=2246526#4.
    instruction )to /etc/modprobe.d/blacklist.conf and rebooting
    3. When you reboot, don't log in. Drop to the terminal by CTRL-ALT-F1, and kill lightdm by
    sudo service lightdm stop
    4. Extract the individual parts from the cuda toolkit archive you downloaded earlier by
    ./<cuda-archive-name> --extract=<your_fav_dir>
    5. Navigate to your_fav_dir
  7. Then navigate to the download directory where you saved the drivers that you previously downloaded in step 2 of this tutorial and run the setup by: sudo ./NVIDIA-Linux-x86_64-352.79.run --no-opengl-files
  8. Do not exclude the --no-opengl-files part.
  9. Go on with step 7 of the guide in the link by going into the directory in which you extracted the CUDA archive and installing CUDA and its samples.
  10. Then go on with the guide in post #5 in the same thread. Thereafter, NVIDIA drivers should be working and CUDA should be installed. Time to start with the Caffe installation!
  11. You can pretty much follow the following guide: http://caffe.berkeleyvision.org/install_apt.html Be sure to correctly install ALL dependencies. If anything fails, fix it.
  12. After compilation, my make runtest wouldn't start. I had to set an environment variable in ~/.profile "export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64" and had to reboot before it started and succesfully executed.
By now, everything should work. Congratulations!

Hope I have helped you.

Regards,

Emiel Stoelinga"
old_ufo: (old_ufo)
Народ, така річ.

Буває, що до мене звертаються знайомі із питанням "а чи хтось не шукає людину в сферу ML & CV? Я от думаю змінити роботу".

Буває, що до мене звертаються інші знайомі із питанням "а ти не знаєш прикольну людину, що в CV або ML шарила? Тут місце є".

Проблема в тому, що такі штуки рознесені у часі і я, звичайно, кого можу, з ким можу контачу, але часто тупо не пригадую :(

Вирішив завести собі дві таблички в гугл-екселі, таке собі кадрове агенство від [livejournal.com profile] old_ufo.
До чого це я: якщо ви шукаєте когось, або роботу - пишіть у приват, я собі запишу, щоб не забути. Приватність гарантується, вот ето всьо. Пост не має строку давнини.
old_ufo: (фотография)

Честно сказать, я не фанат "отраслевых" конференций. Т.е. пару раз съездить можно и нужно, а дальше уже степень полезности убывает экспоненциально, если не любить тусоваться.
Проще поговорить со спикерами лично, так и обсудить можно больше. Что до нетворкинга, то, по большому счету, ездят-то одни и те же люди, смысл поcле первых пары раз?

EECVC подкупила тем, что главной заявленной целью было "собрать ukraininan computer vision комьюнити", была исключительно по приглашениям, чтобы отсеять левых "профессиональных посетителей и спикеров конференций". Ну что ж, давайте попробуем и посмотрим, что получится, как говорил император Грегор. Поэтому регистрация была бесплатной, но организаторы отсеивали тех, кто по их мнению, не имел отношения к CV.

upd2.: Выложили слайды и видео докладов.

upd.: Виталий говорит, что целью было собрать восточно-европейское комьюнити, а не чисто украинское и что 20 из 120 человек были не из Украины. Частично принимается, но нет, это была все же украинская тусовка, сорри. А вот то, что язык конференции был английским, и все прошло отлично - это да, я упустил в отчете.

Получилось неплохо )

old_ufo: (old_ufo)

Обновление в списке computer vision публикаций из пост-СССР.

Снова наши старые знакомые из СколТеха :) Всё, больше никого.
CVPR2016



Статья

Авторы

Организация
Fast ConvNets Using Group-wise Brain Damage Vadim Lebedev, Victor Lempitsky

Skoltech, Yandex

Efficient Indexing of Billion-Scale Datasets of Deep Descriptors. Artem Babenko, Victor Lempitsky

Skoltech, Yandex

old_ufo: (old_ufo)
"- Но мы не хотим каждый раз выводить формулы, мы хотим фыр-фыр-фыр и магическую кнопку "офигенно заинитить нейросетку" , правильно?
- Да.
- Вот эта кнопка!"
Примерное содержание моего пояснения к постеру.


Вот, наконец, настал мой час представлять свою работу.


Спасибо научруку за критику и придирчивость, благодаря им, постер получился наглядным и отлично смотрелся на фоне других.
Рассказывал и отвечал на вопросы все три часа, охрип. Часть людей, которые подходили к стенду, уже читалис статью и задавали только уточняющие вопросы.
А еще всем понравилось название - в отличие от скучных и не запоминающихся других. В общем, be different и правильный маркетинг - наше все.

Другие постеры и музыка )

old_ufo: (old_ufo)

Сегодня было больше интересных постеров...и все еще ни одного, с которого можно взять пример как сделать классный постер.

Что было интересного )



А меня ждет мой постер завтра (уже сегодня на самом деле).

old_ufo: (old_ufo)

Нулевой день конференции. Начался с завтрака, спонсированного Байду.



Про воркшопы и дипмайнд )
old_ufo: (old_ufo)
Пані та панове (особливо, студенти та аспіранти), маю до вас пропозицію.
Якщо ви хочете зробити публикацію на крутій конференції, але не знаєте, над чим саме працювати, не маєте наукового керівника або не маєте грошей на політ на саму конференцію, то ми вирішимо ці проблеми :)

Що я роблю зі своєї сторони:

  • надаю тему та здійснюю наукове керівництво.

  • у разі прийняття статті на топ-конферецію (список трохи згодом), ви їдете презентувати роботу. Реєстрація, дорога, перебування оплачується Szkocka Research Group.

  • допомагаю із доступом на (платні) статті, необхідні для роботи

Ми разом:

  • працюємо над дослідженням та статею.

Ви:

  • маєте бажання і час займатись наукою

  • робите експеримент, статтю та презентуєте її.

Умови співробітництва:

  • Код, що народився під час роботи, публікується під MIT\BSD ліцензією, щоб вся спільнота могла користуватися плодами роботи.

  • Однією з ваших афіліацій указується Szkocka Research Group, Ukraine.

Теми (можете такоє запропонувати свою, обговоримо):

  • Mutltispectal image search by pseudo-Siamese nets (для супутникових знімків\карт)

  • Unsupervised feature learning by learning to noise and de-noise

Хто зацікавився - пишіть в приват, або в коментарі.
P.S. Так, це пілотний запуск Szkocka Research.
old_ufo: (old_ufo)
Сегодня выложили результаты ImageNet2015. Выиграла азиатская лаборатория Microsoft - MSRA с еще неопубликованным методом для тренировки сверх-глубоких сетей - 150 слоев. Выглядит как более простая и логичная версия Highway networks.

Google в детекции не участвовал, а в локализации/классификации их команда ReCeption = Inception 2.0 немного уступила MSRA.

Как обычно, additional training data entries, уступили лидерам, которые не использовали никакой дополнительной информации.

Очень круто выступили китайцы-КГБшники (или кто это), команда Trimps-Soushen из "The Third Research Institute of the Ministry of Public Security, P.R. China".

Отдельно порадовал участник cuhk_loc из fdfdfdfd. Кроме этого, команда Henry Machine с traditional feature engineering (no deep learning), занявшая предпоследнее место в распознавании сцен.

Мой результат от имени Szokcka Research Group, отправленный скорее для галочки, внезапно, не самый последний, ни в локализации, ни в классификации.

Если говорить об exUSSR, отсюда по-прежнему практически никто не участвует. Кроме, в этот раз, меня и ребят из Санкт-Петербурга - Deep Punx. А вот участников вообще - хоть отбавляй, причем подавляющее большинство - из Азии.

И да, ImageNet в превращается полностью командный вид спорта.
old_ufo: (old_ufo)

После соревнования по распознаванию планктона и покупки видеокарты, я замахнулся на ImageNet 2015.
Одним из прошлых выводов было "команда - это круто", ну я и попробовал такую собрать.

Вначале все было хорошо, но вскоре один за другим начали появляться дедлайны, проекты и прочее, так что я в итоге остался один. Итого вывод первый:

1) Важно не (с)только количество ресурсов, а их определенность и предсказуемость.
Если знать с самого начала, на что можно рассчитывать, а на что нет, то можно успеть больше и лучше - тупо концентрируясь и отсекая лишнее.

Дедлайны появились и у меня тоже, в результате на имаджнет наложились аж три других дедлайна - две статьи и отправка нашего рабочего приложения в эппл-стор. Отсюда вывод второй:

2) Проблема не (с)только в нехватке времени, а в нехватки времени эффективного. Точнее - умственной энергии.

Посему на локализацию я забил (вернее, попробовал поздно, вышла хрень) и отправил результаты практически только потому, что было бы неудобно перед NVIDIA и IBM, которые предоставили сервер для вычислений. Гонять его месяц и ничего не отправить, как-то совсем тупо.

Мини-вывод: K80 - полная фигня. Нет, 4 ядра по 12 Гб оперативы это, конечно, круто. Но эти 4 ядра вместе тренируют сетку МЕДЛЕННЕЕ, чем Titan X. Из-за неучета этого, кстати, я не успел получить предсказания для полноразмерных картинок и результат минимум на один абсолютный процент хуже, чем должен был быть.

3) ImageNet 2015 - как чемпионат мира, готовиться к нему и проверять идеи нужно весь год. Группой.

А в отведенные два месяца - просто натренировать свой алгоритм на представленных данных.
Почему? Потому что ждать проверки одной гипотезы 2 недели - увольте. Тогда нужно иметь парк серверов, чтобы 2 недели ждать проверки сотни гипотез. Правда, чтобы придумать сотню гипотез, нужны выспавшиеся мозги, см. пункт 2.
Чтобы вы оценили уровень оснащенности, которым оперирует Майкрософт для проверки алгоритмов на Иманджнет уровне, цитата из сегодняшней их статьи:

The resulting architecture was implemented in DMLC as well, and we trained the network for 1000 epochs using (mini-) batches composed of 100.000 images (which was feasible due to distribution of the computational load to a cluster of 52 CPUs and 12 hosts, where each host is equipped with a NVIDIA Tesla K40 GPU).

Пятьдесят два проца и двенадцать блоков по 4 видеокарты.

Тем не менее, не жалею, что попробовал - получил ценный опыт по сбору людей, тайм-менеджменту, и, если все будет хорошо, будет статья по нейросеткам.

old_ufo: (old_ufo)

Недавно закончился National Data Science Bowl - соревнование по machine learning - нужно представить классификатор для распознавания видов планктона, призовой фонд - $175 000.

Выиграла его команда магистров и аспирантов из Бельгии (где внезапно оказалась выпускница ФПМ КПИ) (решение), второе место за командой чувака из Microsoft Research Asia (решение, дополнение), третье заняла пара британских ученых (решение, дополнение).
Я занял девятое место, всего участвовало 1049 команд.

Каггловские соревнования - интересный опыт, советую всем, кто интересуется/занимается machine learning. В качестве доп.бонуса выяснилось, что некоторые мои ЧГКшные знакомые (если вам название "Тро-ло-ло" о чем-то говорит) тоже работают в этой области, а также познакомился с Ирой - тем самым выпускником ФПМ.

Уроки, почепнутые из соревнования:


  1. Надо высыпаться. Куда?

  2. Каггл - это легко и приятно. Четкая задача, четкий критерий. Не нужно собирать датасет или думать, а что мы собственно хотим. Намного проще, чем в реальной жизни :)

  3. Команда - это круто.

  4. Вначале разобраться с датасетом. Просмотреть вручную картинки, или что там еще. Проверить на всякую фигню и т.п. Подумать, какую предобработку можно применить.

  5. Записывать всё. Буквально всё, в крайнем случае сохранять логи. То, что работает и то, что не работает.

  6. Проверять всё, как бы не казалось, что это известно или проверено. Даже если это опубликовано на топовой конференции.

  7. Время, потраченное на инструментарий, окупается многократно.

  8. Если что-то работает не очень хорошо, не спешить выбрасывать - оно может приготиться при для финального усреднения

  9. Начинать с легких моделей, которые обучаются быстро. Вещи, которые замедляют вдвое ради одного лишнего процента лучше отложить на потом...если оно настанет.

  10. Выигрывают те, у кого есть research по теме, или те, кто его делает. Т.е. идеи. И GPUшки. Времена халявы давно прошли :)

  11. Viva la data augmentation

  12. Оптимизация гиперпараметров рулит.

  13. Более чем полезно следить за последними публикациями на arXiv.

  14. Задачи делятся на те, где данные однородны и там рулят подходы на базе CNN. И те, которые не однородны и там рулят родственники RF.


Под катом - слайды для deep.learning.kyiv.
Слайды )
old_ufo: (old_ufo)
Нашел сегодня, повешу, чтобы не потерялось.

https://timdettmers.wordpress.com/2014/08/14/which-gpu-for-deep-learning/

TL;DR advice

  • Best (affordable) GPU: GTX 980

  • Most cost effective GPUs: GTX 580 3GB and GTX 980

  • I work with data sets > 250GB: GTX Titan eBay

  • I have no money: GTX 580 3GB eBay

  • I do Kaggle: GTX 980 or GTX 580 1.5GB/3GB

  • I am a researcher: 1-4x GTX 980

  • I am a researcher with data sets > 250GB: 1-4x GTX Titan

  • I never used deep learning before: GTX 580 3GB

  • I want to build a GPU cluster: This is really complicated, I will write some advice about this soon, but you can get some ideas here

  • I started deep learning and I am serious about it: Start with one GTX 580 3GB and buy more GTX 580s as you feel the need for them; save money for Volta GPUs in 2016 Q2/Q3



https://timdettmers.wordpress.com/2015/03/09/deep-learning-hardware-guide/

Conclusion / TL;DR

  • GPU: GTX 580 (no money); GTX 980 (best performance); GTX Titan (if you need memory)

  • CPU: Two threads per GPU; full 40 PCIe lanes and correct PCIe spec (same as your motherboard); > 2GHz; cache does not matter;

  • RAM: Use asynchronous mini-batch allocation; clock rate and timings do not matter; buy at least as much CPU RAM as you have GPU RAM;

  • Hard drive/SSD: Use asynchronous batch-file reads and compress your data if you have image or sound data; a hard drive will be fine unless you work with 32 bit floating point data sets with large input dimensions

  • PSU: Add up watts of GPUs + CPU + (100-300) for required power; get high efficiency rating if you use large conv nets; make sure it has enough PCIe connectors (6+8pins) and watts for your (future) GPUs

  • Cooling: Set coolflags bit in your config if you run a single GPU; otherwise flashing BIOs for increased fan speeds is easiest and cheapest; use water cooling for multiple GPUs and/or when you need to keep down the noise (you work with other people in the same room)

  • Motherboard: Get PCIe 3.0 and as many slots as you need for your (future) GPUs (one GPU takes two slots; max 4 GPUs per system)

  • Monitors: If you want to upgrade your system to be more productive, it might make more sense to buy an additional monitor rather than upgrading your GPU

Profile

old_ufo: (Default)
old_ufo

July 2017

S M T W T F S
      1
2345678
9101112131415
16 171819202122
23242526272829
3031     

Syndicate

RSS Atom

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 25th, 2017 06:07 am
Powered by Dreamwidth Studios