Ще проти логіки :)

Невеликий наброс на логіку, натхнений виступом Хасабіса про принципи DeepMind.

Один з них: grounded vs. logic-based: we take grounded. Тобто не те, що "логічно", а те, що "працює в реальному світі". До того ж, ще "все вирішує контекст".

Наведу приклад. Є два підходи до того, чи анонсувати те, що збираєшся робити. Один - адвокований Левітасом, "чорна магія білої людини". Ми всім розповідаємо, що зробимо. Через це вмикається механізм публічних зобов'язань та "обов'язку". Нам буде дуже соромно, якщо ми заб'ємо. Логічно? Логічно.
Але для декого працює, для декого ні.

Інший підхід, нещодавно підтведжений деякими нейродослідженнями: тримати в тайні аж до самого результату, щоб "не сглазить". І це має свій сенс, бо дуже часто ендокринна система видає ендорфіни по факту анонсу та відповідних лайків на фейсбуці. Через те біохімічна мотивація щось робити зникає - підкріплення вже отримано, нащо напружуватись? Також для декого працює, для декого ні.

Іншій приклад: логічно, щоб щось зробити теплішим, то треба нагріти, хіба ні? Так, але це працює лише для статичних систем. Якщо ж є внутрішня регуляція, як у живого організму, то може бути зворотня реакція. Те саме вірно для зірки: якщо її нагріти, то скоро вона стане холодніше.

Коротше кажучі, експерименти - наше все. А вже потім будуємо моделі. Із допомогою логіки, звісно.

Минулі наїзди на логіку : Теория распознавания и рациональность, Анафема логике

NIPS 2017. Личные впечатления и итоги

Вступление потерялось, так что сразу к делу.

1. Первое и, возможно, главное впечатление и пища для размышлений - симпозиум Kinds of intelligence. Глава ДипМайнда, нейроученые, специалисты по детскому мозгу и робототехнике, каждый со своей точкой зрения. Еще раз подчеркну запомнившиеся мысли:
   • Долгое детство необходимо для высокого интеллекта. Важно пробовать глупые и разные варианты и иметь возможность совершить ошибку.
   • Важна структура.
   • Стратегия и спокойствие важнее сиюминутных материальных вещей.
   • Контекст важнее жестких правил.
   • Идеи важнее, чем математика, по крайней мере для меня.
2. me_geneva  сказала, что "Раньше я не понимала, насколько Украина отсутствует на ML-карте мира". И да, и нет. Она отсутствовала в 2015м. В 2017 "отправила разведчиков". Теперь мы можем совершить прорыв - если тот десяток, что приехал на НИПС в этом году впечатлились достаточно, чтобы что-то делать и заражать других. Что важно: многие поняли, что это вполне посильная задача, просто люди за нее не брались по тем или иным причинам. Конечно, "догнать и перегнать Карнеги-Мелон" - нереально. Но можно обеспечить экспоненциальный рост на пару лет, к третьему году, остановившись на каком-нибудь достойном плато на уровне десятка-другого публикаций в год. Надеюсь, у нас получится.
3. Интересное в следующем году, если не случится внезапных прорывов, будет не в computer vision и не в machine learning, оно будет на стыке областей: медицине + ML, физике + ML, гуманитарных науках + ML.
4. arXiv сильно поубавил смысла "ездить на конференцию за статьями в своей сфере". Зачем, если ты и так прочитал вот это всё еще полгода назад?
5. Ездить в одиночку и ездить группой - совсем разные режимы. В первом есть время подумать, подвести итоги, помолчать. Во втором - рассаживать семена, обмениваться опытом, мнением или просто беседовать. Спасибо за беседы. Надо будет отправлять статьи на две конференции: топ-и-релевантную типа NIPS/CVPR, куда ездить компанией и новую-или-боковую типа "Deep Learning в области свиноводства" для медитаций.