old_ufo: (Default)
[personal profile] old_ufo
Совпало две два события: в свое время я НЕ написал пост про офигенную книгу Канемана  https://en.wikipedia.org/wiki/Thinking,_Fast_and_Slow , и недавно сдал экзамен по теории машинного обучения. Так вот, имею что  сказать по этому поводу. 
 
Если книгу до сих пор не читали - прочтите, она того стоит. Автор - психолог Канеман - получил Нобелевку по экономике и не зря. Но сейчас не об этом. 
А о том, что в результате многих экспериментов ученые сделали вывод, что люди не рациональны (внезапно, да? :) ). А именно: боятся потерь больше, чем хотят выиграть. Из-за последнего недополучают выигрышей разного рода в жизни. 
Об этом любят упоминать всякие рационалисты, в частности, Юдковский и его фанаты . Да здравствует Байесова формула и принятие решений по ней. Кто не знает: берем вероятность (статистику) по явлению в мире, умножаем на нашу уверенность, что у нас именно это. Получаем истинную вероятность. Канонический пример: допустим, в мире болеет раком 0.1%. Метод, у которого точность 95%, говорит, что рак. Формула говорит, что вешаться рано, потому что вероятность того, что правда рак = (0.001 *  0.95)/(0.001+0.95 + 0.999 * 0.05) =   1.87%. 
В данном случае формула - ок. 
 
Но тот же Талеб говорит, что в целом такая стратегия ни фига не работает, а надо слушать бабушек и дедушек. 
 
Так вот, обычно он прав.
 
 
Дело в асимметрии, которую наша нейросете-натренированная интуиция отлично впитала в себя. На самом деле, вероятность - фигня. Не совсем фигня, конечно, но это лишь одна сторона медали. Теория машинного обучения говорит нам, что нужно минимизировать нашу функцию потерь. А если нормально оценить вероятности мы не можем (а кто может?), то есть смысл минимизировать максимальные потери, т.е. худший случай. 
 
Простой пример. Лазерная коррекция зрения. Либо получаем либо увеличение качества жизни с большой вероятностью, либо теряем зрение с малой. Байесова стратегия говорит, что когда выгода * вероятность успеха больше потерь * вероятность фейла - надо делать. Минимаксная страгения говорит о том, что в случае фейла - потерять зрения - это катастрофа и ну его нафиг. 
 
Возьмем классические эксперименты о пари на деньги. Да, в теоретическом эксперименте с азартной игрой на малые деньги, есть смысл пойти против природы и сказать себе, что риск 1 гривной примерно равен выигрышу одной гривны. Байесова стратегия говорит, что если сумма ожидаемого выигрыша * вероятность выигрыша > вероятности проигрыша * сумму потеря, надо рискнуть.  Но на практике же люди обычно не считают, а поступают по интуиции и опыту. Т.е. как живут обычно. А обычно, если вы можете с равной вероятностью проиграть миллион или выиграть миллион, то ну его нафиг. Или даже выиграть три миллиона с той же вероятностью, что и проиграть один. Потому что выигрыш трех миллионов, конечно, приятно. Но проигрыш для среднего человека == потеря всего, жить на улице, детей не на что кормить. И это, опять же вполне себе оптимально, если мы выбираем минимаксную стратегию.
 
Или вот кэшлесс. Теоретически выгоды больше, удобно, квартиру скорее ограбят, чем банк. На практике же -  за последние несколько лет упало\закрылось дофига банков - прямо канонично по Талебу - и теории распознавания - возможные потери таковы, что лучше не надо. Ну или диверсифицировать. Тогда максимальный риск ограничен и теория распознавания уже разрешает не быть судьей Чаусом и можно хранить деньги не только в стеклянных банках. Так что не всегда стоит гнаться за "рациональным" прогрессом. Иногда стоит вспомнить опыт предков. Ну или если гнаться - то тогда уже со слегка более глубоким изучением теорвера и прочего, чем пресловутая формула Байеса.

Date: 2017-04-07 07:49 am (UTC)
livelight: (Default)
From: [personal profile] livelight
> Метод, у которого точность 95%, говорит, что рак. Формула говорит, что вешаться рано, потому что вероятность того, что правда рак = (0.001 * 0.95)/(0.001+0.95 + 0.999 * 0.05) = 1.87%.

Тут какое-то противоречие в терминах. Если у метода 95% точность (на самом деле, по-хорошему, должны указываться вероятности ошибок 1-го и 2-го рода отдельно), значит, с вероятностью 95% у нас именно то, что он сказал.

Date: 2017-04-07 08:22 am (UTC)
livelight: (Default)
From: [personal profile] livelight
Автора термина - нужно, но он, скорее всего, давно умер уже :)

Насколько я помню, априорная вероятность события, это если испытуемый - случайный человек с улицы. Там именно 1% и будет. Апостериорная - после того, как "Метод, у которого точность 95%" сказал, что ой. Если формула говорит, что у нас даже после этого апостериорная вероятность составляет всего 1.87%, то что-то не так или с формулой, или с маркетинговыми заявлениями про 95%

Date: 2017-04-07 08:54 am (UTC)
livelight: (Default)
From: [personal profile] livelight
Дай математически точное определение этой самой "точности", которая равна 95%

Но в общем понял, да, что если мы откуда-то точно знаем про нулевую вероятность заболеть раком (его вообще не существует в этом мире), то плевать нам, что прибор показывает, если только мы откуда-то точно так же не узнали вдруг, что его "точность" = 100%, а в данном примере он всего лишь увеличил апостериорную вероятность в 187 раз.

По тексту поста: с игрой на миллион ещё есть такая фишка, что реальный ущерб при проигрыше миллиона значительно превышает реальный выигрыш при выигрыше миллиона. Этот самый "реальный" выигрыш или ущерб уже не совсем в деньгах меряется, потому что там уже вся система в разнос пойдёт. Или даже в деньгах можно, но на логарифмической шкале: если у меня был миллион, и я его проиграл, то мои финансы уменьшились в бесконечное количество раз, а если я выиграл миллион, то они всего лишь увеличились в 2 раза, сравниваем бесконечность vs 2 - и делаем выводы.

Profile

old_ufo: (Default)
old_ufo

July 2017

S M T W T F S
      1
2345678
9101112131415
16 171819202122
23242526272829
3031     

Most Popular Tags

Page Summary

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 25th, 2017 06:00 am
Powered by Dreamwidth Studios