Теория распознавания и рациональность
Feb. 23rd, 2017 09:07 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
old_ufoСовпало две два события: в свое время я НЕ написал пост про офигенную книгу Канемана https://en.wikipedia.org/wiki/Thinking,_Fast_and_Slow , и недавно сдал экзамен по теории машинного обучения. Так вот, имею что сказать по этому поводу.
Если книгу до сих пор не читали - прочтите, она того стоит. Автор - психолог Канеман - получил Нобелевку по экономике и не зря. Но сейчас не об этом.
А о том, что в результате многих экспериментов ученые сделали вывод, что люди не рациональны (внезапно, да? :) ). А именно: боятся потерь больше, чем хотят выиграть. Из-за последнего недополучают выигрышей разного рода в жизни.
Об этом любят упоминать всякие рационалисты, в частности, Юдковский и его фанаты . Да здравствует Байесова формула и принятие решений по ней. Кто не знает: берем вероятность (статистику) по явлению в мире, умножаем на нашу уверенность, что у нас именно это. Получаем истинную вероятность. Канонический пример: допустим, в мире болеет раком 0.1%. Метод, у которого точность 95%, говорит, что рак. Формула говорит, что вешаться рано, потому что вероятность того, что правда рак = (0.001 * 0.95)/(0.001+0.95 + 0.999 * 0.05) = 1.87%.
В данном случае формула - ок.
Но тот же Талеб говорит, что в целом такая стратегия ни фига не работает, а надо слушать бабушек и дедушек.
Так вот, обычно он прав.
Дело в асимметрии, которую наша нейросете-натренированная интуиция отлично впитала в себя. На самом деле, вероятность - фигня. Не совсем фигня, конечно, но это лишь одна сторона медали. Теория машинного обучения говорит нам, что нужно минимизировать нашу функцию потерь. А если нормально оценить вероятности мы не можем (а кто может?), то есть смысл минимизировать максимальные потери, т.е. худший случай.
Простой пример. Лазерная коррекция зрения. Либо получаем либо увеличение качества жизни с большой вероятностью, либо теряем зрение с малой. Байесова стратегия говорит, что когда выгода * вероятность успеха больше потерь * вероятность фейла - надо делать. Минимаксная страгения говорит о том, что в случае фейла - потерять зрения - это катастрофа и ну его нафиг.
Возьмем классические эксперименты о пари на деньги. Да, в теоретическом эксперименте с азартной игрой на малые деньги, есть смысл пойти против природы и сказать себе, что риск 1 гривной примерно равен выигрышу одной гривны. Байесова стратегия говорит, что если сумма ожидаемого выигрыша * вероятность выигрыша > вероятности проигрыша * сумму потеря, надо рискнуть. Но на практике же люди обычно не считают, а поступают по интуиции и опыту. Т.е. как живут обычно. А обычно, если вы можете с равной вероятностью проиграть миллион или выиграть миллион, то ну его нафиг. Или даже выиграть три миллиона с той же вероятностью, что и проиграть один. Потому что выигрыш трех миллионов, конечно, приятно. Но проигрыш для среднего человека == потеря всего, жить на улице, детей не на что кормить. И это, опять же вполне себе оптимально, если мы выбираем минимаксную стратегию.
Или вот кэшлесс. Теоретически выгоды больше, удобно, квартиру скорее ограбят, чем банк. На практике же - за последние несколько лет упало\закрылось дофига банков - прямо канонично по Талебу - и теории распознавания - возможные потери таковы, что лучше не надо. Ну или диверсифицировать. Тогда максимальный риск ограничен и теория распознавания уже разрешает не быть судьей Чаусом и можно хранить деньги не только в стеклянных банках. Так что не всегда стоит гнаться за "рациональным" прогрессом. Иногда стоит вспомнить опыт предков. Ну или если гнаться - то тогда уже со слегка более глубоким изучением теорвера и прочего, чем пресловутая формула Байеса.
no subject
Date: 2017-04-07 07:49 am (UTC)Тут какое-то противоречие в терминах. Если у метода 95% точность (на самом деле, по-хорошему, должны указываться вероятности ошибок 1-го и 2-го рода отдельно), значит, с вероятностью 95% у нас именно то, что он сказал.
no subject
Date: 2017-04-07 08:16 am (UTC)P.S. Всегда говорил, что за "ошибки 1го и 2-го рода" надо долго бить, ибо вообще не понятно что есть что. Особенно автора термина. Есть false positive и false negative :)
no subject
Date: 2017-04-07 08:22 am (UTC)Насколько я помню, априорная вероятность события, это если испытуемый - случайный человек с улицы. Там именно 1% и будет. Апостериорная - после того, как "Метод, у которого точность 95%" сказал, что ой. Если формула говорит, что у нас даже после этого апостериорная вероятность составляет всего 1.87%, то что-то не так или с формулой, или с маркетинговыми заявлениями про 95%
no subject
Date: 2017-04-07 08:27 am (UTC)C формулой Байеса несколько веков как всё так :)
А "скорректированную априорной веротяностью" точность мы не можем включать в паспорт, потому что это не свойство прибора. Это свойство выборки. Можем, разве что внести табличку "если, то".
no subject
Date: 2017-04-07 08:54 am (UTC)Но в общем понял, да, что если мы откуда-то точно знаем про нулевую вероятность заболеть раком (его вообще не существует в этом мире), то плевать нам, что прибор показывает, если только мы откуда-то точно так же не узнали вдруг, что его "точность" = 100%, а в данном примере он всего лишь увеличил апостериорную вероятность в 187 раз.
По тексту поста: с игрой на миллион ещё есть такая фишка, что реальный ущерб при проигрыше миллиона значительно превышает реальный выигрыш при выигрыше миллиона. Этот самый "реальный" выигрыш или ущерб уже не совсем в деньгах меряется, потому что там уже вся система в разнос пойдёт. Или даже в деньгах можно, но на логарифмической шкале: если у меня был миллион, и я его проиграл, то мои финансы уменьшились в бесконечное количество раз, а если я выиграл миллион, то они всего лишь увеличились в 2 раза, сравниваем бесконечность vs 2 - и делаем выводы.
no subject
Date: 2017-04-07 09:31 am (UTC)TPR | FNR
FPR | TNR
=
0.95 0.05
0.05 0.95
>По тексту поста:
Да, я примерно это и хотел сказать. Логарифмическая и относительная шкала в голову не пришли, спасибо за пример :)