Блог им. Replikant_mih

А все же осознают, что в хвосты попадают не случайно?

Т.е. закономерно, что туда кто-то попадет, закономерно какая доля туда примерно попадет. Но закономерно и то, кто куда попадет.

 

Речь, понятно, о распределениях случайной величины. Чтоб не уходить в абстрактные дебри (с риском потери нити) сразу на примере. Случайная величина – среднегодовая доходность трейдера через 5 лет торговли.

 

Просто часто слышу, что постоянно все списывают на ошибки выжившего, на распределения. Из 1000 фондов 3 перформят очень хорошо, а в среднем 1000 очень даже хреново – ну эти парни случайно попали в хвост, через пару лет на их месте будут другие. Несколько чуваков отлично торгуют руками – ну, нет смысла даже смотреть что они делают, случайно залезли в хвост, ошибка выжившего – мы на это не купимся, не будем смотреть что и как они делают.

 

Булщит по-моему.

 

Распределения случайной величины выглядят так (нормальное распределение, например) не просто так. Можно взять простую модель и разложить результат как совокупность влияния факторов. Так вот если все факторы складываются хорошо, то и результат скорее всего будет хороший и результат попадет в положительный хвост. Так вот эти самые факторы обычно вполне себе контролируемые вещи. В нашем примере с трейдером, если чел четко анализирует обратную связь и улучшается на основе нее (один фактор), не глуп (другой фактор), имеет некоторый благоприятствующий психотип (ещё фактор) и т.д., то он, конечно, может попасть в самое любое место распределения, но мат. ожидание все-таки будет прилично смещено относительно общей выборки.

 

Или на примере бэктестов (обычные стратегии или ML модели). Вот я разложил на факторы (читай параметры стратегии), вот я проанализировал влияние этих факторов на результаты, выявил закономерности этого влияния. Вот я убедился, что будучи в пучке факторы как-то по-хитрому не начинают взаимодействовать (вместо складывания эффекта происходит что-то другое). Вот я выбрал набор параметров, который исходя из этой логики должен хорошо перформить, будет он это делать? – Не знаю, скорее всего да, но вполне возможны и выбросы куда угодно, но вот мат. ожидание будет смещено относительно общей выборки.

★2
56 комментариев
Красивое рассуждение.

Но правильным оно будет только в том случае, если на рынке вообще существуют стратегии с положительным МО.

Так, на рулетке существуют успешные игроки, но большинство все же попадает в хвосты. И совершенно понятно, почему это происходит.

С уважением
avatar

Мальчик Buybuy, спасибо).

 

Ну, аналитически, дедуктивно доказать, что стратегии с положительным мат. ожиданием существуют, вероятно, нельзя, но это не значит, что их нет, как-то так).

avatar
— Шура, ещё пару лет, и ваши рыжие кудри примелькаются, и вас просто начнут бить...
— Что же делать? Как снискать хлеб насущный? ©

 Ничто не ново под Луной...
avatar
О'Грин, ну вот и что прикажете делать, когда тебе под постом написали коммент, а ты не понимаешь про что он). Проигнорировать — невежливо), лайкнуть… а если там что-то нехорошее).
avatar
Replikant_mih, Это я к тому, что описанная Вами ситуация была уже заключена в эти две фразы ещё 100 лет назад Ильфом и Петровым.
avatar

О'Грин, Вот поэтому я и не читаю художественную литературу, прочитал бы эту фразу и ничего не понял), как и щас), хотя знаю с ваших слов, что там есть смысл — все равно не улавливаю)). 

avatar
Replikant_mih, и советские фильмы вы не смотрели.Поэтому сейчас и «открываете Америку». Что ж, сочувствую...
 Ну, кто не брезгует разносторонним развитием — тот понял, о чём я.
А вам проще просто игнорить меня, я больше не буду... 
avatar
О'Грин, Да, я на парках юрского периода и терминаторах взрощен)), хотя советское всякое тоже смотрел, но не фанат.
avatar
а если строить модель от обратного.
к примеру у вас виртуальный портфель и не один а 10
к примеру три портфеля в жутких просадках ( в хвостах)
 а из этих трех один обязательно в полной Ж.  — так сложились факторы.
И вот вы на основании этих 10 портфелей, берете и покупаете в реале всё то что в самом забвении в полном этой Ж.
Очень велика вероятность что портфель вернется к средним значениям, а вы получите системную прибыль 
avatar
Черный Живоглот, По-моему в вашем примере немного про другое). Но да, это может сработать.
avatar
А можно было в три строчки все это уложить и намного понятнее. Все равно основная суть не рассказана.
avatar
Vladimir N., Можно в 3, можно в 2, можно в 1. Можно в 3 слово. Только когда будешь разжимать информацию окажется что нельзя из меньшего сделать большее)). Не, ну и всегда можно написать свой пост где будет лучше, красивее, короче, главное).
avatar
Если в хвосты попадают только 5-10% и эта цифра  не отличается от случайного попадания, то такое попадание случайно, иначе эта цифирь была бы существенно больше чем при случайном попадании.
Т.е., неслучайные попадания статистически неразличимы в общей массе.
avatar

3Qu, нет).

 

То что факторы складываются красиво (а как я написал, факторы это не хаос, это вполне системные вещи (многие из факторов)), то ты закономерно будешь попадать в хвост общей выборки. Другое дело что такое совпадение по факторам редкий кейс. Пусть у нас 3 бинарных фактора и благоприятствующий кейс это 3 единицы. Вероятность 1/8. Если больше факторов или значений — ещё много меньше, но все эти кейсы сами по себе будут иметь совсем другое распределение, но их мало. И они и формируют хвосты. Я честно, не задумывался на тему — есть ли некие истинно случайные отклонения или закономерные отклонения — по-моему это ближе к философии уже). 

avatar
Хвост хвосту рознь. Если это однородное распределение, с одинаковыми параметрами для каждого наблюдения — то попадание в хвост это попадание в хвост, просто ошибка выжившего. Если же распределение — это на самом деле смесь разных распределений, с разными средними — то попадание в хвост может быть случайным, а может быть закономерным (если вы умеете средним управлять).

Про «ошибку выжившего» же обычно говорят в другом контексте, когда верна нулевая гипотеза, а нам на основе аутлаера пытаются доказать обратное.

То есть, например, нулевая гипотеза: «нельзя стабильно зарабатывать на рынке +100500% годовых». Ее пытаются опровергнуть предъявлением Васи Пупкина, которому за последние 6 месяцев это удалось. Тут и говорят про ошибку выжившего. Подтверждает ошибка тем, что про истории, когда Вася Пупкин зарабатывал +100500% хотя бы 3 года подряд — уже никто не пишет, то есть, видимо, их нет.

Вы же при анализе бэктеста не взяли комбинацию параметров, дающую самый суперский результат на истории — а попытались выявить общие закономерности, например, как средний результат зависит от длины окна. Это уже к ошибке выжившего и хвостам не имеет отношения — вы как раз таки предположили, что можете предсказывать среднее у распределений, и пытаетесь найти наблюдения со средним выше «среднего среднего».
avatar

MadQuant, 

>>«Вы же при анализе бэктеста не взяли комбинацию параметров, дающую самый суперский результат на истории — а попытались выявить общие закономерности, например, как средний результат зависит от длины окна. Это уже к ошибке выжившего и хвостам не имеет отношения»

 

Ну как же. Если бы я не выявил закономерность и не посмотрел «под капот», то типа вот эти все распределения это какой-то типа хаос, туда случайно попадают и т.д., а я взял хвост (в примере со стратегиями) и, условно, препарировал его. Показал, что там не особо случайные пассажиры.

avatar
Replikant_mih, см. исходный посыл — это вы уже взяли хвост и построили модель для условного среднего у каждого наблюдения. Но и с таким более высоким средним будут наблюдения в правом хвосте, а будут в левом.
avatar
MadQuant, да, но если я все сделал по красоте, то большая часть будет в правом, что и говорит о том что наблюдения распределяются по распределению не просто так. Это и был мой исходный посыл в посте. Если взять 1000 условных биллов гейтсев (на раннем этапе), конечно, парочку из них сопьется и т.д., но средний результат, уверен, будет много выше среднего по выборке. 
avatar
Replikant_mih, но если вы в любой выборке возьмете самое-самое правое распределение или несколько таких — это почти всегда будет «ошибка выжившего». Большая доля их результата будет просто результатом случайности, какая-то доля (да, ненулевая, но очень далекая от 1) — результатом закономерных факторов. Билл Гейтс, конечно, умный и работоспособный парень, но таких на планете миллионы. Но далеко не всем удается стать миллиардерами — для этого надо по меньшей мере несколько раз в жизни оказаться в нужном месте в нужное время.
Саймонс, кстати, о том же когда-то сказал: smart-lab.ru/blog/394446.php

Это если мы разбираем именно реальные кейсы (людей, биржу). В некоторых более детерминированных системах, где средние хорошо обусловлены — конечно, вы можете гораздо более точно предсказывать исходы.
avatar

MadQuant, Ну да, Биллы Гейтсы это будет не точка в пространстве, а тоже распределение, может оно и не далеко уйдет от распределения совокупной выборки, кто знает, но уйдет. Короче, я не вижу противоречий), такое явление как условная неслучайность попадания в хвосты имеет место быть, но конечно не в виде "- ваш билетик… у вас тут все хорошо по факторам, пройдите в хвост салона".

 

Утром вот опять наткнулся на речь Шварценеггера — вот при таких установках в голове просто очень сложно не прийти к успеху, очень сложно.

Да даже если и нет. В любом случае мне такой фатализм не близок, чисто психологически мой мозг отвергает такую картину мира, где факторы, твои усилия и т.д. не влияют на мат. ожидание результатов.

avatar
Replikant_mih, факторы, конечно, влияют (и я об этом сам писал), но и роль случайности нельзя недооценивать. Саймонс, собственно, ровно об этом писал.
«Средний отличник» будет зарабатывать в среднем лучше «среднего троечника», но далеко не факт, что станет миллиардером. Даже если будет очень стараться и создавать для этого все условия.

Шварцнеггер, конечно, молодец, но на планете очень много упертых качков. А губернаторами-миллиардерами становятся буквально единицы.
avatar

MadQuant, так Шварц крут не потому что качок), а потому что в голове правильные установки. 

 

>>«но и роль случайности нельзя недооценивать»

Я бы так резюмировал: недооценивать случайность опасно, а переоценивать вредно :). Первое — думаю, понятно почему — это все про риски. А второе — если переоценивать, это не способствует мотивации что-то делать, крутиться, менять.

avatar
Replikant_mih, оставлю здесь Саймонса просто на всякий случай:

Мой вольный перевод:
«Что сказать о воле случая? По моему мнению, случай — самый главный, с большим отрывом, фактор в нашей жизни. Разные события ничтожной вероятности — где вы рождены, кем, на ком вы женились, ваша первая работа, университет, который вы выбрали — имеют огромное влияние на нашу жизнь. Люди склонны отрицать важность случая. Мы любим логичные обоснования. Например, во время баскетбольного матча происходит огромное множество случайностей. Если игрок делает три попадания подряд — он действительно в ударе. Большую часть времени это чистая случайность. Конечно, комментатор не хочет говорить „О, Боже! Еще одно случайное событие!“ Это не круто, поэтому он приводит логичное обоснование. Но это просто случайность. Не все случайности являются для нас хорошими, но за нашим перформансом стоит больше удачи, чем даже я могу признать»

Дж. Саймонс [математик-миллиардер, основатель «Renaissance Technologies», самого успешного хэдж-фонда в истории], 17 июня 1999
avatar

MadQuant, Это уже близко к философии, можно вспомнить эффект бабочки и прочее — примерно про то же самое.

 

Я например, когда-то давно увлекался NLP, не которое про ML, а то старое, которое программирование. И на себе чувствовал эти эффекты — в данном случае про то, как внутренние установки «выстраивают» события таким образом что они начинают как бы магическим образом благоприятствовать общей цели.

avatar
Replikant_mih, так эффект плацебо никто не отменял — вы хотели, чтобы оно работало — и оно как бы работало (как минимум, вам так казалось).
Я предпочитаю научные дисциплины, НЛП к таким не относится. То есть, можно, конечно, внушить себе, что вы успешны и счастливы — и так оно и будет, поскольку это субъективные понятия. Но есть ли исследования объективного влияния НЛП на вероятность выиграть в рулетку или уровень благосостояния?
avatar

MadQuant, Ну, там бинарная классификация)), люди ставят цели и добиваются или не добиваются)), я тоже поставил для теста тогда одну цель, ничего космического, но иначе я бы её не достиг скорее всего и сработало. 

 

>> «Я предпочитаю научные дисциплины, НЛП к таким не относится.»

Ну, мировоззренческий вопрос, кому как больше нравится так сказать. Я в где-то в школе перерос левополушарный максимализм (назовем это так).

avatar
Replikant_mih, не знаю что такое «левополушарный максимализм», нечто либо объективно работает, либо нет, для этого есть объективные способы проверки. И по ним НЛП официально признано псевдонаукой.
avatar

MadQuant, Левополушарный максимализм — это я термин только что придумал)), но сам образ уже какое-то время в голове крутился — это когда человек слишком заморочен на логике, «научности» и т.д.

 

НЛП, конечно, не наука, но оно работает. Музыка не наука, но музыкальные произведения нравятся, что-то не обязано быть наукой чтобы работать))). Не знаю, что там признано псевдонаукой, вообще очень странно звучит, потому что НЛП никогда себя, вроде, и не позиционировало как наука).

 

По поводу объективной проверки. Чего конкретно проверять-то?) — Там миллион прикладных техник и методик, большинство очень про разное. Если говорить чисто про достижение цели, ну ты ставишь объективную четко верифицируемую цель и ты её достигаешь. Блин, хочу машину к 27 сентября 2027 года — у тебя либо есть машина по состоянию на 27 сентября 2027 года либо её нет. Плацебо тут тоже никак не притянуть), плацебо позволило тебе почувствовать себя крутым, успешным, умным и креативным… а это позволило тебе заработать на машину? — это значит что для цели «купить машину к 27 сентября» НЛП не работает и плацебо?)

avatar
Replikant_mih, то есть вы просто поставили цель и выполнили ее? Тогда при чем здесь НЛП? Это просто менеджмент. Ну да, если захотеть машину и лежать на диване, мечтая ее получить — машина навряд ли приедет)
НЛП — это про развитие личности, межличностное взаимодействие и даже терапию, с привлечением неврологических принципов, примерно того же уровня хрень, что книги Бодо Шефера (https://en.wikipedia.org/wiki/Neuro-linguistic_programming).
Что псевдонаучного? Ну то, что якобы рабочие подходы, которые они предлагают, связанные с неврологией, при экспериментальной проверке не дают результата, на достижение которого они рассчитаны.

А то, что вы решили купить машину к часу Х, и купили ее, к достижениям НЛП никакого отношения не имеет)
avatar

MadQuant, >>«то есть вы просто поставили цель и выполнили ее? Тогда при чем здесь НЛП? Это просто менеджмент.»

Ну при том что НЛП это не только про дышать в ритме собеседника))). Так-то там много всего, в т.ч. про то, как думать, в т.ч. про то, как думать чтобы достигать целей.

 

Вообще НЛП никогда на научность не претендовало, но если у кого-то жажда разоблачать, то ок. Могу ещё идею разоблачителям подкинуть: разоблачить что нейролингвистическое программирование никакое не программирование))) и к IT отношение не имеет.

avatar
Replikant_mih, чтобы спорить, надо сформулировать тему спора — в частности, что такое НЛП в обсуждаемом контексте.
Пока то, что я слышу — вы подходы обычного менеджмента, типа постановки и достижения целей, зачем-то записываете в заслуги НЛП. При том, что в НЛП целей надо достигать не традиционным для менеджмента способом, а вполне особенным (и не подтвержденным наукой).
По поводу того, что «НЛП не претендовало на научность» — вы не правы,
претендовало, этим НЛП все научные журналы по психологии 80-х и 90-х были исписаны. Когда пришли к консенсусу, что это хрень — писать перестали.
avatar

MadQuant, Не, ну если я пишу что я использовал НЛП для целеполагания — конечно, имею в виду, что я это делал в соответствии с тем как об этом говорит НЛП — там модальности всякие, визуализации и прочее. Ну и, конечно, ничто не существует в вакууме, менеджмент, не менеджмент, НЛП что-то заимствует, более того создано оно было, собственно, как считывание с успешных, эффективных людей способов того, почему они, предположительно, успешны и эффективны. 

 

Про научность — ок, может быть, я чуть позже чем в 80-90-е этим вопросом занимался), не застал).

avatar
В ваших рассуждениях изначальный посыл неверный… Биржа — это неслучайный процесс. По крайней мере, он регулярно становится жестко детерминированным. А точнее  — это хаотический процесс...

Активный Инвестор, Хотел в тексте написать сначала дисклеймер про то, что есть случайный процесс), но потом удалил абзац), видимо зря.

Случайная величина — не величина непредсказуемая в принципе, хаотичная и т.д. В случайной величине нельзя достоверно предсказать исход конкретного испытания, но работать с выборкой очень даже можно.

avatar
Replikant_mih, 
но работать с выборкой очень даже можно.
  работать можно с чем угодно… На рулетке работает крупье… но игрок тоже считает, что он работает… И фильм «21» тоже про то как ученые работают за карточным столом. Кстати, «горячая колода» — это в чистом виде как индексный маркетмейкер работает с портфелями акций… Теорвер там вообще ни при чем…
Выходит, что вы заявляете: «доходность в прошлом повышает вероятность получения доходности в будущем». А нас тут учат наоборот… Странно.
avatar
Kot_Begemot, нуу, не совсем. Скорее так: доходность, конечно, может быть совершенно случайной, но не всегда так. 
avatar
Replikant_mih, если доходность не совершенно случайна, значит есть ещё над чем работать — говорит А.Г. Не знаю, правду он говорит или нет…
avatar

Kot_Begemot, Конечно есть над чем работать, это и надо делать).

 

Говорит ли А.Г. правду — если «правда» с точки зрения говорит ли он так как сам считает, то уверен, что говорит правду. А если «правду» в смысле говорит так как на самом деле мир устроен — тут не знаю).

avatar
Victor Gromov, Я ещё тогда эту аналогию не очень понял)).
avatar
Victor Gromov, оч скучно все это.( Но близко к тому, что есть на самом деле.
С большими деньгами в %% много не заработаешь, т.к. макроуязвимостей, пожалуй, и нет.
С мелкими деньгами в %% заработать можно до фига, т.к. микроуязвимостей полно. Но %%, это не сумма прописью, а суммы прописью на что-то значительное никак не тянут.
avatar
Victor Gromov, 
Ну а насчет емкости уязвимостей, тут наверное стоит сказать, что мелкие уязвимости менее устойчивы и в большинстве случаев не стоит за ними гоняться.
На самом деле микроуязвимости оч устойчивы, но, повторюсь, много денег получается только в %%, а сама сумма весьма невелика. Но, сравнима с инвестициями под 10-20% годовых с гораздо большими деньгами.
avatar

Victor Gromov, Ну дак везде же так), это фундаментальные принципы экономике, нам это на эк. теории чуть ли не на первой лекции рассказывали — про то, что ресурсы ограничены, а желания нет). Ну а дальше из-за этого возникает конкуренция, а дальше побеждают сильнейшие, понятно. Ну и сильнейшие забирают очень много, а слабейшим остается очень мало. 

 

Трейдинг такие же джунгли как и настоящие джунгли, выживают сильнейшие.

avatar
Пост о том, что высокие люди результативнее играют в баскетбол, чем низкие.
avatar
MS, Если кратко, то да).
avatar
Replikant_mih, там выше было про одним предложением.
avatar
А разве «толстые хвосты» не доказывают наличие автокорреляций в цене? А значит, что на этом можно сделать игру с МО <> 0?
avatar
ivanovr, не знаю, не подскажу по этому вопросу).
avatar
Влад, А я и не налегал на то, что оно нормальное), но выглядит как нормальное, есть пик, есть хвосты, этого для данного контекста достаточно.
avatar

теги блога Replikant_mih

....все тэги



UPDONW
Новый дизайн