Ценная подборка #6. Неправильное представление о шансе. Выбор значимого периода данных при тестировании торговых систем.
Большинство людей ожидает, что последовательность событий, генерируемых случайным процессом, будет содержать характеристики этого процесса даже тогда, когда эта последовательность крайне мала. При рассмотрении результатов подбрасывания монеты и выпадения орла (О) или решки (Р) большинство людей посчитает, что выпадение последовательности
ОРОРРО
намного более вероятно, нежели выпадение последовательности
ОООРРР,
которая не кажется случайной, и уж наверняка более вероятно, чем выпадение последовательности
ООООРО,
которая на первый взгляд вообще отрицает «честность монеты».
Люди наивно полагают, что базовым характеристикам случайного процесса будет удовлетворять не только общее множество его исходов, но и каждая часть этого множества. Однако характеристики подмножества множества исходов могут систематически отклоняться от базовых. В подмножествах могут появляться статистические выбросы, воздействие которых не будет нивелироваться из-за малого количества исходов, входящих в подмножество. Но большинство людей игнорирует это соображение, так как мгновенно чувствует случайную регулярность в абсолютно случайном наборе событий, и на основе этой случайной (ни на чем не основанной) регулярности принимает решения. Подобный факт получил название заблуждение «горячей руки».
Среди обозревателей и участников игры в баскетбол широко распространено мнение о том, что игроки иногда бывают «горячими», а иногда «холодными» по отношению к своей средней результативности. Другими словами, игроки иногда забивают больше, а иногда — меньше по сравнению со своей средней результативностью. Исследователи проанализировали результаты бросков игроков в сотнях игр и не выявили никаких значительных отклонений от средней результативности игроков.
Заблуждение «горячей руки» не исчезает, когда мы переходим из мира спорта в мир финансов. На финансовых рынках в качестве игрока можно рассматривать любого инвестора, а в качестве заброшенных им мячей — доходность, которую он получает от проведения финансовых операций.
Например, менеджер инвестиционной компании (паевого инвестиционного фонда), которая под его управлением достигала высокого дохода несколько лет подряд, получает беспрецедентную уверенность в своих силах (но самое главное, что его уверенность передается его клиентам). Он начинает уделять меньшее внимание действительно значимым факторам и большее — своим иллюзиям (интуиции). А подобное поведение может привести к принятию неверных инвестиционных решений и, как следствие, убыткам.
Другим примером человеческой веры в локальную репрезентативность выборки является хорошо известное заблуждение игрока. После того как на рулетке несколько раз подряд выпадает красное, большинство людей начинают (наивно) ожидать, что уж теперь-то наверняка должно выпасть черное. Эти люди считают, что выпадение черного будет более «репрезентативно» для рулетки, нежели очередная реализация красного. Они полагают, что шанс является саморегулируемым процессом, в котором отклонения в одну сторону непременно должны компенсироваться отклонениями в другую для восстановления равновесия. Но на самом деле отклонения вовсе не обязаны «корректировать» друг друга.
Заблуждение игрока является прямым следствием непонимания закона больших чисел. Большинство людей (наивно) полагает, что закон больших чисел можно применять к небольшим выборкам абсолютно так же, как он применяется к большим. Подобное заблуждение Канеман и Тверски иронично назвали законом малых чисел.
Закон больших чисел гласит: при достаточно большом количестве наблюдений распределение стремится к нормальному.
Закон малых чисел гласит, что люди будут считать даже очень небольшие выборки репрезентативными по множеству, из которого они были получены.
Н.Б. Рудык
Мой комментарий.
При тестировании торговых систем важно не заниматься самообманом и исследовать результаты работы ТС на максимально длительных периодах истории (от 3-х и более лет). Подгонкой можно считать результаты за два года и менее. Надежной (теоретически) можно считать ТС, которая при тестировании, на любом периоде, продолжительной исторической выборки, показывала стабильные результаты.
Умиляет рекламма фондов, которые пользуясь законом малых чисел, демонстируют работу самых удачных периодов управления (как, например, это было после бурного роста 2009 года).
Верю автору, такое большое количество букв не может не быть веским аргументом..))) А если серьёзно, то я подбрасывал монету 200 раз, омечая столбиками по 10 подбрасываний. Из 20 столбиков 2 раза выходило 8/2 и 1 раз 9/1. Словами автора ОООООООООР или РРРРРРРРОО. И что вы думаете в конце? 98/102. Причем в каждой сотне то же 48/52 и 49/51…
Александр Дрозд, пожалуйста добавьте расчет в своем калькуляторе будущего до 40 лет минимум, так как это средняя продолжительность рабочего периода жизни человека. С 20лет до 60.
все было бы так Хорошо если бы не было наблюдателя. Который меняет исход 50/50 при подбросе монетки. ) исследования лаборатории pear princeton university 2007г (автор почитай) + есть еще стандартное распределение гаусса где конечно все стремится к 01010101 но если у тебя 0111x то след вероятнее что? 1 ) так как идет серия. а закончиться она когда будет 0 )т.е. разница где ты тестируешь огромна. И если ты увеличиваешь доходность то указание конкретного момента 111 ты обязан. Вся сложность в роботе и автоматике и есть в скорости поиска корреляции для маx профит. ) Сложно как-то написал но думаю понятно. (по простому) Вывод: Тест на большие дистанции хорош но эффективность и его результат 0 )
Будь гибким и быстро меняйся только тогда заработаешь.))) ИМХО
Роман, у Горчакова этот вопрос поднимался недавно. Согласен что на совсем длительном периоде = о т.к. именно на длительных периодах рынок процесс случайный. «А задача ТС в том чтобы иметь позицию открытой в том направлении, куда логическая связанность рынка порождает статистический сдвиг. Где логическая связанность порождается прошлым состоянием случайного рынка и текущим поведением игроков.» По Кургузкину.
Отличный пост с абсолютно неверными выводами. Если порассуждать, то:
1) Случайная величина на участке с выборкой < бесконечность не есть случайная величина с бесконечной выборкой
2) Рынок — случайное блуждание в бесконечном периоде (это даказали еще 50 лет назад)
Из первого и второго вытекает, что, чтобы заработать на рынке надо как минимум не анализировать большую историю и подбирать грааль (поэтому индикаторы все без исключения не работают)
Георгий, я с вами абсолютно согласен по обоим пунктам. Т.к. мы люди разумные, то и в крайности впадать не стоит тестируя систему на S&P500 за 30 лет, хотя было бы неплохо получить стабильный результат на данном периоде. 10 последних лет дадут более чем достаточную информацию о надежности системы и такие системы есть.
Есть еще одна интерпретация закона больших чисел:
большое количество случайных событий приводят к результатам не зависящим от случая…
Тестить систему на 30 годах или 10…
тут свои вопросы есть при бэктесте за эти периоды:
стоит производить переоптимизацию параметров ТС?
когда ее производить?
за какой период?
Уже при использовании ТС на реале — опять два последних вопроса
При бэктесте при неизменных параметрах обратите внимание на график доходности по годам — наверняка вы уведите периоды застоя, кт длятся 6-8-12-16… месяцев — насколько это приемлемо?.. без переоптимизации очень возможно что такие периоды будут
Из опыта тестирования скажу сразу самые лучшие результаты дают полуавтоматы — где нужно дорабатывать руками(останавливать систему в т.ч там где лажает программная часть и пр.)и работать вместе с автоматом — рынок меняется, а железяка этого не видит)))
BuFFeTT, 6-16 месяцев застоя на тесте это единственный знак — система не годится. Зачем полуавтомат, если можно автомат? Робот с руками это уже не робот, это киборг! ). Я иронизирую, простите уж.
а как же вот этот кусок из вашего же блога?
слова Механизатора
"— Как ты тестировал стратегии в 2002 году, если исторических данных было немного?
— Я не тестирую свою систему на всей истории, а смотрю только на текущий контекст.
Например, в прошлом году было сильное падение, а сейчас рынок уже другой.
Историю рынка нельзя рассматривать как нечто информативное.
Система должна смотреть на текущее его состояние и работать в сегодняшнем контексте. "
мне кажется, могут быть прибыльными алгоритмы на короткой истории и на длинной. Как я понял, вы же сами это подтверждаете в посте про систему на основе дата-майнинга, в которой параметры системы определяются алгоритмом. Я когда-то делал такую штуку для нейросетей. Правда, в теории очень прибыльно, а на практике нет
Sahka, Добрый день!
Все рабочие налоговые споры с ФНС (в частности по снижению налога на имущество/кадастровых налогов, являющихся существенной частью общей налоговой нагрузки) Компания регулируе...
У российских застройщиков появляется шанс? Сегодняшняя пресс-конференция Владимира Путина — это помимо всего прочего ещё и прекрасная возможность поддержать застройщиков, которые в последние месяцы ок...
У российских застройщиков появляется шанс? Сегодняшняя пресс-конференция Владимира Путина — это помимо всего прочего ещё и прекрасная возможность поддержать застройщиков, которые в последние месяцы ок...
*-август 2011)
Как они в августе 2011 получили 20% — непонятно.
Будь гибким и быстро меняйся только тогда заработаешь.))) ИМХО
1) Случайная величина на участке с выборкой < бесконечность не есть случайная величина с бесконечной выборкой
2) Рынок — случайное блуждание в бесконечном периоде (это даказали еще 50 лет назад)
Из первого и второго вытекает, что, чтобы заработать на рынке надо как минимум не анализировать большую историю и подбирать грааль (поэтому индикаторы все без исключения не работают)
большое количество случайных событий приводят к результатам не зависящим от случая…
Тестить систему на 30 годах или 10…
тут свои вопросы есть при бэктесте за эти периоды:
стоит производить переоптимизацию параметров ТС?
когда ее производить?
за какой период?
Уже при использовании ТС на реале — опять два последних вопроса
При бэктесте при неизменных параметрах обратите внимание на график доходности по годам — наверняка вы уведите периоды застоя, кт длятся 6-8-12-16… месяцев — насколько это приемлемо?.. без переоптимизации очень возможно что такие периоды будут
Из опыта тестирования скажу сразу самые лучшие результаты дают полуавтоматы — где нужно дорабатывать руками(останавливать систему в т.ч там где лажает программная часть и пр.)и работать вместе с автоматом — рынок меняется, а железяка этого не видит)))
слова Механизатора
"— Как ты тестировал стратегии в 2002 году, если исторических данных было немного?
— Я не тестирую свою систему на всей истории, а смотрю только на текущий контекст.
Например, в прошлом году было сильное падение, а сейчас рынок уже другой.
Историю рынка нельзя рассматривать как нечто информативное.
Система должна смотреть на текущее его состояние и работать в сегодняшнем контексте. "