Меморандум об историческом тестировании

Нет никакого смысла настраивать (оптимизировать) торговую тактику при помощи тестирования на исторических данных. На коротких тестовых периодах единичные сильные движения, которые возможно вообще никогда больше не повторятся, существенно искажают выводы. В свою очередь результаты, полученые на длительных исторических периодах, если и будут оптимальны, то только на длительной дистанции, что совершенно не гарантирует их актуальность в ближайшем будущем.

Тестирование стратегий тест на истории системная торговля

городок

107

7 977

с 15 сентября 2012

39 Комментариев

Igr
02 декабря 2016, 11:10
история повторяется вообще, в принципе, и почему она не может повторятся на графике?
люди то не меняются, желания не меняются
+1
- TT
  02 декабря 2016, 11:22
  Igr, Вот именно, что история повторяется «вообще, в принципе». Но на практике, конкретно сейчас, она не может сказать лонг или шорт (фиксируем профит или даем течь, ставим далекий стоп или близкий и т.д.). Если случится рост, то повторится одна история, если падение, то другая.
  
  Если исследовать короткие промежутки, то маловероятно что в будущем случится такая же история. Если исследовать длительные, то маловероятно, что такая же история случится именно сейчас.
  +1
PSH
02 декабря 2016, 11:28
Разумно разбить крупный период на много некрупных и изучать серию результатов.
+2
- TT
  02 декабря 2016, 11:36
  PSH, Вопрос как оценивать эту серию. Если отбросить экстремальные выносы, что разумно, то можно лишить себя удовольствия, пусть хотя бы случайно, заработать хороший профит.
  0
PSH
02 декабря 2016, 11:59
А оценкой Вы себя экстремального профита не лишите. Он просто будет приятной незапланированной неожиданностью, если случится. На истории-то от экстремальных профитов какое удовольствие, пусть будет, лишь бы экстремальных просадок не случалось, с ними надо разбираться внимательно.
0
- TT
  02 декабря 2016, 12:12
  PSH, Мне кажется, что просадку вообще невозможно контролировать посредством торговой тактики. Она должна быть ограничена рабочими объемами, торговыми лимитами и т.д.
  0
  - PSH
    02 декабря 2016, 12:29
    TT, любой гэп на открытии тут с Вами поспорит :)
    0
    - TT
      02 декабря 2016, 12:35
      PSH, Я думаю, что нужно либо иметь сайз, которому будут некритичны утренние гепы, либо не переносить позицию через ночь. :)
      0
      - PSH
        02 декабря 2016, 12:40
        TT, Уважаемый, как Вы себе это видите на практике? Сайз, которому будут некритичны утренние гэпы, он какой? Если Вы ограничиваете разговор исключительно внутридневной безмаржинальной торговлей — дело Ваше, конечно, лично мне казалось, что тема несколько шире.
        К тому же, не имеет никакого значения, «критичен» (что это значит?) утренний гэп или еще что-то или «некритичен». В любом случае, экстремальные просадки на тестировании (экстремальные следует понимать в смысле «нетипично большие») будут в любом случае, это следует из кривой нормального распределения.
        +1
        TT
        02 декабря 2016, 12:43
        PSH, Я же написал либо, либо. Т.е. безмаржинально (маломаржинально) пересиживаем геп или внутридневно его не торгуем вообще.
        0
        TT
        02 декабря 2016, 12:53
        PSH, Вообще-то нормальное распределение описывает случайные величины. Я не хотел бы торговать систему, в которой просадка случайна.
        0
        SECRET
        02 декабря 2016, 12:55
        TT, вы торгуете систему, у которой просадка не случайная величина, а константа, высчитанная без погрешностей с точностью до 10000000 знака после запятой? :)
        0
        TT
        02 декабря 2016, 13:04
        SECRET, Нет, ну погрешность, конечно, какая-то есть… :) Тут нужно прояснить, что же имеется ввиду под просадкой. Если экстремальная просадка- это разовый крупный убыток, мне показалось, что об этом идет речь, то случайность тут минимальна, т.к. есть стоп. Если же просадка- это серия убытков, то экстремальная просадка вообще означает конец стратегии.
        0
        PSH
        02 декабря 2016, 14:13
        TT, Вы пытаетесь «торговать» инструменты, приращения которых (что есть прибыли и убытки) которых квазислучайны (это можно легко проверить, просто продифференцировав ряд котировок по времени). Соответственно, ваши прибыль / убыток на сделку также будут быть близки к гауссиане (Вы должны были увидеть это в любом тестере, запустив его). Результат вашей торговли будет представлять собой также квазислучайный процесс с некоторым положительным (в хорошем для Вас случае) матожиданием и некоторой дисперсией. Чем ниже дисперсия — тем для Вас лучше, но нулевой сделать ее не получится.
        0
        TT
        02 декабря 2016, 14:24
        PSH, Приращения цен случайны, не спорю. Но прибыль/убытки… В этом и заключается задача трейдинга, чтобы они были не так случайны, как приращения. Иначе откуда возьмется положительное матожидание?
        0
        PSH
        02 декабря 2016, 18:02
        TT, Вам бы теорвер освежить :)
        Если процесс случайный, это, как бэ, никак не запрещает ему иметь любое отличное от нуля МО :)
        0
        TT
        02 декабря 2016, 18:26
        PSH, Было бы что освежать. Мы на разных языках разговариваем. Для меня случайность — это то, что с вероятностью 0.5. А матожидание — это скорее ожидаемая полезность. Ниже уже обсудили.
        0
        TT
        02 декабря 2016, 12:57
        PSH, Критичен — не критичен, имеется ввиду, что геп не сможет нанести фатального ущерба вашему счету, будет в пределах рисков, которые вы готовы брать на себя.
        0
        SergeyJu
        02 декабря 2016, 13:19
        PSH, Если не говорить о скорострельных алго, которые на ночь поз не оставляют, то риск я бы оценивал исходя из двух разных идей.
        1. Риск, достигнутый системами на историческом тестировании с поправкой на переоптимизацию. Ну, типа махДД, если этот параметр не оптимизировался.
        2. Риск как некий % от совокупной открытой позиции на ночь.
        В итоге по моим расчетам получается, что торговать, скажем, на ФОРТС большое плечо нельзя! Под плечом я понимаю отношение номинала открытой позиции к обеспечению. Ни в коем случае не ГО.
        3. Следовательно, существенную долю портфеля должен составлять безриск, например ОФЗ. Существенная, имхо, это от 30% до 70%.
        0
SECRET
02 декабря 2016, 12:08
Ну да, вы правы. И тысячи трейдеров, которые зарабатывают благодаря тому, что оптимизировали свою стратегию на исторических данных вам рукоплещут :D
+5
- TT
  02 декабря 2016, 12:16
  SECRET, Так уж и тысячи… :)
  0
- Чёрный кот
  02 декабря 2016, 13:29
  SECRET, +1
  0
Александр Муравьев
02 декабря 2016, 13:20
Тестирование на истории — это не только попытка спрогнозировать прибыль и просадку.
А также, например, возможность определить среднюю сделку, которая сама по себе отдельный важный показатель, хотя и связанный с прибылью.
0
- TT
  02 декабря 2016, 13:30
  Александр Акулов, Вопрос не в том, что мы можем узнать в результате теста, вопрос в том, что потом с этим делать? Вот определили вы среднюю сделку. Если выборка у вас маленькая, то в будущем средняя сделка будет другая. Если выборка большая, то средняя сделка может и будет такая же в далеком будущем, но в ближайшем будущем она снова будет совсем другая.
  0
  - Александр Муравьев
    03 декабря 2016, 18:44
    TT, речь не о том. Если средняя сделка будет маленькая, то такую систему вообще торговать не стоит. Так вы сможете отсеить треть сливных систем, которые кажутся прибыльными. Треть — это уже неплохо)
    0
    - TT
      03 декабря 2016, 19:59
      Александр Акулов, В этом смысле полностью согласен. Просто изначально я имел ввиду оптимизацию тактики, а не ее выбор.
      0
Чёрный кот
02 декабря 2016, 13:29
Пост полный бред! Как тогда проверить стратегию?

Тренды повторяются, это можно увидеть просто взглянув на график.
0
- TT
  02 декабря 2016, 13:33
  Чёрный кот, Зевая… Единственное, что повторяется в трендах, так это то, что они внезапно заканчиваются.
  0
  - Чёрный кот
    02 декабря 2016, 13:51
    TT, от этого спасает трейлинг стоп)
    
    0
А. Г.
02 декабря 2016, 13:46
Историческое тестирование дает нам лишь будущее распределение доходностей (в том числе и с отрицательным «хвостом») и рисков. БОльшего от него ждать не стоит. А какой исход этого распределения реализуется на следующем шаге конечно неизвестно, чтобы получить близкое к средней, надо сделать много шагов.
0
- TT
  02 декабря 2016, 14:10
  А. Г., Слишком много шагов для меня…
  0
старый трейдер
02 декабря 2016, 14:14
Вполне справедливо, если добавить в текст топика оговорку: при подходе к рынку как к шуму. Как только вы попытаетесь вычленить из «случайного блуждания толпы» поведение отдельных людей или групп — ситуация может измениться. А. Г., как понимаю, тоже упорно игнорирует психологические особенности людей.
0
- TT
  02 декабря 2016, 14:33
  старый трейдер, Текст относится к торговой тактике, что в моем понимании есть определение точек входа и выхода в условиях краткосрочного рыночного шума. Стратегия же, на мой взгляд, т.е. направление тренда, обязательно должна определяться с учетом внешних (по отношению к цене) факторов.
  0
  - старый трейдер
    02 декабря 2016, 14:58
    TT, «рынок совершенно случаен для абсолютно неосведомленного наблюдателя» smart-lab.ru/blog/255333.php
    рынок совершенно случаен для абсолютно неосведомленного наблюдателя
    0
    - TT
      02 декабря 2016, 15:52
      старый трейдер, Да. Когда наблюдатель неосведомлен не абсолютно, а имеет какую-то минимальную осведомленность, то рынок для него уже как бы не совершенно случаен, а несколько определен. Но для того, чтобы эту минимальную осведомленность реализовать в профит, необходимо минимизировать воздействие оставшейся случайности, ибо что толку от правильного прогноза, если у вас не хватило маржи или выбило стоп. Для этого необходимо как-то подстраиваться к этой случайности и искать оптимальную торговую тактику. Так вот я и зафиксировал для себя, что искать эту тактику посредством исторической оптимизации не имеет смысла, она не дает ответа на вопрос как торговать свой прогноз.
      
      Что касается обсуждения по ссылке, то как я понимаю, уважаемый А.Г. рассматривает вопрос с чисто математической точки зрения, считая случайным все, что содержит в себе хоть малейший элемент случайности. Ничего не могу возразить по этому поводу. В таком случае рынок не может быть случаен в разной степени, полностью или частично.
      0
      - PSH
        02 декабря 2016, 18:06
        TT, «Подстраиваться к случайности» невозможно, на то она и случайность. Возможно лишь прожить достаточное количество итераций, чтобы сумма результатов прижималась к МО.
        
        Плюс к тому, рынок является квазислучайным, случайным он не является. Это, опять же, легко проверить, накинув гауссиану на распределение приращений — распределение приращений явно не гауссово, хоть и немного похоже :).
        0
      - старый трейдер
        05 декабря 2016, 13:53
        «Когда наблюдатель неосведомлен не абсолютно, а имеет какую-то минимальную осведомленность, то рынок для него уже как бы не совершенно случаен, а несколько определен. Но для того, чтобы эту минимальную осведомленность реализовать в профит, необходимо минимизировать воздействие оставшейся случайности, ибо что толку от правильного прогноза, если у вас не хватило маржи или выбило стоп. Для этого необходимо как-то подстраиваться к этой случайности и искать оптимальную торговую тактику.» — отлично, попробуйте исходить из этого, стараясь не _фиксировать для себя_ ничего, относясь к любым выводам, — как к промежуточным/условным.
        
        Мой комментарии в топике А.Г. — попытка подсказать, что он рассматривает рынок со своей точки зрения, а не с математической.
        0
Cristopher Robin
02 декабря 2016, 17:46
подписал меморандум
+1
matrix
03 декабря 2016, 23:38
молодцы! все верно :)
0