06 мая 2016, 12:48

Вопрос-размышление об оптимизации стратегий на длительных периодах

Лирическое отступление (особо занятым алготрейдерам можно пропустить):
Всё чаще ловлю себя на мысли (и думаю не я один), что большинство постов на смартлабе в виде общеполитического срача, местечково-внутрисмартовских разборок и большинства торговых сигналов ничем, кроме ЧСВ и «интуиции», не обоснованных, носят достаточно мусорное содержание (этакий интеллектуальный фастфуд) и грубо говоря названию ресурса не соответствуют;) Весь этот мусор весьма напрягает и всё меньше становится желание даже просматривать основную ленту. Соответственно всё самое нужное нахожу в Алготрейдинге (Торговых роботах) и блогах смартовцев активно туда пишуших и комментирующих. Это как глоток свежего воздуха, спасибо всем активистам системной торговли!)

Основная часть:
Как опять же ;) думаю не я один заметил следующую тенденцию: при оптимизации стратегий на бэктестах на достаточно длительных периодах (несколько лет) более выгодно по доходности часто смотрятся параметры, при которых в начале периода стратегия колебалась в районе нулевой доходности, а ближе к концу тестируемого периода начала резко соответствовать рынку):

Период здесь 4 года.

И дело не в одной-двух удачных сделках, именно так легли серии, тейки и профиты, что в этой фазе система с такими параметрами была бы шоколадной) Как говорится знал бы прикуп… Я так понимаю это и называется переоптимизацией?;)

Соответственно логичный вопрос — как с этим бороться? Смотреть в первую очередь по классике — на красоту эквити на всём отрезке? Это получается несколько накладно по времени, если система с достаточным количеством/разбросом параметров. В Wealth-Lab при тестировании с симуляцией портфеля есть оценочный параметр Wealth-Lab Error Term, который измеряет именно отклонения от кривой капитала. Так же приходит в голову тестирование на отдельных фазах — год, полугодие и потом эмпирическим путём отбор параметров более-менее прилично показавших себя на всех стадиях, видимо потенциально это будут крепкие середнячки по доходности)

Есть ли ещё какие-то оценки, методы, позволяющие отсеять такие параметры стратегии, которые смотрятся волшебно только
на определённом участке (в данном случае обычно на конечном)?

Вот например таже простенькая ТС с немного другими параметрами и торгуемая одним и тем же количеством контрактов, без симуляции портфеля:

Эквити красивее, профит гораздо меньше, но на сколько я понимаю больше шансов получать прибыль на реальном рынке.

Техническое отступление:
Тестирую ТС в Wealth-Lab, но всё больше склоняюсь попытаться простенькие стратегии на длительных периодах прогонять/оптимизировать с помощью самописных прог, на WL ну очень это долго и муторно, не говоря уже о выпадении по таймауту на достаточно больших периодах. Вот только опять же графика эквити на первых парах в самописных прогах не предвидится, в идеале файл с текстовиками взяли — рассчитали — в файл резы положили. В первую очередь конечно рассчитали профит) А о его источнике получается узнаем когда-нибудь потом))) И сюрприз такой может быть не совсем приятным.

ТС WL Wealth-Lab оптимизация алготрейдинг торговые роботы торговая система тестирование Тестирование стратегий тестирование систем

Артур Сотников

Шахты

414

с 1 апреля 2014

33 Комментария

Либерал Джон Смит
06 мая 2016, 12:55
Ну начнем с того, что бесплатный сыр сам знаешь где. Проги типа вестлаба, метастока хоть и пригодны но только для примитивной дрочки стандартных индикаторов. И дрочат их тысячи таких же как и ты. Это ясно? То есть чтобы добиться преимущества тебе нужно еще что-то своё личное иметь. Функционал, которого там нету…
0
- Артур Сотников
  06 мая 2016, 13:00
  Либерал Джон Смит, я один маленький секрет открою — в данных конкретных стратегиях нет НИ ОДНОГО стандартного индюка… хотя алгоритмы с другой стороны там достаточно банальные и вполне думаю могут прийти в голову многим, тут согласен…
  0
  - Либерал Джон Смит
    06 мая 2016, 13:03
    Артур Сотников, Ну это хорошо. А банальность тоже неплохо. Но я все же за старый добрый Excel.
    +2
    - SergeyJu
      06 мая 2016, 13:24
      Либерал Джон Смит, если учесть, что в Экселе есть VBA, который практически нормальный алгоязык, есть листы, которые недо-база данных, и почти нормальная рисовалка, то трудно найти более простой вариант для тестера и оптимизатора.
      
      +3
Люфт
06 мая 2016, 12:55
«Есть ли ещё какие-то оценки, методы, позволяющие отсеять такие параметры стратегии, которые смотрятся волшебно только на определённом участке» — есть, торговать только такие определенные участки
0
- Артур Сотников
  06 мая 2016, 13:07
  Люфт, да, но тогда нужно знать заранее что он начинается. При условии, что будущее по дефолту неопределенно и скрыто от простых смертных;)
  0
  - Люфт
    06 мая 2016, 13:25
    Артур Сотников, по дефолту да, будущее неопределено. Но в некоторых ситуациях будущее определяется. Такие ситуации вам и следует находить, торговать.
    0
    - Артур Сотников
      06 мая 2016, 14:58
      Люфт, для меня это уже будет пожалуй вторая часть Марлезонского балета, формализация, оптимизация и минимизация интуитивности «гораздо более другой», так сказать основной стратегии, в которой уровень алгоритмизации хочется довести минимум до уровня приличного советника-полуробота…
      0
      - Люфт
        06 мая 2016, 15:07
        Артур Сотников, дело ваше, но это путь в никуда )
        0
        Артур Сотников
        06 мая 2016, 15:29
        Люфт, не совсем понял, что Вы имели ввиду. ;) То, на чём основан данный топик? Ну так это больше для наработки опыта формализации и анализа простых стратегий, а если вдруг что-то минимально жизнеспособное найдется, то изготовлю робота первого своего опять же и покажу резы на реальном небольшом счёте)
        0
Krechetov
06 мая 2016, 12:57
Это вообще не так важно под какой период вы оптимизируете стратегию. Любая оптимизация это всего лишь подбор под прошлое, не имеющая никакого отношения к будущему. Прошлым торговать в некотором роде затруднительно :)
+1
- Артур Сотников
  06 мая 2016, 13:13
  Krechetov, и тут до некоторой степени соглашусь, но стратегия более-менее исправно работавшая на длительном сроке имеет больше шансов на подобное в будущем? Или нет?) Но тогда в целом получается основа=база системной торговли бессмысленна, поскольку будущего мы не знаем, а прошлое не повторится, то лучшим выбором будет дзенская НЕторговля ну или просто не торговать, без дзена?!)))
  0
  - Krechetov
    06 мая 2016, 13:29
    Артур Сотников, «аботавшая на длительном сроке имеет больше шансов на подобное в будущем? Или нет?»
    
    Это вопрос математики :) Как думаете если у вас в казино выпало три раза красное вероятность выпадения следующего на красное какая? :)
    
    «Но тогда в целом получается основа=база системной торговли бессмысленна, поскольку будущего мы не знаем, а прошлое „
    
    Ну почему же. Это целая индустрия на которой брокеры зарабатывают неплохие деньги :)
    
    +1
    - Молодой поэт Таджикский
      06 мая 2016, 16:49
      Krechetov, Не правильно, если по системе 3000 раз определяется как красное и 1000 как черное, только тогда ставить на красное, а 5-10 раз ничего не решают, на этом все интуиты и сгорают.
      0
      - Krechetov
        06 мая 2016, 22:03
        Молодой поэт Таджикский, я роботов торговых только лет 10 как пишу :) так что с этими сказками вы не в туда :)
        +1
- SergeyJu
  06 мая 2016, 13:20
  Krechetov, а Ваш личный опыт включает в себя будущее, или тоже, как огни на корме, освещает только пройденный путь? :)
  0
  - Krechetov
    06 мая 2016, 13:31
    SergeyJu, ну мой личный опыт это наверное сотни тысяч протестированных различных систем. (хобби такое, поиск грааля). Пока это освещение пройденного пути в котором никаких граалей не существует и всё в рамках статистических вероятностей.
    +1
    - SergeyJu
      06 мая 2016, 13:33
      Krechetov, у алго все ровно также.
      0
    - Артур Сотников
      06 мая 2016, 14:39
      Krechetov, видимо Ваш опыт бесценен. Но имхо есть недостижимый грааль(смущающий умы), а есть более-менее устойчивые системы с положительным матожиданием, с помощью которых можно более-менее стабильно зарабатывать некоторую денюжку… Ну по крайней мере хотелось бы верить;)
      А в чём/как тестируете, и где берёте стратегии, большая ли доля своих, доморощенных? В реальную торговлю ничего не пускали, не было достойных кандидатов? Как определяете критерии жизнеспособности=граальности, под которые пока ни одна ТС не подошла?!
      0
      - Krechetov
        06 мая 2016, 22:05
        Артур Сотников, «А в чём/как тестируете, и где берёте стратегии, большая ли доля своих, доморощенных? „
        
        Много лет назад начинал со стандартных индикаторов, потом стал свои писать. Потом самонастраивающиеся системы, потом вообще без оптимизаций и настроек системы и т.д… Сотни тысяч тестов и опыт говорят об одном, можно сделать систему которая будет зарабатывать какое то время, но на длительном отрезке она всё равно сольётся. А ставить на систему надеясь на чудо и что этот отрезок наступит вот именно сейчас и продолжится какое то время… Это на самом деле только для тех у кого своих рук и головы нет :)
        
        +1
baron_samedi
06 мая 2016, 12:57
тслаб и велс мне тоже не подошли...

к тому же очень уж дорогие...
Пишу свой тестер, все никак не закончу…
+1
- Артур Сотников
  06 мая 2016, 13:08
  vladimir doigt, универсальный? Или под конкретную стратегию? А на чём?
  0
  - baron_samedi
    06 мая 2016, 15:38
    Артур Сотников,
    классику погоняю,
    появляются и«свои» идеи, заимствованные у людей…
    0
Либерал Джон Смит
06 мая 2016, 12:57
Теперь по оптимизации. Есть стандартные методы типа коэффициента Шарпа (отношение просадки к прибыли). Наглядно можно увидеть как ведет себя система в плане устойчивости во времени. Но! Голова она понимаешь лучше всегда соображает. Так что окончательно выбор все равно будет за твоей интуицией. Как ни крути. А это значит нужно что?? Правильно — опыт!
0
- Артур Сотников
  06 мая 2016, 13:03
  Либерал Джон Смит, про опыт — естественно, вот и нарабатываю + всегда рад поучиться у более опытных)
  ЗЫ У параметров от второго рисунка например весьма впечатляющий Recovery Factor)
  0
- SergeyJu
  06 мая 2016, 13:19
  Либерал Джон Смит, лучше Сортино
  0
  - Либерал Джон Смит
    06 мая 2016, 13:29
    SergeyJu, ну может. Но самое прикольное что после нескольких лет расчетов ты понимаешь что зарабатывать можно тупо на скользяшке и пирамидинге. Просто потому что остальные усредняются)
    +4
Karim
06 мая 2016, 13:52
«на WL ну очень это долго и муторно» Почему долго? Вы же сами задаете время и точность при оптимизации.
0
- Артур Сотников
  06 мая 2016, 14:19
  Karim, долго, потому что эти стратегии у меня на минутках, а тестирую я 4-6 лет сразу, чтобы статистически вошли разные фазы рынка точнее совершенно разное поведение внутри дня -сотни и сотни дней) Основная стратегия на бОльших таймфреймах, но она сложнее формализуется…
  0
Clansman
06 мая 2016, 14:59
берёте и смотрите, как меняется кривая эквити и показатели стратегии при изменении каждого оптимизируемого параметра в диапазоне ± 30% от лучшего значения, если меняются сильно, то налицо переоптимизация и стратегия нерабочая
+2
Quant-Invest
06 мая 2016, 15:03
графика эквити на первых парах в самописных прогах не предвидится
это вообще не проблема, берем стороннюю либу графиков и прикручиваем. 3 дня мата — и эквити на графике :)
+1
First
06 мая 2016, 19:48
Форвард тестирование. У Р. Пардо хорошо об этом написано.
+1