Блог им. DimonA

Правильное тестирование систем..?

 Добрый день всем! В связи с началом автоматизации своего трейдинга решил провести опрос и том кто и как тестирует  свои системы, сразу скажу, что я в начале этого пути, строю тестирую в ТС Лабе. Прочитал некоторую литературу, посмотрел некоторые видео, но к конкретного ответа так и не нашел. Дак как же все таки правильно тестировать свой алгоритм. 
 Имеется ввиду на какой истории грамотно и правильно тестировать тот или иной алгоритм, в зависимости от тайм фрейма на котором работает алгоритм или же на разных участаках выборочно, где вы считаете рынок был в разных фазах и т.д.
 От одних источников я слышал, что  тестировать и соответственно оптимизировать алгоритм нужно в зависимости от тайм фрейма, то есть минутки нужно тестировать на сравнительно небольшом тайм фрейме не более месяца, 5-минутки от 1 до3 месяцев или последний фьюч, часовики от полугода до года и уже на этих периодах проводить оптимизацию, так как считается что чем меньше тайм фрейм тем более рынок изменчив и данные прошлых лет учитывать не нужно.

 От других источников слышал, что неважно какой алгоритм и тайм фрейм тестирование и оптимизацию необходимо проводить на длителном промежутке времени несколько лет как минимум, так как бытует мнение, чем лучше и стабильнее на длительном промежутке времени  работает система, тем лучше. Читаю книгу, посоветанную мне Роберта Прадо, пока не дочитал, но как то все там размыто сильно написано.
Короче я запутался и прошу опытных алгосистемщиков рассказать в кратце, с чего начинать, может кто ссылку даст на сайт или видео, где без мыла и воды пишут или говорят как правильно подойти к этому вопросу.
  У меня есть несколько алгоритмов не сложных на разных таймах, прошу написать свои идею кто и как тестирует свои системы.  
  Тестируя на данных последнего фьюча одни результаты, тестируя на данных за несколько лет — другие, отличаются не сильно, но допустим на длительном периоде с одними параметрами и переменными система работоспособна и дает положительный результат, но последний месяц, два она держится 0 или легком плюсе, на что больше, то есть на какой период больше обращать внимание? на более ближний или же в целом на несколько лет.
Если не сложно, в общем и «своим языком» на каком периоде рассмотриваете работоспособность системы и тестируете на исторических данных и соответственно уже проводите оптимизацию?
1 мин 
5 мин 
15 мин
и часовик 
Заранее спасибо за ответы) 
★1
12 комментариев
Все равно на каком промежутке тестируете. Главное чтобы количество сделок было больше 1000 и больше количества всевозможных особей при достаточном варьировании оптимизируемых параметров. А так-же желательно чтобы более 50% особей были жизнеспособны. Целевой функцией можно взять профит-фактор.
avatar
SECRET, спасибо за ответ, про кол-во сделок знаю, стараюсь чтобы было более 1000. есть пару вопросов:
1. «больше количества всевозможных особей при достаточном варьировании оптимизируемых параметров» — не совсем понял что имелось ввиду.
2. А если система трендовая, там показатель в % достигает от 31-32 до 40% в среднем почти у всех тендовых систем, просто доход на сделку в много раз выше чем убыток, такая система может быть работоспособной?
3.И про промежуток, а как же тогда быть и на каких параметрах остановиться, если при тестировании за последний месяц или два одни параметры при наилучших результатах, а при тестировании за год два или три другие, какие результаты для запуска в реальную торговлю будут актуальными на данный момент? таймы не большие 1 мин, 5 мин и 15 мин.
avatar
Дмитрий Андреев, как раз такие системы и есть наиболее живучи и работоспособны, а не те что полагаются на 70% винрейт
avatar
Дмитрий Андреев, торговать минутки за 40% годовых? или это в месяц?
Холодное сердце, нет, разговор был про средний показатель в % прибыльных сделок за тестируемый период времени а не доход
avatar
Дмитрий Андреев, ааа, понятно
1 более 50% жизнеспособных конечно гуд… однако в индикаторах такое не сделать та же ма имеет параметр от 1 до бесконечности… всегда будет интервал стабильности…
2 кароче… на бесконечных параметрах ищем интервал стабильности… смотрим его диапазон… надо хотяб 20-30Дб от края до края
3 имхо форвардная оптимизация бред
4 комиссии, прокальзывания = 0
5 1000 сделок маловато… надо 10000… хотяб 3000… можно взять разные инструменты и получить 1000 сделок
6 интервал от 2010г… по целому ряду причин
7 на 2008-09 делаешь стресс тест
9 тестишь на постоянной сумме… это важно
и еще 34 правила
avatar
ves2010, спасибо вес за ответ, не понял 4 пункт про комиссию и проскальзывания 0, это к чему?
то есть вы хотите сказать что даже на системах на 1-мин и 5 мин тайм фрейме необходимо проводить тестирование на данных несколько лет? хорошо, а есть ли смысл проводить тестирование на малых таймах за последний месяц, два или три?
avatar
Дмитрий Андреев,
1 а как ты поймешь что у тебя более 50% жизнеспособны? если у тебя комиссы и проскальзывания… + там еще другие фишки
2 таймфрейм не важен… т.к торгуется не сочетание индикаторов а конкретная неэффективность рынка а она от таймфрейма не зависит… т.е. неэффективность рынка должна быть на интервале хотяб года 4ре
3 средняя сделка от 0.1% и выше
4 максимум 2 параметра оптимизации… надо понимать что выбор бумаги и таймфрейм это уже 2 доп параметра
avatar
ves2010, спасибо за ответ, ну в принципе понятно, но есть один вопрос, понятно что чем меньше параметров, тем лучше, но если в начальной стадии я использую в основном индикаторы, там 2 параметрами не пахнет, один траил или стопы с профитом насчитывают в обе стороны от 4 до 6 плюс параметры индюка а если он не один), поэтому я и ищу ответа за какой период времени лучше оптимизировать данные стратегии, ведь за несколько лет одни данные пригодны, а за несколько месяцев отличаються вот и думаешь на какие стоит ориентироваться?
avatar
1. Допустим есть 2 параметра оптимизиации, первый может принимать 3 различных значения, а второй 5 различных. Следовательно число всевозможных особей = 3 * 5 = 15.
2. может
3. запустите каждые несколько особей и время покажет
avatar

теги блога Дмитрий. А

....все тэги



UPDONW
Новый дизайн