Блог им. IgorK_23a

Начинающий алготрейдер - Мысль о бэктестинге

    • 09 декабря 2024, 17:20
    • |
    • Igor K
  • Еще
В комментариях к своим предыдущим постам увидел довольно много скептических мыслей насчет бэктестинга (тестирования на исторических данных), в духе «на бэктестинге всегда всё хорошо, а в боевом режиме слив».

Я, конечно, на 100% согласен, что
Если на бэктестинге хорошие результаты, то это еще ничего не гарантирует в боевом режиме.

Но ведь основная крутость бэктестинга не в этом, а в том, что
Если на бэктестинге фигня, то и в боевом режиме скорее всего будет фигня.

Это позволяет отсекать плохие идеи, которые интуитивно кажутся перспективными. 

22 комментария
Но ведь основная крутость бэктестинга не в этом, а в том, чтоЕсли на бэктестинге фигня, то и в боевом режиме скорее всего будет фигня

все правильно. Бэк только показывает насколько создатель туп))) или не туп — все!
avatar
Раздельно тестируй входы и выходы.
Это перспективно.
avatar
Подсказка.
Тестируй с нулевой комиссией стратегию и её антистратегию (все сделки противоположны в тех же местах).
Если минуса и там, и там — в ведро стратегию.
Если в какой-то есть существенные плюса, большие суммы комиссий за те же сделки, то разберись в причине этого явления.
avatar
Не так-то просто поймать все явные и неявные ошибки при бэктестинге. Верно учесть издержки, например. Оценить долю подгонки в симпатичном результате. Ложную уверенность в том, что в бэктестинге были просчитаны все те фазы рынка, с которыми придется встретиться, все возможные черные лебеди. И так далее. 


avatar
тема гуд… надо будет написать как нибудь про чтоние эквитей и бектестинг
avatar
Мне кажется что в былые времена по движению волн в порту можно было сказать куда проплыл парусник и предположить куда дует ветер. Попробуйте это сделать по волнам в современном порту. Или например по направлению струй из сопла ракеты предсказать куда она полетит.
Работай дальше. Твоя задача создать более 10 работающих алгоритмов. Это позволит тебе зарабатывать. Это лучше, чем наугад нажимать на кнопку. Как тут большинство лудоманов и поступают.
По мере создания и тестирования поймешь многие постулаты. К примеру, как разоряют трейдера плечи. Т.е. не в виде философии, а реальных цифр и причин.
Проблема  бэктестинга не в том, что он гарантирует или нет тебе заработок. Он не показывает тебе реальность. Потому что реальность тебе покажет форвардное тестирование. А не прогон в оптимизаторе. Проблема работающих роботов еще никем не решена. Т.е. с этой проблемой все живут сами по себе. Если кто и имеет решение, он его закрысил.
Кое какие элементы я раскрывал в теме своей, в комментариях. Она об создании стратегии, которая не зарабатывает, а подстраивается под график. Для того что бы иметь ориентир. Чего то объектиного большего у меня нет.
smart-lab.ru/blog/500491.php
avatar
Да есть трейдерские решения отличить работающую стратегию. 1) Тестирование на максимальной истории. 2) Анализ доходности по 3д картинке — поиск равнин, избегания впадин.
avatar
LogikoMen, спасибо, хорошие замечания. В той книжке, что я читал, предлагалось строить не 3D картинку, а heatmap (двумерную картинку с цветом вместо третьего измерения), но смысл в том же: доходность (или другая оптимизируемая функция, Шарп например) должна выглядеть плюс-минус непрерывной. Если там какие-то дикие скачки и разрывы, то скорее всего это переподгонка, и нужно такое выкидывать в мусорку.
avatar
Igor K, смотри на значения, что ты видишь — как на рабочий диапазон. Т.е. сама модель может в себе содержать совершенно две разные стратегии, к примеру. Но этого ты не увидишь по одной цифре — лучшая доходность. Как раз самая лучшая доходность ничто иное как случайность, и не повторяется. А выше средние значения стабильны. Даже для одного поля значений.
avatar
Igor K, слово пере подгонка — плохое слово. Оно результат лудоманской глупости. Что бы ты понимал — есть закономерность, есть случайность. Случайность — это вращение вокруг нуля. Но с издержками будет минус в любом случае, как не переворачивай стратегию. А вот закономерность — это отклонение от вращения стратегии в некотором диапазоне параметров. Но даже в этом диапазоне проявляются случайные элементы. Которые забрать как доходность тоже можно при везении. Рассчитывать на них нельзя. Вращение видно хорошо — это и есть холмы на 3д, или значительные отклонения. Но даже для хорошей стратегии все равно случайность проявляется. От нее ты никогда не избавишься. И это не пере подгонка как какое то зло. А ничто иное как везение в реальной жизни. Где то везет, где то нет.
avatar
LogikoMen, Где то везет, где то нет.

Вы чему людей учите? В лотерею?
avatar
MatrixLis, я объясняю отклонения, что вы видите в доходности роботизированной стратегии. Что бы не было лотереи — загружайте диапазон по стратегии. И даже в этом случае еще нужны методы по усреднению  — использование несколько стратегий. Использования не связанных рынков. И другое. А не зная этого — вы играете в казино. Но при этом называете это работой, инвестированием, бизнесом и т.д. Т.е купили лотерею, но при этом врете себе самому не понимая этого
avatar
LogikoMen, мне ваши объяснения не нужны. Объясняйте автору топика
avatar
MatrixLis, дайте свои
avatar
Есть нормальное решение. Сейчас коэф =10. Если, например по тестам выходит 170% в месяц, то в реале будет 17% в месяц
avatar
MatrixLis, в реале будет то, что есть в тестах. А у вас в голове тоже самое, что у большинства — розовые очки. Нашел крутой алгоритм подстройки к графику и жду от него того. Что вероятность 1 на миллион. Это тема самая важная, но мало кому интересная. Все хотят кнопку — БАБЛО. Когда видят реальность, ворочают нос. И говорят — мне это не нужно. И бегают за розовыми очками.
avatar
LogikoMen, странный ответ в мой адрес.
avatar
анализ истории не дает прогнозов на будущее, зря теряете время...

чтобы быстрее это дошло, начинайте торговать минимумом лотов, не забывайте про баланс плеч ;)
avatar
Если на бэктестинге фигня, то и в боевом режиме скорее всего будет фигня = фигня

У вас что с логикой? Вы как без нее собираетесь торговать?
avatar
где, какие у вас торговые роботы??? для анализа пары они не нужны совсем, достаточно екселя
avatar

теги блога Igor K

....все тэги



UPDONW
Новый дизайн