переоптимизация

Переподгонку торгового алгоритма принято связывать со сложностью модели, в частности, с числом параметров. Но есть, вероятно, более разумный способ ее оценить.

Зачем люди растят сложность и переобучают модели? Чтобы избавиться от лосей. Вот была простая, условно пробойная, система, которая забирала все крупные движения рынка, но за компанию ловила много лосей:


Кому-то это не понравилось, и он решил навесить на нее кучу фильтров. Профитов конечно изрядно поубавилось, но лосей стало еще меньше:


( Читать дальше )

Когда я только начинал писать код, самостоятельно совершающий сделки на рынке, я столкнулся с тем, что стратегии со временем переставали работать. Впрочем, куда чаще было то, что разработанные и оптимизированные стратегии показывали доход только на данных для обучения. И это нормально.

Однако, тогда я тешил себя иллюзиями, что где-то на рынке зарыт глобальный секрет, найдя который, можно отыскать алгоритм «на века». Было проведено много разных исследований, для поиска использовалась группа промышленных серверов, поиск работал днями и ночами.

И «вечные» алгоритмы были-таки найдены. Только вот доходность по ним оказалась меньше, чем по депозитам, да и просадки не радовали глаз. Зато они стабильно, год от года зарабатывали свои жалкие 5-7% годовых.

Я вижу в этом две крайности: подгонка на максималках сделает так, что на новых, незнакомых данных алгоритм будет сливать. А тем, кто чрезмерно увлекается WFO, много не заработать. Зато тут не нужно плавить мозг. Прогнал алгоритм через годы рынка — получил то, что, скорее всего, будет работать, по крайней мере, до очередного 24 февраля или его аналогов.

( Читать дальше )

Добавили тут на днях в ТСЛаб возможность штатным образом случайные числа получать. В связи с чем возникла идея устроить небольшой стресс тест стратегиям, заменив имеющееся управление позицией выходом по рынку через случайное количество баров.
Я считаю, что то, что принято называть переоптимизацией, кроется как раз в управлении позицией. Если подумать, то в точке входа подгонки не может быть по определению. Ведь задача как раз найти такое соотношение параметров, которое работает в нашу сторону как можно чаще. И чем сильнее будет подгонка под идеальный сетап — тем лучше, тем точнее мы опишем желаемую ситуацию. А вот с выходом всё иначе. Тут уже есть конкретные точки входа и конкретный набор свечей на истории… И вот как раз тут может быть подгонка параметров стопа, тейка, трейлинга и т.п. под эти конкретные ситуации..
Подгонка может быть столь сильной, что за ней вполне может спрятаться полное отсутствие положительного смещения вероятности в точке входа…
Вот мне и стало интересно, что если выход из позиции будет произвольным? Тогда, по идее, значительный перевес положительных исходов может намекать на наличие положительного смещения вероятности в точке входа.
Для эксперимента взял 2 стратегии на Ri. Одна, проверенная девятью месяцами реала и подтвердившая свою профпригодность на сегодняшний день, и другая — простая, состряпанная на скорую руку, стратегия по скользяшкам с максимальным фиттингом (оптимизация точки входа одновременно с трейлингом по широкому диапазону параметров на всей истории за один проход). Везде стоит комиссия 20п.
Итак, изначальная эквити «проверенной» стратегии выглядит так:

( Читать дальше )

Почти у всех трейдеров, использующих в своей торговле алгоритмические системы, рано или поздно при оптимизации этих самых систем встает вопрос: «а не занимаюсь ли я подгонкой алгоритма под рынок, может он и не рабочий вовсе?» Эта мысль не раз возникала и у меня, и каждый раз я думал над тем, как понять где «полезная» оптимизация и поиск смещения вероятности, а где уже переоптимизация и подгонка под рынок. В итоге появились некоторые мысли, которые предлагаю к обсуждению. Итак, вот к чему я пришел.

( Читать дальше )

Шалом алгонафты.
Наткнулся на интересный топик 
forum.tslab.ru/ubb/ubbthreads.php?ubb=showflat&Number=74159#Post74159

что-то не сохраняется нормально ссылка, чтобы перейти не надо кликать — надо скопипастить и вставить в браузер.
тема из раздела Беседка\Бытует мнение… (оптимизация)


Кто-то из местных авторитетов может что добавить по этому поводу?
Моё мнение что как есть тренды\моментум (скорее они есть чем их нет), так и есть тренды\моментум у систем, и соответсвенно это может иметь смысл.  Но у самого пока руки не дошли проверить.

С индикаторами и без, с кучей заоптимизированных вусмерть параметров, с кривой эквити, уходящей по экспоненте в космос.
Вообщем системы, которые по причине пероптимизации страшно торговать,  лежат они пылятся без дела и не жалко с ними расстаться.
Но есть ограничения:
инструменты — RI,Si,SBRF,GAZR
только интрадей
сделок максимум 1-2 в день, минимум 2-3 в неделю
Средний профит на сделку >1% 
Средний убыток на сделку <0.5%
Прибыльных сделок более 60%, лучше 70-90% :)
Результаты тестов за 3 года минимум
ТФ от минуток до часовиков

Написал коммент к посту — а получилось слишком много. Поэтому вот.

Суть вопроса: Автор VladMih возмущается, что все кричат, что оптимизируемых параметров должно быть как можно меньше, мол, их не должно быть вообще, а по факту уже сам выбор инструмента — это уже оптимизируемый параметр… И автор просил показать систему с 1-2 опт.параметрами. Об этом и речь далее...

Автор и прав, и не прав одновременно.

Все дело в том, что большинство не с той стороны на рынок смотрит.

Представьте себе, по понедельникам прилетают марсиане и скупают акции газпрома в большом количестве по рынку. Не каждый понедельник, и не всегда много покупают, но тем не менее… Никогда к тому же неизвестно, когда они прилетят вновь… Но знают об этом далеко не все, а те, кто знают — помалкивают. Так уж случилось, что вы тоже об этом узнали.

Вы пишете систему: войти с утра в понедельник.

Дальше вы навешиваете на нее параметр оптимизируемый: выйти в 11 утра, выйти в 12 утра, выйти вообще вечером во вторник. Потому что инопланетяне влияют на рынок, и он еще какое-то время растет по инерции.

( Читать дальше )

 Когда начал осваивать роботостроение в ТСЛаб и общаться с биржевиками ММВБ, наткнулся на откровение, что робот должен иметь как можно меньше оптимизируемых параметров: "желательно 1-2 параметра, а в идеале НИ ОДНОГО".

Блин, «ржунимагу». Ладно бы  это  сказал один человек, но ведь целый хор поёт эту «песнь о трейдинге»… Уже так надули в ухи, что я и сам начал сомневаться — может они правы, а я за 10 лет не смог ума набраться? Давайте попробуем разрулить этот вопрос — мне просто интересно, реально так думают все подряд или это мне так  везет на интересных людей?..

( Читать дальше )

Существует ли временной промежуток на котором переоптимизация не возможна? Мне кажется что такой промежуток должен существовать, критерием должно служить отношение самого промежутка к количеству совершонных сделок. Как вы думаете?

       Опытным трейдерам, связанным с построением механических торговых систем (МТС), отлично известно, что переоптимизация МТС их убивает. На первый взгляд явление странное. Вот у вас есть простая торговая система, которая хоть и хорошая, но своими частыми ложными срабатываниями раздражает вас, так как вы считаете это ее несовершенством. Естественно с целью ее совершенствования вы накладываете на систему дополнительные фильтры, каждый из которых  должен отсеивать зерна от плевел, тем самым совершенствуя первоначальную торговую систему. Но удивительное дело – чем больше фильтров вы накладываете, тем хуже становится система! Почему?
       Трейдерам, с МТС не работающим, в свою очередь, наверное, приходилось сталкиваться с таким эффектом – когда ситуация для трейда настолько идеальна, когда кажется все так очевидно, и просто сама фортуна идет в руки, а ваша уверенность в прибыльности трейда просто зашкаливает, то прямо по всем законам подлости именно этот трейд и выходит дико убыточным! Почему?


( Читать дальше )