Блог им. Hunter14

Переоптимизация есть всегда (критика алготрейдинга)

Иллюстрация переоптимизации на примере подбора кривых: пусть дана какая-либо кривая. Подбираем любую кривую (многочлен, тригонометрические функции и т.д.) так, чтобы она по возможности совпадала с данной кривой. (см. в поисковике —  аппроксимация, а также интерполяция).

Вердикт всех спецов по алготрейдингу – это плохо. За пределами отрезка, где происходила аппроксимация, неизбежно происходит расхождение. И следует совет: брать как можно меньше параметров (один, два, макс три). И это будет нормальный, хороший алготрейдинг.

Ну, хорошо взяли один, два, макс три параметра, создали алгоритм и начинаем тестировать его на разных инструментах. С математической точки зрения мы взяли очень грубую кривую и прикладываем на множество замысловатых кривых, пытаясь найти совпадение. Тут сразу же обнаруживаем, что из всей кучи инструментов этот алгоритм с трудом подходит только для одного — двух инструментов (чаще вообще ни одному). Даже если повезет, и мы нечто найдем, то нам предлагается по этому алгоритму торговать годами. Нет – десятилетиями! (Вайсман, Куртис).

Не кажется ли вам, что здесь присутствует тоже переоптимизация, хоть и другого рода (грубой кривой аппроксимировать множество сложных кривых)? Таким образом, расхождение может начаться в любой момент.

Переоптимизация первого рода – честнее: мы знаем, что имеет место переоптимизация, и не прячем голову в песок. Можно по ней торговать? Хоть и сложно, но можно. Если мы знаем, что с вероятностью, скажем, 60%, аппроксимация будет хорошо описывать кривую какой-то период времени. Какой период времени и какая вероятность: все надо считать и проверять. Муторно? — согласен. Пардо Р. рекомендует брать срок годности модели 1/8-1/4 от оптимизируемого периода.

Переоптимизация второго рода опасна тем, что мы ей полностью доверяем и можем неоправданно много средств вложить в стратегию (берегитесь коммона!). Рано или поздно слом стратегии все равно произойдет (ведь это, как не крути, остается переоптимизацией!). Необходимо заранее планировать точку выхода: как правило, — это 2-3 макс исторической просадки. Исходя из этого можно определить размер капитала, которым можно рискнуть.

★7
18 комментариев
кароче… берешь тот же сбер… оптимизируешь на интервале с 2010 по 2019г т.е 8лет потом смотришь резалт с 2002г еще 8мь лет, если все ок то торгуешь, если фигня — выкидываешь… отдельный стресс тест идет накризисе 2008г

есть еще вариант… любой интервал данных можно удвоить легко...
тестишь и оптимизируешь на лонг, а потом смотришь что получилось в шорт
avatar
И то и другое не является нормальным, хорошим алготрейдингом. Первична идея — кто и почему раздает бабки, подмена оной попытками накурвфиттить индикаторчики есть лудомания.
avatar
quant_trader, да пофигу, лишь бы матожидание прибыли положительное
avatar
quant_trader, предположим, у меня есть некая гипотеза о том, чьи деньги забирает моя система. Как её проверить? А если её не проверять, то зачем она нужна. Мне представляется, что для алго получится нарратив ради нарратива, то, против чего предостерегал Талеб.
avatar
SergeyJu, хорошо, можно опуститься на уровень свойств рынка. Скажем есть ценовые аномалии, устойчивые в примитивных реализациях которые не требуют кучи параметров и исходного поста. Но вот эта ловля не пойми чего не пойми на что не производит впечатление.
avatar
quant_trader, наверное, я Вас плохо понимаю. Не могли бы Вы привести пример, у кого именно Вы отнимаете деньги, не систему, а именно мловесное определение доноров? 
avatar
SergeyJu, например торгуя тренд мы по сути фронтранним поток ордеров участников более крупного размера и длительности удержания позиций, которые либо слишком крупные чтобы исполниться по рынку. Они создают локальную неэффективность, мы на ней как серфер катаемся.

В общем обосновать свою точку зрения не смогу. Формально если нам удается строить устойчивые модели на оптимизации то нет причин погружаться в гипотезы и исследования инструмента.
avatar
quant_trader, вот с этим согласен
 если нам удается строить устойчивые модели на оптимизации то нет причин погружаться в гипотезы и исследования инструмента
avatar
Алго должен работать на всех инструментах. Пусть понадобиться время но у него выход только один это — профит.
Если он буксует на одном а на другом зарабатывает, значит скорее всего начинка иллюзорная. Пазлы не сходятся.
avatar
GAURANGA, это как? т.е. один алго должен рубить бабки на биткоине и на префах BoA? :)
avatar
day0markets, угу))) 
avatar
GAURANGA, не похоже на правду.
avatar
SergeyJu, бываетудачи в поисках
avatar
Погуглите out of sample.
avatar
Где во втором случае переоптимизация, если оно даже тренировочный набор плохо объясняет?
avatar
Надо просто анализировать все эквити по всем перебираемым параметрам и не выбирать просто небольшое число лучших по «доходность-риск», тем более, что первый параметр точно будет нестационарен в будущем. 
avatar
А. Г., и какую статистику на пространстве всех эквити Вы предлагаете рассматривать? 
avatar
SergeyJu, устойчивость в смысле риска как по времени, так и по изменению параметров.
avatar

теги блога Pin-T-Set

....все тэги



UPDONW
Новый дизайн