— «Генетическая оптимизация производилась с 2007 до 2011 года. То есть с 1998 до 2007 out-of-sample»
— «Непонятно только почему IS проводился на относительно свежих данных, а OOS на более старых»
— «Это я сам тестировал, у меня такая манера. Все равно оптимизировать для торговли надо на свежих данных, а заодно посмотреть как было бы на старых данных OOS. От перемены мест слагаемых сумма не меняется :)»
Заставило задуматься что все таки лучше? Приведу некоторые аргументы в пользу каждого из методов:
IS OOS: Проверяя оптимизированные параметры на свежих данных мы получаем некоторое представление о боеспособности параметров на более свежем участке и возможно типе рынка.
OOS IS: Оптимизируя на более свежих данных мы какбы более плотно приспосабливаемся к новой рыночной фазе проверяя имела ли место такая неэффективность в прошлом.
Есть еще третий вариант проверки живучести системы называемый кросс-валидация, который сочетает в себе оба метода, но о нем не сегодня.
По-моему, без разницы. Все равно точные результаты исторических тестов никогда в будущем не повторятся. Если уж выявили какой-то статистический перевес на ВСЕМ участке IS+OOS, значит оно, действительно, СУЩЕСТВОВАЛО. А как будет дальше, это уже на свой страх и риск. Такое мое интуитивное мнение :)
Юрий Иванович, Система, если она построена на неэффективности, должна работать более менее, на всем спектре параметров. Когда у меня был грааль, его параметры были сформулированы мгновенно на этапе его разработки, поэтому ничего оптимизировать не пришлось, начальные параметры оказались самыми лучшими.
Юрий Иванович, Все хотел спросить, как та первая система ваша, результаты которой вы выставили на пауке, которую все критиковал нео, просто там было такая туча страниц, что было сложно все прочитать? Она рабочая оказалась? (про триллионы помню вас подкалывали :))
Eagle, в системе оказалось подглядывание в будущее. Ближе к концу обсуждения, на одной из последних страниц было указано. Я ее только несколько дней торговал.
3 периода. OSS IS OSS
например 2010-2011 — IS — относительно свежие данные
2007-2009 OSS — проверка как работала очень давно
2012 IS — проверка последних результатов
l-way, или другой вариант
если система рабочая, то будет работать на разном наборе параметров
поэтому запускаем оптимальные наборы для разных фаз или просто по годам. сразу несколько вариантов
Марсель Тазетдинов, А вот товарищ Талеб саказал, что вообще оптимизировать ничего не надо. Да и товарищ Орел (Eagle) косвенно это подтверждает (цитата от Eagle: «Когда у меня был грааль, его параметры были сформулированы мгновенно на этапе его разработки, поэтому ничего оптимизировать не пришлось, начальные параметры оказались самыми лучшими»). Да и я, считаю, что от оптимизации толку никакого нет. Так что ответ на Ваш вопрос «Заставило задуматься что все таки лучше?» следующий: Любая оптимизация это плохо.
Я здесь вижу два вопроса, смешанных в один.
По поводу проверки — оба метода являются частным случаем кросс-валидации, и по сравнению с ней никаких преимуществ не имеют. Так что и дискассить-то не о чем :)
А оптимизация вообще самообман, ведущий к сливу. Оптимизировать есть смысл лишь для более точной подстройки параметров, которые должны изначально работать и без оптимизации.
Для системы главное — устойчивость, а не прибыльность. Вот оптимизировать по устойчивости я бы не отказался, но таких методов наверное не существует в природе ))))
например 2010-2011 — IS — относительно свежие данные
2007-2009 OSS — проверка как работала очень давно
2012 IS — проверка последних результатов
если система рабочая, то будет работать на разном наборе параметров
поэтому запускаем оптимальные наборы для разных фаз или просто по годам. сразу несколько вариантов
Кто-нибудь смотрел первоисточник?
Паренек включил расходы на комиссии и вот что получил:
Тему можно закрывать.
jc-trader.livejournal.com/393976.html?thread=5325816#t5325816
Я больше наверно ищу те параметры которые работают на разных фазах и соответственно почиму они меняются…
По поводу проверки — оба метода являются частным случаем кросс-валидации, и по сравнению с ней никаких преимуществ не имеют. Так что и дискассить-то не о чем :)
А оптимизация вообще самообман, ведущий к сливу. Оптимизировать есть смысл лишь для более точной подстройки параметров, которые должны изначально работать и без оптимизации.
Для системы главное — устойчивость, а не прибыльность. Вот оптимизировать по устойчивости я бы не отказался, но таких методов наверное не существует в природе ))))