IS OOS vs. OOS IS
Навеяно постом: http://jc-trader.livejournal.com/393976.html#cutid1
— «Генетическая оптимизация производилась с 2007 до 2011 года. То есть с 1998 до 2007 out-of-sample»
— «Непонятно только почему IS проводился на относительно свежих данных, а OOS на более старых»
— «Это я сам тестировал, у меня такая манера. Все равно оптимизировать для торговли надо на свежих данных, а заодно посмотреть как было бы на старых данных OOS. От перемены мест слагаемых сумма не меняется :)»
Заставило задуматься что все таки лучше? Приведу некоторые аргументы в пользу каждого из методов:
IS OOS: Проверяя оптимизированные параметры на свежих данных мы получаем некоторое представление о боеспособности параметров на более свежем участке и возможно типе рынка.
OOS IS: Оптимизируя на более свежих данных мы какбы более плотно приспосабливаемся к новой рыночной фазе проверяя имела ли место такая неэффективность в прошлом.
Есть еще третий вариант проверки живучести системы называемый кросс-валидация, который сочетает в себе оба метода, но о нем не сегодня.
Дисскас.
например 2010-2011 — IS — относительно свежие данные
2007-2009 OSS — проверка как работала очень давно
2012 IS — проверка последних результатов
если система рабочая, то будет работать на разном наборе параметров
поэтому запускаем оптимальные наборы для разных фаз или просто по годам. сразу несколько вариантов
Кто-нибудь смотрел первоисточник?
Паренек включил расходы на комиссии и вот что получил:
Тему можно закрывать.
jc-trader.livejournal.com/393976.html?thread=5325816#t5325816
Я больше наверно ищу те параметры которые работают на разных фазах и соответственно почиму они меняются…
По поводу проверки — оба метода являются частным случаем кросс-валидации, и по сравнению с ней никаких преимуществ не имеют. Так что и дискассить-то не о чем :)
А оптимизация вообще самообман, ведущий к сливу. Оптимизировать есть смысл лишь для более точной подстройки параметров, которые должны изначально работать и без оптимизации.
Для системы главное — устойчивость, а не прибыльность. Вот оптимизировать по устойчивости я бы не отказался, но таких методов наверное не существует в природе ))))