Есть ли ранняя возможность определить, что стратегия перестает работать?

tashik, сдвиг диапазона параметров — это и есть неустойчивость. Хорошо, когда любая система с параметрами из некоторой немалой области будет «позитивной». Не супер-пупер, но более-менее пригодной в торговле на портфеле. 

tashik, а Вы пробовали проверить, насколько предсказуем этот максимум, то есть вчерашний максимум будет ли лучшим прогнозом завтрашнего (интервал прогноза  день — месяц квартал-год, неважно). Я думаю, Вы удивитесь. 

tashik, только учтите, что мы имеем дело с существенно нестационарным объектом. Поэтому методы моделирования просадок типа монтекарло или скорейшего обнаружения разладки плохо себя ведут в нашем случае. Хочется найти что-то позаковыристее…

tashik, да не. Вывод прибыли это функция — можно раз в квартал выводить можно раз в месяц, если она есть (или реинвестировать). А для стратегии в целом нужно назначить максимальную просадку и высянить среднюю хотяб лет за 10 истории. Среднюю умножить на 4 и понять свой депозит. Далее ждать когда стратегия достигнет средней просадки, здесь вкинуть в стратегию деньги и пусть торгует пока не упрется в максимальную просадку. Дальше вынимаете бабки и выкидываете эту стратегию нахер. Следующая!

tashik, любая стратегия со временем «вскрывается» конкурентами, и прибыль начинает вымываться. Это практически каждому известно. Чтобы оставаться на рыке конкурентым, нужно постоянно адаптироваться.

Что мы делали. У нас была одна основная стратегия (60-70%) портфеля, а остальной капитал все время крутился в новых стратегиях, которые мы запускали на тестовый период. Постоянно шел процесс поиска новых стратегий. Только так.

Первое, что следует предположить — никакой стратегии у нас нет, а есть переподогнанный под историю бектест и кратковременный положительный результат на реале, который вполне возможно стал плюсовым благодаря счастливым но случайным стечением обстоятельств.
Второе. Следует понять, есть ли у нас методика проверки стратегии на устойчивость к изменениям рыночных параметров (робастность)? Если методики нет, то всё плохо…

tashik, к сожалению, этого недостаточно. Смею предположить, что вы в плену заблуждений относительно рынка

wrmngr, а чего было бы по-вашему достаточно?

Kot_Begemot, Для примитивного случая, когда на вход системы подается только один ценовой ряд достаточно провести контрольный тест на синтезированных рядах с заведомо разрушенными автокорреляционными связями

wrmngr, согласен. Только после того как вы почистите автокорреляцию, возникнет ещё одна проблема — отношение сигнал/шум, потому что при низких отношениях системы в основном убыточны (или претерпевают броуновское движение, то есть приводят к бесконечному риску).

Kot_Begemot, не совсем понял откуда берется понятие сигнала, можно прекрасно строить и проверять гипотезы без привлечения этого

wrmngr, на чистом броуновском движении? 

Kot_Begemot, кажется мы о разном, ну да ладно…

wrmngr, ума не приложу что вы подразумеваете под «уничтожение автокорреляционных связей» тогда и какой в нём вообще может быть смысл, если не генерация случайных сигналов.

Kot_Begemot, нет, это не генерация случайных сигналов. При генерации синтетики нужно оставить все свойства исходного ряда кроме собственно автокорреляций

wrmngr, вы этого достигаете путём насильственных правок к ряду или методами типа бутстрэп (то есть перетасовкой ряда)?

Kot_Begemot, бутстрэп логретурнов по определённым правилам

wrmngr, ясно. на релевантность скорее всего тестируете.

Kot_Begemot, с бутстрепом у меня как-то не сложилось. 

SergeyJu, вы машинным обучением с правилом типа «пень» просто не занимались, оттого и не сложилось. Когда у вас есть какая-то кривая, а вам нужно задать её кусочно-линейными функциями, то здесь используется Bag подход (набираем «сумку» из отрезков), а для того, чтобы набрать не одинаковых отрезков каким-то образом придумали бутстрэп. 



Получение «гладкой» границы методом композиции простых решений.

Зачем всё это нужно нам?.. Ума не приложу. Разве что с той целью, чтобы из тестовых выборок навыбирать плохих кусков и вдруг, неожиданно обнаружить, что если частоты условных трендов в будущем не будут совпадать с выборочными, то… мы обречены на провал. То есть такой тест репрезентативности выборки по отношению к нашему оверфитингу/ системе. 

Я вам обещал эту тему раскрыть как стационарность «кризисов» (которые совсем не кризисы) в 2008/2000. Раскрою.

wrmngr, и как это можно сделать?

SergeyJu, я ответил коту-бегемоту.

tashik, я бы посоветовал еще сделать такой анализ… Попробовать понять, есть ли «режим» в вашей стратегии. Например, выделить периоды рынка с высокой и низкой волатильностью, и наложить их на график ваших результатов. Возможно, вы не добираете на волатильном рынке (или наоборот на тихом рынке) — и тогда уже вводить дополнительных индикатор «режима» в вашу стратегию — корректировать настройки в зависимости от текущего «режима».

tashik, обратите внимание на динамику проскальзывание во времени. Если проскальзывание у вас растет — это плохой знак. Значит надо растягивать ордера во времени.

А. Г., как первый шаг, взять один индюк, вычисленный с заглядыванием вперед на половину его окна расчета. И посмотреть зависимость доходности от этого индюка. Разбив область значений индюка на 2 зоны  порогом. Если найдется индикатор, который хорошо АПОСТЕРИОРИ объясняет результаты системы, Вы получите критерий, который позволит отличить развал системы от «не её условий». А.Г. взял несколько индикаторов и провел факторный анализ. Но, имхо, для начала следует быть проще.

А. Г., вам не кажется, что это пустая и наивреднейшая трата времени?

Во-первых вы предполагаете, что знаете чего-то, например частоту появления сигналов (которые, кстати, вы получаете не чаще чем на полностью случайном шуме, если верить вашим презентациям). 

Во вторых, вы предполагаете, что способны каким-то образом оценить качество вашей стратегии на сигналах.

Kot_Begemot,  зачем мне «сигналы», если я группирую P&L по разным классам рынка? И сравнить прошлое выборочное распределение с выборочным распределением на отрезке, который не нравится за последний период в-общем, не слишком сложно, как по частоте встречаемости классов, так и по среднему значению P&L на классах. Проблема может быть только в корректности отбора классов. Например, классификации тренд-не тренд оказалось недостаточно, пришлось ещё вводить второй параметр — волатильность. 

А. Г., ваши «классы» и есть «сигналы».

Допустим, вы получили убыток на удачном для вас рынке. Как вы будете это интерпретировать?

Допустим, вы получили убыток на неудачном для вас рынке. Как вы будете это интерпретировать? 

Допустим даже, что вы ещё умеете качественно интерпретировать результаты вашей стратегии в случае полностью удачного и полностью неудачного рынка и получили убыток на неудачном для вас рынке. Как вы будете это интерпретировать?

Kot_Begemot, статистика — наука о большом числе испытаний. Если у меня на сотне исходов среднее положительно, а потом на паре десятков, которые по моему мнению из той же выборки дали отрицательное среднее, то значит я был не прав в гипотезе аналогичности. Если я уверен в правильности классификации состояний рынка, то значит в моёй системе ошибка. А если среднее и там и там положительно, но бывшая сотня — это больше 50%  от всех состояний рынка, а нынешние 20 — это меньше 30%, то это значит с рынком что-то не так, а с системой все нормально.

Именно так я нашёл ошибку в одной из своих систем в 2008-м и именно поэтому оставил системы без изменений после 2011-го, пересмотрев только свое отношение к шортам, на которых можно было заработать в тот год и закончить его, пусть и в небольшом, но плюсе и к увеличенным плечам, несвоевременное включение которых и увеличило минус почти в 2 раза.

А. Г., 

статистика — наука о большом числе испытаний

Нет, это наука об обработке данных.

Если у меня на сотне исходов среднее положительно, а потом на паре десятков, которые по моему мнению из той же выборки дали отрицательное среднее, то значитя был не прав в гипотезе аналогичности.

Это неверно.

А если среднее и там и там положительно, но бывшая сотня — это больше 50%  от всех состояний рынка, а нынешние 20 — это меньше 30%, то это значитс рынком что-то не так, а с системой все нормально.

Это  неверно.

Таким образом, ваш анализ базируется на двух неверных утверждениях о которых я написал ранее, но в обратном порядке:

1. Вы постулируете, что вам точно известно качество вашей стратегии на «хорошем» рынке.

2. Вы постулируете, что вам известна частота «хорошего» и «плохого» рынка.

пересмотрев только свое отношение к шортам

Ваше отношение к шортам: Long + Short/2 есть ни что иное как балансировка лонг и шорт позиции в предположении бестрендового рынка. Быть может, вы говорите о чём то другом, но сути это не меняет.

Kot_Begemot, 

Что неверного в моей второй цитате? Критерий на различие средних непараметричен.
Что неверного в выводе из третьей цитаты, что изменился рынок? По тому же критерию.

1. Я постулирую, что на этих состояниях система имеет положительное МО.
2. Я постулирую, что частота одного и того же состояния в разные временные отрезки — разная.

Как торговать шорты — это вопрос рисков и не более того. 

А. Г.,

Критерий на различие средних непараметричен.

Не вижу применения этому критерию. И особенно не вижу применения этому критерию в рамках поставленной задачи.

 Я постулирую, что на этих состояниях система имеет положительное МО.

Если бы вы это постулировали, то вы бы это не проверяли критериями. И именно из-за того, что вы этого не постулируете, а проверяете критериями вы неизбежно совершаете ошибку (2 рода).

 Я постулирую, что частота одного и того же состояния в разные временные отрезки — разная.

Если бы вы это постулировали, то вам не потребовалось бы проводить свой анализ повезло/не повезло, так как не было бы предмета сравнения (эталона). Но поскольку вы постулируете ровно обратное — что вероятность одного и того же состояния во все отрезки времени одинакова — у вас появляется возможность оценивать отклонение частоты от вероятности.

Kot_Begemot,  ну критерий на различие средних — это классика математической статистики. У Вас две выборки и Вам надо сделать выбрать из двух гипотез — это выборки из распределений с одинаковым средним или разным. Какая может быть ошибка 2-го рода, если мы проверяем простую гипотезу против сложной?

В данной задаче мы имеем в качестве двух выборок: 

— P&L системы на одном классе состояний рынка в разные временные периоды;
— количество «успехов» (в смысле появления состояния из класса) в разные временные периоды.

Почему мы не можем проверить гипотезу о совпадении средних в этих двух задачах непараметрической статистики? Зачем нам «эталон» в непараметрическом случае?

Ошибка первого рода конечно есть, ну так вопрос принятия или непринятия гипотезы о равенстве — это вопрос её априорного задания.

А то, что хорошая система должна иметь одинаковый средний (!) P&L на классах «близких» состояний рынка я именно постулирую. И первый  критерий равенства средних именно на проверку «слома» системы. Ну а второй просто для анализа текущего рынка, объяснения неудач хорошей системы и повод для поиска систем для диверсификация или фильтров, ограничивающих торговлю системы на классах состояний с отрицательным средним P&L. Я вообще далёк от мысли о стационарности ценовых рядов и существования «эталонов» частот встречаемости. Как и не верю в существование систем с положительным P&L на любых состояниях рынка. 

А. Г., не надо так уж жестко. Ваша классификация на состояния рынка не  делает его стационарным в пределах одного состояния. Поэтому даже в пределах одного состояния исходы могут и, я уверен, будут иметь более сложное распределение, чем описываемое в рамках константного МО и константного СКО. Тем не менее, получив свежую малую выборку, можно спросить, а принадлежит ли она ранее выделенной большой, или нет. И получить (непараметрическим методом) вероятностный ответ. Ваш подход — конструктивен, применим и вполне в духе методов матстатистики, если только не ограничиваться в ней параметриками а-ля гаусс.
Я действую также, только примитивнее.

SergeyJu,  ну стационаризация (или медленная изменчивость, что статистически неотличимо) первых двух моментов (включая корреляции соседних приращений) в моей классификации есть. В рамках гипотезы гауссовости отдельного приращения цены (я писал почему  так считаю для приращений логарифмов дневок) этого достаточно и для «близости» распределений в одном классе.

А что касается «малости», то пара десятков испытаний одного класса вполне достаточно для выводов с ошибкой первого рода 0,05. Конечно для более маленькой ошибки этого маловато. Понятно, что на новом временном отрезке мы можем и не набрать пары десятков состояний из одного класса, но это уже вопрос применимости конкретного критерия в конкретной ситуации.

SergeyJu,  а вообще раньше я действовал проще. Брал 21 дневные доходности системы на одном эмитенте (со сдвигом на 1 день), центрировал и нормировал по тем временным участкам, которые сравнивал и сравнивал распределения по Манну-Уитни. Если совпадают, значит система не испортилась, отличаются — снимаю с торгов и начинаю «копать» почему. 

А. Г., дисперсия суммы двух некоррелированных СВ меньше, чем сумма дисперсий его составных (бывает даже, что меньше дисперсии каждой в отдельности).

Смысл разбивать дисперсию на составляющие с тем, чтобы прекратить торговлю по достижению макс. просадки в одной из них  имеется только тогда, когда дисперсия отдельной составляющей много меньше дисперсии суммы.

Можно работать по двум составляющим или по их сумме — это одно.
Совершенно другое, это когда вы игнорируете одну из составляющих не имея при этом точных представлений о ней и совершаете ошибку первого рода.

Наконец, совершенно другое дело, когда вы иметее точное представление о составляющей, но  игнорируете его, контролируя просадку по этой составляющей и неизбежно совершая ошибку второго рода.

Это всё не работает, хотя должно, для систем в которых одна из составляющих априорно известна, например:

система должна иметь одинаковый средний (!) P&L на классах «близких» состояний рынка я именно постулирую.

В таком случае классический факторный анализ предлагает нам отказаться от проверки гипотез по этой составляющей и отслеживать просадки только по второй.

Я вообще далёк от мысли о стационарности ценовых рядов и существования «эталонов» частот встречаемости.

Тогда ваше предложение и его конкретная реализация -

А если среднее и там и там положительно, но бывшая сотня — это больше 50%  от всех состояний рынка, а нынешние 20 — это меньше 30%, то это значитс рынком что-то не так, а с системой все нормально.

вообще не уместны.

Kot_Begemot, предположим, система зарабатывает на трендах и теряет на их отсутствии. Я могу ЗАДНИМ ЧИСЛОМ на любом интервале определить КАКИМ ТО ОБРАЗОМ, был ли на нем тренд. В итоге результаты интервалов будут образовывать 2 набора чисел. И эти 2 набора будут иметь СУЩЕСТВЕННО РАЗНЫЕ статистики. Что Вам подтвердит любой непараметрический критерий однородности двух выборок. Или система зарабатывает не на трендах, а на чем-то ином. А дальше все очевидно, если просадка вне трендового участка — так ей тут на роду быть написано, если на трендовом участке, возможно, система перестала работать. 

SergeyJu, если ваша система может «поломаться» только на трендах и не может «поломаться» на их отсутствии — то да, всё верно и я спорить даже бы не стал.

Совершенно иное дело, когда система может (теоретически) «поломаться» на отсутствии трендов, сохраняя своё преимущество к рынку на трендах. Как только вы допускаете такую возможность весь факторный анализ теряет актуальность. (Кроме того, что позволяет вам лучше понимать собственную систему).

Существуют игры и системы, которые могут «поломаться» только на частотах и не могут «поломаться» на трендах по определению — в таких играх применение «факторного анализа» весьма распространено, хоть и практически не приносит сколько-нибудь ощутимой пользы.

Kot_Begemot, 
Найти подходящий фактор для конкретной системы или группы систем — это не всегда просто. Просто лучше потратить время и поискать, нежели отбрасывать идею с порога из философских соображений.
Фактором могут быть частоты, амплитуды, корреляции, дивидендная политика эмитента, да что угодно. Ищите, да обрящете. Или не ищите. Нечего тут обсуждать. 

SergeyJu, для любой трендовой системы этим фактором должен выступать тренд. Соответственно, по тренду мы считаем по умолчанию всё норм, а рынок может «поломаться» впадая в пилы. Я бы так делал.

Но у вас с А.Г., вероятно, какие-то другие системы, что вы делаете всё наоборот и это для меня сегодня более чем загадка. При этом, когда вы строите фильтры — делаете верно (в смысле логика ясна), а в факторном анализе почему-то наоборот.

Может быть потому и делаете так, что строите фильтры. Тестируете фильтр, так сказать.

Kot_Begemot, вовсе не очевидно, что таким фактором должен выступать тренд. 
А разница возникает естественным образом. Фильтры и системы — это про прогноз, а факторы в данном контексте — про объяснение постфактум. Да, и не надо в данном контексте про пни, деревья, бустинги и прочие бутсрепы. Пока ищем фичи, не более того. 

Kot_Begemot,

дисперсия суммы двух некоррелированных СВ меньше, чем сумма дисперсий его составных (бывает даже, что меньше дисперсии каждой в отдельности).

Вообще то именно равна сумме дисперсий. Ведь дисперсия суммы двух СВ — это сумма дисперсией плюс удвоенная ковариация. А дисперсия суммы любого числа СВ равна сумме дисперсией плюс удвоенные попарные ковариации.

А. Г., 

Вообще то именно равна сумме дисперсий. Ведь дисперсия суммы двух СВ — это сумма дисперсией плюс удвоенная ковариация.

Да, я уже с портфелями тут...

В действительности вы получаете на комбинации распределение с «тяжёлым хвостами», качество которого в среднем ниже, чем у каждой компоненты в отдельности. 

Однако, всё же, если говорить об отрицательных значениях теста на сумме компонент и сумме отрицательных значений теста на каждой из них в отдельности, то «сигналов»  слома на сумме будет меньше, чем «сигналов» слома на отдельных компонентах. А «сигналов» слома по сумме и по одной компоненте будет равное количество.

Kot_Begemot,  у нормального распределения со случайной дисперсией тоже «тяжёлые хвосты».  А у линейной комбинаций распределений с не отрицательным и весами, в сумме дающими 1, «хвосты» не могут быть «тяжелее» самого «тяжёлого» из слагаемых.

Но вообще-то мы начали с разделения P&L системы по классам состояний рынка. Какое это имеет отношение к линейным комбинациям СВ? 

А. Г., 

Какое это имеет отношение к линейным комбинациям СВ? 

В моих системах имело прямое, такое, что дисперсия факторной части была ниже дисперсии полного эквити потому что дисперсией другого фактора я имел полное право пренебрегать.  Но у меня задача другая была, к рынку абсолютно никак не относящаяся.

В вашей задаче, говорю, имеет значение только частота срабатываний «сигнала выхода из строя» когда :

1. Ломается рынок
2. Ломается «система»
3. Ломается или то или то
4. Ломается  и то и то
5. Ломается и то и то, пусть по чуть-чуть, но так, что использовать систему уже не возможно.

Вы выбрали пункт 2 из 5 возможных.
Я бы выбрал пункт 5 или, быть может, пункт 1. 
Всё зависит от того что вы постулируете. Если не постулируете ничего, считая что рынок вам не известен и изменчив во времени, то единственно верное решение — пункт 5.

Kot_Begemot, ну вообще то я  пп. 1 и 2 оцениваю, только не делаю из п. 1 «далеко идущих выводов».

Eugene Logunov, многие трендследящие системы хорошо зарабатывают только при воле выше средней. Ряд-то мы можем частично выровнять, но с водой как бы не выплеснуть ребенка. 

Eugene Logunov, бутстрап работает для стационарных рядов. Куски из ближайшего прошлого нельзя смешивать с дальным т.к. свойства ряда изменились. Бутстрап можно использовать для моделирования статистического распределения просадки, но опять же если верна гипотеза стационарности

Eugene Logunov, это если считать что нестационарности в расширении волатильность. А ломается скорее от нестационарности автокорреляций (в широком смысле т.е. нелинейных в т.ч )

tashik, по сути вопроса вы гоняетесь за ветром в поле. Для того чтоб понимать, когда алгоритм перестал работать, нужно понимать на чем базировалась его доходность и куда делись те, на ком вы зарабатывали.

Eugene Logunov, универсальные способы  а-ля Дмитрий Новиков? :)

tashik, 
Тоже кажется что TransaqConnector, понадежнее будет чем QuikLua, QuikDDE пока не пробовал.