Kot_Begemot
Kot_Begemot личный блог
26 мая 2021, 04:03

Критическая масса и критическое значение аналогичных стратегий


В первой части мы анализировали критический порог статистической значимости для сложных композитных систем на примере модели AR. В этот раз мы попытаемся быть чуть ближе к делу и проведем тесты для набора трендовых систем на базе Simple Moving Average. В качестве примера возьмем самый ликвидный фьючерс — белый шум, для которого заранее известно, что он абсолютно «не торгуемый» и попытаемся всё же что-нибудь под него подобрать из соображений трендовости «больших денег» и саморефлексии участников торгов. 

Сгенерируем набор из 10 стратегий с периодом 10*i, i=1,2,...10. 

Nstr=10; 
x=randn(10000,1); 
y=[x(2:end);0]; 
M=zeros(10000,Nstr);
for i=1:Nstr; 
    M(:,i)=tsmovavg(x,'s',10*i,1); 
end; 
M(1:Nstr*10,:)=0; R=M.*y;   

И оценим порог 70% статистической значимости коэффициента шарпа стратегии без учета размерности набора стратегий: 

Критическая масса и критическое значение аналогичных стратегий

И с учетом размерности :

Критическая масса и критическое значение аналогичных стратегий

Эффективная размерность для набора из 10 SMA с различным периодом получилась 3.7368, что хорошо видно из корреляционной матрицы -

Критическая масса и критическое значение аналогичных стратегий

Рис 1. Корреляционная матрица набора трендовых стратегий с различным периодом.




Заметим, что для лучшего соответствия эмпирическим данным, мы заменили оценку эффективной размерности :

Критическая масса и критическое значение аналогичных стратегий

где Csqrt — матрица корней из корреляционных коэффициентов стратегий, так что обобщенное критическое значение получилось равным :
Критическая масса и критическое значение аналогичных стратегий       Критическая масса и критическое значение аналогичных стратегий




Изобразим полученные результаты тестов и полученные доверительные интервалы :

Критическая масса и критическое значение аналогичных стратегий
Рис 2. Z статистика для стратегий основанных на скользящих средних случайного блуждания в зависимости от периода (синяя линия), «классический» Z тест (красные точки) и модифицированный Z тест (красная линия). 


Хорошо виден эффект слабой контрендовости в ближней зоне, связанный с влиянием «срочности» расчетов и «игрой по стопам» против трендового эффекта в дальней зоне, связанного с медленным переливанием «больших» капиталов. Тем не менее, даже не смотря на полное соответствие случайной реализации случайного блуждания с нашими глубоко профессиональными представлениями о рынке и на то, что сама совокупность стратегий образует достаточно широкое «облако антиподгона»,  с точки зрения статистики мы не можем утверждать, что способны обыграть случайное блуждание с вероятностью хотя бы 70%.


Что же, рассмотрим наши стратегии поближе -
Критическая масса и критическое значение аналогичных стратегий
Рис 3. Изображение прибыли, полученной по различным стратегиям.

 

На первый взгляд ничего интересного, но из-за достаточно широкого «облака»,  характерного для данного класса стратегий (SMA), мы получаем возможность перескакивать с одного прибыльного тренда на другой и получать дополнительное преимущество от адаптации к изменяющимся неэффективностям рынка.


Проведем адаптативный run forward rolling active adaptation OOS тест  (IS=600, oOS=300) на сетке  параметров ( T=10*i,i=1,2,..10 ) :

K=600; Q=300; 
IS=zeros(K,1); 
Roos=zeros(10000,1); 
for i=K:Q:10000-Q; 
     IS=x(i-K+1:i); 
     M=zeros(K,10); 
     y=[IS(2:end);0]; 
     for j=1:10; 
          M(:,j)=tsmovavg(IS,'s',10*j,1).*y; 
     end; 
     M(1:100,:)=0;
     sharp=mean(M)./std(M); 
     [a,per]=max(sharp); 
     if a>0; 
        Roos(i+1:i+100)=R(i+1:i+100,per); 
     end; 
end; 
plot(cumsum(Roos));  title('OOS test for SMA strategies at random noise'); xlabel('Time'); ylabel('Profit');


И графически изобразим полученные результаты:

Критическая масса и критическое значение аналогичных стратегий
Рис 4. OOS тест для набора трендовых стратегий с переоптимизацией каждые 300 отсчетов на интервале 600 отсчетов.

Критическая масса и критическое значение аналогичных стратегий

Рис 5. OOS тест для набора трендовых стратегий с переоптимизацией каждые 300 отсчетов на интервале 1000 отсчетов.


Что лишний раз подтверждает простую истину — закономерности случайного блуждания постоянно изменяются и прошлые закономерности быстро устаревают, поэтому оптимизировать портфель стратегий  нужно как можно чаще и на как можно более поздних, ещё репрезентативных данных. 





И какой из этого всего можно сделать вывод? А очень простой :


Что за новость, вот те на!
Пришла новая беда –
Дата-сайнс и Машин-лернинг
Применяют на ура!

Только лучше не спеши,
Сядь, подумай и реши.
Оверфитнуться здесь просто,
На бэктесты не греши.

Запросто она, цена,
Выйдет боком не туда
И утащит OOS тесты
За собою вникуда.

Замест чем опять гадать –
Где купить, а где продать?!
Взял бы лучше опционов,
Чтобы всё не проиграть!

Опционы это да –
Не случайная игра.
С ними можно спать спокойно!
…От утра и до утра.

Вон, смотри, как Старый Бес,
На какую гору влез!?
И в обчественном сознаньи
У него почет и вес!

Эту ж грамоту отложь,
Лишних сложностей не трожь.
Ежли не взлетишь как птица…,
То хотя бы доползешь.

61 Комментарий
    • Мальчик buybuy
      26 мая 2021, 13:38
      Kot_Begemot, и все же

      Вы не ответили на вопрос:
      А что делать, если никаким скользяшкам не повезет?
      И никаким случайно выбранным нескользяшкам тоже?
      Какие выводы следует делать в таком случае?

      С уважением
        • Мальчик buybuy
          26 мая 2021, 13:56
          Kot_Begemot, нет риска — нечего делать?)

          С уважением

          P.S. А если серьезно? Все модельные стратегии (комбинации МА) работают в минус. Все случайные стратегии (ну, которые мы смогли смоделировать) работают в минус. Что из этого следует?
        • Мальчик buybuy
          26 мая 2021, 14:29
          Kot_Begemot, на самом деле

          Я не хотел критиковать Ваш интересный текст и загнать дискуссию в тупик
          Но мне в самом деле интересно Ваше мнение )))

          Представим себе, что мы не зарабатываем деньги на бирже, а просто ищем корни уравнения f(x)=0. Тут f может быть полиномом, может быть любой непрерывной функцией, в-общем, есть варианты.

          И вдруг у нас ничего не получается. Метод Монте-Карло не находит ни одного корня. Moving Averages по прошлым испытаниям тоже не помогают. Полная засада! (про метод Ньютона мы не знаем, но MA не имеют к нему особого отношения, во всяком случае, не способны его заменить).

          Вопрос?
          Следует ли из наших безуспешных попыток найти корни уравнения, что у уравнения нет корней?

          С уважением
          • SergeyJu
            26 мая 2021, 14:41
            Мальчик Buybuy, а вдруг корней нет только там, где ищем? 
            А вдруг с точностью 10^(-5)  корень есть, а c точностью 10^(-10) уже нет. В вычислительной математике и не то бывает.
            • Мальчик buybuy
              26 мая 2021, 14:47
              SergeyJu, не, ну это уже придирки

              Если f — полином степени N, то основная теорема алгебры гарантирует нам, что у него есть N корней. Не нашли ни одного — плохо ищем )))

              С уважением
              • SergeyJu
                27 мая 2021, 00:52
                Мальчик Buybuy, комплексных. А ну как мы ищем только вещественные. Или, не приведи Господь, только целые?
            • Мальчик buybuy
              26 мая 2021, 14:48
              Kot_Begemot, это была гипербола/аллюзия

              Если трудно найти ТС с хорошей эквити — это не значит, что ее нет )))
              Или Вы таки сектант и считаете, что на любом рынке можно заработать всегда, в любой позе и в любое время суток?)

              С уважением
    • SergeyJu
      26 мая 2021, 14:38
      Kot_Begemot, или N или N^2, третьего не дано? 
      Есть такая штука — корреляционный интеграл, который используется для оценки фрактальной размерности. Предположения о виде распределения не требуются. 

  • Михаил
    26 мая 2021, 07:16
    Прочитал два ваших поста, и в каждом вы как-то походя DS/ML в негативном свете ближе к концу упоминаете. При этом я как-то не понял, в обоих случаях при чем тут они. Не могли бы пояснить, зачем к ним отсылка?
      • Михаил
        26 мая 2021, 08:11
        Kot_Begemot, посты на каких-то особенностях ML не акцентируются. Скорее они просто про сложность прогнозирования финансовых временных рядов. 
          • Михаил
            26 мая 2021, 08:50
            Kot_Begemot, так тем более не понятно, зачем его упоминать. 
  • wistopus
    26 мая 2021, 07:49
    напомнило Ansys — распределение напряжения в плите....

    но никому энто в теоретических целях и на фиг не надо… всем нужен за дешево относительно цены — качественный результат на уровне хорошо...

    если просто так для души… поискать черную кошку в темной комнате при начальном условии, что ее тама отродяся не было… то энто интересно
  • Иван Файртрейдов
    26 мая 2021, 09:04
    Все мат изыски для физиков мало что значат. Фин конторы могут гонять чтобы понимать профиль рисков и ТД. Физик алготрейдер обычно ищет какую-нибудь аномаль и дрючит ее пока она не умрет, математика особо не нужна
  • А. Г.
    26 мая 2021, 09:09
    У случайного блуждания закономерность как раз постоянна: будущее совершенно непредсказуемо. А следствием этого является то, что лучшей из систем на нем за период является пассивная стратегия по знаку выборочного среднего.
  • tashik
    26 мая 2021, 09:15
    А мне так стих понравился (и не только потому, что там про Беса)! Разносторонность дарований некоторых Котов потрясает и восхищает! Аффтар, пеши исчо!
  • Мальчик buybuy
    26 мая 2021, 09:24
    Все это красивая теория, но от жизни она весьма далека.

    Я уже второй год обещаю community написать развернутый пост про нелегкую жизнь на ниве лимитных ордеров, но руки так и не доходят. Мой косяк.
    Зачем нужны лимитные ордера — думаю, вполне понятно.
    1. Они позволяют достаточно строго контролировать косты при исполнении
    2. Они дают в среднем значительно меньшие косты, чем маркетные ордера
    Поэтому если Ваша система не супер-пупер-прибыльна, с маркетными ордерами и их проскальзыванием Вы далеко не уедете.

    Итак:

    1. Во вселенной лимитных ордеров системы, работающие в плюс — это редкость. С математической точки зрения — множество меры нуль в пространстве всех возможных стратегий.
    2. Системы, основанные на МА, вообще не попадают в зону профита

    Вопрос:

    Что покажет Ваше моделирование при таких вводных?

    С уважением

    P.S. Я обозначил вполне реальную рыночную задачу, любое решение которой монетизируется. Так что это уже не чистая теория)
    • wistopus
      26 мая 2021, 09:48
      Мальчик, который может добыть информацию из всякой ерунды...., из Вас бы получился классный разведчик....

      Вообще не понимаю — куда смотрит управление внешней разведки ФСБ?...
      образованы, умеете рассказывать анекдоты, устойчивы к стрессам, печень запросто держит сильный алкогольный удар....
      да и самое главное  — еще и Спекуль на бирже....
      • Мальчик buybuy
        26 мая 2021, 09:52
        wistopus, хм

        Я еще и крестиком вышивать умею (это правда)
        (густо краснеет...)

        С уважением
  • wistopus
    26 мая 2021, 09:37
    лучшей из систем на нем за период является пассивная стратегия по знаку выборочного среднего
    и что делать с энтим выборочным средним?...
    потом по нему гадать на ромашке?...

    поясните дальнейшие действия, если для Вас энто  не составит затруднений…
    • Мальчик buybuy
      26 мая 2021, 09:49
      wistopus, я попробую объяснить

      Думаю, Александр Борисович имел в виду, что при отсутствии знаний о будущем (обычное случайное блуждание) системы Buy & Hold или Sell & Hold покажут наилучший результат в интервале.
      На геометрическом случайном блуждании (логнормальное распределение) системы Buy & Hold или Sell & Hold являются оптимальными. Это было подробно доказано в одном из моих топиков.

      Именно по этой причине на растущем тренде индексные инвесторы обогащаются и начинаю считать себя гениями )))

      С уважением
      • wistopus
        26 мая 2021, 10:01
        Мальчик............,
        спасибо, я понял, что хотел сказать А.Г… Ваши комментарии сделали картину — маслом еще более понятной и убедительной.... 
  • anatolyutkin
    26 мая 2021, 09:40
    1. Что вы называете белым шумом?
    2. Какие основания полагать, что динамика цен на рынке как-то связана с белым шумом? 
    • Мальчик buybuy
      26 мая 2021, 09:55
      anatolyutkin, думаю, это была ачипятка)

      Белый шум предполагает горизонтальную АКФ (что встречается редко).
      ТС скорее всего имел в виду нормальное распределение приращений цен.

      С уважением
      • SergeyJu
        26 мая 2021, 11:04
        Мальчик Buybuy, с АКФ не наглядно. 
        Спектральная плотность белого шума постоянна и не зависит от частоты. 
        Отсюда два очевидных следствия. Белый шум не ограничен ни во времени ни в делимости. То есть, физически невозможен. 

        • Мальчик buybuy
          26 мая 2021, 11:09
          SergeyJu, я пытался упростить и не вдаваться в детали

          1. Белый шум возможен для процессов с любым распределением вероятностей — равномерным, Коши, гипергеометрическим etc. Не думаю, что ТС имел это в виду
          2. Физическая нереализуемость — это полная хрень

          К примеру — процесс приращений цен актива имеет незатухающую АКФ — это физически невозможно. Однако, сей факт несложно проверить.

          Если еще подробнее — нет никакой физической реализуемости. Есть лень математиков и физиков, которая превратила науку о бесконечных СЛАУ (систем линейных уравнений) в теорию ограниченных компактных операторов в гильбертовом пространстве. Ибо этот инструментарий рано появился и оказался вполне простым. Тем не менее, существуют и более глубокие факты о решениях бесконечных СЛАУ, но они не исчерпываются простым функциональным анализом в гильбертовых пространствах...

          С уважением
          • SergeyJu
            26 мая 2021, 12:27
            Мальчик Buybuy, не надо наводить тень на плетень. Мы имеем дело с существенно дискретными и существенно ограниченными во времени процессами. Можно, конечно, удалять гланды через жопу, то есть переходить к непрерывным и неограниченным во времени аппроксимациям. Да еще и походя пнуть математиков. 
            Но искать надо там, где потерял, а не там, где зажег фонарик. 
            Если переходить к прикладной математике, любой Вам скажет, что ОЦЕНКИ коэффициентов корреляции  плохо сходятся. Что для нестационарного процесса хорошо бы поискать другие методы описания. Иногда превосходно работает локальный переход к собственному базису (но это если он есть где-то рядом). Спектральное разложение в стиле SVD. Да хоть бы и бустинг. 

            • Мальчик buybuy
              26 мая 2021, 12:31
              SergeyJu, да я и не собирался наводить тень на плетень)

              Однако, мы можем попытаться строить АКФ постепенно
              Начать с дневок...
              Перейти на часовки...
              Потом на минутки...
              Потом на тики...
              (дальше не было смысла)

              Сама выборочная АКФ при этом будет куда-то сходиться (проверяется)
              Однако быстро затухать на бесконечности не станет
              Ни на каком таймфрейме

              Так что «случайный» процесс приращений цен актива никогда не станет «физическим» процессом. А так и останется процессом с бесконечной энергией. Как белый шум и прочие странные придумки...

              С уважением
              • SergeyJu
                26 мая 2021, 12:49
                Мальчик Buybuy, как насчет праздников и ночных гэпов? 
                Если Вы возьмете более-менее макроуровень, Вы увидите, что взятая как функция времени  оценка некоторого к-та автокорреляции по ограниченному окну (скользящему во времени) нестационарна. Какая уж тут сходимость. Как в анеке про военку. 
                  — Товарищ майор, у Вас написан предел синуса на бесконечности равным 0. Но синус не сходится на бесконечности.
                — Товарищ студент, Вы не поняли, эта формула для военного времени. 
                • Мальчик buybuy
                  26 мая 2021, 13:35
                  SergeyJu, ну Ок

                  А если я возьму микроуровень — то увижу, что эта оценка стационарна
                  (просто Вы этого не делали)
                  Поэтому и писал в наших с Вами дискуссиях, что не верю в стационарность рыночных процессов, но верю в их эргодичность.

                  С уважением
                  • SergeyJu
                    26 мая 2021, 14:33
                    Мальчик Buybuy, вот микроуровень мне малоинтересен как раз. Именно из-за неудобства в работе и ограничений в ликвидности. 
                    Тики на неликвиде прямо таки вопиют о стационарности и эргодичности. 
                    И Ваши методы, и методы А.Г., и мои имеют ограниченную область применимости, мы часто абсолютизируем свои выводы, не оговаривая ограничений. И рискуем впасть в аллегорию про слепых и слона. 
                    • Мальчик buybuy
                      26 мая 2021, 14:44
                      SergeyJu, я не призываю торговать на микроуровне

                      Просто на микроуровне все устроено просто, а на макро — сложно.
                      И я не верю (пока), что начав с макроуровня, можно построить богатую непротиворечивую теорию.

                      С уважаемым А. Г. мы вообще непохожи, но спасибо за сравнение — мне это лестно )))

                      Я не оперирую неликвидом, для меня основной рынок — это FX, т.к. больше практически нигде нельзя мгновенно перевернуть позу на несколько десятков миллионов долларов. И да, тики на FX просто вопиют об эргодичности (я ничего не утверждал про стационарность).

                      Ну а если все исследования рынков основывать на котировках болота под названием MOEX, то в итоге можно накропать только диссертацию о свойствах болота. Может и существенных. Но мне это неинтересно. Ничего личного. И без обид, плз.

                      С уважением
                • Мальчик buybuy
                  26 мая 2021, 13:53
                  SergeyJu, кстати

                  Синус на бесконечности таки сходится к нулю )))
                  По Эйлеру, по Чезаре и даже по Борелю (вроде бы) )))

                  С уважением
                  • SergeyJu
                    26 мая 2021, 14:29
                    Мальчик Buybuy, в некотором специальном смысле сходится. 
                    Но просто lim Sin(x) при Х стремящемся к бесконечности не существует. 
                    Точно также, при минимальном изменении аксиом математики, непрерывная функция, которая выше нуля в начале отрезка и ниже 0 в конце не обязательно имеет значение равное 0 внутри отрезка. Хотя обратное доказывают на 1 курсе универа. 


                     
                    • Мальчик buybuy
                      26 мая 2021, 14:35
                      SergeyJu, да это шутка была )))

                      Я неплохо владею и традиционным анализом, и нестандартным (по Робинсону).
                      Не хотел смутить Вас ))) Просто ссылка на сходимость по Эйлеру/Борелю была не вполне шуткой. Именно так и удается решать бесконечномерные СЛАУ, которые неразрешимы с точки зрения методов Великого Давида Гильберта. Традиционные методы тупо расходятся (отсутствует регулярность).

                      С уважением

                      P.S. Вы, кстати, никак не прокомментировали феномен сходимости коэффициентов корреляции на микроуровне. Этот уровень практически н не знает ни праздников, ни ночных гэпов…
                      • SergeyJu
                        27 мая 2021, 00:55
                        Мальчик Buybuy, я не лезу в микро. Готов Вам поверить, но что делать с этим, не знаю.
        • Мальчик buybuy
          26 мая 2021, 11:17
          Kot_Begemot, да

          Ачипятка
          АКФ белого шума — это дельта-функция
          Однако на распределение приращений это никакого влияния не оказывает

          С уважением
    • Мальчик buybuy
      26 мая 2021, 11:14
      Kot_Begemot, это не так

      Белый шум — это процесс с равномерной спектральной плотностью
      Распределение приращений при этом может быть любым — нормальным, равномерным, Коши, экзотическим etc.

      Могу на бис попробовать придумать тип (сильно смещенного) приращения, при котором результат торговли не будет абсолютно случайным в Ваших терминах )))

      С уважением
  • SergeyJu
    26 мая 2021, 11:06
     Не могли бы Вы дать ссылку на то, что Вы называете «эффективной размерностью». Так, чтобы там были аккуратно выписаны условия и ограничения в применимости.
      • SergeyJu
        26 мая 2021, 12:31
        Kot_Begemot, корреляции чего с чем, я как-то нить потерял. 
        Если Вы о корреляции скользяшек между собой, то она, естественно есть, по построению. Если Вы нашли существенные отклонения АКФ исходных данных, проверьте датчик случайных чисел. Возможно, у Вас шум спектрально окрашен, например, подчеркнуты низкие частоты.
  • Виталий
    26 мая 2021, 16:29
    блин все непонятно, но очень интересно
  • Susanin
    26 мая 2021, 16:30
    а почему вы решили что можете найти зависимость цен на картошку сегодня от цены вчера? т.е.   наличие картошки и денег у покупателей сегодня каким то образом зависит от цены картошки вчера.
    это очень смелое утверждение и возможно не верное в корне.
    • Мальчик buybuy
      26 мая 2021, 16:46
      Susanin, хм

      Можно легко найти зависимость между ростом цен на картошку со вчера на сегодня и ростом цен на картошку с сегодня на завтра.
      Проверяется на 100% активов.
      Писал подробно в своем блоге.
      Торговать в плюс не позволяет.
      Но все равно крайне интересно)

      С уважением
      • Susanin
        26 мая 2021, 16:51
        Мальчик Buybuy, найти то можно, но вопрос она есть или вы ее выдумали?
        а это вот ключевое. если есть то путь в миллионам. а если нет, ну не повезло )))
        • Мальчик buybuy
          26 мая 2021, 16:56
          Susanin, я ничего не выдумывал

          Я подробно писал в своем топике что (на тиковом или минутном таймфреме) все активы делятся на 2 категории
          1. LP (если предыдущую минуту росло — будет расти и следующую)
          2. LA (если предыдущую минуту росло — следующую будет падать)

          Работает всегда и везде. Исключений (3-й категории) нет. Проверяется элементарно в Excel. К какому из классов относится конкретно картошка — лично мне фиолетово...

          С уважением

          P.S. Денег в этом факте не закопано. Но сама закономерность доставляет)
          • Susanin
            26 мая 2021, 17:03
            Мальчик Buybuy, а что мешает тогда на этом заработать то?
            • Мальчик buybuy
              26 мая 2021, 17:48
              Susanin, никак, к сожалению

              Но это еще один камень в огород сторонников случайного изменения цен)

              С уважением
              • Susanin
                27 мая 2021, 13:40
                Мальчик Buybuy, вы имеете в виду что сумма выигрышей и проигрышей за вычетом комиссии будет отрицательной? 
  • Dangerous Assumption
    29 мая 2021, 14:30
    Плюс этому каменту, если сразу перемотал вниз, чтобы найти вывод

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн