19 декабря 2018, 14:41

Подгонка и другие методы подбора параметров.

Решили провести небольшой тест — на примере простейшей стратегии проверить, какие будут результаты, если заниматься “тупой” подгонкой стратегии. Стратегия — пересечение 2 скользящих средних(SMA). Метод анализа/тестирования — Walk Forward Analysis, чтобы долго не расписывать, что это такое, посмотрите короткое видео — https://www.youtube.com/watch?v=f_7LKRfVpng&t=1s. Мы несколько лет используем именно этот метод анализа стратегий. Инструмент на котором будем тестировать — наш любимый фьючерс Si.

Исходные данные:
— исторические данные фьючерса на курс рубль/доллар;
— трендследящая стратегия на двух простых скользящих средних(лонг при пересечении быстрой скользящей медленную снизу вверх, переворот в противоположном случае); Таймфрейм стратегии — 5 мин, стартовый депозит — 1 млн рублей, вход по рынку, объем лота для входа в сделку — на весь депозит без плеча, комиссия 10р на круг на контракт.
— TSLab 1.2
Пример сделок:
Подгонка и другие методы подбора параметров.

История с 17.06.09 по 30.11.18 .
2 подхода:
1- с фиксированным скользящим окном;
2- с постоянно увеличивающимся периодом In-Sample.
Во всех тестах, для торговли OoS будет выбираться лучший параметр по Фактору восстановления на предыдущем отрезке IS.

Подход 1.

Рассмотрим несколько периодов для фиксированного окна, чтобы проследить как меняются результаты от количества данных IS. Периоды оптимизации возьмем кратными половине года. В году порядка 245 торговых дней.

Тест 1.1 — окно с периодом 122 дня — In-Sample(IS) и 1 календарный месяц Out-of-Sample(OoS), старт торговли OoS c 1.01.2012г .
Результаты теста:

Подгонка и другие методы подбора параметров.

Тест 1.2 — окно с периодом 245 дней — In-Sample(IS) и 1 календарный месяц Out-of-Sample(OoS), старт торговли OoS c 1.01.2012г :
Подгонка и другие методы подбора параметров.

Тест 1.3 — окно с периодом 360 дней — In-Sample(IS) и 1 календарный месяц Out-of-Sample(OoS), старт торговли OoS c 1.01.2012г:
Подгонка и другие методы подбора параметров.

Тест 1.4 — окно с периодом 490 дней — In-Sample(IS) и 1 календарный месяц Out-of-Sample(OoS), старт торговли OoS c 1.01.2012г:
Подгонка и другие методы подбора параметров.

Тест 1.5 — окно с периодом 610 дней — In-Sample(IS) и 1 календарный месяц Out-of-Sample(OoS), старт торговли OoS c 1.01.2012г:
Подгонка и другие методы подбора параметров.

Подход 2.

Тест с постоянно растущим окном. Исходные данные с 17.06.09 по 31.12.11- In-Sample(IS) и 1 календарным месяцем Out-of-Sample(OoS), старт торговли OoS c 1.01.2012г. Каждый месяц, к нашему IS периоду будет добавляться прошедший месяц, т.е. размер данных для подгонки постоянно будет увеличиваться.
Подгонка и другие методы подбора параметров.

Несколько замечаний и выводов которые мы сделали:

1.В обоих случаях были участки по несколько месяцев, где лучшие параметры оставались неизменными. При методе с фиксированным окном параметры меняются чаще.Например, после какого-то сильного тренда(как в апреле сего года), фикс окно подстраивало параметры стратегии, а для большого окна этот тренд не внес существенных изменений, параметры остались прежними и не менялись почти 2,5 года — с 01.09.2016.

2.Окно оптимизации от полутора до 2,5 лет достаточно для определения стабильных параметров стратегии(для данной стратегии), при условии ежемесячной оптимизации.

Плюсы оптимизации с фиксированным окном:

Параметры всегда учитывают последние изменения рынка.
Мы можем выработать методологию отбора параметров для работы стратегии, что по нашему мнению является одной из важнейших составляющих торговой стратегии.

Минусы:

При неправильном выборе окна есть возможность выбора нестабильных параметров. Что если стабильное окно, будет сильно меняться со временем? Как это отслеживать?

Плюсы оптимизации на всей истории:

Будут отобраны параметры, которые работали на протяжении всей истории.

Минусы:

100%-я подгонка под кривую.
Сильное влияние старой истории, каждый новый месяц вносит все меньшее и меньшее влияние.

Оптимизация на всей доступной истории — не что иное, как 100% подгонка параметров. Подгонка под последнюю актуальную историю, та же подгонка, но под меньший период и с постоянной заменой истории. Думаю почти всем алготрейдерам извесстно(либо они слышали), что подгонка параметров это плохо, это одна из основных проблем алготрейдеров, такие параметры не будут работать в реальной торговле и т.д и т.п.

Но нам не понятно, почему они не должны работать следующий период времени? Объясните пожалуйста доступно. Да, да, история не повторяется в точности, уже 100 раз пройдено(кем?), это аксиома и известно всем на свете. Мы все это слышали, читали, знаем. Но, тесты и наша реальная торговля показывает, что именно подгонка под историю и позволяет зарабатывать. А как еще выбрать параметры для стратегии, кроме как проверки ее на истории?

алготрейдинг sma algo тесты робота робот algotrading

Игорь Шепелев

Москва

237

с 9 ноября 2014

92 Комментария

Jame Bonds
19 декабря 2018, 14:51
Есть мнение, что Walk Forward Optimization не что иное как подгонка результатов по параметрам длительности окна и периоду между оптимизациями.
Есть мнение.
Например, если в ваш пример взять исходные данные не котировки, а случайное блуждание, то есть неплохая вероятность, что применение Walk Forward Optimization будет красивую картинку прибыльности.
+2
- Игорь Шепелев
  19 декабря 2018, 15:19
  Jame Bonds, вероятность есть, но ничтожная. Примерно такая же, как и торговать прибыльно по звездам.
  
  0
  - Jame Bonds
    19 декабря 2018, 15:31
    Игорь Шепелев, вероятность прибыльной торговли по звездам примерно 50%, что вовсе не ничтожно. Один часто пишущий здесь персонаж успешно это эксплуатирует.
    +1
    - Игорь Шепелев
      19 декабря 2018, 15:33
      Jame Bonds, эксплуатирует успешно, верно, но для того, чтобы впаривать другим свои прогнозы.
      0
      - Jame Bonds
        19 декабря 2018, 15:37
        Игорь Шепелев, именно это и имел в виду.
        0
Юрий Ч.
19 декабря 2018, 15:06
«Но нам не понятно, почему они не должны работать следующий период времени? Объясните пожалуйста доступно.»
Вот почему:
web.archive.org/web/20180109065455/http://управление-капиталом-отзывы.рф:80/
«Ну и напоследок скажу кратко про две компании, занимающиеся алгоритмическими торговыми системами. Это
»Аист-Инвест" (Игорь Шепелев) и ИК «Форум» (Александр Горчаков). Обе компании активно пиарятся и размещают
рекламу по ДУ. В работе используют схожие трендовые роботы, работающие на фьючерсе Доллар/рубль.
Результат роботы с «Аист-Инвест» – за 9 месяцев «слито» 4млн. из 10млн. Один раз выводилась прибыль в
размере 165 тыс. руб. Результат работы с ИК «Форум» (их робот стоял на моём счёте в БКС) – за 6 месяцев
«слито» 2млн. из 10млн. Один раз был вывод прибыли в размере 370 тыс. руб. Т.к. я сам добровольно остановил
торговлю при недостижении оговореной просадки (по «Аист-Инвест» – 50%, по ИК «Форум» – 35%), то формальных
претензий к ним нет. Но зарабатывать с этими компаниями не получится. Январь-февраль 2016г.
характеризовались повышенной волатильностью по Si, но их системы быстро растеряли накопленную прибыль и
ушли в глубокий «минус». В июле моё терпение лопнуло. Кстати, на сайте «Аист-Инвест» публично отображаются
результаты их торговли. Имейте в виду, что к реальности они не имеют никакого отношения."
0
- Игорь Шепелев
  19 декабря 2018, 15:12
  Юрий Ч., а по делу есть что сказать?) Кстати, имейте ввиду, что к реальности этот отзыв не имеет никакого отношения.
  +1
  - Юрий Ч.
    19 декабря 2018, 15:15
    Игорь Шепелев, А как было в реальности?
    0
    - Игорь Шепелев
      19 декабря 2018, 15:28
      Юрий Ч., не хочу разводит слухи и истории, то, что написал Алексей(клиент который оставил отзыв) о нас не правда. Как было на самом деле, могу ему напомнить всю сантобарбору с «его» счетами и, что он на них делал.
      +1
      - Юрий Ч.
        19 декабря 2018, 15:37
        Игорь Шепелев, Жаль, если он действительно обманул (или просто плюс с минусом перепутал).
        0
        Игорь Шепелев
        19 декабря 2018, 15:49
        Юрий Ч., Он не знак перепутал, а кислое с солёным. А так, про несколько случаев которые он описал, я знаю ситуацию и там он верно написал, но про нас написал херню, без подтверждения(хотя, не проблема же выгрузить отчёты с нескольких счетов), но всем же этого достаточно) А я не люблю разводить демагогию, но готов поговорить по фактам.
        0
      - VladMih
        19 декабря 2018, 21:41
        Игорь Шепелев, не думаю, что стоит этим заниматься. В принципе, всё ясно из его комментария (для тех, кто умеет думать). Давайте лучше говорить по теме поста.
        
        Стратегия — пересечение 2 скользящих
        Вряд ли можно ЭТО назвать Стратегией (хоть какой-то), но то, что вы вытворили дальше, однозначно заставляет напрячь мозг.
        У меня это не привело ни к чему хорошему, поэтому дам ссылку на ваш пост своему программисту. Просто задом чую, что в этом что-то есть )
        0
        Игорь Шепелев
        19 декабря 2018, 21:52
        VladMih, специально выбрали простейшие вещи, чтобы не отвлекали от сути.
        +1
- bocha
  19 декабря 2018, 15:13
  Юрий Ч., бог троицу любит. Попробуйте еще кого-нибудь )))
  +1
bocha
19 декабря 2018, 15:16
Тесты хорошие, грамотные.

1. Зачем использую волкфорвард? Чтобы ответить на единственный вопрос: изначально оверфитинг и фигня, или за этим что-то есть. Работает — значит что-то здравое есть, можно пытаться использовать.
2. И вот если робастность в нулевом приближении подтверждена волкфорвардом, я беру в работу лучшие параметры по максимально возможному периоду.

Все ))
+6
- Oleg Only Algo
  19 декабря 2018, 15:31
  bocha, а что такое волкфорвард?
  0
  - bocha
    19 декабря 2018, 15:34
    Oleg Only Algo, Walk Forward Analysis
    0
    - Oleg Only Algo
      19 декабря 2018, 17:04
      bocha, в тс лабе такой нет функции?
      0
      - bocha
        19 декабря 2018, 18:53
        Oleg Only Algo, про ТС лаб не знаю, пользуюсь Амиброкером. Там есть
        0
        LogikoMen
        19 декабря 2018, 22:37
        bocha, как в Амиброкере реализован форвардный анализ? Т.е. настраивается, или нет? И второй вопрос — его функционал позволяет использовать для автоматической торговли и цена вопроса и с кем или через что он работает — квик?
        0
        bocha
        19 декабря 2018, 23:16
        LogikoMen, форвардный анализ настраивается весьма гибко. По любому параметру (прибыль, рекавери, шарп и еще полсотни), по любым in sample и out of sample Это нормально там
        
        Торговать через амиброкер + квик можно. Есть прилады и прочее, но я не пользовался, поэтому тут надо на Амисайте посмотреть www.amisite.ru и еще на Пауке есть про это
        +1
        А. Г.
        20 декабря 2018, 09:24
        LogikoMen, есть официальная квиковская dll, позволяющая качать данные из квика в Амиброкер. А давным-давно Саша Кургузкин выкладывал скрипт для Амиброкера записи сигналов из Амиброкера в текстовый файл для загрузки в квик.
        +1
      - Игорь Шепелев
        19 декабря 2018, 19:15
        Oleg Only Algo, в тслаб нет такой функции, у нас отдельно написан тестер для форварда. Тслаб тут используется для отображения результатов.
        0
        Oleg Only Algo
        23 декабря 2018, 10:38
        Игорь Шепелев,1) это при каждой итерации алгоритма нужно прогонять по несколько раз по разным участкам, в вашем случае за все время и скажем за месяц последний и выбирать лучшие параметры? 2) а тестер -форвард под тслаб получается всегда зашит в каждый алгоритм Уже, чтоб через тслаб торговать?
        0
- ksand
  19 декабря 2018, 15:39
  bocha, извиняюсь, а разве форвард не подтверждает робастность?(не понял про нулевое приближение, если можно, поясните))
  0
  - ksand
    19 декабря 2018, 15:55
    ksand, ведь по сути, есть модель роллирования параметров системы, например, как здесь 2 года-месяц, и жестко прописанный алгоритм выбора параметров, модель работает -> система устойчива. Или нет? Про нулевое приближение — это подгонка на всей истории?
    0
  - bocha
    19 декабря 2018, 18:52
    ksand, форвард на мой взгляд подтверждает робастность.
    Нулевое приближение (подтверждения) означает, что подтверждает, но не доказывает.
    Если параметра всего два, можно построить трехмерную поверхность прибыль/параметры и глянуть глазками, не на остром ли пике мы расположились, широко ли плато положительных решений.
    Если параметров больше, то надо либо смотреть попарные связки, либо иначе кластеризовать решения на разных интервалах данных...
    А можно не смотреть все это, а прогнать форвард — коли нет жутких провалов эквити, скорее всего параметры нормально кластеризуются, можно торговать.
    0
    - Игорь Шепелев
      19 декабря 2018, 19:16
      bocha,
      Если параметра всего два, можно построить трехмерную поверхность прибыль/параметры и глянуть глазками, не на остром ли пике мы расположились, широко ли плато положительных решений.
      Да, делали именно так раньше.
      0
- SergeyJu
  19 декабря 2018, 16:32
  bocha, и я, и я, и я того же мнения.
  +1
meat
19 декабря 2018, 15:49
а где взяли котировки?
0
skatino
19 декабря 2018, 15:49
полностью согласен…
0
meat
19 декабря 2018, 15:52
что-то профит-фактор маленький, у меня при дефолтных настройках около 3 получается без оптимизации и подгонки
0
- Игорь Шепелев
  19 декабря 2018, 16:03
  meat, круто
  0
  - meat
    19 декабря 2018, 16:13
    Игорь Шепелев,
    
    с учетом проскальзывания и комиссии
    0
    - ksand
      19 декабря 2018, 16:16
      meat, это дневки? просадка 2,75% — покруче арбитража))
      проверил, дневки. Там ПФ на лучших параметрах в районе 4. И ни на каких параметрах не было просадки меньше 5%, наверно Вы что-то все-таки не учли. Да и в начале статьи указаны исходные данные(тф-5мин), а для подобного теста на дневках слишком мало данных
      
      0
- ksand
  19 декабря 2018, 16:10
  meat, это ж 2 скользяшки) или у вас на такой логике ПФ 3?) если так, то назовите периоды, интересно посмотреть
  
  0
  - meat
    19 декабря 2018, 16:29
    ksand, дневки, таймфрейм лучше выбирать тот на котором хорошо работает ТА, поэтому чем выше, тем лучше
    такая же стратегия как у автора, только параметры по дефолту
    инструмент usdrub_tom
    если выставить параметры ma другие, то будет уже ближе к 4 ПФ
    0
    - ksand
      19 декабря 2018, 16:35
      meat, ну, круто, только к чему это все… Ведь из исходных данных остались только 2 скользяхи
      
      0
      - meat
        19 декабря 2018, 16:46
        ksand, ничего не понял, чем недовольны то? :)
        0
        ksand
        19 декабря 2018, 16:48
        meat, нет, просто не понял к чему сравнение)
        0
        meat
        19 декабря 2018, 16:51
        ksand, какое сравнение?
        0
        ksand
        19 декабря 2018, 16:55
        meat, что-то профит-фактор маленький, у меня при дефолтных настройках около 3 получается без оптимизации и подгонки
        собственно говоря, вот это) думаю, в этой ветке можно уже не флудить)
        0
        meat
        19 декабря 2018, 16:57
        ksand, а, понял, нельзя писать свои мысли в чужих блогах, у нас же в стране нет свободы слова, спасибо что напомнили
        0
Replikant_mih
19 декабря 2018, 16:22
По мне так гораздо больше изюма зарыто в области «как по результатам оптимизации отбирать оптимальные значения параметров», чем в области «как именно аутофсэмплить».

Делая WFO, мы просто оцениваем, или — другими словами — понимаем, насколько хорошо работает данный подход к выявлению оптимальных значений показателей. И делаем это более менее реалистично.

Ну типа: если просто оптимизация и в бой — это: я подогнал, а теперь в бой и хер знает, как оно будет. WFO это: а как будет эффективность если я буду подгонять, и потом в бой — т.е. как будет если я буду постоянно переоптимизировать, или каков будет вероятный сценарий если я даже один раз сделаю.

Не, это не то что надо. Да, самый переоптимизационный треш это снимет, но всё равно это мелочи.
0
- Игорь Шепелев
  19 декабря 2018, 16:41
  Replikant_mih, полностью согласен, мы используем несколько методик отбора параметров, в данному случае привели самый понятный и простой метод.
  0
  - Replikant_mih
    19 декабря 2018, 16:55
    Игорь Шепелев, Круто, тогда будем ждать новые посты на эти темы!))
    0
    - Игорь Шепелев
      19 декабря 2018, 19:48
      Replikant_mih, осталось только найти для себя смысл в написании подобных статей))
      0
      - Replikant_mih
        19 декабря 2018, 20:25
        Игорь Шепелев, Ну по вдохновению), или когда инвестиции нужны будут)).
        0
        Игорь Шепелев
        19 декабря 2018, 20:37
        Replikant_mih, инвестиций это не приносит, увы))
        0
        Replikant_mih
        19 декабря 2018, 23:09
        Игорь Шепелев, У вас 5 постов здесь за 2 года — в таком режиме конечно не принесет :). Тут надо инвестировать силы в это дело, тогда, наверно, пойдет. Ну это как одна из стратегий.
        0
- Пафос Респектыч
  19 декабря 2018, 19:15
  Replikant_mih, короткий ответ — никак. Одной моделью всего не покроешь, чтобы нормально работало нужен ансамбль )
  0
  - Replikant_mih
    19 декабря 2018, 20:24
    Zweroboi, Ну ансамбль — это тоже ответ на «как», по крайней мере если все формализовано).
    0
А. Г.
19 декабря 2018, 17:03
Не понял почему такая маленькая просадка у рынка. В 2016-2018 фьючерс просаживался на 30%+.
0
- ksand
  19 декабря 2018, 17:26
  А. Г., тслаб считает эту колонку как покупку 1 контракта на открытии первой свечи, и закрытие по клозу последней. Стартовый депозит 1млн, от тела депозита макс просадка была в 11 году. А с середины 13го актив вырос и просадки у депозита не было
  
  0
  - А. Г.
    19 декабря 2018, 17:51
    ksand, значит тестер неправильно считает просадку.
    0
    - ksand
      19 декабря 2018, 18:12
      А. Г., да, рынок он неправильно считает, но остальное верно)
      
      0
    - Игорь Шепелев
      19 декабря 2018, 19:21
      А. Г., считается все верно, многократно проверили. Это особенность расчетов в тслаб, он не считает просадкой нереализованную прибыль в сделке.
      0
      - А. Г.
        19 декабря 2018, 20:19
        Игорь Шепелев, но тогда он и для систем тоже не должен считать нереализованные прибыль или убыток, а значит максдд не совсем то. И в доходности не учтена последняя незакрытая сделка, хотя последнее не критично.
        +1
        Игорь Шепелев
        19 декабря 2018, 20:37
        А. Г., именно так, в последней сделке участвующей в просадке мы не видим максимальную просадку в моменте. Но, всегда можем ее посмотреть по экстремуму в конкретно этой сделке.
        0
Oleg Only Algo
19 декабря 2018, 17:09
Мне кажется этот ваш форвард тест — тоже самое почти что и обычный. Тоже может подвести точно так же. Любая оптимизация — подгон. Любой алгоритм это подгон под историю, форвард или не форвард тест. Ерунда это всё, ребята. Никак не определить, только на счёте своём. На мой взгляд, чем больше период- и чем глаже под 45 эквити, там и граально должно быть со средней сделкой от 0,5 процентов +, норм выше 20 фактором восстановления, ну и профит фактор для спокойствия побольше
+3
- ksand
  19 декабря 2018, 17:28
  Oleg Only Algo, Любая оптимизация — подгон — тут соглашусь,
  но на счет форварда не согласен. Стратегия, показывающая хорошие результаты при подгонке на всей истории(даже с углом роста эквити под 45%) не всегда пройдет форвард тестирование — что говорит о том, что система не устойчива. А устойчивую систему можно пускать в бой с большей вероятностью, что не поседеешь через пару-тройку месяцев))
  +1
  - bstone
    19 декабря 2018, 19:35
    ksand, вот именно, не всегда пройдет форвард тестирование, потому что форвард — это подгон под оставшийся кусок истории, который не использовался. Вы просто подгоняете под дополнительный кусок данных, но не так, как вы подгоняете под основной кусок. Никакой уличной магии тут нет.
    +2
    - Игорь Шепелев
      19 декабря 2018, 19:47
      bstone, в чем выражается подгонка под оставшийся кусок истории во втором подходе? Согласился бы с вами, если у нас было бы 2 участка, например IS 3 года и OoS какой то, мы подгоняли параметры которые работают и там и там. Но у нас 1 участок IS и десятки отрезков OoS, на которых мы каждый раз заново принимаем решение, какие параметры торговать. И, если результаты нашей методики принятия решения показывают хороший результат, почему это не будет являться убедительным доводом в работоспособности нашей модели?
      0
      - bstone
        19 декабря 2018, 19:51
        Игорь Шепелев, потому что в случае с множеством OoS вы подгоняете способ подгонки :)
        +1
        Игорь Шепелев
        19 декабря 2018, 20:09
        bstone, верно, можно и так сказать) Мы подгоняем способ отбора параметров, по первому варианту тестов(где проверяли разные фиксированные окна) мы еще и размер IS подгоняем, чтобы результаты лучше были. Мы все это понимаем, и статью запостили, с целью подискутировать на эту тему. Можно сказать, что мы подгоняем способ подгонки, можно сказать, что мы ищем методику отбора параметром, можно сказать, что мы ищем инструменты или стратегии с которыми работает наша методика отбора параметров и т.д. Но, как ни назови, реальная торговля подтверждает результаты тестов. Какой вариант анализа/тестирования будет более достоверным? Какие еще варианты тестирования методик отбора параметров можно применить?
        0
        bstone
        19 декабря 2018, 20:18
        Игорь Шепелев, я копал это поле много лет и очень давно. Кроме мин там ничего нет, как и толковых ответов на ваши вопросы у меня. Применить можно много всего, но результата не будет. Причина должна быть понятна из следующего практического наблюдения (с ним должны были столкнуться все достаточно долго практикующие подгонку и прочую МТС-торговлю):
        
        Если вы подгоните и отфорвардите стратегию, то рано или поздно (скорее рано), она выйдет из расчетных показателей риска/доходности. Но если продолжить гонять ее виртуально, то точно так же, рано или поздно (после стабильного слива или топтания в зоне убытков), она снова начнет стабильно плюсовать какое-то время. Но при этом вы ничего не подгоняли и не форвардили. Вот собственно и все. Тут конечно можно долго и упорно рассуждать о том, что параметры рынка вернулись к прежним значениями и все-такое… но нет-с :)
        +1
        Игорь Шепелев
        19 декабря 2018, 20:35
        bstone, да, подгонка ни дает результатов, это некая аксиома. Но, нам практика доказывает обратное. Есть много «НО», например — с ростом количества параметров, получить хорошие результаты на истории легче, но форвардный тест они не проходят(если не использовать сложную модель именно для этой стратегии и инструмента). И, за неимением лучшего метода анализа, пользуемся этим. Понятно, гарантий он ни каких не дает, но практически гарантированно отсеивает не рабочие модели(что очень ценно), 2 — дает наилучшее представление о работе стратегии.
        0
        bstone
        19 декабря 2018, 21:21
        Игорь Шепелев, нужен не метод анализа, а понимание, что прибыльная серия — случайность независимо от тестирования. Но это не значит, что при этом нельзя зарабатывать. Проп конторы делают это ;)
        0
        Игорь Шепелев
        19 декабря 2018, 21:44
        bstone, т.е. по вашему утверждению, любой результат торговли, это случайность? Много кто это делает по мимо проп компаний, посему именно их указали?)
        0
        bstone
        19 декабря 2018, 22:40
        Игорь Шепелев, не любой, а тот, который здесь обсуждается.
        0
        bstone
        19 декабря 2018, 22:57
        Игорь Шепелев, про проп компании: у них очень жесткие лимиты. Если очередной случайный набор параметров на двух ногах попал в полосу везения, он едет, лимиты расширяются. Как только выбился из полосы, сразу режут лимиты, до очередной полосы везения, или до полного вылета, если она довольно долго не наступает.
        0
        Игорь Шепелев
        20 декабря 2018, 08:36
        bstone, схожую модель можно и для алго применить, управлять лимитами между стратегиями.
        0
        bstone
        20 декабря 2018, 09:00
        Игорь Шепелев, о том и речь. Просто подгонять смысла нет.
        0
        LogikoMen
        19 декабря 2018, 22:21
        bstone, а параметры вы берете откуда, из своих снов? Или может через генератор случайных чисел?
        
        0
        bstone
        19 декабря 2018, 22:48
        LogikoMen, у меня другой подход — я считаю, и поэтому подгонка не требуется. Но сразу предупреждаю, что я торгую опционы. В случае с линейными активами я верю только в удачу, HFT, и портфели стратегий (но портфели плохо переживают кризисы, когда раскорреляция превращается в тыкву). Я к этому пришел очень не быстро, но если я не буду говорить об этом, то мало кто еще задумается. Тут был очень правильный контекст! :)
        +1
        Игорь Шепелев
        20 декабря 2018, 08:45
        bstone, я не силен в опционах, но насколько понимаю, там крайне проблематично(если вообще возможно) заниматься подгонкой или тестами на истории. И там как раз счет применим. Но что и как считать у направленных стратегий на линейных инструментах? Что значит портфель стратегий? Например, у компании Алго-Капитал(норд капитал), в их стратегиях на РФ и западных рынках, портфель стратегий?
        0
        bstone
        20 декабря 2018, 09:02
        Игорь Шепелев, портфель стратегий — это когда торгуют сотни алгоритмов с минимальной корреляцией результатов.
        0
        Игорь Шепелев
        20 декабря 2018, 09:36
        bstone, как пример — баскет и парные стратегии, там ± одинаковая логика, но много пар. И там можно их разбить по корреляции, использовать различный манименеджмент. Портфель из трендовых стратегий, множество инструментов, различные таймфры, ММ и т.д. Правильно понимаю портфель? А лучше, сразу оба класса стратегий в портфель. Правда найти несколько десятков, не сотен, не коррелировать инструмента или стратегий, практически невозможно. И как вы правильно заметили, в момент, когда эта диверсификация так необходима, все становиться крайне коррелировано.
        0
        bstone
        09 января 2019, 12:04
        Игорь Шепелев, да, максимум стратегий, инструментов, комбинаций параметров. Цель минимизировать волатильность эквити, сохранив положительное матожидание. Парные стратегии я бы не рассматривал, потому что там невозможно даже близко получить обратную корреляцию для ситуаций аля «разрыв бачка» :)
        0
robomakerr
19 декабря 2018, 23:06
Но нам не понятно, почему они не должны работать следующий период времени?

Эмм, и с такими знаниями вы еще пытаетесь чужими деньгами управлять? я ничего не попутал?
0
- Игорь Шепелев
  20 декабря 2018, 08:45
  robomakerr, не пытаемся. Управляем.
  0
А. Г.
20 декабря 2018, 09:14
1. ИМХО, но мне кажется, что с 245 результаты отличаются в пределах статпогрешности. Из чего можно сделать вывод, что, вероятнее всего, где-то между 122 и 245 есть «качественный скачек». И это логично: на определенном периоде встретились все состояния рынка, которые в иной последовательности повторяются в будущем. При коротком окне в тестах появляются существенно разные наборы состояний и система подстраивается на наиболее часто встречавшиеся.
2. На последний вопрос ответ однозначен: подобрать рабочие параметры можно только грамотным тестированием на истории.
+1
- Игорь Шепелев
  20 декабря 2018, 09:41
  А. Г.,
  1. Да, видимо так и получается.
  2. Мы тоже так думаем и представить иного способа пока не можем, всё, так или иначе сводится к истории. Остаётся упражняться как раз в грамотности тестирования…
  0
П М
24 декабря 2018, 11:08
прочитал. не понял ни на пальцах, ни математически отличие волкфорварда, от оптимизации сразу на всём диапазоне.

умножение у нас аддитивное, сложение тоже.
почему оптимизация окнами — не аддитивная?
докажете, что нет, тогда можете умничать, это про
Оптимизация на всей доступной истории — не что иное, как 100% подгонка параметров.
может просто потому что ваш тестер-оптимизатор загибается на большой истории считать, поэтому решили «рационализировать» оптимизацию на всей истории.

немного смягчу месседж: всё зависит от конкретного оптимизатора, как он считает fitness функцию, приводит ли параметры к размеру периода, или выигрывать всегда будут куски, которые банально исторически больше.
кмк ваш оптимизатор как раз приводить к размеру периода умеет плохо, поэтому walkforward выиграла.
0
- Oleg Only Algo
  25 декабря 2018, 09:19
  ПBМ, взяли один большой кусок истории и внутри него слева ещё допустим три. Выбрали параметр лучший. Кинули этот параметр в робот, а там уже совсем другой тип движений начался. И слив. Чем этот подгон подгонов даёт уверенность, что это более устойчиво, чем один параметр на всей истории? В какие то моменты может быть лучше, в какие то хуже. Все равно приоритет должен отдаваться более долгой истории. Во вторых для устойчивости нужно, чтобы этот параметр не сильно отличался намвсех участках, что более важно! Т
  0
  - Oleg Only Algo
    25 декабря 2018, 09:20
    Oleg Only Algo, тогда применение доп полгода по кускам и выбор более лучшего параметра слева может улучшать результат, но к устойчивости системы это не особо имеет отношения, имхо. Тем более если речь о параметрах скользяшек
    0
- Игорь Шепелев
  09 января 2019, 10:51
  ПBМ, ничего не понял по замечаниям в вашем комментарии, кроме того, что вы не прочли текст полностью.
  0
  - П М
    09 января 2019, 11:16
    Игорь Шепелев, да прочитал. просто термин «100% подгонка под историю» меня слишком покоробил.
    
    плюс мне понравилось то, что написал bocha, что всё-таки лучше «подгонять» под всю историю, чем окнами.
    
    скажем так, я не согласен с тем, что оптимизация на всей истории — это 100% подгонка под историю, а оптимизация окнами — нет. и то и другое — одинаковая подгонка под всю доступную историю, только оптимизация окнами ещё и хуже подгоняет.
    +1
Игорь Шепелев
09 января 2019, 11:34
да, возможно режет слух. Когда мы подгоняем под всю историю, как нам проверить систему на устойчивость? Как понять, что нашему методу отбора параметров можно доверять?
0
- bstone
  09 января 2019, 12:08
  Игорь Шепелев, этого не требуется. Надо просто понимать, что доверять нельзя :)
  
  0
  - Игорь Шепелев
    09 января 2019, 18:02
    bstone, Доверять ~= какой метод использовать.
    0