Блог им. bosco

Грааль или курвфиттинг?

    • 17 сентября 2017, 15:46
    • |
    • П М
  • Еще
Кто как различает? Тренировочные данные заканчиваются красной полосой.
Грааль или курвфиттинг?
всё-таки чего-то в этом компоте явно не хватает.
или просто рынок стал последние 3 месяца в Сишке другой?

    ★1
    51 комментарий
    главное не льет.
    avatar
    baron_samedi, ага, если работает в 0, торгуййте на биржу и брокера )))
    avatar
    h, 
    А надо еженедельно в плюс, я забыл!
    avatar
    baron_samedi, нет, конечно, главное — ежедневно))), семинарить!!!
    avatar
    Может проскальзывание «покушало»?..
    avatar
    по оси Х сделки, а надо время… мож это тест за дару дней
    ну и в чем проблема протестить лет за 10???
    avatar
    ves2010, ну тут 3 года почти. проблемы-то нет на старых данных, на них всё натренировано. а от красной линии это тест out of sample
    avatar
    ПBМ, спасибо за плюс, тут большой вопрос как именно оно было натренировано. Если бы корректно натренировано было, не было бы такого плато нетипичного на тестовом периоде, похоже было бы на то что перед чёрточкой
    avatar
    Zweroboi, там в принципе есть похожие плато раньше. только поменьше
    avatar
    ПBМ, ну тут-то оно сразу началось ) совпадение?
    avatar
    ПBМ, хаааа 3 года как раз мало… т.к. в 14г начался бычий рынок… который вошел в боковик в начале 17года… т.е. ты поймал одну фазу рынка… а надо тесть на полном цикле
    делай стресс тест на 2008ом ... 
    а лучше за всю историю
    avatar

    ves2010, я бы уточнил что боковик был с середины 16го по 17ый.
    с 8го тестил тоже. но я так понимаю там совсем другая ликвидность была. смотрю на данные 2007г, там чуть ли не 1 сделка раз в полчаса. не знаю что люди торговали тогда.

    я попробовал прогнать с 2007 до 2017

    до начала тренировки просто +- 0, платО, так что да, смахивает на курвфиттинг :(

    расстроил ты меня немного, но в реале 2008 так скоро не повторится, я думаю (могу и ошибаться, конечно), к тому же рынок был сильно неликвиден у нас. ну и повторение 2014-15 более вероятно.

    avatar
    ПBМ, если это си, то его начали торговать только с 2009г ранее не было сальдирования убытков
    avatar
    ves2010, тогда значит и не получится смотреть на 2008
    avatar
    ves2010, вот, откурфиттил с 2009 года по 2017, фигня вопрос, одну ночь оптимизатор погонять

    только я пожадничал и ничего не оставил на OOS
    зато никакого плато в конце нет, естественно, как по линеечке

     

    avatar
    ves2010, не знаю как тебе сказать спасибо, плюсы уже стоят везде.
    вобщем кажется результат по сравнению с заглавной картинки на тех же данных вырос существенно и просадка уменьшилась.
    т.е. оно имело смысл.
    avatar
    ПBМ, ха ха ха… ночь на оптимизаторе… короч…
    1 терь те надо понять насколько бот устойчив… счас ты выбрал наилучшиий параметр, терь  берешь и тестишь на диапазона 50% от параметра до 200%… например параметр = 100, тестить его надо от 50 до 200… если бот устойчив, то при полном переборе по каждому параметру в дивапазоне от 50% до 200%профит не должен упасть более чем в 2 раза
    2 тесть на постоянной сумме — это важно... 
    3 какая у тя средняя сделка...
    4 запрети торговлю в первые 10мин торгов
    avatar
    Скорее всего курвфиттинг
    avatar
    Ограничения по размеру ордера? Не?
    avatar
    угадалка гепа что ли? она как раз имеет такое плато в этом году в си
    avatar
    silentbob, наверняка. и похоже, кто-то слопал неэффективность.
    avatar
    silentbob, а есть какие-то соображения, куда всё подевалось? может сезонность какая-то?
    avatar
    ПBМ, кэрритрейд поломал структуру рынка я так думаю
    avatar
    ПBМ, если речь идет о угадалке гепа, то сумма факторов. Керри-трейд, различные махинации с курсом евро-доллар И так далее.  Я думаю, оживет рано или поздно. 
    Если я ошибаюсь, и это просто трендовая система — то тоже понятно, трендов, удобных для зарабатывания денег, как таковых нет. Быстро суетиться и переделывать систему под контр-тренд тоже смысла немного. Как показала практика, фаза меняется и эти контр-тренды на си перестают работать, либо нужно менять параметры на ходу, а это уже подгон под текущие условия, которые — непостоянны.

    avatar
    silentbob, тут ЦБ приоткрыл завесу тайны
    www.vestifinance.ru/articles/91169
    спойлер: физлица (!)
    avatar
    Нужно смотреть: отношение параметров системы к количеству данных. Какие вы статистики используете: речь о статистиках отличия от случайцного. Кстати, Александра Борисовича Горчакова посмотрите, он на эти темы подробно и много рассказывал.
    P.S. Почитайте мой предыдущий пост, у меня тоже летом, но уже не одна ситема, а портфель пошел в 0.
    avatar
    h, я думаю прав коллега silentbob
    avatar
    ПBМ, почитал ваш профиль, похоже, мой комент не к месту )))

    avatar
    h, почему?
    avatar
    ПBМ, потому, что вы, похоже, в теме! Кстати, все-таки, OOS до красной не делали, я так понимаю: красная — торги?
    Софт, в котором тренируете: самописный или нет(интересно), могут быть баги.
    avatar
    h, OOS от красной
    торги я не выкладываю, чтоб грустно не было
    avatar
    OOS показывает что курвефиттинг. Попробуйте сместить красную линию влево. Думаю излом эктиви тоже сметится.
    avatar
    ivanovr, не смещается, да и коллега h говорит что у него похожая картина.
    avatar
    Кто как различает? Тренировочные данные заканчиваются красной полосой.

    На то они и тренировочные данные. После красной полосы потренировать, тоже будут такими же.
    Прогоните с теми же параметрами на данных 2012-2013 для Си.
    avatar
    А. Г., эта область попадает в зону тренировки, там всё гораздо лучше

    это 12-14 годы, до последней волны девальвации
    возможно — следствие тренировки с реинвестом. только мне говорили что при реинвесте будет слишком высокое значение придаваться последним сделкам.
    а тут, такое ощущение, что рост идёт сильнее в начале. и затем сложный процент и число периодов дают приоритет в оптимизации первым сделкам.
    может это и не плохо.
    avatar
    ПBМ, если реинвест — это 

    число контрактов в новой позиции=(1+р)*размер счета/номинал, где р — плечо.

    то это увеличение прибыли и уменьшение убытков при неизменном р (с ростом счета позиция «по деньгам» увеличивается, а с падением — уменьшается). И потому на динамику счета может оказывать только положительное влияние на любом отрезке.
    avatar
    А. Г., вот у меня было такое же понимание. хотя без полной уверенности. спасибо!
    тут просто недавно спорил со мной коллега, говорил что реинвест в тестах это зло.
    avatar
    у меня обычно наоборот, проверочных данных больше чем тренировочных)
    avatar
    Идея OOS — выдумка теоретиков машинного обучения, которую применить в реальности почти нереально:)
    avatar
    Я много работал с машинным обучением и одна из причин почему забросил, что всегда не ясен момент остановки обучения, иногда надо раньше, иногда позже, но это тоже всё элементы переподгонки.
    Лучший ученик Ванюты, по идее надо параллельно с обучением вести тест на out of sample. и продолжать пока out of sample улучшается. как только ухудшился — останавливать.
    но тут много всего. и от сетей зависит. я в этом не силён, к сожалению.
    avatar
    ПBМ, У меня была своя методика остановки, но в результате все забросил, т.к. все это тоже элементы подгонки, а самое главное все таки должна быть идея во главе всего, а не черный ящик.
         Уже в конце сам работал как нейросеть и пытался её научить этому, но всегда есть момент, что её обучение уйдет в «бок», а это тоже элемент случайности, короче много таких элементов и подводных камней заставили меня отказаться от нескольких лет поисков.
    Лучший ученик Ванюты, я если честно прошел похожий путь — где-то два года пользовался, потом отказался, т.к. никогда не понятно где она отвалится. причём насовсем.
    теперь вот спустя ещё полтора года, пытаюсь снова вернуться. примерно недели полторы бьюсь. немного с другой стороны уже.
    но всё равно прихожу к тому же ощущению. просто освежил память о граблях.
    толи фактора нужного нет во входных данных. толи сеть не той системы. толи вообще задача принципиально не решается в абсолюте, а только вероятностно-статистически.
    avatar
    ПBМ, Да! Задача не решается однозначно в этом вся соль, поэтому попадая в полосу просадок тяжело продолжать торговать по системе в которой не уверен, т.к. само решение не понятно какое.
       Манят своей красотой графики эквити, они просто завораживают, но в жизни надо чтобы это можно было монетизировать, а тут много сложностей, в результате всегда большая неуверенность в системе и обычно печальный исход.
    Лучший ученик Ванюты, ни убавить, ни прибавить
    avatar
    Лучший ученик Ванюты, если только бленд замутить. много арабики и немного робусты.
    avatar
    Лучший ученик Ванюты, кстати смотри какую статейку только что нагуглил
    jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf

    это что-то вроде комбинации генетики и обратного распространения ошибки получается.
    но я её пока всю ещё не прочёл. просто показалось интересным :)
    avatar
    ПBМ, Спасибо, почитаю обязательно!
    Если алгоритм рабочий, то в реале сильно не должно отличаться. Единственное, могут быть кратковременные обновления макс. просадки. Вот представители из моих алго:



    Настройки одного бота я не менял на реале с 2015 года. Другие два примера — более молодые особи.
    avatar
    SenSoR, спасибо!
    avatar

    теги блога П М

    ....все тэги



    UPDONW
    Новый дизайн