Блог им. ya-marsel

Data Mining fRTS: тренд и флет ч.1

Сегодня я хотел бы поговорить о внутренних параметрах fRTS, а именно о его склонности к трендовым и флетовым дням.

Data Mining fRTS: тренд и флет ч.1
 Скачать минутки frts: https://drive.google.com/file/d/0B9zer9va_1aoQkR2SEktLWx0QU0/edit?usp=sharing
Скачать исходный код: https://drive.google.com/file/d/0B9zer9va_1aoWkFUV191S3BBUFk/edit?usp=sharing

Итак на текущий момент мы выяснили что 20% самых трендовых дней на фРТС закрываются с рейнджем от 3164п.

Продолжение следует.

p.s. спасибо Data Mining fRTS: тренд и флет ч.1
meteop_x и Udgin за найденную ошибку.
★23
69 комментариев
Stas Ivanov, ты имеешь ввиду зачем было минутки анализировать, если можно было взять дневки? Или что?
avatar
Насколько я понял (я этот язык не знаю, поправьте если что), анализ заключается в сравнении abs(close-open) с high-low. И если тело свечи больше 0.8 ее размаха, то день называется трендовым, если от 0.4 до 0.8--что-то невнятное, менее 0.4--флэт.

Вопросы:
1) Какова будет ваша статистика для броуновского движения? Имхо, она близка к вашей (20-40-40), хотя могу ошибаться. Надо бы это проверить, иначе это все не имеет особого смысла.

2) Какова стабильность вашей статистики в зависимости от размера и положения временного окна?
avatar
anatolyutkin,
1) можно проверить конечно, правда я делал сравнительный анализ со SPY и там все сильно по другому, т.е. различия точно будут, что с вашим вопросом, подумаю да, возможно в след. посте можно будет сравнить.

2) Как раз об этом хотел написать в следующем посте, т.к. насколько я помню от 2011 года к 2013 ситуация менялась. Насчет положения, имхо логично брать не менее года за отрезок, если брать какой-то из кварталов возможно статистика будет отличаться, опять же если брать в расчет только 2013 год, скорее всего там будет тоже иначе. Я же решил показать усредненно, как изменился рынок после 2010 года.
avatar
Марсель Тазетдинов, upd:
2) Хотя целесообразнее было бы просто взять какое-то кол-во данных из этого же отрезка, только рандомизированно, тогда будет больше похоже на честный эксперимент.
avatar
Марсель Тазетдинов, Ясно. По СБ--оно как бы является эталоном. Если что-то отличается от СБ--то имеет смысл рыть это дальше. А если не отличается--то смысла нет. Поэтому, имхо, расчеты типа приводимых вами всегда надо сравнивать в первую очередь с СБ, а уж потом выяснять SPY или росрынок или оба сразу отличаются от СБ.

Еще один момент. Во всех подобных вещах (если это чистый майнинг без каких-то идей под ним) надо оценивать не только саму величину статистики, но и ее ошибку. Что-нибудь типа хотя бы обычного доверительного интервала для нормальных распределений. Иначе совсем не понятно, насколько точны эти цифры--может там 20 плюс минус 20 процентов трендовых дней.
avatar
anatolyutkin,
1) хорошее замечание да
2) t-value?
avatar
Марсель Тазетдинов, Не знаю, подойдет ли Стьюдент, я с процентилями не работал особо. В любом случае, в рамках классической статистики эта задача решена давно, хоть с процентилями, хоть с чем.
avatar
Stas Ivanov, я в тегах указал, ну видимо да не очевидно, сейчас поправлю. То что это можно сделать где угодно понятно, но я типа несу R в массы :) Дальше буду усложнять посты да.
avatar
Stas Ivanov, забыл удалить старый комментарий, в коде все в порядке, там вычисляются свечки принадлежащие к конкретному дню
avatar
Марсель Тазетдинов, пофиксил
avatar
Марсель Тазетдинов, Может это я один не понял?
«наткнуться на флетовый день в два раза вероятнее чем на трендовый, посколькую флетовые дни составляют 40% от всех дней на фРТС».
А остальные 60% — это какие дни, если не флетовые и, частично, не трендовые?
avatar
Andy_Z, обычные дни, ну т.е. и не трендовые, но и не флетовые. Можно еще сказать что они слабо-трендовые, или сильно не флетовые :)
avatar
Марсель Тазетдинов, Спасибо за ответ. Но на самом деле хотелось бы до конца понять, как вычислить трендовый день или флетовый, и по каким критериям относить дни к слабо трендовым, не сильно флетовым?..
avatar
Stas Ivanov, ты не поверишь но за 2 года ковыряний более адекватного решения я не придумал :)
avatar
Марсель Тазетдинов, В узких кругах широко известно четкое определение трендовости и неплохие и быстрые методы для ее определения. Например, расчет фрактальной размерности по методу минимальных покрытий Старченко.

То, что у вас--оно, конечно, тоже с трендовостью связано, но не напрямую, зависит от таймфрейма, связано с крайне неустойчивыми величинами открытия и закрытия дня.
avatar
anatolyutkin, приблизительно понятно что это за методы, как я догадываюсь, берут абстрактный зиг-заг и потом измеряют длину его отрезков, но там беда в том «что брать за фрактал» в зиг-заге например берется отклонение от вектора на заданный АТР.

Вообще спасибо за наводку почитаю что это такое.
avatar
Марсель Тазетдинов, Да, в таком ключе. Почитайте диссертацию Николая Старченко, она в открытом доступе и там очень хорошо и подробно все описано.
avatar
anatolyutkin, да, спасибо
avatar
anatolyutkin, А можно ссылочку для входа в узкий круг?
avatar
Andy_Z, :) Широко известный в узких кругах--это фигура речи такая. Прикол :)

Старченко--это Микола с комона, я с ним еще на комоне много общался. Очень толковый человек. Вот ссылка на его диссер: www.mirkin.ru/_docs/kon_diser/diserstarchenko.pdf
Почитайте, если поймете--все, считайте, вы в узком кругу :) Не уверен, правда, что денег больше будет--но круги кругами, а бабло врозь :)

Ну а если серьезно--то это очень хорошая работа, как в плане обучения, так и в плане научной новизны.
avatar
anatolyutkin, Спасибо большое. Про фигуру речи я догадался, осталось теперь немного разобраться с математикой.
avatar
Andy_Z, я полагаю Анатолий имел ввиду узкий круг математиков или стат. аналитиков
avatar
Марсель Тазетдинов, Я бы не так сказал. Я бы сказал, узкий круг--это те, кто хотят хоть что-то знать и даже не против поработать для этого. А уж кто это будет--физик, математик, экономист или вообще автомеханик--это не особо и важно.
avatar
Красавец!
Циклы в векторах — это Вас так бабушка кодить учила?
avatar
Магистр Йода, прекрасно понимаю как использовать apply() но он для новичков не слишком очевиден в качестве примера.
avatar
Stas Ivanov, По моему опыту обучения студентов и не студентов--главное, чтобы было желание. Если желания нет, то независимо от начальных знаний прогресса не будет.

Предположим, что желание есть. Пусть человек слышал об арифметических действиях. Может складывать, вычитать, умножать и делить на калькуляторе, иногда с ошибками. Больше не может ничего. По моим представлениям, ему потребуется дней 30-90 шестичасового труда (ну или в другой пропорции, главное, чтобы общее число часов было каким-то таким) чтобы полностью понять, что там написано.

При этом человек изучит общие дисциплины:
1) Арифметические действия
2) Проценты
3) Простейший анализ бесконечно малых
Только первые два пункта помогут ему избежать многочисленных ловушек типа кредитов под 0.1% в день, скидок в 40% после удвоения цены, 9999 рублей и прочего.

После этого следуют более специальные вещи.
1) Теория вероятностей. Ничего кроме монетки не надо. Но монетку надо очень хорошо понять, разобраться с тем, что такое прошлое, что такое будущее, понять, что монетка обязательно рано или поздно упадет 10 раз подряд орлом, итд.
2) Изучение графиков монетки. Поняв основные свойства этих графиков, а главное, сопоставив реальные цены и графики монетки, человек спасет себя от кучи глупостей, будет легко различать эти глупости в потоке информации, итд. Причем все это вообще без реальной торговли и риска своими кровными. Кроме того, будет общее понимание, как именно можно заработать на изменениях цен.
3) На этом этапе на понимание сути работы Старченко уйдет один день. Там все просто :)
avatar
Stas Ivanov, Ну, я конечно забесплатно давно уже ничего не делаю (разве что посты на смартлабе в неконтролируемых приступах альтруизма), но сто лямов--что-то как-то несуразно :) Да и чему там учить--все общеизвестно.
avatar
anatolyutkin, если не затруднит поясните
dartstrade.ru/blog/gurilka/384.html,
Микола, приводит формулу вычисления фрактального индикатора

F=F1*(t1^c)+ F2*(t2^c)+ F3*(t3^c)+ F4*(t4^c).

Масштабы t1, t2, t3 и t4 равны 2,4,8 и 16 свечей соответственно, а константа с=1/2
подскажите вместо t нужно подставить 2 и т.д
Барсуков Андрей, ссылка битая.
avatar
Барсуков Андрей, Да, вспомнил. Я так скажу. Диссер Николая--это хорошая научная работа. Там показано, как по малой выборке определять фрактальную размерность (а значит, трендовость/контртрендовость) рынка. Эта же статья--это его дальнейшие разработки, не уверен, что хорошие. Там надо разбираться, причем хорошо разбираться. Помню, я что-то Николая спрашивал, но остался не вполне доволен качеством ответов. Может, я сам что-то не понял, может нет. Вот как-то так.

На ваш вопрос ответ, насколько помню выкладки, t1=2, t2=4, t3=8, t4=16. Это справедливо точно для броуновского движения, а поскольку реальные рынки слабо от него отличаются, то можно в первом приближении использовать это соотношение всегда.
avatar
anatolyutkin, спасибо за пояснение.мне непонятно почему формулу не записана следующим образом F1*(2^0.5)=F1*1.414214 соответственно и для остальных слагаемых также,
или я неверно рассуждаю
Барсуков Андрей, Верно рассуждаете. Просто корень квадратный--это след модели броуновского движения. И чтобы подчеркнуть, откуда взялась эта формула, Николай привел ее в таком виде. Потому что иначе я или кто-то еще спросил бы его--что это за ересь такая, откуда и почему какие-то 1.41? А корень из двух--это просто, это всем все ясно :) То есть 2^(0.5) это более информативная вещь, нежели чем 1.41, хотя это и одно и то же.
avatar
anatolyutkin, спасибо
anatolyutkin, а Вы тестировали этот метод? И как он в сравнении с простым пересечением МА?
avatar
broker25, Я бы сказал, что идеологически все совпадает с простейшими трендовухами. Разница есть, конечно, но она количественная. Поэтому и сказал кому-то выше, что не уверен, что денег от изучения всего этого добавится :) В этом смысле я идеологически согласен с недавней статьей JC: jc-trader.livejournal.com/1095157.html (надо только фразочки типа «самый лучший, заход в дебри обеспечен» не воспринимать серьезно).

Тут так. Если у человека есть голова на плечах, то ему подобные непростые методы не особо нужны, ибо суть вещей всегда проста и выявляется простейшей незамутненной всяким бредом логикой. А вот если головы нет, или в ней бред, то подобные формальные и последовательные вещи помогут обрести почву под ногами, ибо там все четко и последовательно и просто негде свернуть в сторону.
avatar
проводил исследование на трендовость фРТС, по сравнению с др. инструментами (Small Range (SR < 25), Large Range (LR > 75) )

drive.google.com/file/d/0B9bGdqPcGtzXMk1rc2tRNHg3NDA/edit?usp=sharing

надо бы обновить анализ, т.к. выше данные до 2010 года.

Вообще, и без анализа видно что за последний год количество трендовых дней существенно уменьшилось, до 1 раз в месяц.
avatar
Пересчитал стату по фРТС — Трендовых дней (LR > 75) за 2011-2012 было 8.7%, а за 2013 — 7.6%.

Сравните как было до 2010 — 15%.
На 2013 уменьшилось в 2 раза. При этом методика по дневным свечкам. Если считать LR > 85, то их ещё меньше.
avatar
Rustem, кстати если еще геп вырезать, то будет еще более печально
avatar
Rustem, согласен, ри меняется в сторону MR
avatar
Марсель Тазетдинов, до 2010 фРТС был лидером по LR, сейчас аутсайдер. Скорее завязано на то, что ушли крупные спекулянты и идет продажа волатильности маркетмейкерами.
avatar
Rustem, это да, кстати многие «алготрейдеры» после 2010 как раз и ушли :)
avatar
Stas Ivanov, Не, не будете учиться. Времени не будет. Инфляция, хищники покрупнее, государство--все эти ребята не дадут вам спокойно жить. 3 мио долл--это уже много. Будете жить для того, чтобы бабло сохранить. На фракталы всякие времени не будет, даже выпить и то не всегда успеете :) На Буфета посмотрите или на Гейтса--грустное, унылое зрелище :) Конечно, 3 мио это не миллиарды, но и среди стомиллионщиков я что-то счастливых особо не видел.

Имхо, бабла должно быть в пропорцию. Чтобы о нем особо не думать. А думы о бабле имеют минимум при вполне определенных суммах--порядка 1 мио долл. Все, что меньше--напрягает тем, что выглядишь не лучше других, все, что больше--напрягает тем, что крупные хищники очень хотят кушать.
avatar
Stas Ivanov, Общаюсь иногда с разными людьми :) После десятки рублей народ уже поспокойней к баблу, при мио долл вообще нирвана, дальше начинаются специфические проблемы--проблемы бигбабла. Мио долл--это условная цифра, конечно, все люди разные. Но сотка рублей, это, имхо, уже много. Все сугубо имхо, конечно.
avatar
Stas Ivanov, Да, Москва очень дорогой город :) Помню, в 2000 году еду по Садовому на восьмерине и замечаю--мама родная, совковых машин-то вообще нет, один я только на тазике понаехал :) Лично я вообще большие города не люблю, хоть Москву, хоть Нижний, хоть европейские, хоть американские. В дяревню хочу, там воздух целебный :)

Думаю, надо сказать так: существует оптимальное количество бабла. Зависит от человека, места проживания, еще чего-то. И денег надо не меньше, но и не больше. Может, это и 100 мио. Зарабатывайте, расскажете потом, где оптимум :)
avatar
По моему в коде есть логическая ошибка.
Сначала, Вы считаете процентили исходя из всего набора данных. А далее исходя из рассчитанных процентилей считаете количество дней, которые попадают в определенный процентиль (трендовые, флетовые). Но по определению процентиля в верхний 20% и должно попадать 20% всех значений, что вы и получили.
Правильно будет выбрать внешний критерий, или посчитать на предыдущих данных, что такое трендовый день и использовать эту информацию для Вашей выборки.
avatar
Udgin, да, уже в жж написали, надо взять среднее приращение, и считать тренд допустим в среднее приращение * 2, а флет среднее приращение / 2, например, в следующем посте напечатаю поправку
avatar
Udgin, кстати спасибо за замечание, приятно что кто-то все таки посмотрел в код и задумался :)
avatar
Марсель Тазетдинов, посмотрел потому, что удивился, что кто-то на смарт-лабе анализирует ряды с помощью R.
avatar
Udgin, :)
avatar
Перед конференцией по алготорговле-2012 я проводил исследование дневок и минуток с 10:01 до 18:45 по двум характеристикам ряда приращений логарифмов:
1. смещение (критерий Стъюдента)
2. корреляция соседних приращений (критерий Фишера)

Брались 75% доверительные интервалы для этих характеристик на отрезках в 22 испытания и считались доли трех событий:
1. Интервалы для 1 и 2 содержат нуль (? — скорее всего СБ)
2. Интервал для 1 содержит нуль, а статистика Фишера для 2 указывает на значение меньше нуля — контртренд.
3. Остальное тренд.

Результаты в долях я приводил в своей презентации

www.howtotrade2007.narod.ru/articles/PresentAlgo.pdf

Для минуток внутри дня в 2008-2012 получилось:
Тренд ~19%
Контртренд ~38%
? — ~43%
avatar
А. Г., помню вашу презентацию да, наглядно было. Правда касаемо моего поста, чуть выше и в ЖЖ нашли ошибку, для измернений я взял квантили .8,.6,.4,.2 результат сравнения с которыми дал ровно то что они и показали, 20% трендовых, 40% нетипизированных дней и 40% флетовых :) Буду поправлять.
avatar
useless junk
avatar
stop wasting ur time trying to find black cat in black room when there is no one. a lot of people made this before and no luck. there is no holy grail in any type of autoregressive stuff, believe me. better try to find exogenous predictors
avatar
(btw — almost every type of finance ts math u'll find in packages rMetrics quantmod & highfrequency or simply use «finance» task view on cran — just for R-lovers).
avatar

теги блога Marsel Tazetdinov

....все тэги



UPDONW
Новый дизайн