Тема не только для алго трейдеров, и я пытаюсь описать все с помощью 3х математических действий, так что у вас получится дочитать ее до конца и узнать о своем трейдинге больше. Чуть-чуть.
(Картинка, для привлечения внимания и вывода на главную страницу)
Мне показалось удивительным, но ни в фин словаре Смартлаба, ни в поиске по Смартлабу, ни даже в поиске на русском языке по тредерским ресурсам, я, практически, не вижу упоминаниий способов определить статистическую значимость результатов торговой системы или готовых результатов трейдинга.
Вчера, я даже создал тему: https://smart-lab.ru/blog/540321.php для затравки. Народ нарисовал красивые картинки(спойлер: сиськи!). Но ничего не заметил. Люди тестируют торговые системы в экселе, и набирают кучу плюсов на главной. Юлия Князева сливает 40%, и только лишь потом ищет торговую систему. Но… что потом? Вот вы нашли торговую систему. Или вы Вася О., Илья К., и давно и много торгуете, и у вас есть статистика. Возможно в тетрадочке, возможно у брокера.
Вы задавались вопросом – а не случайны ли результаты вашей ситсемы? Отличимы ли от случайного результаты вашего трейдинга? А не фигню ли вы делаете ?
Несмотря на то, что мало кто об этом пишет, есть люди, которые задавались этим вопросом. Есть много страшных слов: Chi squared, p-value, Z-score(ves2010 – привет!), statistical significance, Monte Carlo (а вы смотрите Формулу 1 ?), null hypothesis итд. Не буду вас грузить деталями, и множеством оговорок, а перейду к сути:
Один из простейших способов проверить статистическую значимость ваших результатов – Chi Squared. Он же Хи Квадрат. Главное, зачем он нужен – отвергнуть так называемую нулевую гипотезу. Гипотезу — что вы – мясо. Ну, т.е вы – сливаете. Вернее даже не сливаете, а случайно блуждаете вокруг нуля. А сливают, за вас, плечи (когда их слишком много и вы не с той стороны распределения), комиссии, проскальзывания, инфляция, и… просто время (опционщики – привет!).
Итак, нулевая гипотеза гласит, что как вы не торгуйте, вы — лишь подмножетсво нормального распределения. Ну т.е. блуждаете как Ёжик в тумане. И для того, что бы доказать свою значимость, вернее значимость результатов – нужно протестироваться и отвергнуть нулевую гипотезу! Умные дяди и тети навернули кучу теории вокруг этой задачи: в общем случае у вас есть куча степеней свободы, у каждой степени свободы возможны положительные и отрицательные исходы, и каждый со своей вероятностью.
Но давайте не забывать зачем мы здесь, ок? Мы – (произностится гордо) – торгуем! И какие уж у нас исходы? Только + или -, так? Если по-простому. Причем, если мы сравниваем себя со случайным распределением, то эти + и – одинаково вероятны (ах, вы знаете про логнормальность распределения цен на рынке? Ах вы молодец! Помолчите пока). А для этого случая, критерий Хи Квадрат до безобразия прост:
Χ2 = (|a-b| — 1)^2 / (a+ b)
(здесь все должны открыть ссылку из начала статьи и пустить слезу умиления).
a – положительные исходы
b – негативные исходы.
Вот и 3 обещанных математических действия. Упс, я забыл про модуль! Вы же проходили в школе модуль ?
Еще умные дяди уже подсчитали для вас, каков должен быть этот самый Хи Квадрат, что бы быть статистически значимым. В разной степени
Выше 10.83, уровень достоверности(значимости) 99.9%
Выше 6.64, уровень достоверности(значимости) 99%
Выше 3.84, уровень достоверности(значимости) 95%
Ну, т.е ниже 95% — вы — просто мясо на рынке. Выше 99% — неплохо. 99.9% — у вас есть шансы. Есть 0.1% что вы заблуждаетесь.
Обычно, нормальному человеческому мозгу хочется примеров. Их есть у меня:
Допустим вы торговали целый год и сделали 100 трейдов. Торговали одинаковой суммой, с одинаковым тейком и стопом. 53 раза в + и 47 в минус. Ну, т.е. вы превзошли в этом году 95% тех, кто сливает на рынке. Вы — молодец. Так? Или вы делали фигню? Считаем
X2 = (53-47-1)^2/(53+47) = 5^2/100=25/100=1/4=0.25
Сравниваем с табличкой выше и… 0.25 точно меньше 3.84! Вы — блуждали!
Еще раз: 100 трейдов 70 в плюс, 30 в минус:
X2 = (70-30-1)^2/(70+30)=39^2/100 = 1521/100 = 15,21. Вы сильно выше 99.9%!
(тут пытливый ум скажет: ну ежу же ясно – прибыльных сделок намного больше, значит я – король!)
В то же время, какие типичные показатели для трендовой системы среднего пошиба? Как раз наоборот: 30 прибыльных и 70 убыточных. И на смартлабе куча примеров, что они заратывают. Как? (не знаю! где они берут такие нервы?) Ну конечно за счет больших прибыльных сделок и маленьких убыточных. Но, может они одурачены случайностью? может они случайно блуждают ?
X2 = (|30-70|-1)^2/(30+70)=39^2/100=15,21 Отнюдь!
Ну, и так далее. Пытливый ум может захотеть сказать: единица все портит. Я хфт и делаю 53000 положительных и 47000 отрицательных сделок! Что же получится? Пытливый ум может прикинуть сам, и, немного приуныть за хфт
Последняя напоминалочка: Хи Квадрат быстрый и удобный способ прикинуть значимость, но значения из таблички выше рассчитаны на то, что будет хотя бы 30 попыток (у нас это трейды, ага). Если меньше – результаты недостоверны. Но выход есть – если вы чувствуете, что ваш подход с 15 трейдами в 10 лет – это верняк (не ржите, я держу несколько таких систем!), то у вас есть несколько способов – поискать таблички в интернете, для таких бедолаг. Там есть волшебные, посчитанные значения, для случаев “менее 30 попыток”. Либо, вы можете посмотреть в сторону других инструментов, и проверить ваш верняк на них. Если он работает там, то можно попробовать суммировать попытки из разных инструментов. Но, аккуратно Проверяйте уж тогда на всех, а то вы на пути к переоптимизации Я вас не буду учить плохому!
Ну, и конечно, ваш случай может быть случаем убыточным. Но, если убедиться, что ваша убыточность статистически значима, то вы можете подумать о своем трейдинге с другой стороны: что бы иметь то, что никогда не имели, надо делать то, чего никогда не делали
А что же бедолага хфт? Тот, с 53к\47к. Или, что же бедолага имеющий 53/47 сделок, но (новое? Ключевое условие!) не одинаковых? Одурачены ли они случайностью ?
Для ответа на эти вопросы, очевидно, не достаточно знать распределение положительных и отрицательных сделок! Они что-то знают! Но это уже другая тема, НЕ про Хи Квадрат
Чтобы расстроиться, потерять уверенность, впасть в ступор или начать тильтовать?
Рынок сам-то имеет статистически значимые ценовые закономерности?
Если нет, то наша торговля вполне адекватна рынку. Придёт другая фаза рынка — будут другие результаты и нашего трейдинга.
Но за топик — спасибо.
Ибо, надеюсь, он напугает и оттолкнёт ещё какое-то число яйцеголовых математиков от трейдинга и от наших денежек.
— в помощь ))
p.s. как Вы предлагаете оцифровать эмоции? Это, собственно, и есть 95% успеха.. .
То есть условно говоря каждую минуту что мы в сделке считаем «микро-сделкой», тогда нормально.
А чем Excel то не угодил? Там при помощи VBA можно реализовать любой метод статанализа, тем более в интернете куча уже готовых и бесплатных макросов под него. Его единственный недостаток — громоздкость с т. з. загрузки компа.
вернись в топик
smart-lab.ru/blog/540481.php
smart-lab.ru/blog/540490.php
https://smart-lab.ru/blog/540519.php#comment9750582
А конечно для определения допустимого проскальзывания и, соответственно, емкости торговли достаточно статистики сделок.
в оригинале a - частота [сделки с результатом Ra] в реальной выборке
и b — частота [сделки с тем же результатом] в теоретической выборке.
т.е. или и а и б — профиты, или и а и б — лоси. а ставить в одну формулу лоси и профиты не верно.
соответственно, надо как-то моделировать эталонные случайные сделки по случайному закону, то есть нормальное распределение наиболее близкое к наблюдаемому. брать частоты и сравнивать с теми что нагенерила торговая система.
но есть ли в этом хоть какой-то смысл, если мы совершенно точно знаем, что частота лосей будет сильно больше нормальной, а пик = μ — мат ожидание, должен быть в плюсовой зоне?
что-то я лично ничего в этом красивом гуманитарном фантике не вижу.
критерий вообще надо использовать в одном единственном случае — при известной ген.дисперсии и проверке H0(либо для её -дисп- оценки при заданном CL). но оригинальность метода видимо состоит в том, чтобы проверить им H0 именно относительно mean)))), не считая моментов вообще и даже не считая, че-нить типа (a+b-1)ab/(a+b)^2
http://alleng.org/d/math/math369.htm
масса критериев проверки всяческих гипотез. На самом деле, есть критерии для оценивания смещения, свободные от распределения, непараметрические и так далее. Критериев напридумывать можно всяких. Например, можно взять отношение суммы сделок к сумме их же модулей. А пороговые значения для такой статистики оценить по Монте-карло.
допустим у меня ООС получается пси^2 = 11 (а то и 15, если постараться), значит «я неплох»? ведь всё равно надо проверять реальностью.
цифры частот к примеру такие
вообще похоже на чит, но нету даже всплеска на уровне обрезанных лосей (67)
возможно всплеска нету потому что корзины достаточно толстые 5%
Молодец, но тоже — сливала.
С учётом комиссии в описанных условиях безубыток 55/45.
Ошибочное применение формулы. В условиях неравных тейков и стопов a и b приобретают иной смысл. Это уже не количества положительных и отрицательных исходов, а произведения их на соответствующий вес. Примерно говоря, (при популярных 3:1 частоты будут 1:3) 0,3*3/(0,3*3+0,7*1) =0,56 и 0,7*1/(0,3*3+0,7*1) = 0,44.
Вот 0,56 и 0,44 подставляйте.
В критерии должно быть отличие одного распределения от другого, «нулевого», а не разница в "+" и "-". И, соответственно, обязано учитываться EV, а у вас этого нет — только "+" и "-", безотносительно их величины.
А потом, что такое хи квадрат (никогда им не пользуюсь) — это статистика сравнения распределений(!), а не интегральных результатов. Пример — у вас есть система которая играет в околоплюс по экспоненциальному закону — вы её сравниваете с нулевым гауссом и получаете… что распределения разные! Из чего отвергаете вывод о том, что ваша система бесполезна, не смотря на то, что она действительно бесполезна.
Здесь нужно не статикой Пирсона пользоваться, а другими оценками.
т.е две корзины — мало. да и всё равно что-то не сходится
откуда в знаменателе второй раз +b..
сравниваю по этой статье
https://statanaliz.info/statistica/proverka-gipotez/kriterij-soglasiya-pirsona-khi-kvadrat/
Не знаю случайно или намеренно, в качестве примера автор взял распределение от рулетки )) Там как раз перевес в 2,7% в пользу казино.
Получатся казино — рыночное мясо.