Наверняка, если начать глубоко исследовать методы проверки, которыми пользовались указанные «специалисты», можно будет найти какие-нибудь причины по которым данное исследование можно считать «некорректным», однако сама по себе постановка вопроса достаточно интересна.
забавно, то есть если обобщить и немного утрировать, то вывод будет поразительным: «стратегия либо будет приносить прибыль либо нет, а как она работала раньше — вообще не важно» :)
SECRET, ну а что, правильное исследование! Вместо того, чтобы бороться с подрастающим поколением конкурентов, лучше сразу пустить их по неверному пути :)
Вы сами-то статью читали? Статья вообще о другом, о метриках и оверфитинге. Зачем выдирать в громкий заголовок один аспект исследования в лучших традициях желтой прессы?
Quant-Invest, Зря Вы так. Я не просто так написал про постановку вопроса. Каждый может найти в этой статье то, что интересно именно ЕМУ.
Мое мнение не совпадает ни с авторами «доказательств», ни с броским названием новости.
Все, кто так или иначе потратил достаточное количество времени на разработки алгоритмических стратегий и их тестирование на длительной истории, хорошо знакомы с «подводными камнями» такого тестирования.
Оптимизация бывает разной. Это слишком обширная тема, чтобы обсуждать ее здесь.
Как написал Alexand77 — тема действительно холиварная, но я не призываю к поискам доказательств или опровержений опубликованного исследования, т.к. для этого нужно потратить немалое количество времени на изучение 19-ти страниц исследований (мне есть чем заняться и без этого). Скорее я хотел обратить внимание на тот факт, что далеко не все, что показывает тестирование на истории, стоит воспринимать как конечный результат разработки.
А вот с предположениями о машинном обучении с склонен согласиться. Главное не путать это обучение с построением нейронных сетей (к ним я отношусь скептически).
Секрет Полишинеля- переоптимизация приводит к неработоспособности стратегии. Чем более стратегия соответствует прошлым изменениям цен, тем менее она будет соответствовать будущим изменениям. Совершенно очевидный факт.
Случайные собравшиеся оптимизаторы не умеют оптимизировать и впадают в переподгонку.
Ха, а работники этого Квантопяна ждали, что набегут сотни дилетантов и наоптимизируют тьму граалей?
"... we study the prevalence and impact of backtest overfitting". Граждане просто в очередной раз прошлись по VC-теории и в очередной раз убедились, что оверфиттинг это плохо. Не увидел ни слова про «опровергли значимость проверки ...»
Тесты нужны всегда. Некоторые стратегии могут банально на месяца три в спячку впадать… представьте торгуете торгуете а 3 месяца около нуля… конечно вы бросите это… а потом бац и стратегия зарабатывает… но вас в ней уже нет. Это что касается стат. угадаек — всегда нужен тест года за 3 или лучше за 5. Графикам сколько лет то уже… неужели думаете что там что то новое придумают.....1- волатильность 2- амплитуда 3 — трендовость — вот из этого коктейля и мешают…
Как автор статьи, я негодую. Во-первых, ссылка битая, вот верная. http://fomag.ru/ru/news/NewsDetails.aspx?bid=66&news=10384
Во-вторых, две вынесенные в пост строки не отображают основной посыл новости и уж, тем более, самого исследования. Если попроще, то бэк-тесты нужны и без них никак. Но не нужно их считать панацеей и нужно применять ряд проверочных механизмов и подходов.
Roman Nekrasov, а мне показалось, что статься озаглавлена как «Исследователи опровергли значимость проверки алгостратегий на исторических данных», т.е. из названия напрашивается вывод, что проверка на исторических данных не значима (ну раз значимость опровергли). Почему же претензии тогда к топикстартеру, а не к придумавшему заглавие статьи?
Roman Nekrasov, Битая ссылка — это не моя вина. Сайт добавляет «amp», а вставляю я именно ту ссылку, которую Вы указали. Уже три раза заново вставлял.
Две вынесенные строки были вставлены в пост БЕЗ изменений, т.е. написаны так, как их написали Вы.
Именно эти строки выделены У ВАС жирным текстом, что для потенциального читателя во все времена означали основной посыл
Копировать сюда всю новость, смысла не увидел (собственно в том числе и для этого дается ссылка на оригинал новости).
Если Вы действительно автор этой новости, то именно ВЫ захотели подать материал в таком виде, в котором заголовок не соответствует содержанию. Так что уж простите, но обвинять меня в том, что ВАШ заголовок новости не соответствует содержанию статьи, мягко говоря некрасиво.
Бегло проглядел статью. Пустота. Исследователи пишут про корреляцию коэф Шарпа прошлого и будущего у торговых систем. Причем будущее всего на 6 месяцах. Взаимосвязи не нашли. Кто бы мог подумать. Прошлая доходность не гарантирует доходность в будущем. Везде же написано.
Бэктест системы ничего не дает с точки зрения прогноза будущей доходности. Мы лишь можем «доказать» с его помощью две вещи (конечно при условии его грамотного проведения):
— спрогнозировать максимальную просадку и превосходство рынка по соотношению «доходность-просадка».
Мое мнение не совпадает ни с авторами «доказательств», ни с броским названием новости.
Все, кто так или иначе потратил достаточное количество времени на разработки алгоритмических стратегий и их тестирование на длительной истории, хорошо знакомы с «подводными камнями» такого тестирования.
Оптимизация бывает разной. Это слишком обширная тема, чтобы обсуждать ее здесь.
Как написал Alexand77 — тема действительно холиварная, но я не призываю к поискам доказательств или опровержений опубликованного исследования, т.к. для этого нужно потратить немалое количество времени на изучение 19-ти страниц исследований (мне есть чем заняться и без этого). Скорее я хотел обратить внимание на тот факт, что далеко не все, что показывает тестирование на истории, стоит воспринимать как конечный результат разработки.
А вот с предположениями о машинном обучении с склонен согласиться. Главное не путать это обучение с построением нейронных сетей (к ним я отношусь скептически).
Ха, а работники этого Квантопяна ждали, что набегут сотни дилетантов и наоптимизируют тьму граалей?
Во-вторых, две вынесенные в пост строки не отображают основной посыл новости и уж, тем более, самого исследования. Если попроще, то бэк-тесты нужны и без них никак. Но не нужно их считать панацеей и нужно применять ряд проверочных механизмов и подходов.
Две вынесенные строки были вставлены в пост БЕЗ изменений, т.е. написаны так, как их написали Вы.
Именно эти строки выделены У ВАС жирным текстом, что для потенциального читателя во все времена означали основной посыл
Копировать сюда всю новость, смысла не увидел (собственно в том числе и для этого дается ссылка на оригинал новости).
Если Вы действительно автор этой новости, то именно ВЫ захотели подать материал в таком виде, в котором заголовок не соответствует содержанию. Так что уж простите, но обвинять меня в том, что ВАШ заголовок новости не соответствует содержанию статьи, мягко говоря некрасиво.
«Пастернака не читал, но осуждаю!» :)
«Доходность — это то, что дарит нам, рынок, просадки — это то, что регулируем мы сами» © мое 2001-й год.
Бэктест системы ничего не дает с точки зрения прогноза будущей доходности. Мы лишь можем «доказать» с его помощью две вещи (конечно при условии его грамотного проведения):
— спрогнозировать максимальную просадку и превосходство рынка по соотношению «доходность-просадка».