бэк-тестинг

Я нахожусь в процессе тестирования на промышленных данных тех моделей, которые я разработал с помощью системы Backtest’а.

В основе системы лежит open-source библиотека Zipline, разработанная стартапом Quantopian, но не поддерживаемая где-то с апреля этого года, когда этот стартап приказал долго жить.

В библиотеке допилена возможность онлайн-закачки данных с источников (финам, mfd, YF), достаточно просто  в алгоритме указать, какие тикеры нужны за какой период, и данные будут в нужном виде скачаны и преобразованы. А также допилена возможность работать с минутным таймфреймом.

Поскольку библиотека реализована на Python, то в пайплайн алгоритма можно вставить любые методы обработки и анализа данных, включая библиотеки машинного и глубокого обучения, сразу в одном ноутбуке и скачав данные, и обучив модели, и проведя бэктест алгоритма, что дико удобно.

В принципе, проверена даже техническая возможность повторить портал Quantopian, добавив на какой-либо сайт возможность работы с ноутбуком Zipline, расшаривая (при желании) для других пользователей на форуме либо полный скрипт пользовательского алгоритма, либо его результаты (таблицы и графики).

( Читать дальше )

До сих пор в роботе эксплуатировал рублевые фьючи, у которых с шагом цены все просто. Подсчет Profit & Loss в работе/на бэктесте ведется корректно с точностью до комиссии. Комиссия подбивается раз в неделю по остаточному принципу и с брокерским отчетом совпадает до рубля.

Встал вопрос добавить RTS, GD и прочие инвалютные фьючи. Полистал спецификацию и пришел к выводу, что для правильного расчета PL мало знать курс на открытие/закрытие позы. Нужны официальные котировки на каждый клиринг, и самого фьюча и USD/RUB. Вармаржа пересчитывается (фактически возвращается обратно в рубли) на каждом клиринге по этим данным, без них счет не сойдется.

Где берутся официальные исторические котировки на момент клиринга? Эти данные должны быть очень компактные хоть за 20 лет. Воспроизводить мамбовскую методику вычисления по котировкам клиринговой цены нет желания, да и ошибок будет трудно избежать. На финаме этой истории сходу не нашел, может плохо искал?

     В предыдущем посте о бэк-тестировании были приведены основные контраргументы против использования тестирования торговых стратегий на исторических данных. Ну, или, по крайней мере, были высказаны весьма скептические мнения.

   Я не разделяю этого скепсиса.

  Итак, напомню несколько основных тезисов «против»:

• бэк-тесты не учитывают уровни ликвидности;
• сигналы на бэк-тестах не могут реализоваться в «боевых» условиях, потому что «рынок живой» (что это такое — каждый понимает по-своему);
• бэк-тесты не учитывают разных аварий на линии коммуникаций или сбоев торгового ПО;
• в реальности торговый алгоритм выдает одновременно 2 (!) торговых сигнала, робот-скотина «не фильтрует», а на бэк-тестах такого почему-то не бывает;
• колл-бэки «в реале» не отвечают так, как хотелось бы;
• бэк-тестирование — это удел презренных теоретиков и необстрелянных «окопников», никогда не бывавших в настоящем бою.

( Читать дальше )

Предыдущий мой пост был призван помочь понять и осознать роль и место бэктестирования в практике трейдинга. Ну, и заодно — намекнуть на корректные правила использования тестирования исторических данных.

   Нужно понять, что бэк-тестирование — это численный эксперимент, который не только так красиво называется, но и требует к себе уважительного отношения. Ну, и некоторого количества ума и трудолюбия.

   Однако, как и следовало бы ожидать, некоторые не особо восхваляемые в приличном обществе личные качества комментаторов не дали этим «коллегам» возможности разглядеть предложенные возможности.
   Какие контраргументы предложили «коллеги» против бэк-тестирования?
   Увы, самые замшелые и незамысловатые, как-то:

• бэк-тесты не учитывают уровни ликвидности;
• сигналы на бэктестах не могут реализоваться в «боевых» условиях, потому что «рынок живой» (что это такое — каждый понимает по-своему);
• бэк-тесты не учитывают разных аварий на линии коммуникаций или сбоев торгового ПО;
• в реальности торговый алгоритм выдает одновременно 2 (!) торговых сигнала, робот-скотина «не фильтрует», а на бэк-тестах такого почему-то не бывает;
• колл-бэки «в реале» не отвечают так, как хотелось бы;
• бэк-тестирование — это удел презренных теоретиков и необстрелянных «окопников», никогда не бывавших в настоящем бою.

    Ну, и, естественно, еще многая многа чего невысказанного… Смысл только один: «все бэк-тесты — козлы, я один — Д'Артаньян».

( Читать дальше )

Мне, и думаю многим другим, нужны качественные исторические данные за максимальный промежуток времени — для изучения рынка, построения и тестирование торговых систем. Такие данные по фьючерсам, торгуемым на западе, в частности на CME, в свободном доступе (кроме дневок) практически не найти. Несколько месяцев назад я купил исторические данные по следующим фьючерсам CME: ES (фьючерс на индекс S&P), CL (фьючерс на нефть WTI), GC (фьючерс на золото), NQ (фьючерс на индекс NASDQ). Спецификацию по ним вы можете посмотреть тут: http://smart-lab.ru/blog/320021.php

Но осталась потребность в данных по многим другим интересным инструментам. И пару недель назад у меня появилась идея – т.к. исторические данные нужные не только мне, то вполне возможно приобретать их совместно (в складчину) (http://smart-lab.ru/blog/317451.php)

( Читать дальше )

Предыстория тут - http://smart-lab.ru/blog/320021.php

Количество присоединившихся потихоньку растет. Один контракту уже взяли в складчину (NG).
Теперь еще один на подходе, а именно выбираю  между HG(медь) и CN(ZC/Кукуруза).
А что по вашему мнению интересней/нужней — какие данные брать?

Предыстория:

Мне, и думаю многим другим, нужны качественные исторические данные за максимальный промежуток времени — для изучения рынка, построения и тестирование торговых систем. Такие данные по фьючерсам, торгуемым на западе, в частности на CME, в свободном доступе (кроме дневок) практически не найти. Несколько месяцев назад я купил исторические данные по следующим фьючерсам CME: ES (фьючерс на индекс S&P), CL (фьючерс на нефть WTI), GC (фьючерс на золото), NQ (фьючерс на индекс NASDQ). Спецификацию по ним вы можете посмотреть тут:http://www.cmegroup.com/trading/equity-index/us-index/e-mini-sandp500_contract_specifications.html

Но осталась потребность в данных по многим другим интересным инструментам. И пару недель назад у меня появилась идея – т.к. исторические данные нужные не только мне, то вполне возможно приобретать их совместно (в складчину) (http://smart-lab.ru/blog/317451.php)

( Читать дальше )

Начало тут: smart-lab.ru/blog/317925.php

5 минутные OHLCV:

ES GC CL NQ NG 5 MIN c 20.03.2016 по 25.03.2016 cloud.mail.ru/public/9XYR/WViRCsp5v

Поблагодарить

Можно плюсиками и при желании любой суммой на дальнейшие покупки на:

• WebMoney кошелек R395002718891
• Яндекс.Деньги money.yandex.ru/to/410014057882581

Тиковые данные:

По поводу «скидывания» на тиковые данные и получения всей истории обращайтесь в личку (у кого не хватает рейтинга пишите комментарий, я вам напишу в личку и она станет доступна). Цена вопроса всего 5000 рублей.

Ранее «скинувшиеся» увидят все данные (и добавленный новый контракт и дальнейшие обновления) по полученной ими ссылке

P.S.

Конструктивные комментарии и вопросы приветствуются.

Флуд, навязывания своего мнения – в топку.

Здравствуйте, трейдеры и прочие биржевые специалисты!

Подскажите, пожалуйста, куда (к кому) можно обратиться за услугой бек-тестинга?
Возникла необходимость в тестировании системы, а что-то никак не могу найти ни одного специалиста в данной области. Но ведь кто-то же это делает? Компании или отдельные программисты… В общем, подскажите, плиз, кто что знает.
Заранее спасибо.

О том, почему система, показавшая отличную доходность при бэк-тестинге, не всегда готова работать на рынке.
На практике часто случается так, что система, показавшая хорошие результаты при бэк-тестинге, не способна приносить прибыль в реальной торговле. Это связано с особенностями бэк-тестинга, проводящегося на исторических данных, к которым система адаптируется в результате оптимизации. Программы бэк-тестинга не учитывают некоторых факторов, влияющих на успешность торговли, например степень ликвидности инструмента или конкуренцию со стороны других участников торгов. В то же время большинство независимых роботовладельцев не обладают преимуществами крупных игроков, и их системы неизменно проигрывают в скорости роботам последних.

Подробнее об этом http://robostroy.ru/community/article.aspx?id=281