Блог им. vasia90

Выкладываю тиковые исторические данные

Я алготрейдер и торгую на CME. Потратил безрезультатно значительное время на поиск свободных для скачивания исторических данных по фьючерсам в интернете. И недавно, сжав зубы, принял решение купить их – тиковые данные по четырем инструментам GC, ES, CL, NQ.

Для коллег, кто пользуется 5-минутками и выше, я решил выложит в свободный и бесплатный доступ 5 минутные OHLCV за всю историю:

GC — smart-lab.ru/blog/316383.php
ES — smart-lab.ru/blog/316408.php
CL — smart-lab.ru/blog/316497.php
NQ — smart-lab.ru/blog/316533.php

Upd: Здесь все оптом и в нормально сжатом архиве turbobit.net/53tle0u1k2qn.html

Тем же кто, как и я нуждается в тиковых данные у меня следующие предложение:

Я выкладываю всю историю по тиковым данным, но не бесплатно, а за небольшую часть от стоимости — за 5000р.

В чем профит для сообщества смарт-лаба?

— Кому не нужны тики: получает 5 минутки бесплатно

— Кому нужны тики: получает их за малую долю

— Каждые 10 человек взявшие тики, позволяют мне купить еще один контракт, который я также выложу. Причем заплатившие за тики получают эти дополнения бесплатно, как и обновления новых периодов по имеющимся

— Периодически буду выкладывать обновления по новым периодам: в свободный доступ 5 минутки, и тиковые для оплативших

В чем профит для меня?

Один раз потратив на данные хочу получить и другие контракты без дополнительных затрат. Т.е. вместе с теми, кому нужны тики в «складчину», причем неся основные затраты на себе. Т.е. выгода обоюдная!

Для получения тиковых данных обращайтесь в личку!

Формат данных и пример файла следующий:

Symbol;Date;Time;Price;Volume
ESM16;20150412;170434279;2072.00;2
ESM16;20150416;053510588;2071.50;1

Symbol — код контракта в формате SSMYY (SS — код спецификации, M — код месяца, YY — год)
Date — дата бара в формате YYYYMMDD (часовой соответствующей биржи)
Time — Время бара в формате HHmmssfff  (часовой соответствующей биржи)
Price — соответствующие цены
Volume — объем в контрактах

Часовые пояса: ES и NQ — СМЕ (Центральное время US), CL — NYMEX (Восточное время US), GC — COMEX (Восточное время US)

Качество и глубина данных отменная! Точные период по каждому контракту указан в имени файла (т.е. перейдите по соответствующей ссылке и увидите период)

★32
43 комментария
Жаль, интересуют данные именно с возможностью определения покупка или продажа, правда не настолько глубокие, где-то до 2007г, причем с надежного источника.
avatar
Agent Smith, источник надежный. Да, только тики, что в принципе для датамайнинга и бэктестов  мне хватает, причем при сравнении сделок прошедших по реальному счету и проверенных задним числом по истории совпадение тик-тик. Тут больше от алгоритмов зависит. А глубокая история это супер для построения стратегий — я запускаю в реал только стратегии просчитанные и оттестированные более чем за 15 лет, и на реале по ним все ок )
avatar
Василий, спасибо! На мой взгляд идея хорошая, буду рад, если у вас все получится. Мне лично тики не нужны, но был бы рад минуткам. Нет ли в планах выложить в свободный доступ минутные данные? И логичный вопрос, про тип склейки контрактов, то что по английски называют adjastid. Там где контракты идут друг за другом, гэпы между контрактами как-то отрегулированы? Если да, то как? И если нет, то в какие сроки (по какому алгоритму) происходит смена контрактов. Очень надеюсь на содержательный ответ, поскольку без него ценность выложенных данных несколько снижается.
avatar
KonstantinD, По 5 минуткам ситуация следующая:
1) Выкладываются два вида: все контракты (all) и с автопереходом (front)
2) Автопереход без склейки (т.е. гэпы не скорретированы) по датам: ES ~12, CL ~19, GC ~27, NQ ~12 конкретные даты можно получить посмотрев какой контракт соответствует дате в файлах front
3) Процесс склейки он индивидуальный и общего правильного нет, в моей системе предусмотрен переход в зависимости от вида контракта: некоторые по датам, некоторые по объемам. То-же касается и корректировки гэпов, я ее вобще не использую — ибо зло
4) Для алго советую использовать данные по всем контрактам (all) и досконально разобраться когда какие контракты и как торгуются и выбрать для себя тот вариант перехода и склейки который необходим и учитывается в ваших торговых алгоритмах. Если нет желания разбираться с данными и со всеми нюансами, то не стоит смотреть в сторону алготорговли — наловите кучу подводных камней
5) Выкладывать в свободный доступ минутки не вижу резона (на что я тогда другие контракты покупать буду?), а из тиков можно конвертировать во что душе угодно, могу и я конвертировать в минутки, но выложу только на платный доступ.
avatar
Василий, + с тиков можно конвертировать бары с расширенной информацией как например: средневзвешенной ценой по объему контрактов, средневзвешенной ценой по количество тиков, с ценой по которой можно купить на open бара, с ценой по которой можно продать на open бара и много чего еще
avatar
Тоже заинтересован в минутках. А какой взнос за доступ?
avatar
Lev, ответ выше
avatar
с BidPrice,AskPrice и BidVolume,AskVolume тики нужны, а просто price нахрен не всрался
можно сделать складчину и выкупить например у iqfeed, у них более точный фид и история
avatar
Матвеич, кому как, цены на такие данные больше. Да и вполне сносно можно рассчитать соответствующую моменту best bid/ask. А если у вас HFT, то тут желателен полный ордер лог. 
avatar
Василий, как я отвечал выше мне тиковой информации достаточно, что бы исполнение по истории соответствовало реалу тик-в тик
avatar
Сравните мои данные с iqfeed — и найдете 10 отличий ;) Данные очень качественные
avatar
Василий, Ваши данные будут лучше iqfeed? :) 10 каких отличий Вы предлагаете найти? напишите уже источник, что за данные… на CME купили?
avatar
matrix, Понимаете, поставщики данных «мягко говоря», не приветствуют передачу данных третьим лицам. Пока я не указываю поставщика, какие ко мне притенензии, может я сам 30 лет собираю ))). Может это и iqfeed, а может и нет ;) Сравните ))) Огласить источник не могу, но ручаюсь — данные отменные, без пропусков и лагов одни из лучших возможных. А заявив, что например я их получил у поставщика X, тот может даже потребовать у администрации смарт-лаба удалить пост и все ссылки, вам это надо? А так, давайте договоримся — это мои данные и я их сам собирал )))
avatar
Василий, с другой — же стороны, под поставщиком я мог обозначить любого, и поэтому тут безусловно есть элемент доверия, но никого я обманывать не собираюсь )))
avatar
Василий, похвально, а через кого Чикагскую биржу торгуете? Это надёжно в плане выплат (и возврата своих средств)? Ну т.е. хотя бы договора лично подписывали или по факсу?
avatar
Collapse, Брокера указывать не буду, но с точки зрения надежности все ОК. Договора подписываются удаленно, в электронном виде.
avatar
Василий, ели интересуют подробности — в личку
avatar
Василий, у Вас же никнейм :) Думаете биржи, поставщики данных и тд. будут Вас искать? или в каждой пачке данных шифруют ID их покупателя? Есть платформы, которые барыжат real-time данными берут деньги с клиента только за платформу, а биржам, поставщикам ничего не платят :) и ничего никто их не наказывает — работают :)
avatar
Тики уже не в моде.  Я собираю для тестирования своих стратегий снапшоты стаканов и таблицы сделок.
avatar
SuperMegaTrader, это называется тики + ордер лог. Или вы, что-то новое придумали? И биржа вам эксклюзивно это поставляет?
avatar
Василий, да и мы тут не за моду беседуем, а деньги зарабатываем набирже
avatar
Василий, по разному это называют. Московская биржа называет  это «Все сделки и все заявки».
 moex.com/ru/orders?historicaldata
avatar
Киньте в торрент плиз…
avatar
ch5oh, http://smart-lab.ru/blog/317451.php
avatar
Василий, Предложение еще действительно? Готов купить.
avatar
Тоже готов купить. Василий, отзовись

avatar

теги блога Василий

....все тэги



UPDONW
Новый дизайн