Информация
Блог им. ch5oh
Простой рецепт где взять исторические данные
- 19 мая 2020, 14:18
- |
Некоторое время назад прошла волна постов "Где мне взять нахаляву подешевле рыночные данные для тестирования своих торговых роботов?" и была предложена масса вариантов, начиная от "дергать ISS", до «хакнуть Финам» и "да я своего вендора сейчас напишу и буду раздавать данные из Квик".
Немного забавно читать, как матерые трейдеры, зарабатывающие от 100% в месяц, жмутся оплатить подписку на МФД или ещё где-то и занимаются странными телодвижениями по раздобыванию очень странных бесплатных данных непойми кем составленных и непойми какого качества. По результатам анализа которых будут торговать роботы и показывать финрез, мягко говоря, противоположный тестам на истории.
Простой (неправильный) ответ лежит на поверхности: данные удобно брать у своего брокера. По здравым размышлениям крайне странно, что Финам был готов раздавать гигабайты тиков всем желающим со своего сайта без регистрации, но при этом имел ограничение на скачивание истории минутных баров через протокол Транзак (по моим сведениям 1 месяц минуток был доступен).
И тут случайно выясняется, что мой брокер оказался большим молодцом и тихой сапой реализовал приличный сервер истории. За что ему низкий поклон брокерская комиссия ежемесячно большая.
Сначала удивился возможности скачать минутки М1 по давно умершему фьючерсу MXZ7:
Потом восхитился возможности скачать минутки М1 аж с незабываемого «народного наипо» в 2007 (кстати, зацените мой любительский теханализ этой бумаги):
И как вишенка на торте — кровеносная кровососная система страны с 2001 года:
Большое человеческое спасибо за возможность больше не заниматься ерундой и не перегонять данные в виде стометровых текстовых файлов. Пожелания по доработке протокола подключения озвучивать бессмысленно, так что закончим в мажоре.
Да пребудет с Вами Вола!
теги блога ch5oh
- Deribit
- easymani
- Exante
- ITinvest
- liquid.pro
- Si
- TSLab
- USDRUB_TOM
- автоследование
- акции
- алготрейдинг
- Алексей Каленкович
- американский рынок
- апдейты
- банки
- биржа
- Блек-Шоулз
- бот
- БОТ-2019
- брокер
- дельта-хедж
- дельтахедж
- Дерибит
- для чайников
- добрый человек
- долгосрочное инвестирование
- доллар
- ду
- единый счет
- живая позиция
- знамение
- игры разума
- иГРЫрАЗУМа 2019
- иГРЫрАЗУМа-2019
- инвесторы россии
- комментарии
- комментарии блогов
- КОНКУРС
- кризис
- кризис 2020
- Крик души
- криптобиржа
- криптовалюта
- Крым
- кукл
- Лига тредеров
- ликвидность
- логика
- МосБиржа
- на память
- НДФЛ
- нейтральные позиции
- некомпетентность
- нефть
- опек+
- опрос
- опционы
- основы
- отзыв
- отзыв лицензий
- оффтоп
- параноя
- позиция
- полуавтоматическая торговля
- правила торговли ртс
- предатели
- предложение
- предложения по смартлабу
- продажа опционов
- развитие рынка
- размер депозита
- реальная позиция
- ренкинг
- ренкинг управляющих
- робот
- роботы
- Россия
- сбербанк
- смартлаб
- совет
- стакан
- статьи
- стоп
- теорцена
- теханализ
- торговля онлайн
- торговые роботы
- торговый алгоритм
- ТСЛаб
- улыбка волатильности
- управление активами
- уроды
- учебник
- учебное пособие
- философия
- ФОРТС
- хедж
- чудеса
- экономика
- Эксанта
— «ОН». Попробовал. Точно он!
itinvest сделал бы для клиентов order log, хотя у них и сделки только за посделний час, помоему не больше.
My Shadow, через бесплатный SmartCOM гнать full order log??? Однако.![]()
А 10 тыр/мес, как за Plaza-2 не хотите выложить?![]()
С обязательной колокацией в датацентре АйтиИнвеста?
зачем через SmartCOM, который и не совсем бесплатный ...
Plaza2 — это realtime, я же про историю говорю, некоторые брокеры выкладывают в qsh даже не для своих клиентов и ничего, itinvest хотя бы для своих сделал.
ps
А в SmartCOM может стакны пошире сделать, тем более в бесплатном квике они сильно шире.
My Shadow, 1) а кто сейчас выкладывает QSH?
Раньше Церих был добрый, но им надоело пару лет назад насколько понял.
2) Почему Вы пишете, что "SmartCOM не совсем бесплатный"?
У Вас какой-то особенный смартком?
Специальный выделенный сервер за отдельную денежку?
3) Не понял: Вам нужна "тиковая история" или "full orders log"?
Вы разницу понимаете между этими вещами?
1) смотрите www.qscalp.ru в Истории торгов, и Церих вполне себе выкладывает, не надо наговаривать на них
2) это наверно у Вас как то совсем бесплатный SmartCOM, для всех остальных так:
iticapital.ru/tariffs/additional-services/direct-access/
3) я помоему четко написал что нужно — история order log (например в .OrdLog.qsh), и для Вашего свединия SmartCOM и так умеет отдавать историю сделок (то что Вы называете тиковая история), но не глубже часа от текущего времени, что для анализа слабо интересно.
My Shadow,
А ссылочкой рабочей не поделитесь?
Когда был на их ФТП последний раз, там архивы обрывались на какой-то дате.
ftp://ftp.zerich.com/pub/Terminals/QScalp/History/
за вчера там есть данные
My Shadow, большое спасибо!![]()
Признаю: Церих — тоже большие молодцы.
(Может быть презентую как-нибудь :))
Нужно было реализовать подкачивание ежедневных данных по акциям и commodities. Желательно с первспективой иностранных бумаг. Только дневной таймфрейм.
В итоге пришел к тупому investing.com — есть все, что нужно, но сосет долго.
Сайт Finam хорош для начальной «оптовой» загрузки данных и не более.
Не очень понимаю, как API для квика по Lua будет устроено, если у меня скачивалка и анализатор на Java (как сервлет, но не суть — язык один)?
Если, допустим это делать через Квик (и держить его включенным в момент обновлений).
Можно поподробней что за API использовали в этом примере, побольше технических деталей?
PS. График кровососной системы на 2006 и 2018-2019 рисует повторяющийся фрактал =)
thankODD,
У этого брокера есть свой собственный бесплатный протокол для подключения. Не будем называть имен. (Совсем некстати получится, если набегут всякие криво-руко-умники и положат сервер брокера своими тупыми запросами бесконечными.)
А дальше и деталей никаких нет. Подключил TSLab (для закачки данных достаточно лицензии Lite за 1 тыр/мес) — и велел нарисовать мне график акции "за сколько лет сможешь". Результатом был удивлен.
Для массовой скачки — это уже ваша тема.
3Qu, публичную историю с их сайта периодически поругивают.
Я-то без претензий. На безрыбье дареному коню и хрен сладкий.
Sergey Pavlov, дааа… чет Вы сегодня сильно затупили. На Вас не похоже.
Это вообще не «реклама TSLab».
Это дань уважения известному Вам брокеру.
=) Впрочем, даже рад, что Вы не прониклись. Зная Вашу обстоятельность могу запросто представить себе, как Вы начинаете выкачивать всю доступную историю по всем инструментам и сервер брокера ложится под натиском.
Не заценил — он даже по истории ни о чём.
Если честно, удивили, вы мне как-то по-другому представлялись.
VladMih, что, треугольник неправильно построен? Вот знал же, что тщательней надо!..
А Вы бы какой ТА здесь нарисовали?
tashik, Транзак проверьте, если есть под рукой. Он по-прежнему только месяц М1 отдаёт?
ПС На радостях попробовал сегодня запустить OS.Engine на смарткоме...![]()
![]()
Видимо, не мой день. Или крики о её крутизне, мягко говоря, преждевременны.
Конечно, "0 разделить на 0" и всё в таком духе… =/
tashik, мне просто было интересно развивается ли Финам в нужную сторону или стагнирует?
Ну, может быть, Sergey Pavlov или коллеги подскажут. Насколько понимаю, он торговал всеми видами коннекторов, которые только существуют в природе. =)
Sergey Cellinsky, недодумала — это точно. Никто не верил, что проживет так долго??? А мы теперь мучаемся. Данные по LKM0 запросто могут свалиться на тикер 2010 года, если заранее не подсуетиться с переименованием.
Причем с неудобным полным кодом нет проблем.
Сбоит именно удобный для человека короткий 4-х символьный. =(
Я все время бухчу на MT5 с Открытием, что у них кривоватые данные за 2014 год в склейках на тиковые! данные по фьючерсам
А тут такая радость от минуток MXZ7.
Дмитрий Овчинников, зато Ваш МТ не только не умеет торговать опционы, но и вообще блокирует их использование на счете даже через другие терминалы.
Просто дикость и варварство! =)
во-первых он далеко не мой :)
во-вторых да, тут вы правы.
более того, это убожество не дает даже фонду торговать с того же счета!
но вы тут вроде про данные тему подняли. так вот данные из МТ5 можно экспортировать в 2 секунды. ну и да, бесплатно! :)
=) тогда 2 вопроса на засыпку:
1) Какое время сделки стоит в склеенной истории МТ?
2) Сколько времени займет экспорт тиковой истории во внешний файл за 1 год по ликвидному фьючерсу типа СИ или РИ?
Сколько места он будет занимать на диске?
3) Какая Вам польза от чужой тиковой истории?
Кроме возможности собрать секундные бары, конечно? =)
1. не понял вопроса, переведите, пожалуйста
2. Сделал эксперимент. Си с 01012019 по вчера
-формирование данных около 3 минут
-Экспорт в файл порядка 10 минут.
Файл 6.4Gb
При этом прошу обратить внимание, что это данные типа B, т.е. изменения не только по last, но и по bestask/bestbid.
3. Ну это не ко мне вопрос. Для тех, кто использует ТС-Лаб очевидно никакой :)
ves2010, С айти их надо просто один раз спокойно выкачать — и можно пользоваться. Дальше будут спокойно в кеше жить. Удобно же, когда всё в одном месте доступно.