Блог им. Ziveleos

ArchiveCleaner для QUIK

В папке «archive» терминала QUIK остаются файлы графиков уже исполненных фьючерсов и опционов. Со временем их набирается довольно много. Чистить вручную — занятие нудное, поэтому сделал скрипт в двух вариантах: один перемещает такие файлы а отдельные папки, другой их просто удаляет «к чёртовой матери, не дожидаясь перитонита!»
Подробности в Readme.
disk.yandex.ru/d/UVW0et79fpAgCA

  • обсудить на форуме:
  • QUIK
★1
53 комментария
А есть у вас архивы (SPBFUT_*_1.dat) минуток фьючерсов любых заполненные до 65000 свечек? Размер у такого файла примерно 3000 килобайт.
avatar
Cubigator, нет. Самый большой 1,14 МВ SPBFUT_SiZ4_1.dat.
С 3-х мегабайтными квик слишком долго грузиться будет.
avatar
Ziveleos, Да такой у меня есть. Спасибо. Ищу файлы фьючерсов на акции, или товары чтобы погонять их в тестах. 3 мб это стандартный размер файла примерно с данными минутки за квартал. Грузит все нормально.
avatar
Cubigator, Такой вариант не подойдет?
www.finam.ru/quote/forts/br/export/
avatar
Ziveleos, Для Quik не годится.
avatar
Cubigator, какая разница, что скармливать роботу, данные с графика, или из файла?
avatar
Ziveleos, На графике можно нарисовать метки, и проверить логику работы скрипта, а без графика можно ужа с ежом сложить и не заметить. В Lua я не знаю как вывести тесктовый файл в график Quik (точнее это невозможно), а вот возможно ли вывести текстовый файл в Lua в подобие графика без Quik я точно сказать не могу. В пайтоне я так делал с библиотекой matplotlib, но пайтон давно забросил.
avatar
Cubigator, графики «longsize» ещё интересуют?
avatar
Ziveleos, а что это?
avatar
Cubigator, длинные графики, с большим количеством свечек.
avatar
Ziveleos, Да, нужны, если это M1 dat файлы для quik
avatar
Cubigator, можно текстовые файлы с Финама конвертировать в .dat
avatar
Cubigator, вот пример:
disk.yandex.ru/d/yYzKAJXO0jBOQQ
avatar
Ziveleos, Интересно, а этот файл вы именно сконвертировали, или это файл из Quika взяли?
avatar
Cubigator, трансформировал. А вот с NG странная штука — какие-то ночные свечки, явно не с мамбы. Сильно длинный сделать не получилось, квик обрезает до 65 534 свечек.
avatar
Ziveleos, Знаете, я несколько раз добивался от поддержки квика как конвертировать текстовые файлы в формат квика, и кроме откровенного бреда про утилиту которая как раз из dat файла в текст конвертирует, но никак не наоборот, ничего от них больше не услышал. А вы говорите что конвертировали в Dat. Для меня это прямо открытие. Если не секрет каким способом у вас это получилось? Кстати 65000 это максимально возможное количество свечей в графике Quik. Больше туда не добавить.
avatar
Cubigator, каким способом получилось?
Много кофе и спортивная злость.
Не 65000, а (2^16)-1 = 65535, видимо, больше чем unsigned int квик не переваривает.
Перешли с 7-ой версии на х64, а max размер графика не увеличили.
avatar
Ziveleos, Да это они еще увеличили, раньше вообще 3000 было. Вы какую-то конвертирующую утилиту написали?
avatar
Cubigator, иначе не пил бы сейчас пиво, а не кофе.
avatar
Ziveleos, А вас не затруднит эти файлики конвертнуть?
disk.yandex.ru/d/pfzsOL2CJNYL-w
Это фьючерс на золото этого года по 3 месяца, чтобы укладывалось в 65000свечей
avatar
Cubigator, не затруднит, но не в порядке благотворительности.
Вот, на пробу: disk.yandex.ru/d/8jwcQfjmGJWy9w
Ех. GDZ4202312_240401_240630
avatar
Ziveleos, Спасибо, но данных там почему-то не хватает. Файл всего 300 кб, а должен быть около трех мб.
avatar
Cubigator, 



avatar
Ziveleos, Значит на финаме неверные файлы формируются.
avatar
Cubigator, отнюдь.
disk.yandex.ru/d/rNolQf3B4ghVGg
avatar
Всего 6454 свечи, а должно быть 65000. История полупустая. Вы так и не сказали какой утилитой вы форматируете файлы. Можно ссылку на эту утилиту?
avatar
Cubigator, 

avatar
Да, действительно, видимо не заменился предыдущий полупустой файл. Сейчас открылись все свечки.
avatar
 Про утилиты вы опять ничего не сказали. Или это секрет?
avatar
Cubigator, не секрет. Сваял скрипт-переводчик TxtToDat.lua, сегодня ещё ускорил его в 2,5 раза.
avatar
Ziveleos, Вы его выкладывать планируете в общий доступ, как вы это делаете со своими lua утилитами, или продаёте?
avatar
Ни то, ни другое.
Если выложить в открытый доступ, артель «арка» может возмутиться, а продавать лучше рыбу, а не удочку.
К тому же входные данные нужно правильно подготовить, а значит, придется писать мануал, а мне проще скрипт написать чем описание. Да и покупателю выгоднее. Сколько нужно таких файлов для дрессировки робота? Десяток? А хватит их на годы. Покупать пивзавод ради нескольких бутылок пива — расточительно.
avatar
Ziveleos, Нужны данные хотя бы за два года, а это 8 кусков по 3 месяца. Для самых ликвидных фьючерсов. евро, доллар, юань, моекс, сбер, газпром, ртс. В идеале такие же куски и на все вечные фьючерсы.
avatar
Cubigator, это аргумент в дискуссии, или заказ?
avatar
Ziveleos, Какая то часть этих данных у меня есть, и это, больше, мысли в слух, но если цена меня устроит, почему нет.
avatar
Cubigator, отправил Вам ЛС через форум квик.
avatar
Добрый вечер, Уважаемый коллега! Очень заинтересовала ветка в Вашем блоге smart-lab.ru/blog/1080990.php. Не подскажите, а можно ли при помощи Вашей утилиты получить в файле  формата .dat котировки нефти (склеенные фьючерсы на нефть) на часовом таймфрейме за максимально возможный период в размере 65000 свечей? Спасибо
avatar
OLEG OLEGATOROV, вечер добрый. Экспирация фьючерсов на нефть происходит ежемесячно. В месяце около 300 часовых свечек. 65000/300=216.(6). Клеить 200 кусков вручную мне что-то лень. Но, если доработать парсер, то можно. 
avatar
Ziveleos, Да, я знаю, что ежемесячно. А у Вас получилось увеличить данные для технического анализа по фьючерсам до 65000 свечей? А как вручную их самому склеить, не подскажите?
avatar

OLEG OLEGATOROV, что значит увеличить? Скрипт просто конвертирует текстовый файл в .dat, сколько свечек в тексте, столько и будет в .dat.
Состыковывать нужно текст, но делать это вручную — титанический труд: нужно удалить последний день обращения, ибо в последний день цена замирает на одном уровне и приклеить следующий кусок, начиная со дня экспирации предыдущего. И так — более двухсот раз!

avatar
Ziveleos, я Вас понял. Увеличить — это в моём субъективном понимании (У меня накоплена история на 18000 свечей, а я хочу для анализа все максимальное возможные 65000). У Вас есть скрипт. Только вот теперь самый интересный вопрос, Вы его нашли в свободном доступе или это результат Вашего интеллектуального труда. Спрашиваю конечно же по той причине, что хотел бы им воспользоваться (понял, что склеивать фьючерсы в текстовом формате придется склеивать самому, единственное, не подскажите образец файла. txt, в котором столбцы расположены в необходимом для файла .dat порядке). Спасибо!
avatar
OLEG OLEGATOROV, скрипт сделал сам. Конвертер и парсер iss.moex для него.
Пример текстового файла: https://disk.yandex.ru/d/qME4Oa6TueLCvQ
Если сменить расширение на txt, то будет обычный текстовый файл.
avatar
Ziveleos, то есть нужно найти найти и скачать в EXCEL с расширением .csv, например, на сайте Финама или аналогичном сайте все фьючерсы на нефть с часовым таймфреймом, склеить их по аналогии, как они склеиваются в самом quik, а затем конвертировать через Ваш скрипт в нужный формат .dat? А скриптом не делитесь? Если да, на каких условиях?
avatar
OLEG OLEGATOROV, зачем Вам EXCEL? csv и в Блокноте прекрасно открываются.
И копипастить проще — из одного Блокнота в другой.
На счёт скрипта: https://smart-lab.ru/blog/1088417.php
Если не срочно, могу переделать парсер, чтобы сливать уже склеенные фьючерсы.
avatar

теги блога Ziveleos

....все тэги



UPDONW
Новый дизайн