Блог им. DenisVo

Эксперимент: торговая система на базе глубокого обучения от начала до реальных торгов.

Всем привет,

В последнее время, все больше и больше, то тут то там, люди поднимают тему машинного обучения и нейронных сетей примениельно к торговле на рынке. На фоне всего этого, я решил начать лайв эксперемент по созданию торговой стратегии на базе нейронных сетей, ну и заодно всеже попробовать полностью tfx pipeline в домашних условиях для выкатывания моделей. :)

В общем вот видюшка для затравки



Тут немного разглагольствований и представление самой идеи в общих словах. В дальнейшем будет код в открытом доступе, вдруг кто заинтерисуется :).

зы. в видео есть русские субтитры. 

★24
53 комментария
Затея хорошая. Если попробуете топики оформлять текстом, а не видюшкой, есть большая вероятность, что найдете не плохую работу в этой теме. Если конечно, она вам нужна.
avatar
Андрей К, Вы имеете ввиду работу, как работу за которую деньги платят? )
Боюсь что менять область деятельности, мне уже поздно. Так что это вроде как хобби.
avatar
Denis, да нее. По голосу точно не поздно =))
avatar
Denis, ты что иностранный агент? Куда ты нас завлекаешь?
avatar

На удвиление только сегодня подумал а не использовать ли нейроночки для трейдинга.

БКс вроде как размечал данные и обсчитывал их, но не зна спомощью нейронок или еще как.

avatar

Пишите ещё и почаще.
Видимо, инфопространство заразилось одной общей болезнью недавно.

 

Пока тема у меня не остыла в сердце буду посматривать за топиками.
Глядишь, и Вам какая-то обратная связь полезная получится.
Может даже пуш реквест в джите… чем черт не шутит?.. =D

avatar
ch5oh, :) да сама идея давно в воздухе витает, и тут как раз что то все вокруг про аи заговорили… кто знает, вдруг выгорит :) хотя я скептик по натуре 
avatar
Denis, на моей памяти нейронки тестят раз в третий... 
avatar
ves2010, это просто по ходу жанр такой )
ves2010, Да я и сам уж сколько читал и тестов повидал ), но думаю пора и свой подход опробовать 
avatar
ves2010, в тыщу триста тридцать третий… у меня есть книжка некоего голландца на эту тему еще из 90-х. Некоего русского 2012 года издания. В Kaggle конкурсы. Кванты имеют зарплаты в инвестизбах... 
Но потестить — не вредно!
avatar
ch5oh, занимаетесь этим? есть подвижки? самому хотца, но вообще нет времени. Уверен, к чему нибудь бы пришел
avatar
Андрей К, это как ветрянка. Заразился — теперь интересуюсь темой.
Априорное настроение — крайний скепсис.


Но дьявол в деталях.
avatar
урааааа! даешь! вперед на танки !!
приветствую этот смелый эксперимент
avatar
Андрей Л. (Гуру Хренов), на самом деле хочется начать с мелких шажков, хотя имееются некоторые идеи как можно попробовать более интересно и необычно сгенерить фичи… но время покажет :)
avatar
Denis, да уж, feature engineering можно заниматься бесконечно
avatar
Андрей Л. (Гуру Хренов), кстати откуда будете грузить исторические данные для обучения?
avatar
Андрей Л. (Гуру Хренов), именно для этого проекта, назовем его так :), думаю взять с кибота, у них есть вроде как бесплатный пример тиковых данных, одного инструмента. Потому как своих у меня пока мало... 
avatar
Denis, данные вообще не вопрос. Для хорошего дела можно и нагенерировать сколько надо. =)


Какие рынки будут в фокусе? Меня лично фьючерсы на Мосбирже интересуют. В крайнем случае акции на ней же.
avatar
ch5oh, америка акции… может опционы еще, но это если дело сдвинется в положительную сторону )
avatar

Denis, Вы правда думаете, что там Вас кто-то ждет, чтобы отгрузить легких денег?..

 

В общем, будем на связи. Посмотрим куда Вы сможете продвинуться. Сетки — они и в Африке сетки. А к какому инструменту их применить — уже дело личных предпочтений и вычислительных возможностей. =)

avatar
ch5oh, про легкие деньги то речи и нет :)
avatar

Denis, взять какую-то нейронку, как-то поучить на тиках, использовать в качестве утилити непонятно что — это в моём понимании и есть «легкие деньги». =)

 

Кстати, что Вы собираетесь использовать в качестве целевой функции?

avatar
ch5oh, эх, вы как то забегаете вперед, все же планируется по науке делать :), и сперва надо посмотреть на данные, а потом уже о структуре сети подумать… и тд. 
однако у нас же классификация по 3 классам намечается, поэтому кросс энтропия подойдет, да и по дефолту лучше всего она и работает обычно.

avatar
Denis, есть подозрение, что одного инструмента для обучения не хватит



Посмотрите вот этот мой пост, мне там добрые люди ссылок накидали



И ещё вопрос — через какого брокера будете выставлять заЯвки и на каком языке писать? Я в свое время помучался, пока не нашел брокера с нормальными rest APIs



smart-lab.ru/mobile/topic/533234/
avatar
Андрей Л. (Гуру Хренов), что то линк на пост не вижу? А так я через IB работаю. Выставлять заявки не проблема.
Да, количество данных довольно важно, и в одном инструменте их не так много. План пока взять маленькие временные промежутки для прогнозов, что бы событей можно было побольше набрать.
avatar
Интересно
Жду открыты код :) это будет python? :)
avatar
shprots, в основном да, но основная идея весь фичаинженеринг загнать в тенсорфлоу.
avatar
Почему-то как только доходит дело до того, чтобы родить что-то конкретное, сериальчики заканчиваются ))
Такая просьба — осветите побыстрее, какая нейросеть используется, может быть параметры и тп.

Интересует применение капсульных нейросетей, нужны ли они вообще в трейдинге.
Словом — архитектура в общих чертах :)
avatar
shprots, по правде говоря, как написал выше, думаю подойти к вопросу постепенно, а так вполне себе rnn и cnn думаю можно использовать, насчет капсульных не знаю, никогда их не пробовал. Знаю что у них вроде только структура легче, а чем они лучше других?
avatar
Denis, я пока не знаю, мне советовали к ним приглядеться как к новому типу сетей. У них есть преимущество по точности распознавания изображений, особенно при повороте изображения. в плане трейдинга ХЗ как это применить пока. Только начал про них копать, возможно что ничем не лучше и нужно остановиться.
А так для кругозора:
m.habr.com/ru/post/417223/
avatar
Это не затравка… это пока 5 минут ниочем… =____=

Кто нибудь знаком с софтом https://try.neuroshell.com/index/

может кто юзал? там кстати есть ссылки на компании которые продают данные

avatar
а входные данные для нейросети какие будут?
avatar
sis12qw, скорее всего как всегда — мусор :)

А если серьезно, то что конкретно имеете ввиду? содержание или формат?
Начнем, как я выше написал с тиковых плюс левел 1 на момент совершения сделки.
avatar
Уж сколько их было...
… никого не осталось.

Тема интересна разве что для общего развития. О практическом применении в торговле можете пока не мечтать.
avatar

 Как в видео правильно подмечено — шаг первый — это понимание сути бизнеса.

То есть содержится ли в потоке данных информация, позволяющая предсказать будущее и какое отношение количества этой информации к шуму?

avatar
Spekyl, По секрету скажу, у меня есть внутренее убеждение, что все цены в будущем зависят от ожиданий людей, а никак ни от истории, но надо же какие то доступные данные брать )
avatar

Spekyl, тут чистая угадайка за счет обьема данных где ищутся закономерности.

для других задач нейронки уже неплохо научились угадывать. интересный вопрос если у всех условно будут нейронки, то что тогда.

avatar
Sergei, не бздите, товарищи… Нейронки суперски работают в том плане, что не просят зарплаты, не уходят к конкурентам и не бухают по неделе. А по сравнению с человеческими мозгами — пока не очень… Если вы сами не видите неэффективность на графике — нейронка его тоже не увидит.
avatar
Экспериме́нт (от лат. experimentum — проба, опыт) 
avatar
Кстати, когда следующий ролик планируете выпустить?
avatar
ch5oh, хочу побыстрее, что бы весь процесс не затягивался, а то смысл разводить весь сырбор. ) Но тут уж как получится… никто ж за это денег не дает )
avatar

Denis, кстати, насчет «побыстрее».

4-5 декабря 2019 будет двухдневный курс по теме «нейросетки для трейдера». Всего 500 рублей за грааль. =)

https://red-circule.com/courses/11710?ref=fc30d4

avatar
давайте с простого, найди закономерность на тиковых даннных, запускайте!
avatar
 подход с предсказанием цены не верен, но посмотреть сам процесс программирования, подготовки данных интересен
avatar
iuiu, а какой подход «верен»?
avatar
ch5oh, к примеру, подсчет распределений периодически повторяющихся паттернов, все остальное игры разума, имхо.
avatar
iuiu, мне кажется вы просто перефразировали задачу. Если я правильно понимаю вашу мысль, и мы собираемся использовать нейросети, то Вы конечно, как эксперт, можете задать патерны и обучить сеть искать эти паттерны, но в итоге вы все ровно будите пытаться угадать цену.

То, что я собираюсь попробовать, это скорее обратный процесс, задаем цену и пробуем обучить сеть находить какие-то паттерны или закономерности самой.

Можно сказать, основная работа должна проводиться с данными, как в первом, так и во втором случае. С какими именно данными, вот это вопрос %)
avatar
Denis, «задаем цену и пробуем обучить сеть находить какие-то паттерны или закономерности самой.» я в начале тоже думал, что нейросети могут что-то найти, но сдается мне, что они так не работают. И в моем случае, все-таки, о предсказании не идет речь, я считаю вероятность конкретного исхода после нахождения паттерна, куда там цена пойдет и на сколько — ХЗ и понятно, что это считается на достаточно большом кол-ве таких ситуаций (паттернов), после этого мы видим все распределения, годен паттерн или не годен или нужно еще подкрутить фильтр.
avatar
Я вижу следующую принципиальную схему:
1. Задаются параметры выборки. Параметры(свои хотелки) выборки задаёт сам трейдер. К примеру, трейдер задаётся следующими размышлениями:«А что если найти дни, после которых рост на следующий день будет 2% от цены закрытия предыдущего дня?»
2. Далее, в автоматическом режиме, собирается выборка из тех дней, после которых рост на следующий день составил 2% и более. Сбор информации об этих днях собирается за период от 1 дня до ∞ бесконечности. Выбор периода, за который берётся анализ, зависит от трейдера.
3.Теперь у трейдера есть выборка, те дни, после которых рост составил желаемое значение, т.е. 2% и более. С этими днями надо что-то делать. Трейдер решает, если найдётся закономерность(паттерн), тот самый день, с вероятностью не менее 80%, после которого рост на следующий день составляет 2%, то буду торговать. Если же такой закономерности не найдётся, таких дней не существует, или она будет ниже 80%, начну с пункта 1., задам другие параметры.
4. Нейронная сеть находит, что такая вероятность существует, и с радостью выдаёт эти данные трейдеру.
5. Трейдер радостно получает профит по этой закономерности до тех пор, пока она существует.
avatar

теги блога CloseToAlgoTrading

....все тэги



UPDONW
Новый дизайн