Эксперимент: торговая система на базе глубокого обучения от начала до реальных торгов.

Всем привет,

В последнее время, все больше и больше, то тут то там, люди поднимают тему машинного обучения и нейронных сетей примениельно к торговле на рынке. На фоне всего этого, я решил начать лайв эксперемент по созданию торговой стратегии на базе нейронных сетей, ну и заодно всеже попробовать полностью tfx pipeline в домашних условиях для выкатывания моделей. :)

В общем вот видюшка для затравки

Тут немного разглагольствований и представление самой идеи в общих словах. В дальнейшем будет код в открытом доступе, вдруг кто заинтерисуется :).

зы. в видео есть русские субтитры.

алготрейдинг машинное обучение глубокое обучение нейронные сети Data Science эксперимент

CloseToAlgotrading

CloseToAlgoTrading

не определен

113

814

с 11 февраля 2016

53 Комментария

Андрей К
20 ноября 2019, 21:37
Затея хорошая. Если попробуете топики оформлять текстом, а не видюшкой, есть большая вероятность, что найдете не плохую работу в этой теме. Если конечно, она вам нужна.
+6
- CloseToAlgoTrading
  20 ноября 2019, 21:58
  Андрей К, Вы имеете ввиду работу, как работу за которую деньги платят? )
  Боюсь что менять область деятельности, мне уже поздно. Так что это вроде как хобби.
  0
  - Андрей К
    21 ноября 2019, 11:47
    Denis, да нее. По голосу точно не поздно =))
    0
Technotrade
20 ноября 2019, 22:30
Denis, ты что иностранный агент? Куда ты нас завлекаешь?
0
Sergei
20 ноября 2019, 22:35
На удвиление только сегодня подумал а не использовать ли нейроночки для трейдинга.
БКс вроде как размечал данные и обсчитывал их, но не зна спомощью нейронок или еще как.
+1
ch5oh
20 ноября 2019, 23:42
Пишите ещё и почаще.
Видимо, инфопространство заразилось одной общей болезнью недавно.

Пока тема у меня не остыла в сердце буду посматривать за топиками.
Глядишь, и Вам какая-то обратная связь полезная получится.
Может даже пуш реквест в джите… чем черт не шутит?.. =D
+1
- CloseToAlgoTrading
  21 ноября 2019, 01:00
  ch5oh, :) да сама идея давно в воздухе витает, и тут как раз что то все вокруг про аи заговорили… кто знает, вдруг выгорит :) хотя я скептик по натуре
  +2
  - ves2010
    21 ноября 2019, 09:01
    Denis, на моей памяти нейронки тестят раз в третий...
    +2
    - Пафос Респектыч
      21 ноября 2019, 09:28
      ves2010, это просто по ходу жанр такой )
      +1
    - CloseToAlgoTrading
      21 ноября 2019, 10:23
      ves2010, Да я и сам уж сколько читал и тестов повидал ), но думаю пора и свой подход опробовать
      +1
    - SergeyJu
      21 ноября 2019, 11:41
      ves2010, в тыщу триста тридцать третий… у меня есть книжка некоего голландца на эту тему еще из 90-х. Некоего русского 2012 года издания. В Kaggle конкурсы. Кванты имеют зарплаты в инвестизбах...
      Но потестить — не вредно!
      +2
- Андрей К
  21 ноября 2019, 11:37
  ch5oh, занимаетесь этим? есть подвижки? самому хотца, но вообще нет времени. Уверен, к чему нибудь бы пришел
  0
  - ch5oh
    21 ноября 2019, 11:44
    Андрей К, это как ветрянка. Заразился — теперь интересуюсь темой.
    Априорное настроение — крайний скепсис.
    
    Но дьявол в деталях.
    +2
Гуру Хренов
21 ноября 2019, 00:13
урааааа! даешь! вперед на танки !!
приветствую этот смелый эксперимент
+1
- CloseToAlgoTrading
  21 ноября 2019, 01:03
  Андрей Л. (Гуру Хренов), на самом деле хочется начать с мелких шажков, хотя имееются некоторые идеи как можно попробовать более интересно и необычно сгенерить фичи… но время покажет :)
  +1
  - Гуру Хренов
    21 ноября 2019, 05:06
    Denis, да уж, feature engineering можно заниматься бесконечно
    +2
- Гуру Хренов
  21 ноября 2019, 05:12
  Андрей Л. (Гуру Хренов), кстати откуда будете грузить исторические данные для обучения?
  0
  - CloseToAlgoTrading
    21 ноября 2019, 10:26
    Андрей Л. (Гуру Хренов), именно для этого проекта, назовем его так :), думаю взять с кибота, у них есть вроде как бесплатный пример тиковых данных, одного инструмента. Потому как своих у меня пока мало...
    0
    - ch5oh
      21 ноября 2019, 11:46
      Denis, данные вообще не вопрос. Для хорошего дела можно и нагенерировать сколько надо. =)
      
      Какие рынки будут в фокусе? Меня лично фьючерсы на Мосбирже интересуют. В крайнем случае акции на ней же.
      0
      - CloseToAlgoTrading
        21 ноября 2019, 13:54
        ch5oh, америка акции… может опционы еще, но это если дело сдвинется в положительную сторону )
        0
        ch5oh
        21 ноября 2019, 16:45
        Denis, Вы правда думаете, что там Вас кто-то ждет, чтобы отгрузить легких денег?..
        
        В общем, будем на связи. Посмотрим куда Вы сможете продвинуться. Сетки — они и в Африке сетки. А к какому инструменту их применить — уже дело личных предпочтений и вычислительных возможностей. =)
        0
        CloseToAlgoTrading
        21 ноября 2019, 17:34
        ch5oh, про легкие деньги то речи и нет :)
        0
        ch5oh
        21 ноября 2019, 21:09
        Denis, взять какую-то нейронку, как-то поучить на тиках, использовать в качестве утилити непонятно что — это в моём понимании и есть «легкие деньги». =)
        
        Кстати, что Вы собираетесь использовать в качестве целевой функции?
        0
        CloseToAlgoTrading
        21 ноября 2019, 21:58
        ch5oh, эх, вы как то забегаете вперед, все же планируется по науке делать :), и сперва надо посмотреть на данные, а потом уже о структуре сети подумать… и тд.
        однако у нас же классификация по 3 классам намечается, поэтому кросс энтропия подойдет, да и по дефолту лучше всего она и работает обычно.
        
        0
    - Гуру Хренов
      21 ноября 2019, 17:33
      Denis, есть подозрение, что одного инструмента для обучения не хватит
      
      Посмотрите вот этот мой пост, мне там добрые люди ссылок накидали
      
      И ещё вопрос — через какого брокера будете выставлять заЯвки и на каком языке писать? Я в свое время помучался, пока не нашел брокера с нормальными rest APIs
      
      smart-lab.ru/mobile/topic/533234/
      +1
      - CloseToAlgoTrading
        21 ноября 2019, 17:37
        Андрей Л. (Гуру Хренов), что то линк на пост не вижу? А так я через IB работаю. Выставлять заявки не проблема.
        Да, количество данных довольно важно, и в одном инструменте их не так много. План пока взять маленькие временные промежутки для прогнозов, что бы событей можно было побольше набрать.
        0
        Гуру Хренов
        21 ноября 2019, 23:34
        Denis, https://smart-lab.ru/mobile/topic/533234/
        0
shprots
21 ноября 2019, 06:24
Интересно
Жду открыты код :) это будет python? :)
0
- CloseToAlgoTrading
  21 ноября 2019, 10:27
  shprots, в основном да, но основная идея весь фичаинженеринг загнать в тенсорфлоу.
  0
Пафос Респектыч
21 ноября 2019, 08:40
Почему-то как только доходит дело до того, чтобы родить что-то конкретное, сериальчики заканчиваются ))
+3
shprots
21 ноября 2019, 08:54
Такая просьба — осветите побыстрее, какая нейросеть используется, может быть параметры и тп.

Интересует применение капсульных нейросетей, нужны ли они вообще в трейдинге.
Словом — архитектура в общих чертах :)
+1
- CloseToAlgoTrading
  21 ноября 2019, 10:31
  shprots, по правде говоря, как написал выше, думаю подойти к вопросу постепенно, а так вполне себе rnn и cnn думаю можно использовать, насчет капсульных не знаю, никогда их не пробовал. Знаю что у них вроде только структура легче, а чем они лучше других?
  0
  - shprots
    21 ноября 2019, 12:20
    Denis, я пока не знаю, мне советовали к ним приглядеться как к новому типу сетей. У них есть преимущество по точности распознавания изображений, особенно при повороте изображения. в плане трейдинга ХЗ как это применить пока. Только начал про них копать, возможно что ничем не лучше и нужно остановиться.
    А так для кругозора:
    m.habr.com/ru/post/417223/
    0
Niktesla (бывш. Бабёр-Енот)
21 ноября 2019, 10:40
Это не затравка… это пока 5 минут ниочем… =____=
0
Sergei
21 ноября 2019, 12:13
Кто нибудь знаком с софтом https://try.neuroshell.com/index/
может кто юзал? там кстати есть ссылки на компании которые продают данные
0
sis12qw
21 ноября 2019, 13:24
а входные данные для нейросети какие будут?
0
- CloseToAlgoTrading
  21 ноября 2019, 13:56
  sis12qw, скорее всего как всегда — мусор :)
  
  А если серьезно, то что конкретно имеете ввиду? содержание или формат?
  Начнем, как я выше написал с тиковых плюс левел 1 на момент совершения сделки.
  0
Prophetic
21 ноября 2019, 15:00
Уж сколько их было...
… никого не осталось.

Тема интересна разве что для общего развития. О практическом применении в торговле можете пока не мечтать.
0
Spekyl
21 ноября 2019, 18:17
Как в видео правильно подмечено — шаг первый — это понимание сути бизнеса.
То есть содержится ли в потоке данных информация, позволяющая предсказать будущее и какое отношение количества этой информации к шуму?
+1
- CloseToAlgoTrading
  21 ноября 2019, 22:00
  Spekyl, По секрету скажу, у меня есть внутренее убеждение, что все цены в будущем зависят от ожиданий людей, а никак ни от истории, но надо же какие то доступные данные брать )
  0
- Sergei
  21 ноября 2019, 22:13
  Spekyl, тут чистая угадайка за счет обьема данных где ищутся закономерности.
  для других задач нейронки уже неплохо научились угадывать. интересный вопрос если у всех условно будут нейронки, то что тогда.
  0
  - Spekyl
    22 ноября 2019, 16:10
    Sergei, не бздите, товарищи… Нейронки суперски работают в том плане, что не просят зарплаты, не уходят к конкурентам и не бухают по неделе. А по сравнению с человеческими мозгами — пока не очень… Если вы сами не видите неэффективность на графике — нейронка его тоже не увидит.
    0
Влад(и)Мир
21 ноября 2019, 19:12
Экспериме́нт (от лат. experimentum — проба, опыт)
0
ch5oh
21 ноября 2019, 21:57
Кстати, когда следующий ролик планируете выпустить?
0
- CloseToAlgoTrading
  21 ноября 2019, 22:02
  ch5oh, хочу побыстрее, что бы весь процесс не затягивался, а то смысл разводить весь сырбор. ) Но тут уж как получится… никто ж за это денег не дает )
  0
  - ch5oh
    22 ноября 2019, 00:02
    Denis, кстати, насчет «побыстрее».
    4-5 декабря 2019 будет двухдневный курс по теме «нейросетки для трейдера». Всего 500 рублей за грааль. =)
    
    https://red-circule.com/courses/11710?ref=fc30d4
    +1
iuiu
21 ноября 2019, 22:01
давайте с простого, найди закономерность на тиковых даннных, запускайте!
0
iuiu
21 ноября 2019, 22:08
подход с предсказанием цены не верен, но посмотреть сам процесс программирования, подготовки данных интересен
0
- ch5oh
  21 ноября 2019, 23:40
  iuiu, а какой подход «верен»?
  0
  - iuiu
    21 ноября 2019, 23:48
    ch5oh, к примеру, подсчет распределений периодически повторяющихся паттернов, все остальное игры разума, имхо.
    +1
    - CloseToAlgoTrading
      22 ноября 2019, 00:49
      iuiu, мне кажется вы просто перефразировали задачу. Если я правильно понимаю вашу мысль, и мы собираемся использовать нейросети, то Вы конечно, как эксперт, можете задать патерны и обучить сеть искать эти паттерны, но в итоге вы все ровно будите пытаться угадать цену.
      
      То, что я собираюсь попробовать, это скорее обратный процесс, задаем цену и пробуем обучить сеть находить какие-то паттерны или закономерности самой.
      
      Можно сказать, основная работа должна проводиться с данными, как в первом, так и во втором случае. С какими именно данными, вот это вопрос %)
      0
      - iuiu
        22 ноября 2019, 00:57
        Denis, «задаем цену и пробуем обучить сеть находить какие-то паттерны или закономерности самой.» я в начале тоже думал, что нейросети могут что-то найти, но сдается мне, что они так не работают. И в моем случае, все-таки, о предсказании не идет речь, я считаю вероятность конкретного исхода после нахождения паттерна, куда там цена пойдет и на сколько — ХЗ и понятно, что это считается на достаточно большом кол-ве таких ситуаций (паттернов), после этого мы видим все распределения, годен паттерн или не годен или нужно еще подкрутить фильтр.
        0
rinman
02 декабря 2019, 14:55
Я вижу следующую принципиальную схему:
1. Задаются параметры выборки. Параметры(свои хотелки) выборки задаёт сам трейдер. К примеру, трейдер задаётся следующими размышлениями:«А что если найти дни, после которых рост на следующий день будет 2% от цены закрытия предыдущего дня?»
2. Далее, в автоматическом режиме, собирается выборка из тех дней, после которых рост на следующий день составил 2% и более. Сбор информации об этих днях собирается за период от 1 дня до ∞ бесконечности. Выбор периода, за который берётся анализ, зависит от трейдера.
3.Теперь у трейдера есть выборка, те дни, после которых рост составил желаемое значение, т.е. 2% и более. С этими днями надо что-то делать. Трейдер решает, если найдётся закономерность(паттерн), тот самый день, с вероятностью не менее 80%, после которого рост на следующий день составляет 2%, то буду торговать. Если же такой закономерности не найдётся, таких дней не существует, или она будет ниже 80%, начну с пункта 1., задам другие параметры.
4. Нейронная сеть находит, что такая вероятность существует, и с радостью выдаёт эти данные трейдеру.
5. Трейдер радостно получает профит по этой закономерности до тех пор, пока она существует.
0