Эксперимент: торговая система на базе глубокого обучения от начала до реальных торгов. Часть III. Начинаем работу с TFX

Всем привет,
если кому-то все еще интресно, мы продолжаем. Ох и медленно длится у меня процесс )

В общем в этом выпуске начинаем работу с тенсорфлоу тфх пайплайном. Стоит сказать что как бы гугл не рекламировал тфх, продук все еще в стадии развития и как только пытаешься отступиться от примеров, возникают некоторые проблемы.

Код представленный в видео имеется на гитхабе, ссылка в описании. Так же имеются субтитры на русском.

алготрейдинг глубокое обучение tensorflow deep learning

CloseToAlgotrading

CloseToAlgoTrading

не определен

113

814

с 11 февраля 2016

14 Комментариев

старый трейдер
20 января 2020, 14:50
Если не сложно, напишите несколько строк о характере проблем с TFX, пожалуйста.
+1
- CloseToAlgoTrading
  20 января 2020, 16:25
  старый трейдер, возможно мои проблемы возникают из-за слабого понимания внутренней реализации, однако как я уже описал выше, продукт немного сыроват. Все отлично работает на примерах от команды тенсорфлоу, но не очень работает на других примерах.
  
  Как я в видео упоминал, возникает первая же проблема при использовании ExampleGen компонента. Он отвечает за ввод данных в конвеер, а так же производит разбиение данных, однако что бы найти как это все работает надо покопаться :) и как выясняется, хоть этот компонент поддерживает разбиение данных на разные подсеты, остальные компоненты конвеера все еще продолжают работать только с test,eval подсетами.
  Так же к сожалению он не поддерживает разбиение времянных рядов по заданному времени. Люди предлагают написать свой компонент, но выглядит это как то не очень красиво.
  Что ж, эти проблемы решаемы предобработкой данных.
  Статистика генерируется на удивление без проблем :) так же как и генерирование описания данных, однако как я понял, если описание данные сгенерино исходя из статистики, то поменять его нельзя, ну или это не просто. Можно просто свое описание на вход подать. Но тут я глубоко не копал.
  Еще было замечено что именно перавый компонент не очень быстро работает. :) Надо будет посмотреть как обработка и генерация фич будет работать.
  +1
Михаил
20 января 2020, 20:03
Мне кажется вы в какой-то странной последовательности к вопросу подступаетесь — городите какую-то достаточно сложную систему не проверив, будет ли вообще какой-то результат от DL.
0
- CloseToAlgoTrading
  20 января 2020, 20:31
  Михаил, Вы возможно правы, однако когда при готовом конвеере менять модели, и проводить анализ их работы, должно быть довольно легко.
  0
  - Михаил
    20 января 2020, 20:52
    Denis, на сколько я понимаю эта балайка придумана для масштабных проектов, где десятки моделей регулярно выкатываются и обновляют для доступа через веб, над моделями работает много инженеров и нужна формализация процесса на всех этапах. Соответсвенно, там накладных огромное количество. Если вы собираетесь эти модели крутить потом на тиковых данных, то имхо это не подходящий вариант. Тут нужно думать в сторону интегрированного решения с минимальными накладными расходами.
    0
  - Михаил
    20 января 2020, 20:55
    Denis, имхо лучше написать свой минималистичный тренинг луп, а не копаться с дебрях общего решения, которое совсем не под трейдинг заточено.
    0
    - CloseToAlgoTrading
      20 января 2020, 21:30
      Михаил, всегда можно пойти простым путем, даже спорить не буду :)
      0