машинное обучение и анализ данных

Я уже писал о попытке применить нейросети, и вердикт был неутешительным, с точки зрения практического трейдинга. Я усердно (более менее) прокачивал свои скилы в машинном обучении, учился программировать, в качестве данных используя котировочки, но особой перспективы не видел. Но я оказался не прав, и в конечном итоге, у меня в нейросеть на фондовом рынке получилось.   
Но давайте не сразу к прогнозированию и зарабатыванию денег, сначала рассмотрим другой вариант практического применения нейросетей. 
Нейросеть как черный ящик.
Допустим есть у вас рабочий алгоритм, который показал свою эффективность на протяжении 10 лет реальной торговли. Вопрос как его продать, не раскрывая секреты трейдерской кухни? А почему бы не использовать неинтерпретируемость нейросетей, превратив ее слабости в ее силу? Эта мысль приходила мне раньше, но реализация подкачала, до ума эту мысль я довел недавно, благо потребность возникла. Схема очень простая, у нас есть сырой ряд, из которого нужно посчитать нужные признаки (признаки это и есть мои трейдерские секретики), эти признаки настолько хороши, что подав их в простенькую модель машинного обучения мы получим хороший результат. Но как скрыть алгоритм расчета признаков? А все просто, мы на вход в нейросеть подаем котировочки, а на выход в качестве таргета — наши секретные признаки, таким образом поставив перед нейросетью задачу калькулятора. Подчеркну, тут мы ничего не прогнозируем, признаки находится внутри временного ряда. Это первый этап. На втором этапе мы занимаемся уже прогнозированием, используя полученные признаки. 

( Читать дальше )

Мой переход к программированию и машингленинг (случилось это где то год с небольшим), отчасти был связан с мыслями глянуть, а что там в забугорье творится. Проходить опять тот же путь ручного перелопачивания, что я прошел на отечественном рынке, понятно дело не хотелось. Но то котировок не было, то еще чего то, и вот наконец то дошли ручки до Америки, тем паче робот для автоматического скачивания котирок есть, модели для тестирования есть, осталось только пуско-наладочные работы.
К слову, по поводу выкачки американских внутридневных котирок через Питон не все так просто оказалось, как казалось раньше. Google Finance ограничивает скачивание часовиков 730 днями (а ниже — еще меньше), у Yfinance я вообще внутридневных не нашел. Была большая надежда на AlphaVantage, но и там ограничение на intraday в несколько дней. Еще и данные в каком то месте оказались кривыми, на что я даже написал кляузу им в поддержку, на что мне ответили что так и надо, это все «adjusted close» и закрыли тему. Так что у кого есть какие то секретные места, где все это можно быстро выкачать — делитесь.

( Читать дальше )

Всем, привет! Неделя выдалась «боевой», надеюсь все живы-здоровы!
В продолжении топика «Искусственный трейдер. Часть 1. Подготовка данных для машинного обучения (видео)»
Рассмотрим python-код «парсера» и «визуализатора» данных. Скажу сразу, что этот код вы можете легко модифицировать для анализа ваших данных любого другого формата.
Сам датасет формируется при помощи платформы Jatotrader, которая во время воспроизведения исторических данных сохраняет параметры частотных графиков для дальнейшего анализа и построения модели машинного обучения  в Python.
Для работы с тестовой выборкой нам понадобятся:
1. Установленная платформа Jatotrader FREE (или круче) версии 2.9.3 (или выше). С ее помощью вы сможете создавать любые тестовые наборы для любых инструментов. Либо воспользоваться, в качестве примера, готовым набором для фьючерсного контракта RIH0 с 20.12.19 по 28.02.20 (по два частотных графика 500 и 125 тиков на бар для каждой торговой сессии).

( Читать дальше )

Всех с наступающим (и никаких отступлений!) Днем Защитника Отечества ака Денем Советской Армии и Военно-Морского Флота!
И за тех, кто в море! Ну а те кто в ЗОЖе, начинаем готовить себе замену — искусственного трейдера.
Важнейшей частью любого алгоритма машинного обучения являются данные, на которых происходит обучение, а еще важнее качество этих данных.
Для приготовления искусственного трейдера нам понадобятся следующие ингредиенты:
1.Установленная платформа Jatotrader (FREE или круче) версии 2.9.3 или выше. Можно обойтись и без установки Джато и взять тестовый набор данных отсюда. Описание содержимого файлов датасета — в конце топика.
2.Питон.Jupyter Notebook (Anaconda3)
Короче говоря, Jatotrader мы используем как предварительный обработчик и генератор данных для машинного обучения (МО), а Python для создания модели, обученной на этих данных. Возможности Jatotrader позволяют создавать частотные графики из тиковых данных, примерно такого вида 

( Читать дальше )

В конце апреля 2019 года в аэропорту Омахи приземлился «гольфстрим» компании Occidental Petroleum. Нефтяная компания направила делегацию для секретной встречи с Уорреном Баффетом, надеясь убедить его прийти на помощь против враждебного поглощения. Эта встреча недолго оставалась тайной. Работающая в области «альтернативных данных» компания под названием Quandl отслеживала подобные перелеты, что позволило ей предупредить клиентов — в основном хедж-фонды — о неожиданном полете «гольфстрима» и потенциальной сделке. Два дня спустя Occidental объявила об получении $10 млрд от Баффета.

Этот эпизод показывает, как индустрия активного управления пытается восстановить позиции на фоне многолетнего отставания как от заявленных нормативов доходности, так и от результатов пассивного индексирования. Многие традиционные хедж-фонды и управляющие паевых фондов не могут себе позволить просто наблюдать за тем, как клиентские портфели перетекают в индексные или алгоритмические стратегии. Один из способов вернуть доверие и средства инвесторов — использование интеллектуального анализа данных. Изначально такого рода методы применялись конкурентами традиционных портфельных менеджеров — «квантами», что подразумевает серьезные вложения в найм программистов и специалистов по обработке данных. Но теперь речь идет о гибридном подходе, который сочетает в себе суждения опытного портфельного управляющего и применение больших данных.

( Читать дальше )

Всем привет. Кратко подведу итоги и задам сообществу пару вопросиков.

Во-первых спасибо Тимофею, что дал возможность выступить и в целом, ты крут, практически один тянешь такое огромное мероприприятие.
Контент от других участников мне тоже был интересен, нашел много интересных идей.
Интересно было пообщаться с людьми, которые готовы воспринимать что то новое, и задавать вопросы, к сожалению, как правильно сказал Роккибит, таких мало.  

По поводу моего выступления:

Понимаю, что тема была не простая, а как спикер я лет 10 не выступал, поэтому возможно основную мысли я донес недостаточно ясно. А они следующие: Применение современных методов машинного обучения в трейдинге, это самый эфективный способ анализа рынка, при котором теряется минимум информации.
Стратегии основанные на машинном обучении применяются всеми крупными фондами ( и речь не про ХФТ), и имеют наилучшую точность среди всех методов. Переобучается ли модели, да переобучаются, но переобучаются и все остальные, но машинное обучение дает возможность это лучше контролировать и избегать.

( Читать дальше )

Я потратил приличное количество времени на разработку стратегий и  даже имел парочку которые приносили определенный доход некоторое время. Занимался пару лет машинным обучением и тоже представляю, что это за зверь.  Также работал в инвест банке где видел как роботы рубят капусту особенно во время кипишей на маркете, в такие времена прибыль просто была огромной у ХФТ.

Собственно здесь мои  сбивчивые размышления на тему когда же наступит момент когда всех трейдюков заменят алгоритмы, и я думаю этот момент в конечном итоге наступит.

В начале хочу вкратце описать типичную разработку стратегии с классическим маш. Обучением – берется входной массив данных, вручную выделяются признаки-фичи которые могут быть ценны для прогноза, нормализуются, модель обучается на тестовой выборке, фичи которые имеют меньший предсказательный вес удаляются для уменьшения вероятности оверфиттинга, и увеличения робастости модели, модель снова обучается,  потом проверяется на тестовом сете данных, что модель действительно работает. Вроде просто. На самом деле есть несколько проблем

( Читать дальше )

Толковая базовая статья по теме. Для алгошников.

proglib.io/p/trade-learning/

Хочу обсудить возможность построения торгового робота по аналогии с программой играющей в шахматы.
Насколько я знаю (а я не большой спец), шахматные программы имеют в себе такие составляющие:
— просчитанную таблицу 99.99 (а то и 100%) N первых ходов партий — т.н. таблица дебютов, наверное ходов на 10 точно
— функция подсчёта «стоимости»-рейтинга позиции, т.е. ранжирования, какая позиция для программы-игрока лучше из двух, трёх и M разных позиций
— эмулятор своих и чужих ходов (часть которая знает как ходят фигуры)
— функция принятия решения
дальше уже нюансы — как глубоко подсчитываются варианты (2-3 хода в глубину считается средней сложностью), какие оптимизации применяются (некоторые позиции заведомо проигрышные, а ходы глупые, на них не надо тратить время)

вот я и подумал что тут наверное есть много общего с программой по торговле.
— часть по оценке позиции
— эмулятор своих (покупка продажа) и чужих (ход цены) ходов
— база знаний (паттернов, искуственных нейронов, таблиц)

( Читать дальше )