Machine Learning

Сегодня она начала работать на каждом самокате в Санкт-Петербурге, скоро появится и в остальных городах. По нашим оценкам, лишь незначительное число поездок проходят с нарушениями — наши образовательные программы дают эффект, большинство юзеров понимает, почему тандемом ехать не нужно. Но мы хотим, чтобы таких поездок не было вообще, так как это провоцирует инциденты и даже в случае форс-мажорных обстоятельств усиливает последствия.

Детектирование нарушения происходит в режиме реального времени. IoT-модуль в самокате постоянно агрегирует данные телеметрии о динамике поездки от АКБ, блока управления двигателя, курка газа и тормоза самоката — более 50 параметров для оценки числа людей на самокате. В сжатом виде все это отправляются в облако для обработки искусственным интеллектом.

Для внедрения технологии нам не понадобилось устанавливать что-то на все самокаты сервиса. Так, мы используем тензодатчики (их часто называют «датчики веса») на части флота лишь вспомогательно — для валидации точности новой разработки, которая оценивает гораздо большее количество параметров, а не только вес.

( Читать дальше )

Взяли в руки блокнотики?))

 

Грааль в ML для трейдинга состоит из нескольких компонентов. По сути грааль, это «правильные» ответы на вопросы:

1. Что используется в качестве объектов, на которых мы обучаемся. Что за срез. Что? – Свеча, день, тик, трейдер, стакан, паттерн? Очень важный компонент.
2. Признаковое описание этих объектов. Супер-важная тема. Пространство для креатива.
3. Таргет – важная тема, но скорее производная от «что является объектом». После выбора объекта, с таргетом становится ± понятно.
4. Тип модели. Эта штука, на самом деле не так и важна, как кажется.
5. Параметры модели (гиперпараметры и вот это вот всё). Из одних гиперпараметров кашу не сваришь, их нужно использовать скорее чтобы «не испортить блюдо».
6. Процесс. Обучения, отбора, валидации модели. Супер-важная тема тоже.

 

Пожалуй, можно составить ТОП покороче:

1. Что является объектом.
2. Признаковое описание.
3. Процесс отбора данных, обучения, отбора, валидации моделей.

( Читать дальше )

Привет! Новая интересная тема в ночь, как я люблю, а так же ликбез для тех, кто хочет достичь больше большинства (и стать успешным меньшинством), и стремится к новым свершениям.

Размышляя и говоря о самообучающихся торговых системах, невозможно пройти мимо Machine Learning / Deep Learning (ML / DL), и это — пост, который посвящён этой теме.



О технологиях ИИ и областях их применения в алготрейдинге
Я бы разделил применение ML в трейдинге на три части:

1. Классический ML, который представлен, например, библиотекой scikit-learn. Она позволяет обрабатывать данные статистически, а так же предоставляет простые модели классификации, кластеризации и регрессии. Функций этой библиотеки достаточно, чтобы несколькими строчками кода выявить наличие или отсутствие зависимостей/корреляций в данных, разбить данные на кластера и выполнить другие типовые задачи, в том числе, препроцессинг данных (предварительную обработку) — стандартизацию, нормализацию, очистку и т.п. Кроме того, её можно использовать для уменьшения размерности, что может пригодиться, например, для выявления значимых метрик торговых стратегий для дальнейшей фильтрации и отбора по существенным. И это только одна библиотека, а их теперь существует множество.

( Читать дальше )

В этом обновлении был улучшен веб-терминал. Мы добавили в него разные цветовые схемы для интерфейса, а также улучшили окно спецификации инструмента.

Помимо этого, в MQL5 появилась поддержка нового алгоритма умножения матриц General Matrix Multiplication (GeMM). Он позволяет значительно ускорить вычисления на большинстве процессоров. На данный момент новый алгоритм поддерживается в методе matrix::GeMM.

Также в MQL5 появилась поддержка работы с моделями ONNX. Это позволит значительно облегчить использование нейронных сетей в торговых советниках.

MetaTrader 5 Client Terminal build 3620

1. Terminal: Исправлена ошибка при подсчете итоговой прибыли в торговом отчете.
   
   
2. Terminal: Обновлены фундаментальные данные по торговым инструментам, доступные через Обзор рынка.
   
   
3. Terminal: Исправлен запуск торговой платформы под Wine 7.0.1 при работе в Linux-системах.
   
   
4. Terminal: Исправлено добавление символов в Обзор рынка через строку поиска. Символ, найденный по описанию, было невозможно добавить в список кликом мыши на его строке.

( Читать дальше )

Не далее как вчера Мальчик buybuy написал топик Рыночный профит — прогноз или паттерн?, где в ходе обсуждения он загорелся желанием использовать ML для своих задач и возник такой диалог:

3Qu, нивапрос
Давай ему (ML) реальный рыночный сэмпл скормим? )))
Если не подавится — бабла поднимем по самое не балуйся )))
Практически гарантирую )))
С уважениемМальчик buybuy

…

Мальчик buybuy, 

Запасы данных у меня почти бесконечные
Постановка задачи тоже понятна

Мне непонятна.)
Подготовь данные для обучения, скажи каким ML обучать. Так и быть, накормлю твоими данными.
Только расскажи чему и на чем учим. Верняк скажу, что в такой постановке не прокатит и данные не подходят.) Поди туда не знаю куда, принеси то, не знаю что, или дай бабла не прокатит.

( Читать дальше )

  Минутка обучающего контента
   Перевод (twitter.com/bennpeifert/status/1587433226514989057)

Стационарность — одно из важнейших понятий теории вероятностей и статистики.

Суть его значения в том, что конкретный паттерн, который вы пытаетесь понять, постоянен в вероятностном смысле.

Технически это означает, его безусловное совместное распределение вероятностей не меняется со временем.

В блэкджеке правила игры известны и постоянны, и, основываясь на виденных до сих пор картах, мы можем узнать вероятности исходов следующей руки.

В финансах базовая структура мира сложна, неизвестна и меняется со временем. на пути к объективной, достоверной истине мало что есть. Любой анализ исторических данных, предполагающий иное, занижает неопределенность перспективных прогнозов.

Учебники сосредоточены на простых и очевидных случаях, таких как тот факт, что уровни цен на активы (в отличие от изменений) нестационарны. это, конечно, правда, и именно поэтому твиттер-шарлатаны постоянно публикуют графики ложной корреляции двух переменных во времени.

( Читать дальше )

 

Конечно, речь о процессе). Результат подтянется если с процессом все ок. Сейчас о процессе.

 

Алго-трейдинг что дышло… Будет таким каким ты захочешь чтобы он был. Захотел поиграть в исследователя. Понятно, копаясь в каждой новой стратегии, ты исследуешь, но тут захотелось более по-взрослому и не в разрезе стратегий.

 

Недавно задавался вопросом, какой таргет для ML выбрать, много интересного написали в комментариях. Собрал тестовый стенд, формализовал таргеты, написал на питоне обработчик (вплоть до интерпретатора) результатов и погнал.

 

Взял 5 стратегий. Не буду вдаваться в детали своего подхода, для простоты… — взял 5 дата-сетов, или 5 признаковых описаний. Прикрутил некоторое кол-во разных таргетов, разнообразил некоторыми другими различиями (читай, факторами) и все это основательно прогнал. Результаты замерял на OOS.

 

Ожидание:

1. Будет выраженное влияние используемого таргета на результат стратегии.

2. Возможно, получится заметить какую-то закономерность по поводу зависимости качества модели от используемого таргета в зависимости от типа стратегии/признакового описания.

( Читать дальше )

Портфельная теория Марковица

Портфельная теория Марковица(далее ПТМ) (Modern portfolio theory) — разработанная Гарри Марковицем методика формирования инвестиционного портфеля, направленная на оптимальный выбор активов, исходя из требуемого соотношения доходность/риск. Сформулированные им в 1950-х годах идеи составляют основу современной портфельной теории.

Основные положения портфельной теории были сформулированы Гарри Марковицем при подготовке им докторской диссертации в 1950—1951 годах.

Рождением же портфельной теории Марковица считается опубликованная в «Финансовом журнале» в 1952 году статья «Выбор портфеля». В ней он впервые предложил математическую модель формирования оптимального портфеля и привёл методы построения портфелей при определённых условиях. Основная заслуга Марковица состояла в предложении вероятностной формализации понятий «доходность» и «риск», что позволило перевести задачу выбора оптимального портфеля на формальный математический язык. Надо отметить, что в годы создания теории Марковиц работал в RAND Corp., вместе с одним из основателей линейной и нелинейной оптимизации — Джорджем Данцигом и сам участвовал в решении указанных задач. Поэтому собственная теория, после необходимой формализации, хорошо ложилась в указанное русло.

( Читать дальше )

Акции с высокой дивидендной доходностью часто являются отличной инвестиционной стратегией для инвесторов, стремящихся получать приток денежных средств каждый год. В данной статье буден создан скрипт на Python для отбора их на бирже NASDAQ.

Что такое дивидендная доходность?

Возьму определение из Википедии. Дивиде́ндная дохо́дность (англ. dividend yield) — это отношение величины годового дивиденда на акцию к цене акции. Данная величина выражается чаще всего в процентах.

Пример

При цене акции ОАО «Лукойл» 1124,37 рублей и дивиденде 28 рублей на акцию дивидендная доходность будет равна:

Так же необходимо обратить внимание, что многие растущие компании, такие как для примера Amazon и Yandex, не выплачивают дивиденды, поскольку они реинвестируют всю прибыль в развитие бизнеса. Поэтому дивидендная доходность для этих фирм будет равна нулю.

Расчет дивидендной доходности с помощью Python



( Читать дальше )

Как думаете, сколько может принести алгоритмическая торговля? 10% годовых? 100%? Или больше?

Все мы знаем, что machine learning может делать множество крутых вещей. А уж применить его в трейдинге для анализа графиков и прочих цифр — эта идея вообще очевидная. Почему же в публичном пространстве почти не встречается историй успеха? Не знаю, возможно потому что деньги любят тишину.

Однако я точно знаю что machine learning работает! На самом деле очень многие его применяют. Да я сам занимаюсь этим для прогноза движений по индексу S&P 500. Я также общался с человеком, который за год заработал $5млн от стартового депозита в $300 тыс. Буквально вчера общался с другим человеком, который подтвердил, что легко можно делать 300%-500% на американских индексах. Врут? Думаю что нет.

С помощью ML я и сам смог заработать +45.9% к счету только за февраль, а депозит у меня не маленький. Ниже приведены результаты по моим сделкам в феврале на реальном счете. Для сравнения в скобках указано значение тех же метрик за тот же период по самому индексу S&P 500.

( Читать дальше )