@Дмитрий Овчинников одним из комментариев последнего поста натолкнул меня на самоочевидную мысль, и я вспомнил анекдот.

Поймал мужик золотую рыбку. Та ему, естественно, предлагает ему загадать желание и отпустить её в синее море. Мужик сгоряча выпаливает: «Хочу, чтобы у меня всё было!» «Ладно, мужик, — удивлённо отвечает золотая рыбка. — У тебя всё было».

Из всех моих упражнений, которые я совершал на протяжении последних трёх лет, похоже, нет таких, которые не совершались до меня и уже описаны ранее. Надо было просто почитать форум от рождества его.

Каждый делал их, конечно, в силу своей сообразительности и способностей, и не все дошли до того, до чего дошёл я.

Но тусовочка алготрейдеров напомнила мне градиентный спуск в обучении нейронной сети: если параметры примерно подобраны правильно, результаты получаются примерно одинаковыми. Все достаточно умные люди приходят к одному и тому же, даже если и пути разные, а именно:

• граалей нет
• доходность не гарантирована

( Читать дальше )

Привет.

О теме поста
Мне задали вопрос в личной переписке, как я пришёл к тому, к чему пришёл.
Я ответил, а потом подумал, что это может быть интересно тем, кто начинает, как когда-то начинал я.
Да и сравнить с собой всегда интересно.
В этом мире нет ничего абсолютного, вот и получается, что единственный способ оценки своего состояния — сравнивать с бенчмарками.
Да только вот психологи говорят, что если вы себя и хотите сравнить, то сравнивать нужно только с собой самим, в прошлом.
В этом смысле я на недосягаемой высоте :)
И вам так рекомендую делать. И изучать новое и опыт других. Узнавать о новых возможностях, о которых вы, возможно, и не подозревали. Помните это — а что, так можно было? :)
Не потому, что это защитит вас от ошибок — я в это не верю, а потому, что это даст больше вариантов выбора — в каком направлении идти и куда развиваться дальше.



Итак, мой путь

1. Сначала я придумывал свои индикаторы и писал код, чтобы торговать по ним, подстраивая параметры полным перебором.
2. Потом я обнаружил, что если у меня будет 3-4 индикатора, то сплошной перебор всех параметров и эмуляция торговли с каждой комбинацией займёт несколько лет машинного времени. Несколько лет только лишь на исследования!!!

( Читать дальше )

Привет! Новая интересная тема в ночь, как я люблю, а так же ликбез для тех, кто хочет достичь больше большинства (и стать успешным меньшинством), и стремится к новым свершениям.

Размышляя и говоря о самообучающихся торговых системах, невозможно пройти мимо Machine Learning / Deep Learning (ML / DL), и это — пост, который посвящён этой теме.



О технологиях ИИ и областях их применения в алготрейдинге
Я бы разделил применение ML в трейдинге на три части:

1. Классический ML, который представлен, например, библиотекой scikit-learn. Она позволяет обрабатывать данные статистически, а так же предоставляет простые модели классификации, кластеризации и регрессии. Функций этой библиотеки достаточно, чтобы несколькими строчками кода выявить наличие или отсутствие зависимостей/корреляций в данных, разбить данные на кластера и выполнить другие типовые задачи, в том числе, препроцессинг данных (предварительную обработку) — стандартизацию, нормализацию, очистку и т.п. Кроме того, её можно использовать для уменьшения размерности, что может пригодиться, например, для выявления значимых метрик торговых стратегий для дальнейшей фильтрации и отбора по существенным. И это только одна библиотека, а их теперь существует множество.

( Читать дальше )

Привет.

Это продолжение темы, которая была затронута в этом посте: Адаптивные алгоритмы торговли (smart-lab.ru)



Вводная часть
Мою мысль тогда не так поняли, как мне кажется, решив, что адаптивная торговая система в моём понимании — это система, которую нужно периодически выключать и подстраивать/оптимизировать, и запускать заново.
Я имел ввиду, однако, совсем не это.
Я имел ввиду, что система является самоподстраиваемой, изменяя свои настройки или логику прямо в ходе торговли.
Топорно это можно сделать элементарно, используя в качестве параметра торговой системы не константу, как обычно, а динамическое значение некого индикатора, так или иначе описывающего поведение цены или других рыночных данных. Это верное направление, но, если его реализовать, как описано, ничего хорошего не получится, поскольку влияние значения настроечного параметра на результат торговой системы практически всегда нелинейно, и поэтому между выходом индикатора и входом торговой системы со значением нужно будет произвести некоторые преобразования, а какие именно — это вопрос исследований для конкретного кейса.

( Читать дальше )

Пока я продумываю архитектуру адаптивных торговых систем, изучаю разные источники, экспериментирую, решил поинтересоваться и у самой нашумевшей технологии, что она думает по поводу всего этого.





Эта штука (Bing GPT Chat и Chat GPT) рассказала мне удивительные вещи.

Вот, например:



( Читать дальше )

Доброй ночи вам.

Тематика этого поста — про подход и способ выявления торговых систем, которые с наибольшей вероятностью будут работать в будущем, на неизвестных им прежде данных, а так же про понятие кросс-валидации в ML и его адаптации к трейдингу.

Итак, начнём.

Само понятие кросс-валидации пришло к нам из машинного обучения.





В классике, в машинном обучении, определение звучит так: кросс-валидация — это метод проверки качества модели, при котором данные разбиваются на несколько частей. Одна из частей используется как тестовый набор данных, а остальные части используются для обучения модели. После этого процесс повторяется несколько раз, каждый раз выбирается новый тестовый набор данных, пока все части данных не будут использованы как тестовый набор.

Давайте рассмотрим пример для ML, где мы используем 12-кратную кросс-валидацию для оценки качества модели. У нас есть набор данных, который мы разбиваем на 12 частей. Затем мы проводим обучение модели на 11 частях данных и тестируем на 1 части данных. Далее мы меняем тестовую часть и повторяем процесс обучения и тестирования. После завершения всех итераций у нас есть 12 наборов результатов (один для каждой части данных).

( Читать дальше )

Когда я в первый раз получил сотни и тысячи стратегий, которые работали на IS/OOS, главным вопросом для меня стал следующий:

• как из них изо всех отобрать те, которые с высокой вероятностью будут работать и дальше?

В первый раз я решил этот вопрос вручную, фильтрами отбирая из большого списка алгоритмы, которые, как мне казалось, будут работать.
Фильтры были по самым разнообразным метрикам, и метрики эти людям, которые сидят за стандартными терминалами, могут быть совсем не очевидны. Часть из них я придумал сам, и ничего сложного в моих нет, простая математика.

Вообще говоря, я пришёл к тому, что метрика торгового алгоритма (или, если хотите, стратегии), должна быть максимально объективной. Иными словами, она не должна зависеть от периода, от числа сделок и того, насколько часто алгоритм совершает сделки, и от типа самого инструмента, доли комиссии в сделке и даже рынка. Многие из метрик, которые принято использовать в классике, не отвечают этим требованиям и не позволяют правильно сравнивать между собой различные торговые системы.

( Читать дальше )

Доброй ночи.

Хотелось бы подвести некоторые результаты и сформулировать некоторые соображения, и вот он план:

1. Введение
2. О стоимости создания торговых систем
3. Что у меня получилось
4. Мои выводы
5. Мои рекомендации алготрейдерам

1 Введение
Я пытался, а теперь уже, получается, не пытался, а создавал генератор торговых систем (алгоритмов), который будет придумывать их за меня. Задача оказалась совершенно не тривиальной, и тесты на исторических данных, показавшие ошеломляющий успех, были завершены в начале ноября 2022. По своей рыночной цене посчитал, что работа стоила не один млн. моего времени.
Тут нужно сказать, что точка старта идеи как концепции была в июне 2020, а точка начала физической реализации — начало октября 2022. Время в промежутке было потрачено на эксперименты и на обучение. И на размышления, конечно.
Первый тест был на Binance, в конце мая 2023, с рядом ручных технических операций. Это были ручные операции, не относящиеся к принятию торговых решений — это делал алгоритм. Вручную я подсаживал и удалял алгоритмы.

( Читать дальше )

Привет всем!

Создал оглавление своего блога, а кому интересно — гляньте. Ну а тут напишу что-то суммаризирующее мои изыскания.

Как обычно, структурирую имеющимися средствами, без нумерации, поскольку не уверен, что где-то нельзя вставить что-то улучшающее результаты.
Пока нарабатывается статистика алгоритмами на торгах, о чём писал в предыдущих постах, позволю себе немного философии.

Итак, что я понимаю под конвейером граалей и что мне нужно сделать (точнее, уже сделал)?

• прежде всего, конечно, хочется сказать, что понятие «грааль» — оно для слабоумных лохушек, но попробуем его использовать в общепринятом контексте
• механизм, который будет искать торговые алгоритмы на произвольном количестве ценовых инструментов/рынков по их ценовым данным. Назвал его Searcher = Искатель. Искатель ищет торговые алгоритмы в рамках одного инструмента генетическим поиском, двигаясь скользящим окном с заданным значением дискретизации, от последней известной цены в прошлое на заданную глубину. Сегодня 12, значит возьмём период с 12 сент по 12 окт — это у нас будет период проверки.

( Читать дальше )