Нейронные сети

На Смартлабе некоторое время назад всплывали посты про машинное обучение, нейросети и прочие премудрости. Внесу и я свои 5коп.  В результате нехитрых танцев с бубном проверил, как  на индекс Мосбиржи влияют, индекс  Доу, доллар и нефть, Влияние в порядке убывания.  Судя по результатам, еще кое-что влияет. Скорее всего, это дурь политическая, но она не поддается измерению. Корреляция дневных данных  за последние 90 дней

                 DJIA               IMOEX.ME
DJIA       1.0000000000     0.9448074157
IMOEX.ME 0.9448074157   1.0000000000

               USDRUB         IMOEX.ME
USDRUB    1.0000000     -0.6746474
IMOEX.ME -0.6746474    1.0000000
                    BZZ20.NYM     IMOEX.ME
BZZ20.NYM 1.0000000000  0.4297319356
IMOEX.ME  0.4297319356   1.0000000000

Если верить регрессиям, полученным по данным ДОУ и фьючерса на нефть, то значение индекса Мосбиржи должно быть где-то выше 2830. А если опираться на доллар/рубль, то ниже 2750.

( Читать дальше )

Продолжаю потихоньку добавлять новые акции для анализа в портфель и наконец добрался до 100 штук. Собираюсь включить все акции с дневным оборотом более 1% от величины портфеля (осталось примерно 25 штук), после чего заняться ETF. Чем больше акций, тем больше обучающих примеров для тренировки градиентного бустинга и сетей — сейчас около 180 тысяч, а в перспективе их количество увеличится до 250-300 тысяч.

Потихоньку продолжаю заниматься сетями. Раньше жаловался, что они обучаются существенно медленней градиентного бустинга, но после профайлинга оказалось, что тормозит не обучение, а подготовка и загрузка данных. Переписал код — в результате сети стали учатся быстрее градиентного бустинга.

Плюсом сетей является возможность реализации множества выходов — на данный момент экспериментирую с прогнозированием доходности одновременно с СКО по аналогии с GluonTS.

Для поиска гиперпараметров для градиентного бустинга использую байесовскую оптимизацию с помощью hyperopt. Для сетей решил попробовать

( Читать дальше )

Когда вы занимаетесь искусственным интеллектом, то вам и в голову не приходит использовать нейронные сети! Да… такова их внутренняя сущность — к интеллекту они не имеют ровным счётом никакого отношения. В своё время NN (нейронные сети, Neural Networks) прочно ассоциировались со спиновыми стёклами — аналогом магнитной плёнки — на которую при желании можно записать ту или иную информацию. Да… в то время ещё не было ученых… как бы это правильнее перевести… ученых по данным… и в литературе часто можно было встретить выражение «образец, хранящийся в памяти сети». Другими словами, с самого своего рождения нейронные сети ассоциировались совершенно не с интеллектом, а с обычным хранилищем, своеобразной библиотекой.


Всё «обучение» нейронной сети, в те времена, сводилось к тому, чтобы загрузить в её память наиболее репрезентативную выборку образцов, чтобы с ней, в конце-концов, не случилось конфуза и она не смогла бы с завидной регулярностью идентифицировать афроамериканцев как горилл, как это случилось у Data Scientist'ов из Google Photos. Поэтому, помимо школьной  алгебры мы, как квалифицированные специалисты, изучали ещё и прикладной предмет, чтобы в любой момент, когда практика не согласовывалась бы с теорией, отметать… практику.

( Читать дальше )

В связи с хайпом вокруг искуственных нейронных сетей стало интересно: насколько реально обучить сеть или дерево или иную технологию машинного обучения для восстановления вида неизвестной функции по следующим значениям обучающей выборки:

• x==4 тогда  y==40
• x==61 тогда  y==80
• x==117 тогда  y==120
  

Сеть или дерево должна вычислить значение этой функции для аргумента   x==97853

 

Философский подтекст состоит в том, что человек в состоянии определить вид этой функции совершенно достоверно и получить нулевую ошибку на валидационной выборке любого размера и сложности.

 

Если технологии ML не могут дать адекватного ответа на этот вопрос, то могут ли они в принципе быть полезны в торговле?

 

UPDATE 1: За прошедшие несколько часов 2 человека однозначно продемонстрировали способность восстановить вид искомой функции. Что подтверждает простоту озвученной задачки.

( Читать дальше )

Всем привет.

Прошлое

Хорошее не может продолжаться вечно. Всех мучал вопрос, зачем же создав таких классных роботов на нейросетях для криптовалюты, которые реально не плохо зарабатывают, ребята шарят их бесплатно? Все строили догадки, писали что это лохотрон, инфоцигане )) и прочее… На что сами ребята прямым текстом отвечали — эта разработка для себя. В паблике она только для того, что бы те кому это тоже интересно помогли отладить систему. И я это понял сразу. И вот, как говорится, момент настал! На днях пришло письмо от ребят с текстом, что тест бета версии подходит к концу, и все новые зарегистрированные пользователи уже не получать возможность использовать режим реальной торговли. Только демо. А все те, кто зарегался до этой даты оставляют за собой право пользоваться реальной торговлей. И тут я аж брызнул от счастья...

Почему? Все просто. Я опробовал роботов, они реально что-то да умеют. Я уже стал им давать более менее серьезные обьемы для работы в реальном режиме, и профиты пошли уже очень интересные. Но, как всегда есть одно но...  Я стал видеть, что с увеличением сайза, заявки стали подвисать в стакане, а это плохо. Т.к. если не будет исполнения, то не будет денег и такой-же эквити как раньше. С маленькими сайзами до 500к На Битмексе все работало. И я подумал. Видно набежало юзверей, и теперь мы все толкаемся в стакане. Я прямо раздосадовался. И тут бах! Эта замечательная новость! Что нас, теперь, ограниченное количество. И формулировка как раз это обьясняла, что бы мы не толкались в стакане )) Вообще респект ребятам!

( Читать дальше )

Жил был трейдер, и хотел он работать мало, а получать много… Желание конечно достойное, но осуществимое ли? Стал он думку думать да у интернетов спрашивать, возможно ли чудо этакое? За компом сидеть, две кнопки нажимать, а деньги сами к тебе рекой текут…

Отвечал интернет трейдеру, что есть в мире его, технологии… Якобы сами думают, сами работают, а деньги  хозяину. Вот это да, подумал трейдер, не уж то глупость какая? Развод кроликов очередной? Нет, говорит интернет, правда такое может быть, все что тебе нужно сделать — стать хозяином этого чуда и ссылку дал, куда логин пароль регистрировать надо… Долго ли коротко ли думал трейдер, да махнул рукой… Что я мало что ли маржинколов ловил, сколько лосей перекармливал, а рискну ка я еще разок, а вось интернеты не врут… Ввел трейдер «слова» заветные и смотрит во все глаза, поверить не может.

( Читать дальше )

Всего лишь неделю нужно для того, чтобы каждый из вас смог сам научиться программировать сверточные нейронные сети, которые торгуют не хуже этой*:

Основное отличие машинного обучения от традиционного программирования состоит в том, что в задачах классического программирования вы знаете некие правила и жестко программируете их в поведении программы; в задачах машинного обучения вы не знаете по каким конкретно правилам должна работать программа и позволяете моделям машинного обучения самим найти их. Если вы хотите создать торгового робота, обычно, вы сами ищете некоторые правила (например, пересечение скользяшек, MACD>80 при убывающей луне — покупаю 2 лота) и жестко задаете такое поведения в роботе, тестируете и, возможно, оптимизируете некоторые параметры, но почему бы не поручить само придумывание правил машине? Методы машинного обучения, в теории, могут сами выбрать индикаторы, разработать правила входа, выхода и оптимальный размер позиций. Да чего уж… они могут сами придумать индикаторы, паттерны, которые могут быть гораздо лучше чем то, что придумали до этого люди. Ведь так и случилось в сфере обработки изображений, нейронные сети научились выделять значимые признаки из изображений гораздо лучше, чем алгоритмы, придуманные людьми. Компьютер обыгрывает людей в шахматы — игру, знания для которой люди накапливали ни одну сотню лет. Станет ли алготрейдинг следующей сферой, где будет господствовать нейронные сети или какой другой метод машинного обучения?

( Читать дальше )

Всем привет.

Прошлое

Сразу к делу. Два дня назад обучил я сетку на биткоин, эквити ее мне понравилась и я поставил ее сразу на реал 500 контрактами с целями 1000$ тейк и 50$ стоп. Вот такой конфиг:

Ну и сижу, как говорится никого не трогаю… Дергаю другие сетки, настраиваю других ботов. Сегодня смотрю, выключился этот бот. Что?? Два дня прошло, лося притянул что-ли!!??  Залезаю к нему в хистори и...

( Читать дальше )

Всем привет,

В последнее время, все больше и больше, то тут то там, люди поднимают тему машинного обучения и нейронных сетей примениельно к торговле на рынке. На фоне всего этого, я решил начать лайв эксперемент по созданию торговой стратегии на базе нейронных сетей, ну и заодно всеже попробовать полностью tfx pipeline в домашних условиях для выкатывания моделей. :)

В общем вот видюшка для затравки



( Читать дальше )