Добрый вечер, всем читателям Smart-Lab, пищу приветственный пост сообществу о скитаниях machine learning инженера на бирже. К слову сказать не умею писать статьи, так что готов подключиться к обсуждению в комментариях и не кидайте тапками.
Сфера моих интересов находиться в области IT и статистики. Я machine learning инженер и победитель одного из этапов Цифрового Прорыва 2022 года по Искусственному Интеллекту, интересуюсь как среднесрочными инвестициями, так и спекуляциями внутри дня включая деривативы.
Сначала все было на уровне наблюдений, просмотров различных авторов на Ютубе и конечно выпусков Антикризиса, придя к тому, что лучшие торговые идеи были, когда я заходил в терминал раз в неделю и меньше, я понял, что хочу исключить любой субъективизм и психологию в принятии решений, а также накопив знания о достаточно большом количестве подходов к анализу рынка акций, фьючерсов — начал тестировать гипотезы с применением навыков программирования и инструментов анализа данных.
Торговый результат нулевой, не открывал сделки, использую терминалы только для доступа к данным, в течении этого года раздумывал над 2 идеями: купить облигации после простоя биржи и шортануть ММВБ через покупку пута после подскока, не решился т.к не обладал достаточно качественным исследованием и математическим обоснованием точки входа, и вообще решил, что так-как я не успел дописать мат. аппарат и систему поддержки принятия решений (не робот, не грааль), то чисто физически не могу учесть ряд аспектов влияющих на ценообразование + риски связанные с остановкой торгов и работой терминалов в период наплыва людей. Перешел к конспектированию происходящего))). Сейчас есть идея на перелой ММВБ и все тот же пут, но считаю что я уже опоздал, так как оплачивать такую премию за волатильность, как стала сейчас уже дорого.
В результате ушел в ML и искусственный интеллект применительно к данной задаче, с попыткой применить имеющиеся навыки для анализа временных рядов, построения конвейеров и работой с планировщиками. Начал по классике с того, что гуглиться по запросу “Stock Price Prediction” и где бы раздобыть данные level I и Level II, желательно по api и бесплатно. На текущий момент, в рамках спекуляций протестировал поиск паттернов с выбором метрики схожести, например, я бы не сказал, что стандартная корреляция достаточно хорошо показывает сходство различных графиков, для этого лучше подходит DTW, так же при запросе в google «прогноз стоимости акций с помощью нейронных сетей» обычно предлагаются разные вариации LSTM сети, которые не то, чтобы хорошо показывают себя на практике. В рамках инвестиционного подхода на основе данных макростатистики (про которую рассказывает Вася и всевозможных данных от ФРС) и данных по показателям компаний в динамике, планирую поиграться со срезами и поиском аномалий во временных рядах классическими способами ML. Так-как в какой-то момент источников данных и идей стало сильно больше, пытаюсь найти единомышленников в области программирования и трейдинга. Командой, обсуждать вопросы, результаты и подвергать друг друга критике намного продуктивнее.
Хочу создать небольшое комьюнити алгоритмистов (уже двоих нашел) и совместно создать некий маленький аналог блумберга с разноплановыми данными фондового и срочного рынка, различной статистики и около рыночными данными (сделки инсайдеров, анализ заголовков новостей и тд). К данным которого мы бы имели удобный доступ из своих скриптов и могли впоследствии программно анализировать с помощью нейронных сетей, мат. методов, генетических алгоритмов и алгоритмов разложения временных рядов. Все методы или подходы, будут совместно обсуждаться тестироваться и иметь математическое обоснование. Это именно комьюнити энтузиастов, которое интересуется торговлей и программированием, с целью совместной разработки и обсуждения.
А теперь самый скользкий момент, если кому-то интересно совместно проводить исследования, собирать различную статистику и данные. Давайте как-то обменяемся контактами и будем надеяться, что это не подпадает под пункт 3.7 правил смартлаба и модераторы не посчитают мой первый пост объявлением. Так-как возможность общаться в личке еще не открыта, оставлю свой ТГ (@ti_ma_k), вк (https://vk.com/id291425446) и конечно присоединюсь к обсуждению в комментариях, а в дальнейшем стать одним из ребят, кто ведет тут алгоблоги. Готов выступить в качестве ментора по сбору данных с точки зрения программирования и анализа методами искусственного интеллекта.
Научитесь создавать вэлью самостоятельно, тогда, если надумаете поделиться, то найдете и компанию и единомышленников. Если они, конечно, вам еще будут нужны :)
Иначе на завод в какую-нибудь алго-контору, младшим сборщиком данных.
Периодически выступал с намеками на «прорывные открытия». Как там теперь ему «на зарубежных»…
колхоз — дело добровольное, ага.
Автор пока еще ничего не понял, к сожалению для него.
Халявные ценовые данные по США (дневки) спокойно можно взять на яхе файненс, по нашему рынку на бирже и в Финаме. Всего- то пару дней потрудиться.А за деньги минутки. Если торговать редко и только на себя, то дневок хватит на несколько лет исследований и для торговли.
А собрать команду для алго — дело намного более дорогое и сложное, чем самому научиться торговать более-менее прибыльно.
Но максимум тиковых данных истории ММВБ на
www.qscalp.ru/download
erinrv.qscalp.ru/
www.qscalp.ru/store/qsh.pdf
Не понял, какое «api», но бесплатно.
Если «api» — в реальном времени, то всё доступно через QLua в Quik'е. И при необходимом минимуме рублей на брокерском счёте — тоже бесплатно.
Опасное занятие, можно наткнуться на такие граали как: предиктим от текущей свечи на пару-тройку свечей вперед (любым способом, предикт на уровне прошлой цены вполне подойдет), дальше рисуем цену прогнозов на том же графике что и цену фактическую. Они конечно же будут радом идти. Ба, да мы боги трейдинга, походу).
Вообще мощный датасаентист в трейдинге это потенциально мощный ресурс, но без опыта трейдинга или хорошего трейдера в команде это может вылиться в очень странные телодвижения с низким КПД.
Тут чаще алкоблоги. Но удачи.
smart-lab.ru/blog/questions/844517.php#comment14889683
Rostislav Kudryashov Сегодня в 19:03 «Недавно слушал, как ИИ справляется с диагностикой каких-то болезней по рентгеновским снимкам.
Обучение состояло в предъявлении И.Интеллекту снимков от больных и от здоровых с указанием, кто каков. И.Интеллект врубился быстро. У детей заболевание редко, ИИ научился распознавать детские снимки — все, как здоровые. А взрослые — все больные.
Попробовали подойти иначе. И опять ИИ уцепился за незначимый фактор в предложенной выборке.
Нассим Талеб в «Антихрупкости» пишет, что в достаточно большом наборе данных (БигДата) можно найти любую корреляцию.
Так что без физического осмысления — труба дело.»
Народ не среагировал. Может здесь кто-нибудь.
Я так понимаю, что ИИ — способ оптимизации без перебора всех бесчисленных вариантов. Отбрасывание «лишних» вариантов может увести от правильных решений. И не всегда бессмысленность «Оракула» так очевидна, как в примере.
В общем баловство.
Вот когда сделает хоть один законченный рабочий продукт, тогда пусть и приходит.
у парня много энергии, но нет вектора… обычное дело))
Советую сосредоточиться на решении какой-нибудь одной простой и конкретной задачи… например:
Научиться предсказывать направление утренней свечи мамбы с вероятностью 60%.
За выбор направления — минус пять баллов.
Определитесь с направлением, нужна узкая специализация.
А вообще, мастатистика — наше все. Ну, или почти все, если добавить приличное программирование и понимание смысла методов вычислений.
А хотя бы одного трейдера для разнообразия — в голову не приходило?
Не, ну, если аналог плюмберга, и если чисто математическое обоснование… трейдинга, тогда зачем? Тогда не надо.
С другой стороны, если нравится сам процесс, то почему бы не заняться прогнозом погоды на юпитере)))
chizhan, Имея многолетний опыт в ИТ, в том числе западном, и даже получив в подарок книгу лично от Билла Гейтса, скажу что в больших корпорациях типа Гугл все работате как в Роснано.
Всякие прорывы случаются, когда они покупают стартапы с результатми от энтузиастов и уже там масштабируют, используя свое доминирование на рынке и мегабюджеты.
Биржа — нет.
Вы предлагаете найти закономерности в прошлом и экстраполировать их на будущее? :). И победить :)?
Серьезно :)?
Против миллионов успешно играют и без нейросетей. Все, что для этого надо — уметь менять правила так, как надо тебе…
Понимаете, если бы люди нарушали свои правила, то не было бы прогресса. Каждый сам за себя и даже порой против себя. Полный хаос.
Москва, Большая Академическая 65. Алгоресторан Тануки. Все беседы под тануки меню ))))
Рейтинг Вам поднял — можете общаться в личке
А с конкретной рабочей идеей, как правило и МЛ оказывается не нужна — все решается обычной незамороченной математикой