spekulyanter
spekulyanter личный блог
08 октября 2022, 22:40

Программирование и трейдинг

Добрый вечер, всем читателям Smart-Lab, пищу приветственный пост сообществу о скитаниях machine learning инженера на бирже. К слову сказать не умею писать статьи, так что готов подключиться к обсуждению в комментариях и не кидайте тапками.

Сфера моих интересов находиться в области IT и статистики. Я machine learning инженер и победитель одного из этапов Цифрового Прорыва 2022 года по Искусственному Интеллекту, интересуюсь как среднесрочными инвестициями, так и спекуляциями внутри дня включая деривативы.

Сначала все было на уровне наблюдений, просмотров различных авторов на Ютубе и конечно выпусков Антикризиса, придя к тому, что лучшие торговые идеи были, когда я заходил в терминал раз в неделю и меньше, я понял, что  хочу исключить любой субъективизм и психологию в принятии решений, а также накопив знания о достаточно большом количестве подходов к анализу рынка акций, фьючерсов — начал тестировать гипотезы с применением навыков программирования и инструментов анализа данных.

Торговый результат нулевой, не открывал сделки, использую терминалы только для доступа к данным, в течении этого года раздумывал над 2 идеями: купить облигации после простоя биржи и шортануть ММВБ через покупку пута после подскока, не решился т.к не обладал достаточно качественным исследованием и математическим обоснованием точки входа, и вообще решил, что так-как я не успел дописать мат. аппарат и систему поддержки принятия решений (не робот, не грааль), то чисто физически не могу учесть ряд аспектов влияющих на ценообразование + риски связанные с остановкой торгов и работой терминалов в период наплыва людей. Перешел к конспектированию происходящего))). Сейчас есть идея на перелой ММВБ и все тот же пут, но считаю что я уже опоздал, так как оплачивать такую премию за волатильность, как стала сейчас уже дорого.

В результате ушел в ML и искусственный интеллект применительно к данной задаче, с попыткой применить имеющиеся навыки для анализа временных рядов, построения конвейеров и работой с планировщиками. Начал по классике с того, что гуглиться по запросу “Stock Price Prediction” и где бы раздобыть данные level I и Level II, желательно по api и бесплатно. На текущий момент, в рамках спекуляций протестировал поиск паттернов с выбором метрики схожести, например, я бы не сказал, что стандартная корреляция достаточно хорошо показывает сходство различных графиков, для этого лучше подходит DTW, так же при запросе в google «прогноз стоимости акций с помощью нейронных сетей» обычно предлагаются разные вариации LSTM сети, которые не то, чтобы хорошо показывают себя на практике. В рамках инвестиционного подхода на основе данных макростатистики (про которую рассказывает Вася и всевозможных данных от ФРС) и данных по показателям компаний в динамике, планирую поиграться со срезами и поиском аномалий во временных рядах классическими способами ML. Так-как в какой-то момент источников данных и идей стало сильно больше, пытаюсь найти единомышленников в области программирования и трейдинга. Командой, обсуждать вопросы, результаты и подвергать друг друга критике намного продуктивнее.

Хочу создать небольшое комьюнити алгоритмистов (уже двоих нашел) и совместно создать некий маленький аналог блумберга с разноплановыми данными фондового и срочного рынка, различной статистики и около рыночными данными (сделки инсайдеров, анализ заголовков новостей и тд). К данным которого мы бы имели удобный доступ из своих скриптов и могли впоследствии программно анализировать с помощью нейронных сетей, мат. методов, генетических алгоритмов и алгоритмов разложения временных рядов. Все методы или подходы, будут совместно обсуждаться тестироваться и иметь математическое обоснование. Это именно комьюнити энтузиастов, которое интересуется торговлей и программированием, с целью совместной разработки и обсуждения.

А теперь самый скользкий момент, если кому-то интересно совместно проводить исследования, собирать различную статистику и данные. Давайте как-то обменяемся контактами и будем надеяться, что это не подпадает под пункт 3.7 правил смартлаба и модераторы не посчитают мой первый пост объявлением. Так-как возможность общаться в личке еще не открыта, оставлю свой ТГ (@ti_ma_k), вк (https://vk.com/id291425446) и конечно присоединюсь к обсуждению в комментариях, а в дальнейшем стать одним из ребят, кто ведет тут алгоблоги. Готов выступить в качестве ментора по сбору данных с точки зрения программирования и анализа методами искусственного интеллекта.

49 Комментариев
  • Дмитрий Овчинников
    08 октября 2022, 22:53
    Хочу создать небольшое комьюнити алгоритмистов (уже двоих нашел) и совместно создать...
    «Комитеты гонки не выигрывают» ©

    Научитесь создавать вэлью самостоятельно, тогда, если надумаете поделиться, то найдете и компанию и единомышленников. Если они, конечно, вам еще будут нужны :)
    Иначе на завод в какую-нибудь алго-контору, младшим сборщиком данных.
    • Rostislav Kudryashov
      08 октября 2022, 23:31
      Дмитрий Овчинников, 22:53 Псевдоним «Мальчик ...» как раз такой персонаж. Математик, богач, собрал б-о-о-льшую команду и ведёт исследования на зарубежном рынке.
      Периодически выступал с намеками на «прорывные открытия». Как там теперь ему «на зарубежных»…
      • Евгений Карташов
        09 октября 2022, 16:02
        Rostislav Kudryashov, на зарубежных рынках все отлично. Как ушел в 2012 году с ММВБ, так и не хочу возвращаться…
    • SergeyJu
      09 октября 2022, 10:57
      Дмитрий Овчинников, 
      колхоз — дело добровольное, ага.
      Автор пока еще ничего не понял, к сожалению для него. 
      Халявные ценовые данные по США (дневки) спокойно можно взять на яхе файненс, по нашему рынку на бирже и в Финаме. Всего- то пару дней потрудиться.А за деньги минутки. Если торговать редко и только на себя, то дневок хватит на несколько лет исследований и для торговли.
      А собрать команду для алго — дело намного более дорогое и сложное, чем самому научиться торговать  более-менее прибыльно. 
  • Rostislav Kudryashov
    08 октября 2022, 23:05
    Что такое «данные level I и Level II» знал да забыл.
    Но максимум тиковых данных истории ММВБ на
    www.qscalp.ru/download
    erinrv.qscalp.ru/
    www.qscalp.ru/store/qsh.pdf
    Не понял, какое «api», но бесплатно.
    Если «api» — в реальном времени, то всё доступно через QLua в Quik'е. И при необходимом минимуме рублей на брокерском счёте — тоже бесплатно.
  • Replikant_mih
    08 октября 2022, 23:00
    Я machine learning инженер и победитель одного из этапов Цифрового Прорыва 2022... в течении этого года раздумывал над 2 идеями: купить облигации после простоя биржи и шортануть ММВБ через покупку пута после подскока
    Ты давай там это, в холостую-то таланты не трать, шортануть ММВБ и прочие одиночные действия можно и без крутых дата-саенс скиллов делать)).

    Начал по классике с того, что гуглиться по запросу “Stock Price Prediction”

    Опасное занятие, можно наткнуться на такие граали как: предиктим от текущей свечи на пару-тройку свечей вперед (любым способом, предикт на уровне прошлой цены вполне подойдет), дальше рисуем цену прогнозов на том же графике что и цену фактическую. Они конечно же будут радом идти. Ба, да мы боги трейдинга, походу).

     

    Вообще мощный датасаентист в трейдинге это потенциально мощный ресурс, но без опыта трейдинга или хорошего трейдера в команде это может вылиться в очень странные телодвижения с низким КПД.

  • XXX★
    08 октября 2022, 23:10
    кто ведет тут алгоблоги

    Тут чаще алкоблоги. Но удачи.
  • Rostislav Kudryashov
    08 октября 2022, 23:28
    Уже писал в соседней ветке про ИИ
    smart-lab.ru/blog/questions/844517.php#comment14889683
    Rostislav Kudryashov Сегодня в 19:03 «Недавно слушал, как ИИ справляется с диагностикой каких-то болезней по рентгеновским снимкам.
    Обучение состояло в предъявлении И.Интеллекту снимков от больных и от здоровых с указанием, кто каков. И.Интеллект врубился быстро. У детей заболевание редко, ИИ научился распознавать детские снимки — все, как здоровые. А взрослые — все больные.
    Попробовали подойти иначе. И опять ИИ уцепился за незначимый фактор в предложенной выборке.

    Нассим Талеб в «Антихрупкости» пишет, что в достаточно большом наборе данных (БигДата) можно найти любую корреляцию.
    Так что без физического осмысления — труба дело.»

    Народ не среагировал. Может здесь кто-нибудь.
    Я так понимаю, что ИИ — способ оптимизации без перебора всех бесчисленных вариантов. Отбрасывание «лишних» вариантов может увести от правильных решений. И не всегда бессмысленность «Оракула» так очевидна, как в примере.
  • Zvr
    08 октября 2022, 23:47
    ер и победитель одного из этапов Цифрового Прорыва 2022 года по Искусственному Интеллекту,
    Дошел до этих слов и сразу вниз есть ли ссылка на телегу есть. Типичное начало инфоцыгана)
    • Beach Bunny
      09 октября 2022, 00:38
      Zvr, там в VK про какой-то хакатон, это типа как быстро из буханки хлеба и проволоки сделать троллейбус.
      В общем баловство.
      Вот когда сделает хоть один законченный рабочий продукт, тогда пусть и приходит.
      • Zvr
        09 октября 2022, 01:47
        Sergeyka, все эти программульки до одного места, если у человека нет рабочей торговой системы, вот в чем цинус, а не в умении хорошо программировать… это и роботы могут делать
  • Доктор
    09 октября 2022, 00:01
    Ты победитель прорыва? Расскажи-ка подробнее. Что вы там в цифровом прорыве изобрели. Только без англицких слов
    • Union_Jack
      09 октября 2022, 11:06
      Доктор, прорывы разные бывают: может научный прорыв, а может это канализацию прорвало)
  • Kurdt
    09 октября 2022, 00:20
    Ничего не получится 
  • Goreloff
    09 октября 2022, 00:25
    Сэкономлю тебе года и деньги — нейросети применять в трейдинге бессмысленно. И вообще трейдинг это зло — никакой пользы для общества.
  • GOLD
    09 октября 2022, 00:36
    Судя по этому:

    Так-как в какой-то момент источников данных и идей стало сильно больше, пытаюсь найти единомышленников в области программирования и трейдинга.

    у парня много энергии, но нет вектора… обычное дело))

    Советую сосредоточиться на решении какой-нибудь одной простой и конкретной задачи… например:

    Научиться предсказывать направление утренней свечи мамбы с вероятностью 60%.

    а за котов, за котов мы же не трындели? : мужской разговор

  • Василий Федорович
    09 октября 2022, 01:05
    Собрались пятиклассники ядерную физику изучать.
  • Василий Федорович
    09 октября 2022, 01:40
    «чисто физически не могу учесть ряд аспектов влияющих на ценообразование + риски» — а ни когда и не сможете, т.к. это огромное количество разнородной информации. Это все равно что пытаться анализировать все сайты интернета по 1 000 критериям. Вы хотите стать вторым Яндексом?
  • Василий Федорович
    09 октября 2022, 01:40
    За попытку — плюс пять баллов.
    За выбор направления — минус пять баллов.
    Определитесь с направлением, нужна узкая специализация.
  • Roman Ivanov
    09 октября 2022, 01:52
    Почитай «Энциклопедия торговых стратегий». Достаточно, чтобы двигаться в правильном направлении.
    • SergeyJu
      09 октября 2022, 11:06
      Roman Ivanov, Колби — это энциклопедия рецептов малосъедобных блюд. Уж лучше Кауфмана почитать. Это уже будет что-то типа вводного курса в специальность. Помогает понять некоторые общие принципы. 
      А вообще, мастатистика — наше все. Ну, или почти все, если добавить приличное программирование и понимание смысла методов вычислений. 
  • VladMih
    09 октября 2022, 02:46
    Сам алгоритмист, еще двух нашел и… еще с пяток надо?
    А хотя бы одного трейдера для разнообразия — в голову не приходило?

    Не, ну, если аналог плюмберга, и если чисто математическое обоснование… трейдинга, тогда зачем? Тогда не надо.
  • chizhan
    09 октября 2022, 03:39
    Сим стоит заниматься, если нравится до безумия сам процесс «поиска Грааля». Если нужен результат здесь и сейчас, то это экзотичное убийство лучших лет в своей жизни. Уж сколько было сломано палок и копей. Биг мани давно об этом знают, потому у них в приоритете инфраструктура (HFT-арбитраж) и/или инсайдерская торговля (сюда же пром. шпионаж и хакинг), но только не этот новомодный ML, предназначение которого в основном это «рисование котиков». Просто задайтесь вопросом, почему тот же Гугл не учредил какой-нить хэдж фонд, который бы работал на принципах AI, ML и прочего. Машинных мощностей и человеческих мозгов у них больше, чем у кого бы то ни было. Бабла тоже. Так почему???

    С другой стороны, если нравится сам процесс, то почему бы не заняться прогнозом погоды на юпитере)))
    • TwitterMan
      09 октября 2022, 08:45

      chizhan, Имея многолетний опыт в ИТ, в том числе западном, и даже получив в подарок книгу лично от Билла Гейтса, скажу что в больших корпорациях типа Гугл все работате как в Роснано.

      Всякие прорывы случаются, когда они покупают стартапы с результатми от энтузиастов и уже там масштабируют, используя свое доминирование на рынке и мегабюджеты.

      • chizhan
        09 октября 2022, 11:34
        TwitterMan, тем не менее TensorFlow был разработан в Гугл Брейн. AlphaGo в Google DeepMind. И было бы естественным продолжением создать программу игры не против одного человека(шахматы, го), а против миллионов — биржевой трейдинг. Но ничего не слышно.
        • xSVPx
          09 октября 2022, 12:14
          chizhan, шахматы, го и Старкрафт имеют правила. Причем игроки их не нарушают.
          Биржа — нет.

          Вы предлагаете найти закономерности в прошлом и экстраполировать их на будущее? :). И победить :)?
          Серьезно :)?

          Против миллионов успешно играют и без нейросетей. Все, что для этого надо — уметь менять правила так, как надо тебе…
          • chizhan
            09 октября 2022, 12:35
            xSVPx, закономерности находятся и обычным ТА «вручную». Имея компьютерные мегамощности впору уже просчитывать каждого трейдера, а затем сложно суммируя, главная нейросеть определяла бы куда пойдет тренд.

            Понимаете, если бы люди нарушали свои правила, то не было бы прогресса. Каждый сам за себя и даже порой против себя. Полный хаос. 
  • Азат Туктаров
    09 октября 2022, 05:13
    Ты начал с ошибки, рассматриваешь ФР РФ.
      • SergeyJu
        09 октября 2022, 11:08
        spekulyanter, много лишних данных благом не является. 
      • ezomm
        09 октября 2022, 20:15
        spekulyanter, FATL  тебе в помощь.Следи за ликвидностью.От нее зависит участие в сделке.Защищай 1\2 от книжной прибыли.
      • Азат Туктаров
        11 октября 2022, 10:15
        spekulyanter, ты ни слова не написал о том что выбрал рынок Америки, логично  моё предположение отсюда :)
  • Алексей Никитин
    09 октября 2022, 06:49
    Каждый день провожу встречи с крутыми нейроалго.
    Москва, Большая Академическая 65. Алгоресторан Тануки. Все беседы под тануки меню ))))
  • nnnd
    09 октября 2022, 07:38
    Так-как возможность общаться в личке еще не открыта

    Рейтинг Вам поднял — можете общаться в личке
  • 3Qu
    09 октября 2022, 11:43
    Пока нет конкретной идеи, пустое это все.
    А с конкретной рабочей идеей, как правило и МЛ оказывается не нужна — все решается обычной незамороченной математикой 
  • Сергей Сергаев
    09 октября 2022, 12:23
    Начинать надо не с Stock Price Prediction, а с поиска типов риска биржевой торговли и методов контроля этих рисков.
  • robomakerr
    09 октября 2022, 13:40
    Хотите сэкономить много лет жизни — забудьте про ML.
  • tores
    09 октября 2022, 17:27
    Вот как раз для машинленингвистов на биржу бабло подвезли, вы как знали! Только вас всё и ждут, умного такого, и ваш ИИ.
  • darkcorp
    10 октября 2022, 09:59
    Надо начинать с ссылки на свой гитхаб.
  • Vladimir N.
    22 октября 2022, 00:35
    Да, трейдинг это целая наука. Тут без опыта никак. Нашел граали (не один). Они есть и это факт. Но к сожалению не готов делиться просто так. Был печальный опыт (хотел обменять на опыт по программированию с нуля) — итог один. Программист сливается практически сразу — нет ни желания, ни терпения. Что уж говорить про этот пост. 

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн