fxsaber
fxsaber личный блог
18 июля 2021, 17:03

Железо для кванта. Делимся характеристиками.

Не затрагиваю софт кванта и железо для алготрейдинга, потому что каждому свое.
Железо для кванта. Делимся характеристиками.


А вот вычислительных ресурсов кванту постоянно не хватает.

Вычислительные ресурсы.


Квант в команде занят изысканиями, нахождением некой альфы. Для этого требуются немалые вычислительные ресурсы. Уровень исследований напрямую от них зависит. У одиночки все очень скудно с этим, поэтому единственный вариант — некие ноу-хау, прорывная алгоритмическая оптимизация и т.д. Все то, что позволяет приблизиться к покрытию задач, которые совсем не лобовым способом могут быть поставлены хедж-фондом на локальный супер-компьютер.


Некоторый исследовательский прорыв получается достигнуть через алгоритмическую оптимизацию. Приоткрыть дверь туда, где простой обыватель не ходит.
Однако, количества ядер и памяти все время не хватает, даже если получилось алгоритмически ускорить расчеты в 1000 раз.

Расчеты кванта бывают двух типов: тюнинг и исследование.

 

Тюнинг


Это анализ текущей ТС. Сливает или держит? Где что можно было бы подкрутить, что убрать и т.д. Т.е. идет уже работа с готовой ТС. К каким торговым инструментам можно применить уже имеющуюся ТС. И что-то еще

 

 

Исследования


Ищем рыночные закономерности. Никакой ТС нет. «Просто» ищем рыночные закономерности на огромной БД: котировки, стаканы, лента, календари, твиты и т.д. Бесконечное поле исследований. И в этом иногда наблюдается некоторая парадоксальность, потому что, как правило, идут исследования на коленке: библиотеки машинного обучения на «домашнем ноутбуке».

 

Это очень интересная побочка/фича машинного обучения, когда бесконечные варианты осмысления и идей не осознаются, а автоматизируются. Отсюда вариант «на коленке». Как следствие, зачастую скромные требования к железу и больше уделение времени инструментарию, чем творчеству.


Переформулировка.


Расчеты кванта бывают двух типов: функция и фильтр.



Функция


Преобразование БД1 в более удобоваримую (не компактную) БД2.

Фильтр


Анализ данных полученной БД2 на предмет наличия закономерностей.


Голых расчетов, как правило, больше в режиме Функции, чем в режиме Фильтра. Но бывают и исключения, конечно.

 

Конфигурации

 

Просьба в комментариях написать, какое железо используете для расчетов и для каких целей (Тюнинг/Исследования или Функция/Фильтр). Не имеет значения, хедж-фонд это или одиночка. Просто поделитесь Hard-конфигурацией.

Пример

Скромный вариант: 8 CPU, 16GB, тюнинг: чистый расчет в течение 24 часов. Исследования в режиме тюнинга новых идей, реализованных в виде ТС.

40 Комментариев
  • Андрей К
    18 июля 2021, 17:30
    Основная мысль топика понятна. Иногда вам тяжело коммент написать, потому что у вас очень много своих понятий, которые сходу не ясны. Вот к примеру «фнукция и фильтр», это вроде как принято называть пред расчеты, как один из видов оптимизаций.
  • Андрей К
    18 июля 2021, 17:32
    Я кстати продаю мощности в MT5, полученные деньги не вывожу, а на эти деньги иногда запускаю свои расчеты своих страт на их распределенной сети таких же продавцов мощностей. Очень быстро все получается
    • ICWiener
      18 июля 2021, 17:51
      Андрей К, это хороший вариант. Даже если просто оплачивать чужие мощности — обходится в копейки.
      • Андрей К
        18 июля 2021, 17:57
        ICWiener, да, так и есть. Что то очень утонченно просчитать, что на локальной машине сутки занимает, то тут баксов за 10 и 5 минут )
  • chizhan
    18 июля 2021, 17:36
    Оптимизация рулит. Я как-то реверсил одну функцию из Матлаба в сишный код. Удалось разогнать ее в 2000 раз. И причем тут железо?
    • Брахман Пилорама
      18 июля 2021, 18:25
      chizhan, когда то не поленились переписать сишную функцию на ассемблере с использованием мат и прочих команд процессора. Прибавка составила 6 нулей.

      Железо…
      • chizhan
        18 июля 2021, 18:28
        Брахман Пилорама, «когда то». То есть встает вопрос насколько совершенен был тогда компилятор)
        • Брахман Пилорама
          18 июля 2021, 22:37
          chizhan, 2017, компилятор всегда якорь в таких проектах.

          Скажу больше, если нужна скорость — даже асм тормоз.

          Ближайший пример — написать на C код для микроконтроллера. Там компиляторы близки к совершенству на уровне космоса, так как ресурсы ограничены. Разница по скорости разложения рядов Фурье на С и на асме — небо и земля. Вернее на С это невозможно сделать вообще на 8-ми битках. А на асме даже Z80 летает.
      • Андрей К
        18 июля 2021, 18:43
        Брахман Пилорама, 
        когда то не поленились переписать сишную функцию на ассемблере
        это чего за год такой был? что асм так выигрывал
  • Мальчик buybuy
    18 июля 2021, 17:40
    По порядку

    1. Сбор и архивация котировок, торговые терминалы — всего 16 виртуалок

    2 x Intel Xeon 2683 v3 128 Gb RAM — 1 шт.

    2. Ресерч

    AMD Threadripper 3970X 256 Gb RAM — 2 шт.

    3. Продакшн

    AMD Ryzen 5950X 64 Gb RAM — несколько шт.

    Про тюнинг ничего не понял. Если ТС надо подстраивать — это не ТС, IMHO
    Функция и фильтр упакованы в ресерч

    С уважением
    • chizhan
      18 июля 2021, 17:43
      Мальчик Buybuy, и ни одного GPU/FPGA? Странно…
      • Мальчик buybuy
        18 июля 2021, 17:47
        chizhan, а смысл?

        У меня расчеты с большими матрицами и грамотной векторизацией.
        Соответственно, запихивать их в графпроцессоры геморно — матрицы то неразреженные.

        Распараллеливать программы грамотно — тоже гемор. Так что я тупо запускаю массив похожих экземпляров на многих ядрах. Быстро, дешево и сердито.

        Был у меня на первой машинке Xeon Phi. Грелся сильно, толку — х@й...

        С уважением
        • Брахман Пилорама
          18 июля 2021, 18:28
          Мальчик Buybuy, на go не пробовали писать? Многие вопросы с параллельностью решает.
          • Мальчик buybuy
            18 июля 2021, 18:37
            Брахман Пилорама, да я много на чем пробовал

            Но при моих расчетах Matlab с грамотной векторизацией и всеми массивами в статике (нужно много оперативки) пока никто не побил.
            Еще Haskell неплох для прототипирования, IMHO.
            На C, C++ можно писать быстро, но ловить ошибки бывает очень и очень трудно.
            Matlab же максимально приближен к исходной математике, поэтому код компактный, а скорость разработки феноменальная.

            С уважением

            P.S. Параллельность много на чем неплохо реализуется. Просто не все алгоритмы эффективно распараллеливаются (на эту тему даже большая наука есть). Поэтому я поступаю по рабоче-крестьянски — много ядер = много параллелей )))
      • Антон Б
        19 июля 2021, 00:02
        chizhan, это еще одна квлификиция к кванту + кодеру + алготрейдеру.
        Просто слишком много знания в одну голову.

        А наружу отдавать алгоритмы на оптимизацию боязно.

        (мне)
        дешевле старые сервера ксеоны с 64 гб x 24 ядра купить в китае.
        надежность старого железа в ресерче не важна.
  • chizhan
    18 июля 2021, 18:01
    Для тишины иммерсионное охлаждение.
  • Кванты хуже майнеров 
  • chizhan
    18 июля 2021, 18:35
    По мне, если ты успешный квант(алготрейдер), то достаточно мощного ноута и удобно доступного датацентра. Ну и для HFT сервер с минимальным пингом до ядра биржи.
    • Мальчик buybuy
      18 июля 2021, 18:42
      chizhan, в теории так оно и есть

      Если
      1. ДЦ не в РФ
      2. IPMI хватает для администрирования (криптованные диски?)
      Ну и масса дополнительных заморочек с конфиденциальностью

      С уважением
      • chizhan
        18 июля 2021, 18:45
        Мальчик Buybuy, верно, криптозащита дополнительный гемор)
      • initroot
        18 июля 2021, 23:53
        Мальчик Buybuy, Москва, Питер сертифицирован tier3 есть.
        • Мальчик buybuy
          19 июля 2021, 00:03
          initroot, а tier 1?

          Они все известны на самом деле

          С уважением
  • Михаил Табаков
    19 июля 2021, 07:30
    когда чересчур увлекаешься оптимизацией

  • Alex - Quant School
    19 июля 2021, 16:58
    Пост для тех кто хочет казаться очень умным

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн