Блог им. karat39

Техническое развитие алготрейдеров и бирж

Привет смартлаб.

Вам тут периодически пытаются рассказать в разделе алго, как важно перейти на c++ на низко рисковых и доходных стратах ) И что при этом сразу можно залететь в Москва-Сити к каким то топ заказчикам) Кстати Мск-Сити является черной меткой в резюме, это так, между нами девочками.

Ну что, обсудим техническую сторону низко рисковых и при этом высоко достаточно доходных страт? Я как то в своих топиках рассказывал, как страты могут балансировать из «тупых» высокотехнологичных стратегий в совсем нетехнологичные, но с развитым математическим аппаратом. Так вот сегодня речь пойдет только про хардкор, где профит берется силой и мощью технологий.

Смотрели видосики некого Дмитрия Черемушкина из мохнатого года так 2009-2010, где Дмитрий сидит и сравнивает два стакана фьюча и акции, как они расходятся в моменте и тд? Видимо так ковались победы в ЛЧИ мохнатых годов, которыми потом бравировались.  

Так формировались неэффективности, за которыми стали приходить первые алго ). Наверняка они писались даже на бейсике. Это был закат ручных трейдеров, которые блистали на ЛЧИ  примерно 2008-2011 годов. 

Потом появился некий Евгений Черных, рассказывающий, как он роботом заработал на опционных неэффективностях первый миллион. Робота то он этого потом продавать начал. Уже на C#. Смекаете да? Уже в те годы пошла битва так называемых «скоростных» языков. То есть от qpile, basic мы пришли к каким то уже ООП языкам, с более менее нормальным компилятором.

Женя то бота продавал, но утаивал причину продажи. Но через пару лет его прижали к стенке и он стал открыто писать, что мол бот то уже устаревший, уже нужна инфраструктура. Но продолжал продавать. А Женю съели быстро. Сначала на c++, потом уже на с++ на соответствующей инфраструктуре. 

Так пришли эффективные компиляторы на соответствующих протвиканых ОСях, то есть Linux. Наверное это год 2011-2012, но эта связка устояла не долго, так как биржа активно уже продвигала услугу колокейшена, то есть своего дата центра, с короткими проводами к своему ядру.

Так пришла эпоха алгоритмов на колокейшен. Время, когда все развивалось стремительно, технологии развивались как разжатая пружина. Что интересно, начиная с тех годов и по сей день, запрос или спрос инициировал всегда клиент биржи. То есть клиенты настолько стремительно развивались в битве за этот силовой профит, что Биржа вынуждена разрабатывать и предлагать все более новые и новые услуги, подтягиваясь за своими клиентами.

2015 год, это наверное год, когда захлопнулась дверь перед алго аля SECRET. Время, когда еще можно было запуститься на делфи и плазе и начать жахать начало стремительно закрываться.

2016 год, это наверное уже тот год, когда все основные алго окончательно перешли на спец сетевые карты с bypass технологиями (это когда сетевой пакет минуя всех и ОС попадает напрямую из PCIE в робота и так же обратно). Это наверное тот год, когда тик ту трейд сумел лечь под 2000 нано сек. То есть время, между тем когда, котировка начала заходить из кабеля в карту и тем что ваша заявка пошла в кабель, равнялось 2 мк сек. Ну и еще 80-100мксек она летела по кабелю в ядро.

2016-2017-2018 это годы, когда алго еще воевали в рамках этого стэка. Кто во что был горазд. То сутками профилировали свои алго, чтобы не было кешмиса в 100% триггерах, то пытались читать из кеша котир быстрее, чем драйвер его отдал, то твикали сетевые драйвера. Вообщем битва технических умов на пределе. При этом я не затрагиваю такой тонкий вопрос, что можно и поиметь профит в недокументированных возможностях TCP и самих протоколов биржи )

2017-2018 — это еще года, когда окончательно стало ясно, что это прям не за горами время за ПЛИС. Ну или FPGA.
ПЛИСина — эта такая железяка, в который вставляет кабель из биржи, она там сама принимает решение, что делать и если что, посылает заявки. То есть уже торгуют не ваши продвинутые c++ алго, а торгуют специально разработанные платы.

2019-2020 — это наверное годы, когда тик ту трейд, лег ниже 400наносек. Смекаете да, было 2000, стало 400нс. То есть котировка только стала к вам поступать, а через 400нс уже летит ваша заявка. Вот это масштаб временных величин )) Биржа это тоже понимает, и разрабатывает спец протоколы для таких устройств. Говорят, пролоббировали их спец участники алго, не будем показывать пальцем кто )

Думаю, что год 2021 — это уже год, когда, когда тик ту трейд стал крутить около 100 и ниже. И гораздо ниже. Приходится греть плисины на пределе, делать то, чему не учат в университетах и книгах, а великие интернетовские FPGA разрабы, говорят, что такое не возможно.

Получается, 2018 год — это год, когда самый крутой арбитраж на свете, начинает практически всем махать рукой и захлопывает за собой дверь, оставляя внутри нее небольшую когорту самых прикольных и невменяемых (другие просто не осилят такие задачи) разрабов )


Так вот парни. ) Когда вам начнут рассказывать, что миллиарды прокручиваются на крутом арбитраже на  c++ из Мск-сити. На так се ) Ну вы можете сказать, что крипте то еще до этого далеко...
Ну как далеко? Битва встать поближе к ядру в Японии то уже давно идет. Не зря же Amazon AWS FPGA предлагает сервис в локации в Японии
★14
102 комментария
Давно понятно, что всё, что остаётся обычным трейдерам на любых рынках и биржах — это торговля по тренду.
avatar
1 это в россии одна жуликоватая биржа и есть стакан… в америках европах 80% сделок идет через есн и даркпулы… и общего стакана как бы нет… каждый брокер рисует свой стакан… есть лента

2 боле того есть практика… когда обычным пользователям отдаются данные с задержкой 100 мсек… а если платишь бабло то тебе поток идет без задержки...

3 особую ценность имеет возможность встать первым в стакан… тогда твоя сделка имеет максимальную вероятность исполнения… но  помимо исполнения есть еще и обьем… и тут у хфт совсем туго… банально не затащить больше чем в спреде стоит... 

4 есть еще 2 момента… стакан идет с сильным запазданием… и цена идет с запаздыванием… особенно все тормозит на сильных движениях… и тут хоть на си пиши…

мораль в том… что вместо того что делать фпга… надо делать есн… и иметь профит не от спрэда а от комиссов… не от 5 ти копеек в стакане а от всего оборота… отщипнуть
avatar
ves2010, а еще там брокеры клирингуют клиентов, перепродают потоки заявок другим, и, только никому не рассказывайте, фронтранят клиентов с помощью схематоза. Когда нет единого стакана, а все валится не пойми куда, для творческого отношения к клиентам полный простор. 
avatar
SergeyJu, нее за такое епут… нещадно в sec… типа никакие манипуляции брокера не должны приводить к ухудшению цены клиента...

более того в отчетах даже есть пункт типа насколько брокеру удалось улучшить цену исполнения для клиента... 
avatar
ves2010, 
в этой книге в общих чертах описываются схематозы исполнения заявок с их системой раздельных стаканов. врут чтоли?
avatar
Hired, это опыт 30летней давности... 
avatar
Hired, там же рассказывалось, что чем жестче надзорные органы защищают клиентов от HFT, тем больше HFT зарабатывает )))
avatar
Jame Bonds, я пока что только до половины дошёл. наверное всё так. от прочитанной части в восторге и унынии одновременно. хорошо что у нас стакан единый, а не собранный
avatar
ves2010, ворон ворону глаз не выклюет. 
avatar
ves2010, похоже что амазон примерно так и делает — продает лопаты сервера в Японии
avatar
ves2010, лучше одна биржа, чем горсть даркпулов и брокеры за деньги принудительно роутят клиентов тому, кто больше заплатит. До примерно 2012 года на америке можно было роутить самостоятельно или выставлять заявки без роутинга и регулярно был бест экзекьюшн, а потом началвсь эта ахинея с даркпулами и продажей роутинга и всё, бест экзекьюшн пропал у всех брокеров.
avatar
ignat, зацени сколько вариантов маршрутизации ордеров
avatar
ves2010, а толку то ) Брокеры всегда пишут про самый выгодный роутинг и обязательно в интересах клиента, только лучшего исполнения больше нет. Хотя не знаю как сейчас, могу ошибаться.
avatar
ignat, в ежемесячных отчетах есть пункт где брокер показывает насколько он улучшил цену...  
avatar
ves2010, я тут канеш вообще не компетентен ) остается только поддакивать
avatar
Андрей К, а панду помнишь? там особо ничего кроме идеи не было… или фишмана? который фигачил 300000 заявок в день
avatar
Ужас какой. Наносекунды, прямой колокейшен на токийской бирже. Зачем нам крестьянам всё это. Нам главное система  хвост и будем её крутить на квикоуродце через trans2quik :)
avatar

Ну, «умным» алгоритмам тоже скорость не лишняя). 

 

avatar
 В итоге все ХФТ сожрано могучим ураганом. 
На самом деле, это хорошо, что есть такая партия, которая обеспечивает нас мгновенной ликвидностью.
avatar

Не можешь делать быстро, делай Умно. Всегда есть баланс.

 А C# с его GC и правда не конкурент C.

avatar
Roman Ivanov, ой,  я люблю такие холивары почитать ) там в противовес вроде пишут, что у них это исправлено. Но это только пишут, сам не проверял
avatar
Андрей К, там можно вставлять куски на си… т.е есть критичный к скорости код… его пишешь на си… лично так делал… лет 20 тому
avatar
Про другую часть (с развитым математическим) видимо не будет материала ...
А я изначально по нему иду. И ничего особо развитого не применяю (это сложно пристегнуть и давно забыто). А простые и красивые идеи позволяют из традиционных всем известных алгоритмов изготовить что-то неплохо работающее. Ведь за частоколом формул всегда скрывается простая идея, которая или работает, или нет.
Неплохо работающее тут означает, что, применяя его, в худшем случае останетесь при своих.
avatar
svgr, другой части не будет, да ) меня так научили, что трейдинг в части принятия решения, должен быть как можно проще. Увы.
Так что миллиард формул я приучился сворачивать какой нибудь одной спец штуковиной
avatar
Андрей К, я про такие штуковины и имел в виду выше. Придумал как-то один такой приём для своей системы. А потом понял, что этот приём можно применять и на других системах.
avatar
Tуземец, кстати автор этого мема уже не в живых 1-2 года, такая вот печалька
avatar
Я как то в своих топиках рассказывал, как страты могут балансировать из «тупых» высокотехнологичных стратегий в совсем нетехнологичные, но с развитым математическим аппаратом. 
У Никиты был такой слайд в лекции с похожей концепцией:
Дмитрий Овчинников, ага. Мне было не с руки его доставать, спасибо
avatar
Может на биржах и у брокеров есть какое-то скоростное оборудование, но для частных трейдеров и тем более для инвесторов в таком оборудовании нет никакой необходимости.
avatar
Сейчас из обычного браузера можно робота запустить.
avatar
CyberHub, я, например, руками вообще не торговец ) из браузера тем более
avatar
Ну это все-таки об алготорговле HFT. Зачем все это алгоритмам со средним временем в позиции — от 4-х часов и больше?
avatar
А потом случился 2022 год и почти все умерло?
Возможно, через года снова возродится.
avatar
Jame Bonds, чтобы вышеописанное зарабатывало, примерно нужные такие условия:
  — глупые совсем неопытные торопыги трейдеры на бирже
  — крупные участники

вроде бы пока с наличием тех и тех проблем нет, хотя конечно проблемы обострились.

почти все умерло  немного для других участников. Мне вот сейчас в 23 вечера сходу сложно охарактеризовать их парой слов.
avatar
Андрей К, ну может я и чересчур категоричен.
Но деградация явно наблюдается и, что печально — постепенно продолжаем деградировать дальше.
Арбитражные возможности, которые раньше за миллисекунды разбирали теперь месяцами висят.
Не исключен вариант, что биржу полностью закроют или задавят санкциями.
avatar
Jame Bonds, 
Арбитражные возможности, которые раньше за миллисекунды разбирали теперь месяцами висят
это да ) очково же в это лезть, не знаешь, кто придет завтра в стакан и куда тебя отвезет дальше )
а главная начальница срочки бездумно на конфах предлагает их забирать ) 
avatar
Андрей К,
«Я как то в своих топиках рассказывал, как страты могут балансировать из «тупых» высокотехнологичных стратегий в совсем нетехнологичные, но с развитым математическим аппаратом».
В последнее время имеем дисбаланс. Очень рулят также «тупые» нетехнологичные стратегии без математического аппарата.
Не так давно написал «Плач Ярославны по оторванной пуговице».
Как назвал это уважаемый коллега — инвестирование во фьючерс Si.
От депозита 150000 рублей (или 1500000, или сколько не так жалко) можно было получить с 1 декабря 2022 года по 1 декабря 2023 года больше 100 % в рублях или 47 % в долларах.
При этом просадки не было от слова совсем. Даже если бы и случился трэш с закупом как в 2022 году по 52 рубля за доллар, максимальная потеря — 45 % от депозита в долларах.
Но этого не случилось.
Так что треугольная система, например, более живучая, чем парная.
Не обязательно двигаться туда-сюда из крайности в крайность, иногда можно отойти вбок и посмотреть со стороны.
avatar
BITE4SAVE, 
иногда можно отойти вбок и посмотреть со стороны.
это ж уметь надо, не все на это учились )
avatar
Потом пришел 2022й и арбитраж стал опять ручным, потому как всякий смысл в наносекундах отпал — неэффективности стали держаться дольше платежеспособности арбитражеров)
avatar
Ratio_, да не, наносеки остались наносеками.

про платежеспособность четко подмечено ) просто прямой арбитраж теперь стал в массе своей статистическим, как то так
avatar

вкинул на вентилятор и понеслось… смешал все что можно. как секрета сюда приплел — уму не вообразить. ну главное плебсы в восторге. 

а на главныйййй вопроссссииищееееее молчок.

avatar
Pinokid0_o,  какой главный вопросище?
avatar
Ну а почему Lua никто не упомянул, будет побыстрее c++, ближе к C, и легко своего хэджера можно интегрировать в Quik))
avatar
Michael Schumacher, вы лютую ересь неправду говорите. Для программиста на С++ главная трудность использования Lua — постараться абстрагироваться от того, через что там выполняется любой чих, даже просто обращение к глобальной переменной. Если не абстрагироваться — настроение грустное и тянет обфусцировать код микрооптимизациями. Многия знания — многия печали.
avatar
Кирилл Гудков, речь не о синтаксисе, а о скорости выполнения.
Ну а трудности использования — так они со всеми языками, только практика поможет
avatar
Michael Schumacher,
о скорости выполнения
Это не может быть правдой хотя бы из-за динамической типизации и автоматического управления памятью в lua.
avatar
Michael Schumacher, простите, но у вас каша в голове, вы некомпетентны в этом вопросе. Нормальный программист должен понимать пару уровней ниже того, что он настрочил в редакторе, во что его код транслируется и как это исполняется. Вы не понимаете совершенно.
avatar
Кирилл Гудков, да чо там понимать! Lua синтаксис си подобный? Значит работает со скоростью си! А то, что там дальше с ним делают эти ваши всякие интерпретаторы — это на самом деле тормоза в ядре биржи.
avatar
Michael Schumacher, нонсенс.
avatar
Michael Schumacher, у вас все быстро на lua работает и вас устраивает?
avatar
VалиБакS, да скорости вполне хватает, а т.к. у Lua прямое подключение  в QUIK, то соответственно все остальные варианты и различные прослойки в виде питоновских серверов и т.п. будут работать гораздо медленнее
avatar
Michael Schumacher, lua не может быть быстрее плюс, так как это скриптовый язык
avatar
Ну прям «Историю роботорговли 2009 — 2021 написали». Вы правы. Наносекунды ушли в прошлое. Сейчас оптимальной длительностью сделки является 1 день. При этом фактор восстановления можно достичь больше 10. Так что согласен, что высокочастотные роботы (на Московской бирже) — это анахронизм).
avatar
MatrixLis, насколько мне известно, наносеки в прошлое пока не ушли, вон их в ленте видно постоянно. Но пирог конечно сузился, да.
avatar
Это судьба простых алгоритмов: все о них знают, поэтому приходится постоянно соревноваться в скорости.
Применяйте сложные и проблема исчезнет, да и рынок перестанет «постоянно меняться».
avatar
старый трейдер, так сложные хуже. Самые прибыльные это те, что всем видно, но забрать может только самый шустрый. Сложность только в обыгрывании простого
avatar
VалиБакS, «те, что всем видно» давно уже не самые прибыльные.
Экспуатировать незаметное намного выгоднее.
avatar
старый трейдер, по этому фронту либо ИИ уже давно щимит, либо вы неверно оцениваете риски.
avatar
старый трейдер,  а есть сложные с таким же явно положительным МО, как простой арбитраж?
avatar
tester37, есть.
avatar
Binance для избранных снимает ограничения по ip, ордерам и лимитам? Я торгуя вручную весь 2022-2023 практический каждый день влетал на ip ban. ограничения на кол-во заявок, игнорирования, итп.
avatar
22022022, да фиг его знает ) про избранных любят поговорить и на мосбирже, но их как таковых особо нет
avatar
22022022,  да здравстует DEX, давайте все уверуем в него
avatar

Мне страшно подумать чего вы там торгуете, что за 1000 нс успеваете что-то вменяемое серверу ответить.

С другой стороны, это всё круто, конечно 

avatar
Kot_Begemot, 
Мне страшно подумать чего там торгуете

обычно, это все описывается одной или парой строчкой кода )

if price >= (last_price + n)

avatar
Андрей К, (last_price + n) считается на предыдущем тике, чтобы не тратить время
avatar
atopo, да и ответ иногда известен до того как все биты price пришли, особенно если big endian))
avatar
И я бы сказал, новый тренд, ритейл алго 22 года. Это питон, и без всяких дорогих колокаций. Так как hft арбитраж уже весь занят, и очень дорогой входной билет. Начинающим алго, приходится проявлять чудеса интеллекта, торгуя там, где скорость не важна.
Алексей Никитин, я люблю hh помониторить. Желающих попробовать залезть и потолкаться плечами на fpga, как мне показалось, только растет
avatar
Андрей К, абсолютно точно. Вся эта фпга уже давно обычная технология, куча инструментов доступна для разработки. Но не под силу домашним трейдерам, слишком затратно на старте. Да и конкуренция с самым топом.
Камень был в огород Алексея Вана, я так понимаю? Но он вроде никогда про HFT не говорил, а все его роботы построены на индикаторах и ориентированы на сравнительно большие таймфреймы. Спорная ниша для алго, но, с другой стороны, никаких особых требований к скоростям там нет.
avatar
Михаил К., 
у роботов Вана есть один небольшой недостаток. Они сливают.
Дмитрий Овчинников, а сливают потому что os engine плохая платформа или кто-то просто не умеет создавать прибыльных роботов?
avatar
Михаил К.,
Без понятия насчёт os engine. Но то, что выдается за алгоритмы, ни в какие ворота.
Михаил К., так то и забавно, что про HFT не говорил, а про арбитраж говорил ) может быть конечно есть такие рынки где арбитраж и по вчерашним котировкам можно торговать, но чессгря сильно сомневаюсь )
Так или иначе сливают абсолютно все роботы на индикаторах.
Ну или топчатся на месте, если выбран безопасный для депозита манименеджмент.
Индикаторы — это всегда те или иные математические манипуляции с прошлыми ценами.
Проще говоря, любой так называемый «основанный на математическом анализе робот» — это просто-напросто индикаторный робот, в лучшем случае подогнанный околорыночниками-программистами под историю.
Вообще, надо понимать, что алготорговля сейчас — это жутчайший околорынок.
Околорыночника-программиста легко распознать по их околорыночному сленгу — это напускание псевдонаучного тумана всякого рода абревиатурами.
avatar
Translator, про сленг понравилось, что только не услышишь от них )
avatar
Translator, 
Так или иначе сливают абсолютно все роботы на индикаторах.
Вы излишне категоричны, коллега.
Translator, можете сказать, на чем могут быть построены зарабатывающие роботы?
avatar
Михаил К., Это могут быть самые простейшие индикаторные роботы, когда их пускают по тренду, правильно расчитав манименеджмент.
avatar
Translator, а как тренд узнать на правой стороне?
avatar
tester37, это как с прогнозом погоды, нужна модель + актуальные данные )
Михаил К., сдается мне, что даже рандомный вход в позу можно подкрутить так, что кривая эквити нет-нет, да будет красивой из левого нижнего угла в правый верхний.
avatar
Gypsy, подкрутить — это в смысле подстроить под прошлые данные? Я сомневаюсь что можно создать прибыльную систему на основе случайного входа.
avatar
Translator, не все математические манипуляции одинаково полезны или бесполезны, некоторые существенно полезнее других. К тому же манипуляции могут быть не только с ценами, до чего догадаешься и найдёшь способ кормить этим алгоритм — с тем и манипулируй, полная свобода.
Елена Прекрасная, это щекотание мозгов перед тем как пчихнуть для задротных айтишников. Прикольная формулировка, спасибо )
avatar
Елена Прекрасная, это про эволюцию инструментов для стрижки овец и конкуренцию на этом поприще, но овцам как правило лень в это вникать :)
avatar
Елена Прекрасная, если вам топик не зашел, он и в правду мало кому зайдет, только участникам рынка из узкой области, то зачем так открыто высказывать свою неприязнь к голожопым мужикам? )
avatar
Елена Прекрасная, ваш демо сеанс диагностики реальной жизни через интернет — это конечно то чего в этой ветке не хватало :)
avatar
Елена Прекрасная, ну давай сразу лично приезжай, дистанционная диагностика это для слабаков :) обсудим у кого депозит толще :)
avatar
Елена Прекрасная, это вы ещё опционщиков не встречали.
avatar
Если бы все действительно обстояло так, как представляется автору топика, график истории представлял бы ровную горизонтальную прямую с небольшими отклонениями.
Т.к. мы этого пока в упор не видим, армагеддон пока откладывается, и обычные методы трейдинга, без всякого ХФТ и прочих технических извращений, пока будут продолжать работать. В общем, беспокоиться не о чем, автор пытается бежать впереди паровоза.
avatar
3Qu, в моих топиках никогда нет придумок. Все всегда рассказывается только из своего опыта или опыта близких коллег
avatar
Андрей К, не вижу соответствия вашего опыта и опыта ваших близких коллег хоть какой-то реальности. Больше напоминает прогноз тепловой смерти, которая, как известно, откладывается на неопределенный срок.
avatar
3Qu, у вас же нет опыта в этой сфере. Зачем так утвердительно говорить, параллельно называя меня балаболом?
avatar
Андрей К, зачем так грубо. Будем называть это мировоззрением не соответствующим реальности.
Опыт, кстати, порой только мешает делать правильные выводы о предмете в целом, т.к. опыт всегда ограничен рамками условий своей постановки и не может отражать полной картины происходящего в реальности.
avatar

теги блога Андрей К

....все тэги



UPDONW
Новый дизайн