алготрейдинг

Алгоритмы Renaissance Technology (RenTec).

Предыстория такова: я много занимался и занимаюсь музыкой, точнее «записываемой музыкой». И у меня экономическое образование.
На определённом этапе своих исследований в области музыки, а затем и трейдинга, я пришёл к практическому выводу о наличии колебаний в ценовых рядах, похожих на синусоидальные. В этом нет ничего нового: среди экономистов давно известны теоремы и работы советского математика Евгения Слуцкого, — о том, что даже случайные, но сильно коррелированные величины (например ценовой ряд) после сглаживания (фильтрации, даже МА-шками, скользящей средней) — может создавать синусоподобные колебания.
На Уолл-Стрите фамилию Евгения Слуцкого произносят шёпотом — да и то только среди знающих людей. Дело в том, что хотя работы Слуцкого не дают ПРЯМОГО рецепта прибыльных торговых систем, но дают хоть какое-то понимание разных странностей на биржевых рынках.
Евгений Слуцкий закончил мой родной Киевский Университет в 1911 году, по ходу учился в Германии, потом вернулся, потом ужЕ при большевиках-коммунистах работал на Украине, потом его перевели в Москву, в Институт Конъюнктуры, где после расстрела Сталиным его начальника (ну знаете ли — свобода, маркетинг и открытые рынки противоречат идее антихристов-коммунистов) — Евгений Слуцкий прекратил активную научную деятельность, и умер в России.
https://ru.wikipedia.org/wiki/%D0%A1%D0%BB%D1%83%D1%86%D0%BA%D0%B8%D0%B9,_%D0%95%D0%B2%D0%B3%D0%B5%D0%BD%D0%B8%D0%B9_%D0%95%D0%B2%D0%B3%D0%B5%D0%BD%D1%8C%D0%B5%D0%B2%D0%B8%D1%87
На Украине идеи Слуцкого получили второе рождение сначала в Украине — с подачи академика Ермольева и его ученика- профессора Александра Ястремского (сына профессора Ивана Ястремского, который ещё в советское время имел смелость выступать за кооперативное производство при социализме). Профессор Александр Ястремский являлся моим преподавателем по стохастической оптимизации в Унитете. Позже он руководил кафедрой экономической кибернетики в КГУ, и затем передал бразды правления кафедрой Александру Черняку, специалисту по теории вероятностей. Черняк тоже пишет статьи по работам Слуцкого. Раньше я регулярно общался и с тем и другим.
А в России?
В России ТОЖЕ понимают фундаментальность работ Слуцкого и выпустили недавно большую книгу с работами Слуцкого и разными вариациями различных учёных России и Украины на эту тему. Профессор Александр Черняк из КГУ написал для этой книги кажется тоже статью.

Итог 1 : по Слуцкому даже случайные «всплески» ценовых рядов при их исследовании или обработки (например при фильтрации) могут порождать синусоподобные устойчивые колебания. А если они там есть, то их можно выявить частотными «спектральными» методами.
Итог 2 : работы Слуцкого и выводы из них никогда не выпадали из поля зрения учёных-экономистов в Украине, России.

Теперь давайте посмотрим на проблему «периодичности» с другой стороны. С СОВСЕМ ДРУГОЙ стороны — где периодичность является злом — а именно: в теории и практике кодирования. Для дешифрации без ключа — НАУЧНЫМ СПОСОБОМ — шифрованный текст размещается в виде матрицы и затем МНОЖЕСТВОМ разных способов проверяется её «качество». Если в матрице найти разные закономерности, то есть периодичности, то их оттуда можно вынуть — и это служит основой для разбивания шифра.
Таким образом и шифрование и экономика-трейдинг приходят к одному общему — отысканию периодичностей в кажущемся случайным потоке данных.
Так оно и было с Джеймсом Саймонcом и фирмой Renaissance Technologies:
работая поначалу как «чистый математик» над шифраторами-дешифраторами для военных, Саймонс с товарищами разумеется хорошо знал о методах выявления закономерностей, дефектов (периодичностей). А потом у него был скандал с военным руководством — Джеймс Саймонс выступал против войны США во Вьетнаме. Его уволили, но кто-то подсказал ему что это всё можно использовать для прогнозирования ценовых рядов.
Скорее всего это был Элвин Берлекэмп (Elwyn Berlekamp), автор их первой торговой системы:
https://ru.wikipedia.org/wiki/%D0%91%D0%B5%D1%80%D0%BB%D0%B5%D0%BA%D1%8D%D0%BC%D0%BF,_%D0%AD%D0%BB%D0%B2%D0%B8%D0%BD
Элвин Берлекэмп умер полгода назад.
Саймонс поручил в 1990 Элвину написать торговую систему, учитывая теоретические знания Саймонса и его «дешифрованных» товарищей.
В начальном виде она сперва давала прибыль, но потом начала сбоить. Они полностью её переписали и примерно с 1992-93 года она работает стабильно.  Они первые на Уолл-Стрите купили себе суперкомпьютеры CRAY, и даже разместили фирму возле залива в Нью-Йорке, где легче было организовать водяное охлаждение компов (ну и заодно поближе к университету со старыми товарищами-математиками).
Rentec вошла в деловой контакт с крупными банками — чтобы обеспечивать себя деньгами в управлении и полигоном для испытаний своих алгоритмов, а им — алгоритмическое преимущество, когда банк работает как Market Maker на бирже.
Но чем ближе к «стакану» биржи, тем трейдер (то есть RenTec + банк) вынуждены были работать с более короткими периодами и бОльшим потоком данным. На определённом этапе RenTec обнаружила что компьютеры CRAY, которые она использовала (скорость тогда была примерно 1-2 Гигафлопса), не справляются с их «грубыми» спектральными алгоритмами. И тогда RenTec «купила», то есть переманила к себе ВСЁ подразделение цифровой обработки сигналов из фирмы IBM. Дело ещё в том, что в DSP (это «цифровая обработка сигналов»), часто используются алгоритмические «фокусы»-улучшатели, про которые не знают ни обычные математики, ни обычные программисты, ни тем более трейдеры.
Откуда я это знаю? Так это же очевидно!
Как ещё можно получить прибыльность 40...60 % в год, если индекс акций SP500 растёт по 10% в год?
Вы просто обязаны ловить ВСЕ колебания рынка, а не только глобальные длинные тренды. А это можно сделать, только выявляя синусоидальные колебания. В конце концов единственным, в чём вы можете быть «уверены» в современной математике — это движения синуса и косинуса обратно вниз.
В 2013 году я выложил вкратце описание их алгоритмов на сайте Nuclearphynance.com :
http://www.nuclearphynance.com/Show Post.aspx?PostIDKey=4851
У меня есть жестокое подозрение, что самим сайтом nuclearphynance.com владеет сам миллиардер Джеймс Саймонс, так как я был СРАЗУ же забанен после своего краткого выступления там — безо всякой причины и пояснения.
Дело ещё в том, что между европейской английской школой алготрейдеров — это Paul Wilmott, Daniel Duffy, ныне покойный Mark Joshi и другие дружественные им люди (теоретики, хорошие теоретики, практиков мало), и условно говоря высокомерной американской школой (коих на самом деле много, и они не дружат между собой) — между ними существовала раньше неприязнь.
Война там была подковёрной и малоизвестной. Как результат, — сайт и форумы по теме quant finance разделились на два лагеря — nuclearphynance.com и wilmott.com.
Затем, позже я описал вкратце все основные алгоритмы на форуме Wilmott, но НИКТО из квантов планеты Земля не проявил интереса.
За исключением одного мало-известного трейдера математика из Европы. НИ ОДИН.
https://forum.wilmott.com/viewtopic.php?f=38&t=85860
Затем, после критических публикаций про RenTec, после скандалов с «дружескими связями» RenTec c крупнейшим вором в истории человечества Берни Мадофф, на воровство которого смотрели сквозь пальцы и комиссия CFTC и налоговая служба IRS, и ФБР, после скандальной щедрой денежной поддержки коррумпированной Хилари Клинтон лично Джеймсом Саймонсом,
http://www.zerohedge.com/news/2016-08-22/meet-puppetmaster-hedge-fund-behind-us-presidential-election
после всех этих и других событий, — RenTec по видимому предложил Paul Wilmott зарыть топор войны. Так на свет внезапно появилась книга Paul Wilmott «Money formula», где Поль Вилмотт… поёт дифирамбы James Simons и фирме RenTec.
https://www.amazon.com/Money-Formula-Finance-Science-Mathematicians/dp/1119358612
Примечание: алгоритмы, применяемые для настоящего спектрального анализа — в корне отличаются от алгоритмов неправильного «метода Фурье», и представляют собой сложную алгоритмическую задачу. И везде там приходится натыкаться на сложно-решаемые задачи, типа численного дифференцирования, и даже банальную аппроксимацию — регрессию, НО которую НАДО ДЕЛАТЬ ПРАВИЛЬНО, а не так как это делают физики или радио-техники. Об этом недавно проговорился один из бывших сотрудников RenTec в интервью. Он не понимал, зачем так скурпулёзно его заставляли делать свой кусок банальной аппроксимации-регрессии, которую любой трейдер делает на MetaTraider-4/5 — парой кликов мышью. А вот потому что так надо! Потому что Джеймс Саймонс никому не выдаёт всю цепочку сложного (сложнейшего) алгоритма, и качество детектирования условно говоря «сигнала» — критично для последующих шагов в сложной цепочке. Здесь ничего нового — над похожей задачей распознавания речи бьются многие фирмы.
Ведь открытые рынки ГОВОРЯТ — друг с другом. То что Вы видите на экране торгового терминала — это разговор разных торговцев и разных рынков друг с другом.
Как видите, это всё «чистая математика», и работает без догадок трейдера с экрана. Разумеется, никто из тредеров или тем более менеджеров с Уолл-Стрит не мог ничего дать фирме RenTec. На Уолл-Стрите шутили — что «величайшим секретом RenTec является то, что они не берут никого с Уолл-Стрит».
В самом деле, что человеку с Уолл-Стрит там делать?

Ещё один малоизвестный факт: на определённом этапе большой вор Берни Мадофф решил покататься на полу-секретной славе заоблачных
показателей прибыльности фирмы Rentec. Он дал в управление RenTec 200-300 миллионов долларов — на очень выгодных для RenTec условиях. Но с условием, что будет пользоваться ими сам время от времени. Конечно, это нужно было ему для разговоров с его инвесторами.
Он многозначительно намекал им, что «деньгами управляет RenTec». Таким образом Мадофф получал авторитет у инвесторов задаром. Через год-другой RenTec узнала об этих разговорах и посмотрела на свои бухгалтерские балансы, — по которым получалось, что Берни Мадофф платит RenTec, 100 миллионов долларов в год — только за то, что ИНОГДА деньги Madoff пару месяцев ходят в обороте у RenTec. Всё это плохо пахло.  Старый вопрос игрока в карты — «кто дурак в этой схеме? И если ты не знаешь ответа — то этот дурак — ТЫ».
Просто так деньги на Уолл-Стрит никто не платит. И тогда RenTec отказалась от денег Madoff. Позором для James Simons является то, что они НИКУДА НЕ ЗАЯВИЛИ о своих сомнениях и подозрениях. Разумеется, доказать они юридически ничего не смогли бы тогда сами, но афера Мадоффа была бы тогда разоблачена в самом начале. Но и Джеймс Саймонс и Берни Мадофф — оба евреи, а инвесторами Мадофф были многие известные евреи, и тогда в тесной еврейской тусовке Нью-Йорка — RenTec решили лучше промолчать и просто отдать деньги Мадофф обратно.

Я не пишу здесь о БИЗНЕС-событиях в истории RenTec. Это без меня сделал юрист-менеджер из Англии Julian Versteeg.
Вот тут:
https://medium.com/@63ey5f4uw3k42v1exp7/chronology-mercer-medallion-fund-9aa719ceeb4f
После написания этой статьи, раскопав всё подробно, Julian тут же получил должность в большом инвестиционном фонде и управляет кажется около 60 млрд USD в Лондоне.
Джулиан Верстиг там пишет в несколько негативном ключе об RetTec и о Джеймсе Саймонсе. Если быть точным, в прилично негативном ключе, хотя факты изложены верно.
На форуме квонтов Wilmott меня спросили — почему Джулиан написал именно так, в негативе (смешно, я-то тут при чём?)? Наверное потому, что закрытая фирма RenTec, зарабатывая на и пользуясь открытыми биржевыми рынками, регулярно вляпывается в разные финансовые скандалы и расследования (хотя в телевизоре и на Ютубе  — Джеймс Саймонс корчит из себя доброго дядечку мецената):

«Why Did RenTec Keep Their Madoff TRS After Uncovering His Ponziness, And Other Questions»
www.zerohedge.com/article/why-did-rentec-keep-their-madoff-trs-after-uncovering-his-ponziness-and-other-questions?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«How they failed to catch Madoff»
fortune.com/2011/05/10/how-they-failed-to-catch-madoff/?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«Renaissance to SEC: Seeing Madoff's Fraud Wasn't Rocket Science»
www.businessinsider.com/renaissance-seeing-madoffs-fraud-wasnt-rocket-science-2009-9?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«US Senate hearings about abuse of structures products»:
www.hsgac.senate.gov/download/report-abuse-of-structured-financial-products-misusing-basket-options-to-avoid-taxes-and-leverage-limits

     Тут  в чате посвящённом алго-торговле  t.me/algoinvest ,  развернулось активное обсуждение вопроса о том, что невозможно создать и алгоритм торговли «на всю оставшуюся жизнь», протестировав максимально возможный исторический отрезок. Основные причина которая называются следующая: рынок (торговая среда) постоянно меняются и то что работало вчера не работает сегодня. Я думаю, что   этот факт достаточно просто объясняется. Участники рынка стараются выиграть друг у друга с помощью торговых роботов, роботы влияют на поведение цены (график, паттерны, параметры), затем появляются новые роботы, которые вносят новые изменения в параметры торгового пространства  и этот цикл продолжается бесконечно, что и не даёт возможность создать вечный двигатель (вечный грааль).  Всё логично …

Но хочу вставить свои пять копеек в эту глобальную тему. Думается мне дело не только в постоянном изменении среды рынка и в войнах роботов, а в чём- то другом. И да, возможно Насим Талеб прав утверждая, что нельзя недооценивать случайность.

( Читать дальше )

Всем привет,

В последнее время, все больше и больше, то тут то там, люди поднимают тему машинного обучения и нейронных сетей примениельно к торговле на рынке. На фоне всего этого, я решил начать лайв эксперемент по созданию торговой стратегии на базе нейронных сетей, ну и заодно всеже попробовать полностью tfx pipeline в домашних условиях для выкатывания моделей. :)

В общем вот видюшка для затравки



( Читать дальше )

Всем привет.

Прошлое

Ндас, как бы это помягче сказать, и не забрызгать слюной с первых предложений весь монитор… Это… М… Как бы не сглазить )))))) Вобщем, как помним из прошлого, был бот NNXBT_4, на 100 конях, он достиг своей цели в 500 баксов и выключился. Его я больше не трогал, т.к. по эквити исторической решил, что дальше она не вытянет.



5.99 реальных баксов в копилочку...

Дальше был бот B_1, на 100 конях. Он тоже достиг своих 500 баксов и выключился. Но мне еквити его сети больше понравилась, и я поднял ему таргет профит до 1000 долларов и снова включил на реал дав в распоряжение 500 контрактов.

( Читать дальше )

Так уж вышло, что пару дней назад я познакомился с терминалом QUICK и языком его скриптов — LUA

   Естественно, сразу возникла необходимость передать полный контроль над этим двумя сложнейшими приложениями чему-то более простому и понятному, например Матлабу, чтобы нажимая разноцветные кнопочки «Обыграть рынок» и «Что там опять у волатильности?» оставить конечному пользователю, то есть мне, только наслаждение от наблюдения за происходящим.


     Теоретически, для этого надо нанять менеджера COM из LUACOM.dll и дать ему в управление пару простых исполнителей — объектов LUA, чтобы высшее руководство МатЛаба могло эффективно распоряжаться ресурсами в иерархии 

 Руководство МатЛаб -> менеджер интерфейса  COM -> исполнитель  объект LUA 


       Но в силу каких-то неведомых причин (от сборки dll, до сборки MS Windows и даже предустановленного железа) сделать по теории управления с ходу не получилось, поэтому была использована альтернативная схема:

( Читать дальше )

Лл

Кто читал об этой истории здесь: smart-lab.ru/blog/571765.php, тому это видео ни к чему. Хотя свежая информация присутствует.

Да что ходить вокруг, да около.
Смотрим и думаем… а что это было?



( Читать дальше )

Для одной из алго-стратегий мне нужно исключить вход в позицию в день перед дивидендной отсечкой (с учетом Т+2).

Для этого мне нужно в Excel (вернее – в csv) составить простую табличку: тикер, дата покупки под дивотсечку, и (справочно) размер дивиденда (пригодится для бэк-тестирования других стратегий, основанных на дивидендах).

Казалось бы, что проще? – гугли «дивидендный календарь» и будет тебе счастье!  А-нет.

 

Обычно по дивидендным вопросам пользуюсь сайтом БКС.

https://bcs-express.ru/dividednyj-kalendar

Все хорошо, но нет тикеров. С учетом того, что стратегия «алго» — это сразу огроменный минус.

Ладно, думаю, мы не гордые – тикеры подтянем по названию бумаги. Но снова облом-с  — названия бумаг далеко не всегда совпадают с квиковскими, да еще и склеены с обозначением периода. Вот кто мешал разделить это на разные столбцы? – ведь это разные сущности!

( Читать дальше )