Избранное трейдера chuikapridi

по

Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#

Вступление

     Никогда не увлекался скоростным трейдингом. Всегда хватало терминала. Изучать этот протокол меня побудил набор вакансий. Надо отметить, что я неспешно перебираю хорошие вакансии на рынке. Частному трейдеру очень сложно развиваться в одиночку — психологически, эмоционально, физически. Создавать и развиваться постоянно хочется, поэтому принял решение вливаться в коллектив. За несколько месяцев, мне удалось провести несколько собеседований. На втором этапе я проваливался именно из за не знаний протокола.  Предметную область я примерно представлял. Ну что там сложного? Соединился с биржей по сокетам и начинай обмен сообщениями. Надо отметить, что в этой области есть уже готовые разработки в виде quickfix или готового API от StockSharp (правда платные). Но я принял решение разбираться с нуля, чтобы вникнуть в детали.

Технические аспекты протокола


     Итак. Любой протокол, какой бы он сложный не был, работает примерно одинаково. Мы создаем у себя соединение с сервером, устанавливаем некий туннель между нами и сервером, посредством которого будем обмениваться сообщениями. Протокол — это как раз и есть набор правил, по которым строятся сообщения нужного формата. Если говорить технически, то мы должны создать сокет соединение с сервером на указанный порт.
Сообщение в FIX, как и в любом другом протоколе, состоит из нескольких блоков:
  • <Заголовок сообщения>
  • <Сообщение>
  • <Концовка сообщения>
     Наша задача, правильно заполнить эти блоки и отправить на сервер. Заголовок сообщения в свою очередь состоит из следующих данных:
  • <Начало сообщения, версия протокола>
  • <Длина (размер) сообщения>
  • <Тип сообщения>
  • <Идентификатор отправителя>
  • <Идентификатор получателя>
  • <Номер сообщения>
  • <Время отправки>
     Обращу ваше внимание, что я перечисляю обязательные поля. Есть еще и дополнительные. Концовка сообщения должна выглядеть так:
  • <Контрольная сумма сообщения>
     Сами данные заполняются достаточно легко. В виде: <тип поля> = <значение>. Например, <длина сообщения> = 78, то есть мы серверу говорим, что размер передаваемого нами сообщения составляет 78 байт. Стоит обратить внимание, что в протоколе FIX, типы полей кодируются в виде числовых значений. Например,  <длина сообщения> в протоколе передается как цифра 9. Исходя из выше сказанного, наш заголовок сообщения, выглядел бы следующим образом:
  • 8=FIX.4.4 _____ начало сообщения, протокол версии 4.4
  • 9=78 _____ размер сообщения 78 байт
  • 35=A _____ тип сообщения А, что означает попытка на соединение с сервером
  • 49=<ваш идентификатор выдается биржей>
  • 56=FG _____ идентификатор получателя, раздел Forts на бирже
  • 34=1 _____ первое сообщение
  • 52=20160212-11:42:51.812 _____ время отправки сообщения

Организационные вопросы

  1. Наша биржа дает тестовый контур для отработки своих алгоритмов по данному протоколу. Надо всего лишь написать запрос на доступ. Надо признать, тех служба работает отменно. Очень все быстро было организовано. Подробности http://moex.com/s442
  2. Обязательно понадобится описание протокола для нашей биржи ftp://ftp.moex.com/pub/FIX/Spectra/test/docs/spectra_fixgate_ru.pdf
  3. Чтобы вникнуть в тонкости передачи, мне очень помогла эта программа от биржи (позже я покажу как помогла) ftp://ftp.moex.com/pub/FIX/Spectra/Utils/fix_client.zip
  4. Описание самого протокола от создателей (на английском). Мне помог сильно wiki. http://fixwiki.org/fixwiki/FIXwiki
  5. Чтобы найти свои ошибки, мне приходилось перехватывать сообщения рабочего клиента биржи и сверять со своими. Для этого мне понадобился tcp/ip сниффер — программа перехвата сетевого трафика.
  6. Разработку я веду на c#.

К бою. Немного теоретической практики

     На момент изучения протокола, я уверен, многие столкнуться со следующими вопросами:
  • как именно считать длину сообщения
  • как разделять между собой данные
  • как считать контрольную сумму

     Если говорить образно. То, чтобы отправить сообщение на сервер, нам просто нужно сформировать нужную строку со всеми данными и отправить ее на биржу. Ну например:

8=FIX.4.4
;9=78;35=A;49=FG;56=tgFhcfx901U05;34=1;52=20160212-11:42:51.812
;98=0;108=3000;141=Y;10=047;

Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#

     Если быть внимательным, то мы увидим, что кол-во символов в строке у нас 100, а в заголовке сообщения мы передаем, что 78 (9 = 78). По правилам протокола FIX, длину сообщения нужно считать без учета концовки и первых двух полей заголовка. А именно:

Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#     С длиной сообщения разобрались. Теперь про разделитель. Пока в моем скрине это ";". В документациях западных написано что это символ SOH. Чтобы однозначно ответить на этот вопрос, я запустил прилагаемого клиента биржи и сниффером стал перехватывать сообщения между клиентом и биржей. Кстати, программа ведет логи, и их общение выглядит так (зеленое — передача запроса на биржу, красное — ответ от биржи):
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#
     Зачеркнул свой идентификатор, прошу понять правильно. Ну а перехват сообщения выглядит так:
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#     Зеленым я отметил именно разделители. Как вы уже видите, это просто в шестнадцатеричном виде код 01. То есть, в нашу строку в виде разделителей, нужно вставлять код 01. Также я отметил для себя последовательность полей в сообщении. Почему то в другом порядке у меня вызывало ошибки (возможно тут я не прав)
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#     Ну и контрольная сумма. Контрольная сумма считается над всем сообщением, за исключением концовки. То есть в расчет берется только заголовок и само сообщение. Для этого, мы переводим каждый символ в его Ascii код и вычисляем их сумму. Полученную сумму делим по модулю 256. Это и будет контрольной суммой сообщения. При этом, значение должно быть трехзначным. Если мы получаем 2 знака, то подставляем 0 слева (например, если контрольная сумма = 68, то должны передать значении 068).

К бою. Начало программирования

     В законченном виде, разработка будет составлять готовый класс, для работы с протоколом. Теперь начинаю строить его по кирпичикам. Для начала, я создал несколько классов:
  • класс для работы с заголовками
  • класс для работы с сообщением подключения к серверу (onLogon)
  • класс для работы с концовкой
    Каждый класс включает в себя поля, которые передаются и некоторые методы для их обработки.
    Класс для работы с заголовками. Пока просто выглядит так: 
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#

Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#     Как видим, первый метод строит нужную строку из полей. Обратите внимание, там присутствует наш разделитель в виде спец символа \u0001. Второй метод вычисляет размер заголовка (чтобы потом высчитывать размер сообщения). Надо обратить внимание, что при передачи времени, миллисекунды должны указываться в трехзначном формате (даже если миллисекунды = 52, то передаем 052). Следующие классы строятся по аналогии.
Класс создания сообщения на подключение (инициализация сессии)
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#
Класс создания концовки сообщения
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#

Попробую привести код консольной программы для теста в виде цитаты. Картинки вставляются плохого качества. Подробно комментирую.

//Получаем ip сервера
IPAddress ipAddr = IPAddress.Parse(server);
IPEndPoint ipEndPoint = new IPEndPoint(ipAddr, port);
//Создаем заголовк
HeaderMessage msHeader = new HeaderMessage
{
BeginString = «FIX.4.4»,
MsgType = «A», //Тип сообщения на установку сессии
SenderCompID = "",
TargetCompID = «FG»,
MsgSeqNum = 1
};
//Создаем сообщение на подключение onLogon
LogonMessage msLogon = new LogonMessage
{
EncryptMethod = 0,
HeartBtInt = 3000,
ResetSeqNumFlag = true
};

//Вычисляем длину сообщения
msHeader.BodyLength = msHeader.GetHeaderSize() + msLogon.GetMessageSize();
//Создаем концовку сообщения
TrailerMessage msTrailer = new TrailerMessage(msHeader.ToString() + msLogon.ToString());

//Формируем полное готовое сообщение
string fullMessage = msHeader.ToString() + msLogon.ToString() + msTrailer.ToString();
Console.WriteLine(«Сообщение для отправки {0}»,fullMessage);

//Создаем сокет для подключения
sSender = new Socket(ipAddr.AddressFamily, SocketType.Stream, ProtocolType.Tcp);
//Подключаемся
sSender.Connect(ipEndPoint);
Console.WriteLine(«Сокет соединился с {0} », sSender.RemoteEndPoint.ToString());


byte[] msg = Encoding.UTF8.GetBytes(fullMessage);
//Отправляем сообщение
int bytesSent = sSender.Send(msg);
Console.WriteLine(«Отправил {0} байт», bytesSent.ToString());


//Получаем ответ от сервера
byte[] bytes = new byte[1024];
int bytesRec = 0;
bytesRec = sSender.Receive(bytes);
Console.WriteLine(«Ответ от сервера: {0}», Encoding.UTF8.GetString(bytes, 0, bytesRec));


Все таки приложу и в виде картинок. Так наглядней. Кликабельно.
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#
В результате мы запросили у сервера подключение с нашим логином. И получили от него ответ.
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#
По мере развития, буду продолжать с теоретической частью. Если модераторы перенесут в раздел «Алго», я не против.

Продолжение Изучаю FIX протокол с нуля. Рисуем и программируем дальше.

Пишу MarketScanner

Многие пишут роботов, даже Мартыныч бросился изучать C# что бы что-нибудь этакое написать. Поскольку я программист, то решил не отставать и тоже написать — но нет, не робота, а сканер рынка. Идея простая — сканер должен вытягивать с сервера брокера исторические данные по всем торгуемым на NYSE ценным бумагам и искать по заданным алгоритмам фигуры теханализа. Наблюдая за рынком на протяжении последнего года, я заметил некоторые фигуры в действии — они действительно имеют место быть:
IBM оттолкнулась от линии поддержки

Сканер должен обрабатывать скачиваемые исторические данные, таймфрейм — недели/месяцы. Если определяется какая-либо интересная фигура TA, то программа сообщает об этом мне, а я уже дальше в ручном режиме просматриваю бумагу и принимаю решение торговать её или нет. На биржах США торгуется несколько тысяч ценных бумаг эмитентов, по задумке время от времени где-то что-то будет вырисовываться. Вручную за таким кол-вом тикеров уследить невозможно — поэтому нужен сканер.

Я работаю с InteractiveBrokers, у них есть API для всех основных платформ (Win/Mac/Unix) и языков — Java/C++/C#:
www.interactivebrokers.com/en/software/api/api.htm
Также быстро разобраться в нюансах помог сайт Richard-а Holowczak-а: 
holowczak.com/ib-api-socket-csharp-historical

А вот консольный вывод скачанных исторических данных:

Пишу MarketScanner
По сути сканер будет формировать некую базу данных, скачивая котировки в непрерывном режиме, постоянно отыскивая в их движении закономерности. Я планирую написать визуализатор для котировок, так что я мог бы просматривать свечки и линии поддержки-сопротивления без участия основного терминала.

Программирование и я. Отчаяние

Хочу сразу поблагодарить всех, кто комментировал предыдущий пост. Вы знаете, тут на смартлабе люди жалуются, что срач и качество комментариев низкое. Но как я понял, срач всегда притягивается на соответствующие темы постов. Если ты пишешь о высокоинтеллектуальных вещах, то нежелательный контингент отваливается сам собой, поэтому в комментах сложилась очень теплая и конструктивная атмосфера. Ещё раз спасибо!

Итак, с момента публикации моего предыдущего поста про моё изучение C# прошло еще [42->57] 15 часов чистого времени. Я по-прежнему иду по книге Стиллмена Изучаем C#
Программирование и я. Отчаяние
Первые 250 страниц (которые уже прочел три года назад) прошли относительно легко. Но теперь, такое ощущение, что с каждой страницей я начинаю увязать в содержании всё сильнее и сильнее. Вещи становятся всё более абстрактными, они уходят всё дальше от жизни и пока не ясно, как это всё использовать.


( Читать дальше )

Си Шарп Алго. Часть2. Карта знаний

Пост о том, что нужно знать алготрейдеру — программисту Си Шарп. Какими базовыми знаниями надо обладать для того чтобы писать Роботов в СтокШарп / ВелсЛаб / ТсЛаб Api / SmartCom Api. Это не про кубико-трейдинг. Это про программирование. 

Пост полезен в первую очередь трейдерам начинающим свой путь в алго, как дорожная карта. Чтобы не возникало желания изучать SmartCom Api на следующий день после изучения базовых типов данных.

Это вторая часть из серии статей Си Шарп Алго. Начало здесь.

Си Шарп Алго. Часть2. Карта знаний

План статьи:
1) Кто такой программист
2) Проба сил
3) Базовые знания языка
4) Продвинутые знания
5) Заключение



( Читать дальше )

Язык R - стандарт для обработки данных

Недавно столкнулся с таким феноменом — про язык программирования R слышали многие. Но знают что это такое очень мало людей.

Язык R - стандарт для обработки данных

Поскольку являюсь носителем этого языка и заинтересован в его популяризации, попытаюсь немного раскрыть тему в этом посте. Будет интересно!

План простой:

1) Что такое язык R

2) Популярность в России

Что такое язык R

R (вики) — язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU.

По нашему: Язык идеально подходящий для поиска рыночных закономерностей. Бесплатный, быстрый и свободный.

Он позволяет вести статистические исследования всего до чего могут дотянуться руки. За годы его существования появились десятки и сотни расширений для решения практически любых прикладных задач.



( Читать дальше )

От хорошего к великому - супер книга

Эта книга — абсолютный must read для всех бизнесменов, руководителей компаний да и для госуправленцев, думаю тоже. Книга также должна быть совершенно необходима всем инвесторам, кто покупает долгосрочно акции или доли в компаниях. Книга входит в список Грефа и список Безоса. О чём книга? По сути она дает рецепты победы в долгосрочной конкурентной борьбе на поле бизнеса.

Группа учёных под руководством Джима Коллинза рассмотрела тыщи американских компаний и выявила общие критерии, которые привели компании в долгосрочному процветанию. Среди таких компаний в книге можно встретить: Gilette, Walgreens, Kroger, Kimberly Clark, Circuit city, Wells Fargo, Nucor, Abbott Labs и другие. Совокупность таких компаний давала доходность акционерам в десятки раз выше, чем рынок в целом.
От хорошего к великому - супер книга
Вы знаете, эти критерии похожи на торгую систему, к-я получилась в результате бэктестинга. Но главный-то вопрос в том, будет ли это работать в будущем? И тут надо включить логику. Если критерии логичны, то, скорее всего, результатам бэктеста можно доверять. Так вот что касается этой книги, в ней написано ровно всё то, к чему я пришёл в результате собственного опыта и логических рассуждений. 

Итак, что объединяет супер-компании?

1. Руководитель. Главная идея в том, что идеальный руководитель не должен быть тщеславен, эгоцентричен и авторитарен. В каком-то смысле он должен быть скромен и находится в тени успеха самой компании, обладать железной волей. Главный тест — если руководитель может спокойно уйти в отставку и без него компания продолжает демонтрировать успех — то это был супер-руководитель. 
От хорошего к великому - супер книга
2. Правильная команда. Правильная команда намного важнее, чем правильная идея или правильная стратегия. Самая лучшая стратегия или бизнес-идея не прокатит с плохой командой. А если у тебя отличные кадры, они рано или поздно даже из хреновой идеи сделают нечто невероятное. Поэтому важен вопрос не «что производить?» а «с кем производить?». Это кстати лично для меня очень свежая мысль. То есть сначала нужные люди на борту, а потом «куда плыть».
3. Руководитель и компания должны смотреть в лицо фактам, не бояться суровой действительности. Затем принимать простые решения. Отказ смотреть фактам в лицо и бездействие всегда плохо заканчивается. 
От хорошего к великому - супер книга 
Соотвественно, в компании надо создавать атмосферу, в которой руководитель нормально относится к критике. Тут есть несколько принципов: «руководить надо при помощи вопросов, а не ответов», «в диалоге и споре избегать принуждения», «механизм красных флажков». Надо смотреть в лицо фактам и верить в то, что всё получится.
4. Концепция (бизнес-стратегия) должна быть очень простая. Она находится на стыке трёх моментов: «в чём мы можем быть лучшими в мире» (независимо от  того, в чем у вас компетенция), «что нам нравится делать» (отдаем все силы именно этому), «критерий прибыльности мероприятия»(как максимизировать денежные потоки). 

( Читать дальше )

Продолжаю изучать C#

Примерно 22 часа чистого времени уже потратил. С чего я начал в этот раз, я уже подробно тут описал. Чуть раньше (12 января) я задавался вопросом как ваще вызывать функцию подключенной библиотеки. Итак, что я делал с того момента? Я вернулся к книжке Изучаем C#, которую забросил читать на 255 странице 3 года назад. Сейчас начал читать её с начала, попутно выполняя все задания в C#. Сейчас дошел до 145 страницы пока. Читая книгу, и выполнив задание, я стал сам себе рассказывать (записывая экран с комментариями на ютуб), что я только что сделал. Это помогает мне осмыслить суть процессов.

Параллельно смотрю мануальчик по библиотеке SmartCom, чтобы понять, что мне надо вообще понять. Вроде пока моё примитивное знание говорит мне, что можно подрубить библиотеку через:
Продолжаю изучать C# 
Пока к сожалению что-то идёт не так:

( Читать дальше )

Вся правда об опционах. Или всё, что требуется знать, чтобы ими торговать (философия покупки опционов).

    • 16 января 2016, 21:15
    • |
    • Deimon
  • Еще
Многие пишут, что мечтают научиться торговать опционами в 2016 году. А чему тут учиться? Вот всё, что требуется о них знать:

1. Фьюч + пут = колл. Колл — фьюч = пут. Колл — пут = +фьюч. Пут — колл = -фьюч.
Практическое применение: нет смысла покупать фьюч и хеджировать путом, можно просто купить колл.

2. "Продавцы опционов клюют как курицы, а срут как слоны" ©. Помните об этом, когда «продавцы времени» предлагают гарантированно зарабатывать 30-40% годовых. И хотя чёрный лебедь к ним может довольно долго не прилетать, но, как говорится, "ты видишь лебедя? Нет? А он есть". © ;)

3. Чем опционы лучше/хуже фьючерса?
Лонг опционов лучше при больших движениях цены, фьючерс лучше при малых движениях, шорт опционов лучше… не использовать :) (см.п.2)

4. Все опционы и их конструкции имеют одинаковое соотношение параметров доход/риск/вероятность. Если что-то выигрывает в одном параметре, значит проигрывает в другом. Поэтому при выборе страйка опциона тупо выбирайте самый ликвидный. Опционы «вне денег» (out the money, OTM) ничем не хуже опционов «около денег» (at the money, ATM). На опционы

( Читать дальше )

Лучшие материалы за 2015 год

Всем привет!

Думаю с большинством пользователей Smart-lab мы уже знакомы, но для тех, кто меня видит впервые, хочу представиться, меня зовут Алексей Марков и я торгую на американском рынке уже достаточно давно и веду онлайн трансляцию для трейдеров.

Лучшие материалы за 2015 год

 

Хочу поздравить вас с прошедшими праздниками и пожелать успехов в торговле, наверное уже все успели соскучиться по трейдингу, надеюсь все закупились долларами! Год обещает быть интересным.

В новом году, буду вести здесь свой блог и разбирать самые актуальные темы, если будет нравится, то выпуски будут выходить чаще.

Ниже представлены лучшие материалы за прошлый год.


Лучшие статьи 2015 года

  • 6 больших лекций по паттернам

  • Все лучшие сайты по трейдингу на NYSE



( Читать дальше )

Bad Quant. Билл Вильямс. Новые измерения в биржевой торговле

« Голос истины неизящен, а изящная речь лжива. Нравственный человек не красноречив, а красноречивый — лжец»

Лао-Цзы

 Bad Quant. Билл Вильямс. Новые измерения в биржевой торговле

В книге Новые измерения. Билла Вильямса, даётся трендовая стратегия, которая при минимальных изменениях может торговаться на российской бирже. Эта книга — склад Граалей. В ней есть адаптивный к волатильности вход на пробое, пирамидинг по тренду, бесконечное удержание позиции по тренду. Три столпа алгоритмиста-трендовика которые изменят Вашу жизнь навсегда. Всё это дано на уровне полного описания действий, как в блок-схеме.



( Читать дальше )

....все тэги
UPDONW
Новый дизайн