Начало — Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#

Вступление

     В прошлой статье я положил начало циклу разработки класса для работы с FIX протоколом. Обсудили его особенности передачи данных. Теперь время немного по программировать. Если профессионально подходить к делу, то нахрапом такие задачи решать нельзя. Надо посидеть с кружкой чая, порисовать схемы программного продукта. Что как будет взаимодействовать. Накидать блок схемы после полученного первого опыта. Наверное многие скажут, что это какой то дедовский способ. Но и программист я из старой плеяды, до сих пор любящий семерку Delphi.

Рисуем

     Напомню, как работают сетевые соединения. Через сокеты связываемся с сервером и начинаем обмениваться сообщениями.
     Из опыта первой статьи вы наверное вспомните, что я предложил под каждый блок сообщения делать класс и на основе этих классов строить сообщение. Переспав с этой идеей, сегодня за кружкой чая, я решил остановиться на этой идее. А именно:

( Читать дальше )

Вступление

     Никогда не увлекался скоростным трейдингом. Всегда хватало терминала. Изучать этот протокол меня побудил набор вакансий. Надо отметить, что я неспешно перебираю хорошие вакансии на рынке. Частному трейдеру очень сложно развиваться в одиночку — психологически, эмоционально, физически. Создавать и развиваться постоянно хочется, поэтому принял решение вливаться в коллектив. За несколько месяцев, мне удалось провести несколько собеседований. На втором этапе я проваливался именно из за не знаний протокола.  Предметную область я примерно представлял. Ну что там сложного? Соединился с биржей по сокетам и начинай обмен сообщениями. Надо отметить, что в этой области есть уже готовые разработки в виде quickfix или готового API от StockSharp (правда платные). Но я принял решение разбираться с нуля, чтобы вникнуть в детали.

Технические аспекты протокола

     Итак. Любой протокол, какой бы он сложный не был, работает примерно одинаково. Мы создаем у себя соединение с сервером, устанавливаем некий туннель между нами и сервером, посредством которого будем обмениваться сообщениями. Протокол — это как раз и есть набор правил, по которым строятся сообщения нужного формата. Если говорить технически, то мы должны создать сокет соединение с сервером на указанный порт.
Сообщение в FIX, как и в любом другом протоколе, состоит из нескольких блоков:

• <Заголовок сообщения>
• <Сообщение>
• <Концовка сообщения>

     Наша задача, правильно заполнить эти блоки и отправить на сервер. Заголовок сообщения в свою очередь состоит из следующих данных:

• <Начало сообщения, версия протокола>
• <Длина (размер) сообщения>
• <Тип сообщения>
• <Идентификатор отправителя>
• <Идентификатор получателя>
• <Номер сообщения>
• <Время отправки>

     Обращу ваше внимание, что я перечисляю обязательные поля. Есть еще и дополнительные. Концовка сообщения должна выглядеть так:

• <Контрольная сумма сообщения>

     Сами данные заполняются достаточно легко. В виде: <тип поля> = <значение>. Например, <длина сообщения> = 78, то есть мы серверу говорим, что размер передаваемого нами сообщения составляет 78 байт. Стоит обратить внимание, что в протоколе FIX, типы полей кодируются в виде числовых значений. Например,  <длина сообщения> в протоколе передается как цифра 9. Исходя из выше сказанного, наш заголовок сообщения, выглядел бы следующим образом:

• 8=FIX.4.4 _____ начало сообщения, протокол версии 4.4
• 9=78 _____ размер сообщения 78 байт
• 35=A _____ тип сообщения А, что означает попытка на соединение с сервером
• 49=<ваш идентификатор выдается биржей>
• 56=FG _____ идентификатор получателя, раздел Forts на бирже
• 34=1 _____ первое сообщение
• 52=20160212-11:42:51.812 _____ время отправки сообщения

Организационные вопросы

1. Наша биржа дает тестовый контур для отработки своих алгоритмов по данному протоколу. Надо всего лишь написать запрос на доступ. Надо признать, тех служба работает отменно. Очень все быстро было организовано. Подробности http://moex.com/s442
2. Обязательно понадобится описание протокола для нашей биржи ftp://ftp.moex.com/pub/FIX/Spectra/test/docs/spectra_fixgate_ru.pdf
3. Чтобы вникнуть в тонкости передачи, мне очень помогла эта программа от биржи (позже я покажу как помогла) ftp://ftp.moex.com/pub/FIX/Spectra/Utils/fix_client.zip
4. Описание самого протокола от создателей (на английском). Мне помог сильно wiki. http://fixwiki.org/fixwiki/FIXwiki
5. Чтобы найти свои ошибки, мне приходилось перехватывать сообщения рабочего клиента биржи и сверять со своими. Для этого мне понадобился tcp/ip сниффер — программа перехвата сетевого трафика.
6. Разработку я веду на c#.

К бою. Немного теоретической практики

     На момент изучения протокола, я уверен, многие столкнуться со следующими вопросами:

• как именно считать длину сообщения
• как разделять между собой данные
• как считать контрольную сумму

     Если говорить образно. То, чтобы отправить сообщение на сервер, нам просто нужно сформировать нужную строку со всеми данными и отправить ее на биржу. Ну например:

8=FIX.4.4;9=78;35=A;49=FG;56=tgFhcfx901U05;34=1;52=20160212-11:42:51.812;98=0;108=3000;141=Y;10=047;

     Если быть внимательным, то мы увидим, что кол-во символов в строке у нас 100, а в заголовке сообщения мы передаем, что 78 (9 = 78). По правилам протокола FIX, длину сообщения нужно считать без учета концовки и первых двух полей заголовка. А именно:

     С длиной сообщения разобрались. Теперь про разделитель. Пока в моем скрине это ";". В документациях западных написано что это символ SOH. Чтобы однозначно ответить на этот вопрос, я запустил прилагаемого клиента биржи и сниффером стал перехватывать сообщения между клиентом и биржей. Кстати, программа ведет логи, и их общение выглядит так (зеленое — передача запроса на биржу, красное — ответ от биржи):

     Зачеркнул свой идентификатор, прошу понять правильно. Ну а перехват сообщения выглядит так:
     Зеленым я отметил именно разделители. Как вы уже видите, это просто в шестнадцатеричном виде код 01. То есть, в нашу строку в виде разделителей, нужно вставлять код 01. Также я отметил для себя последовательность полей в сообщении. Почему то в другом порядке у меня вызывало ошибки (возможно тут я не прав)
     Ну и контрольная сумма. Контрольная сумма считается над всем сообщением, за исключением концовки. То есть в расчет берется только заголовок и само сообщение. Для этого, мы переводим каждый символ в его Ascii код и вычисляем их сумму. Полученную сумму делим по модулю 256. Это и будет контрольной суммой сообщения. При этом, значение должно быть трехзначным. Если мы получаем 2 знака, то подставляем 0 слева (например, если контрольная сумма = 68, то должны передать значении 068).

К бою. Начало программирования

     В законченном виде, разработка будет составлять готовый класс, для работы с протоколом. Теперь начинаю строить его по кирпичикам. Для начала, я создал несколько классов:

• класс для работы с заголовками
• класс для работы с сообщением подключения к серверу (onLogon)
• класс для работы с концовкой

    Каждый класс включает в себя поля, которые передаются и некоторые методы для их обработки.
    Класс для работы с заголовками. Пока просто выглядит так: 


     Как видим, первый метод строит нужную строку из полей. Обратите внимание, там присутствует наш разделитель в виде спец символа \u0001. Второй метод вычисляет размер заголовка (чтобы потом высчитывать размер сообщения). Надо обратить внимание, что при передачи времени, миллисекунды должны указываться в трехзначном формате (даже если миллисекунды = 52, то передаем 052). Следующие классы строятся по аналогии.
Класс создания сообщения на подключение (инициализация сессии)

Класс создания концовки сообщения


Попробую привести код консольной программы для теста в виде цитаты. Картинки вставляются плохого качества. Подробно комментирую.

//Получаем ip сервера
IPAddress ipAddr = IPAddress.Parse(server);
IPEndPoint ipEndPoint = new IPEndPoint(ipAddr, port);
//Создаем заголовк
HeaderMessage msHeader = new HeaderMessage
{
BeginString = «FIX.4.4»,
MsgType = «A», //Тип сообщения на установку сессии
SenderCompID = "",
TargetCompID = «FG»,
MsgSeqNum = 1
};
//Создаем сообщение на подключение onLogon
LogonMessage msLogon = new LogonMessage
{
EncryptMethod = 0,
HeartBtInt = 3000,
ResetSeqNumFlag = true
};

//Вычисляем длину сообщения
msHeader.BodyLength = msHeader.GetHeaderSize() + msLogon.GetMessageSize();
//Создаем концовку сообщения
TrailerMessage msTrailer = new TrailerMessage(msHeader.ToString() + msLogon.ToString());

//Формируем полное готовое сообщение
string fullMessage = msHeader.ToString() + msLogon.ToString() + msTrailer.ToString();
Console.WriteLine(«Сообщение для отправки {0}»,fullMessage);

//Создаем сокет для подключения
sSender = new Socket(ipAddr.AddressFamily, SocketType.Stream, ProtocolType.Tcp);
//Подключаемся
sSender.Connect(ipEndPoint);
Console.WriteLine(«Сокет соединился с {0} », sSender.RemoteEndPoint.ToString());

byte[] msg = Encoding.UTF8.GetBytes(fullMessage);
//Отправляем сообщение
int bytesSent = sSender.Send(msg);
Console.WriteLine(«Отправил {0} байт», bytesSent.ToString());

//Получаем ответ от сервера
byte[] bytes = new byte[1024];
int bytesRec = 0;
bytesRec = sSender.Receive(bytes);
Console.WriteLine(«Ответ от сервера: {0}», Encoding.UTF8.GetString(bytes, 0, bytesRec));

Все таки приложу и в виде картинок. Так наглядней. Кликабельно.


В результате мы запросили у сервера подключение с нашим логином. И получили от него ответ.

По мере развития, буду продолжать с теоретической частью. Если модераторы перенесут в раздел «Алго», я не против.

Продолжение Изучаю FIX протокол с нуля. Рисуем и программируем дальше.

В силу исторически сложившихся  причин,  каждый  рынок биржи имеет собственную реализацию вариантов прямого доступа.

На колокации в зоне  биржи доступны:

1.Валютный рынок и Рынок Акции/Облигации
   FAST — протокол мультикаст раздачи  рыночных данных.
   FIX  -  протокол для  постановки заявок.
   ASTS Bridge  он же  Teap  -  забудьте  о его существовании.
   Волшебные  буквы ASTS подразумевают подключение любым  из вариантов  -)))

2. Рынок  FORTS
   CGate — уникальная утилитка в  виде черного окошка.(Здесь следует добавить заклинание  Plaza II ).  Позволяет получать два  вида биржевых данных.  
   Без ордер лога — урезаный режим в  котором поступают данные по стаканам.
   Полный ордер лог  -  режим  в  котором  приходит лог всех заявок (поставленных снятых исполненных и  т.д.)

( Читать дальше )

Конечно щас будет дикий ржач от ребят кто занимается серьёзно статистикой, но буду только рад… должны ж они хоть когда-то улыбаться, а то всё серьёзные такие считают всякое, света белого не видят, на смарт-лаб не пишут, а я вот напишу))

Итак, решил «на глаз» прикинуть в какие часы внутри дня как далеко, в среднем, ходит Сишка. 

Интересно может для тех кто активно торгует внитри дня ручкам/скальпит. Внутри каждого часа, хоть мало-мальский, но есть какой-то импульс, его резмер в пунктах нас и интересует:

Я решил не брать абсолютные максмумы-минимумы часа, я брал именно нормальные рабочие импульсы, что бы если имеется откат внутри этого импульса то не более 30-40% от уже пройденного..

Upd.(примерно полтора часа после публикации): ОЙ-ёй-ёй, ребята, забыл упомянуть:
 исключил из наблюдения ГЕПы первых 5м на открытии сессий!!

( Читать дальше )

Давно было интересно сколько ФИНАМ заплатил за меня НДФЛ по данной налоговой, и наработал ли я достаточно НДФЛ для возмещения по ИИС.

Для этого озадачился вопросом, как создать свой кабинет налогоплательщика, что у них там есть и что вообще твориться.

1. Сначала нашел, что для этого нужно (https://lk2.service.nalog.ru/lk/)

А) Приходишь в любую налоговую (я пришел в свою)

Б) Предоставляешь Паспорт и Свидетельство ИНН (на всякий случай брал собой СНИЛС)

Я не брал никаких талончиков на очередь, спросил в ближайшем пустом окне, что нужно, чтобы получить/создать доступ в личный кабинет налогоплательщика.  На что девушка запросила эти документы и оформила в течении 3-х минут.

В) Тебе выдают бумажку с логином и паролем

Всё))

2. Как я нашел именно свою налоговую

А) На официальном сайте (www.nalog.ru) есть ссылка «Адреса и платежные реквизиты вашей налоговой» (https://service.nalog.ru/addrno.do)

( Читать дальше )

ПОЛУЧАЕМ НУЖНЫЕ ОТЧЁТЫ CME

Ссылка на страницу с отчетами — www.cmegroup.com/market-data/daily-bulletin1-ce1/daily-bulletin1-ce2.html

Как видите, по ссылке располагается очень много отчетов по самым разным инструментам. Нам нужна отчетность по валютным опционам. Можно выбрать в фильтре нужный инструмент или показать всю группу forex-инструментов.

Отчеты выкладываются за предыдущий торговый день в период с 10 до 12 МСК в формате PDF. Меня интересуют сейчас евро и фунт. Названия документа для евро:

<code>PG39 Euro FX And Cme$Index Options : Apr 04, 2011: Apr 04, 2011</code>

Там содержится информация как по PUT, так и по CALL. Именно этот отчет я использовал для расчета опционных уровней по евре сегодня (5.04.2011). Дата, разумеется, меняется. Неизменной остается указание номера страницы бюллетеня (PG39) и название инструмента

( Читать дальше )

Недавно столкнулся с таким феноменом — про язык программирования R слышали многие. Но знают что это такое очень мало людей.

Поскольку являюсь носителем этого языка и заинтересован в его популяризации, попытаюсь немного раскрыть тему в этом посте. Будет интересно!

План простой:

1) Что такое язык R

2) Популярность в России

Что такое язык R

R (вики) — язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU.

По нашему: Язык идеально подходящий для поиска рыночных закономерностей. Бесплатный, быстрый и свободный.

Он позволяет вести статистические исследования всего до чего могут дотянуться руки. За годы его существования появились десятки и сотни расширений для решения практически любых прикладных задач.

( Читать дальше )

Часть 3 находится здесь smart-lab.ru/blog/304503.php

А в этой части я подведу итоги месяца работы с опционами и отмечу несколько пунктов, которые для себя усвоил-всё по теме опционов!

Начну с итогов. Официально месяц закончится 23-го числа, потому как именно 23-го декабря я открыл первую свою сделку по опционам. Но сегодня сложилось так, что я закрыл все свои позиции и зафиксировал прибыль. Пожалуй, впервые за месяц у меня нет открытых сделок. Открывать новые на этой неделе не планирую-займусь дальнейшим изучением информации по опционам. И именно поэтому подведем итоги!

Напомню, что у нас оставались 2 открытые позиции — по Газпрому и по Сбербанку. Сегодняшняя паника на Si практически никак не повлияла на их движение, поэтому я принял решение их закрыть. Так как они уже хорошо откатили от лоёв, а прибыль у меня была на них за счет путов в стрэнгле.

Газпром закрыт с прибылью в 40%
Сбербанк закрыт с прибылью в 20%

За месяц было открыто

( Читать дальше )

Предлагаю перевод интересной статьи с сайта www.inovancetech.com о нетрадиционном применение техник машинного обучения: Machine Learning Techniques to Improve Your Strategy.

Машинное обучение это мощный инструмент не только для создания новых стратегий, но и для повышения эффективности уже существующих.

В этой статье мы осветим вопрос управления размером позиции с использованием алгоритма Random Forest (RF)  и включения/выключения торговли на основе модели скрытых состояний Маркова (HMM). Мы предполагаем, что у вас уже есть торговая стратегия.

Как улучшить управление позицией

Управление позицией — это очень важный аспект трейдинга, которому часто не уделяется должное внимание. Многие трейдеры смотрят на управление позиции с точки зрения уменьшения риска убытков, но не инструмента увеличения прибыльности стратегии. Конечно важно избегать большого риска, используя небольшую часть торгового счета ( не более 2%) в каждой сделке, но лучший способ — это применение фиксированного лота или фиксированного процента от вашей максимальной позиции для каждого трейда.

( Читать дальше )

Так как под философией (особая форма познания мира) трейдинга можно понимать, что хочешь, и видимо не обязательно текстом, то моя философия трейдинга выглядит так: