Блог им. _sg_

Противные жирные Мухи теперь никогда не сядут на мои сетевые кабеля ...

    • 14 мая 2019, 21:02
    • |
    • _sg_
  • Еще
По мотивам моего поста   «Ничего себе за хлебом сбегал»

Н
апомню, кто не в курсе.

Я торгую только роботами.
Причем торгую целыми «стаями» роботов, по-научному это называется портфелями.
1 мая у меня сгорел мой размещенный сервер на Collacation.
В результате этой аварии у меня полностью выгорел Блок Питания,
а также пострадали два жестких диска по 3TB.
Я забрал мой сервер домой и восстановил его работоспособность.

Но, это происходит не в первый раз. В предыдущий раз сгорел более мощный сервер
с двумя процессорами Xeon E5-2650v2 и соответствующей периферией.

К чему это я все рассказываю.
А к тому, что если у Вас на Colloacation размещен Ваш Сервер,
то в случае Аварии Питания в DataCentre, где он размещен, все спишут на Вас ( на Ваш блок питания или глючное оборудование),
вообщем, придраться не к чему. Как бы сам виноват.
То есть если какая-нибудь «жирная» Муха села на Ваш сетевой кабель или уборщица нечаянно шваброй махнула,
и кабель случайно отсоединился от сокета — то виноваты все равно будете Вы.
Это у Вас такой глючный и ненадежный сервер с глючным hardware.

Я сейчас не говорю про убытки от торговли, которые могли быть в результате
«Полетов жирных Мух» над сетевыми кабелями Вашего сервера,
а про убытки связанные с повреждением hardware. 
А оно (hardware) тоже сейчас не дешево.

Conclusions:
1. Никогда не размещайте свое HardWare в DataCentre, потому что оно обязательно там сгорит и
и виноваты и в проигрыше будете Вы.
Если даже в DataCentre случится Всемирный Потоп, Вы об этом никогда не узнаете,
а убытки понесете только Вы.
Ваше HardWare стоит денег, Ваших денег.
 
2. Размещайте ТОЛЬКО СВОЙ SOFT на Collocation.  
И тогда «Жирных Мух» будет отгонять от Ваших серверов уже Персонал DataCentre.
Лучший вариант, на мой взгляд KVM виртуализация.

Я сделал именно так.
Заказал себе KVM — виртуализацию.
За неделю в результате «танцев с бубном» перенес часть своего softa на сервер VDS.
А компы с дорогими процессорами теперь живут у меня дома, где не летают «Жирные Мухи над сетевыми кабелями».

В результате получилось намного хуже по производительности hardaware,
но зато потери от отказов hardware теперь будут понятны Вам.

Так что сегодня я запустил вновь стаю своих роботов на новом VDS — сервере.
Обходится это примерно 1500 в месяц, вместо 2250 за размещенный сервер.
Противные жирные Мухи теперь никогда не сядут на мои сетевые кабеля ...
Не Ice, конечно.

Вот картинка ресурсов по Памяти. Маловато, конечно.
 
Не сравнить с тем, что было, но так спокойнее и дешевле будет.
Обращаю внимание на память, занятую Квиком. 
Мои роботы — это процессы, которые начинаются с букв «Wpf»,
ну и несколько служб, которые очень мало весят и вообще не видны на картинке. 
Противные жирные Мухи теперь никогда не сядут на мои сетевые кабеля ...
Всем желаю успехов в торговле.

А себя Поздравляю с новым циклом своего Алготрейдинга уже на VDS — серверах.
Свои сервера мне еще пригодятся Дома для MachineLearning.
Сегодня я отмечаю этот Launche — Day в новой для себя парадигме.

Так выпьем же за то, Благодаря чему, Мы, Несмотря ни на что, Во что бы то не стало.
Аминь.

PS.
Поскольку свободной памяти мало, обращаю внимание, что 
ОutOfMemoryException у меня всегда и везде в коде присутствуют.

UPDATE: 2019.05.14 22:30

Я выражаю благодарность всем откликнувшимся на этот мой пост.
Не ожидал такого бурного обсуждения
На все комментарии я ответить вряд ли смогу.
Но главное, что я понял, это то, что мой message был правильно понят.
Всем большого спасибо.

Просто потерять два процессора Xeon E-5 2650V2 (посмотрите сколько они стоят сейчас)
и чуть не потерять Xeon E3 1270 V2 плюс блоки питания + периферия
ЭТО УЖЕ СЛИШКОМ.

Надо как-то адаптироваться и вовремя менять выбранные ранее технологии.
Еще раз Всех благодарю.

Простите, если я не ответил на Ваши комментарии.
Главное для меня было донести до торгующих роботами некоторые «нюансы».
Еще раз всем спасибо.
★13
44 комментария
сервер VDS это доп. риски от твоих соседей. Если хочешь моды, то тогда лучше в облаках хостится. А вообще за 30 евро на heztner можно хороший бушный сервак взять и грузить его своими роботами.
avatar
drow, а в чем риски от соседей заключаются?

лучше в облаках хостится


А в облаках это как? У тебя будет своя операционная система, или надо пользоваться каким то веб-интерфейсом от хозяев сервиса?
sortarray sortarray, https://cloud.google.com/
в том, что виртуализация неполноценна, всегда есть шанс что твой сосед положит весь сервер.
avatar
drow, А облачный сервер нельзя положить?
sortarray sortarray, Положить можно все, вопрос в вероятностях.
avatar
drow, а с чего Вы взяли, что вероятность падения облачного сервака меньше?
У меня с год был VPS и он упал только раз.
Тут от оператора зависит, а не от этого
Можно арендовать сервер, можно виртуальную машину. А ставить в коллакейшен непроверенное горящее дерьмо, которое потом «дома восстановил» — это совсем ахтунг, что с Вами не так?
avatar
А скорость сети разве не уступает в этом случае(виртуального сервера)?
Я слыхал что сервера в дата-центре именно из-за скорости размещают
У чего Вы удалённый доступ со смартфона не используете,  чтобы раз в час просматривать, что там на торговом компе происходит? У меня ТВ стоит на торговом компе, но он меня заподозрил в коммерческом использовании и ограничил время 15 часами в месяц, не более 15 минут на сеанс. Так я удалённый рабочий стол Google Chrome наладил как запасной вариант. Последний ещё удобен и тем, что видно в интернете или нет торговый комп даже без подключения к нему. 
avatar
А. Г., у автора своя кашерная система мониторинга через веб. Я так понял, обкатанная годами.
avatar
Андрей К,  а почему она не «сработала»? Я, если вижу что  торговый комп не в интернете, то тут же разворачиваю систему на нетбуке, который всегда с собой и на нем полный дубликат роботов.
avatar
Андрей К,
по-моему одни Вы поняли, какая у меня система.
У меня каждый Thread!, КАЖДЫЙ, под контролем.
И если он (Thread)  падает, то на каждый Thread, существует Thread, который пытается инициализиролвать и восстановить аварийно завершившийся Thread.

avatar
_sg_, 
по-моему одни Вы поняли, какая у меня система.
понял практически с первого раза, потому что сам о таком мечтаю. Но в погоне за деньгами, все руки не доходят создать такую штуку =))
avatar
Андрей К, кстати,
в релизе для КVM, пришлось пока отказаться от тотального контроля всего и вся. По причине ограниченности ресурсов 32GB RAM для размещенного Сервера versus 6Gb для VDS — это большая разница. 
avatar
_sg_, sentinel?
avatar
Да это всё понятно. Ты лучше скажи, тебе не страшно копировать ключи на чужую удалённую систему, вводить там пароли и оставлять подсоединённый терминал? Тут недавно пацан писал, как у него свиснули 400 штук, перелив их на другой счёт.
avatar
Kapeks, для этого дела есть veracrypt. Конечно для переподключения в случае разрыва приходится ключи держать открытыми, зато в любое другое время они зашифрованы. Даже если комп сопрут в выключенном состоянии ключи никто не вскроет. Можно конечно и закрывать сразу после соединения, но тогда при разрыве автоматически не подключиться.
avatar
А. Г., если нет доверия хостеру всё это бессмысленно. на чужой удалённой машине вы ничего не защитите. там может быть кейлогер, он перехватит пароли. квик банально открыт и подключен большую часть времени. заходи, делай что хочешь. я не настаиваю на этой паранойе, мой вопрос был, не страшно ли так работать? я б не смог.
avatar
Kapeks, против кейлогеров есть антивирусы. Да и пароль в квике без ключевых файлов бесполезен. А файлы надо знать, где лежат. Стандартные средства видны в секретных дисках под веракрипт не ищут. Через проводник или любой файлменеджер ничего не найдёте, даже если знаете имя файлов. Поэтому надо знать точный путь, а он есть только в файлах настроек квика. Конечно, если взять под удаленное управление машину  с  включённым квиком, можно делать что угодно. Ну так вопрос возможности взятия под удалённое управление — это тоже  вопрос защиты.

А так слишком сложно получится: спереть файл настроек квика, выяснить директорию, где лежат ключевые файлы, их спереть только в торговое время, да ещё и перехватить пароль в момент его ввода при соединении с сервером: у меня пароль хранится в зашифрованном виде, с помощью программы в С#, расшифровывается в оперативной памяти, та же программа запускает квик, подставляет логин и пароль в форму и нажимает ОК на ней. Потом закрывается «с концами».  Так что ещё и исполняемый файл программы надо спереть и деассемблировать, чтобы расшифровать пароль (решения в визуал экспресс я строю на нетбуке, а на торговый комп переношу только исполняемые файлы).
avatar
А. Г.,
если взять под удаленное управление машину  с  включённым квиком, можно делать что угодно

ну так об этом и речь. Это главная вообще нерешаемая проблема.

А насчёт ключей и паролей, ухищрения с прокладками бесполезны. Когда пароль вводится в окно квика он доступен для копирования. И не важно как вы его вводите, через свою прогу или руками. Там открытый месседж из очереди сообщений посылается в то окно через операционку и он доступен для сканирования.
avatar
Kapeks, визуально недоступен, но кейлогер, находящийся в оперативке, наверняка перехватит из оперативки. Ну так для этого и нужен антивирус, чтобы отслеживать кейлогеры в оперативке.  А вне оперативки в момент ввода пароля кейлогер бесполезен.  А просто удалённый доступ без кейлогера в оперативке не позволит увидеть ключ подключившимуся. Правда он может вручную давать команды из квика или прогу занести, которая будет давать команды штатно запущеному и работающему квику на совершение сделок. Такие проги на луа или С++ или С# + транс2квикдлл пишутся «на раз». Ну или спереть и проделать  то, что я написал выше для того, чтобы запускать квик вообще на другой машине. Иначе никак. 
avatar
А. Г., 
эхехех. вы себя иллюзиями тешите. всё, что вы вводите на удалённую машину, руками или прогой — элементарно может быть считано и все пароли скомпрометированы.
на антивирусы не надейтесь. punto switcher например знает всё что мы вводим, но антивирусы его не трогают. работа на чужой удалённой системе это лотерея.
avatar
Kapeks, у меня вообще то своя машина, к которой я могу подключаться удалённо. От хостера у меня только шнур с выходом в интернет, электричество и место в стойке. Доступ по RDP я закрыл (хотя конечно это средства винды, их надёжность под вопросом), IP динамический, в сетке меня не видно, так как шнур идёт от усилителя Wi-Fi сигнала, подключенного к роутеру по wps. Единственная опасность, что кто-то из сотрудников вскроет пароль винды и зайдёт физически напрямую, подключив монитор и клавиатуру непосредственно к компу. Ну или как-то все-таки подключится удалённо и занесёт кейлогер (и тут тоже придётся вскрывать пароль винды, так как я при отключении комп локирую). А прога у меня работает локально, удалённо я её только запускаю. 

Ну так все, кроме физического доступа, было бы возможно, если б комп стоял у меня дома. Но дома я просто не могу его держать постоянно включённым в сеть, опасно без присмотра с точки зрения пожарной безопасности и в случае сбоев с электричеством. А включать удалённо не умею, только выключать могу. 

Да и у автора корневого топика, насколько я понял, был свой сервер у хостера.
avatar
А. Г.,
 у меня вообще то своя машина, к которой я могу подключаться удалённо
ну так это совсем другая история. свою машину можно сконфигурировать как угодно, а vds нельзя. там исходные образы системы предоставляются готовыми, и что туда впихнуто одному богу (админу) известно. и мы не знаем могут ли ли в ту систему заходить админы хостера. может и могут.

avatar
Kapeks, 
Тут недавно пацан писал, как у него свиснули 400 штук, перелив их на другой счёт
до конца в этой мутной истории правды не известно. Я сильно уверен, что это был личный косяк и списание на кражу доступа. Энергобанк такой же уткой в свое время воспользовался
avatar
Eugene Logunov, я сегодня вентиляторы доставлял в 1U, включил пару раз. Думал обошлось,  никого в округе не задело. Ан нет, через пару часов у меня все таки спросили, что такое случилось 
avatar
 
Но, это происходит не в первый раз.
Прикольный дата центр. Скажите название ради интереса.
avatar
Мой датацентр у меня в кладовке))). За 4 года от молнии погиб 1 роутер. С тех пор всегда в наличии настроенный запасной.
И дешевле (С вашим тарифом затраты на железо, электричество и интернет в большом плюсе + все это осталось у меня), и надежнее.
+ Провайдер имеет ИБП на линии, до 1-1,5 часов работы при отключенном электричестве. + Мои ИБП = 99,999 доступности в год или сколько там у самых крутых датацентров?
avatar
dnmsk, 
 + Мои ИБП = 99,999 доступности в год или сколько там у самых крутых датацентров?
у дата центров есть ежегодная сертификация и уровень отказоустойчивости. У биржевого ДЦ это Tier3. 
А кладовочка возможно на Tier 1 и тянет =))
avatar
Андрей К, все это показушное де… мо хостеров, пост, собственно про это 
С другой стороны. Сервер нужен под алготрейдинг. Если ваши алгоритмы не заложены под отказ доступа, то это такое же показушное де… мо, а не алгортмы. Стрелять себе в ногу доверяясь какому-то Tier…
avatar
dnmsk, 
все это показушное де… мо хостеров
ну у хостеров вообще таких сертификатов нет. Они такое не потянут.
avatar
dnmsk, 
Если ваши алгоритмы не заложены под отказ доступа, то это такое же показушное де… мо, а не алгортмы
ну началоооось. Чтобы создать такие алго бронебойные, нужно алго отторговать лет 8-10 и то, есть все равно шанс влететь, потому что не знаешь, что там разрабы в очередной раз придумали
avatar
dnmsk,  а как можно бороться с потерей доступа с интернет? Ну можно сделать два провайдера, но если отрубится электричество, все равно упадут оба. Лично я предпочитаю визуальное наблюдение примерно раз в час+мобильный нетбук с дубликатом роботов на случай «падения» интернета на основном компе. Не так уж это и сложно раз в час заглянуть на комп удалённо вручную и убедиться, что все штатно. Тем более, что мои роботы принципиально набрать больше установленных объемов не смогут. Все сбои — это не вошли в позицию, когда надо было или не закрыли позицию, когда надо было. Участь роботов Кнайт Кэпитал им точно не грозит. 
avatar
Я бы, наверное, подумал над таким решением. «Архитектурно»:
Размещаем, допустим, один сервак в датацентре, а другой дополнительно, можно VPS. Второй сервак пингует первый, и в случае отказа тут же закрывает все сделки(или делает что-то еще, для аварийного выхода). Для этого надо будет наверное лезть на уровень сетевого протокола биржи, но можно кого-то нанять наверное.

Просто мысли
sortarray sortarray, Если у вас проблема с сервером и выкупили еще 1 — у вас 2 проблемы))
avatar
dnmsk, в чем проблема то?:) Что второй сервак тоже упадет? Это все равно в миллион раз надежней
sortarray sortarray, проблема, как минимум, в трате времени на это дело. А вот по теории вероятности, все сломается в 2 раза быстрее.
avatar
Eugene Logunov,
Я писал про процессоры, которые устанавливались в 2014-15 годах и которые были у меня.
И тогда Xeon E5 доминировал, а E5-2650V2 — был лучшим выбором, потому что он НЕ ГРЕЕТСЯ. Поэтому система DUAL (два) E5-2650V2 под E-ATX была намного «холоднее», а значит долговечнее, чем флагманы линейки E5-2680(87)V2. — E5-2690V2, но чуть дороже.
E5-2690V2 — флагман линейки греется не хило, а вокруг него всякие там — памяти, мосфеты и прочая разноЖпопица.
А потом башню на него надо ставить. А куда ее ставить в Unit ?
Так что в те времена царил E5-2650V2 DUAL
avatar
Алгоритм слива ботами на Хеонах доказан научно,… ну удачи только)))) На Андроиде 4 с 1 гб памяти они льют так же...)))
Реклама на Smart-Labe в моем посте как раз по теме.
Самый лучший Data Centre — это погреб.
И холодильник и полная конфиденциальность.
И цены доступные — «зимние».
А, главное, жирные Мухи не летают.
Короче, «All Inclusive»

avatar
Уважаемый автор поста. Мне кажется ваши выводы не совсем корректны и вот почему.

Conclusions:
1. Никогда не размещайте свое HardWare в DataCentre, потому что оно обязательно там сгорит и виноваты и в проигрыше будете Вы...
 Во-первых, для большей отказоустойчивости уже давно рекомендуется иметь серверы с двумя БП и с двумя сетевыми адаптерами. Дома гораздо больше рисков.Во-вторых, размещать серверы стоит только в дата-центрах с уровнем не ниже Tier III, хоть это будет и дороже.Например, основной дата-центр Московской Биржи, DataSpace, именно такой. Я не представляю, чтобы там летали мухи.В-третьих, вы путаете Colocation с обычным хостингом сервера. Настоящая коллокация должна быть к чему-то, например к серверам биржи. MOEX для этого выкупил у датацентра целый зал, внутри которого размещаются свои серверы и серверы брокеров и их клиентов. Размещение там стоит на порядок дороже, такова плата за более быстрый доступ.
German Grigoryan, Спасибо за Ваше мнение.
Дело не в названиях.
Суть поста кратко в следующем:

Мы не рассматриваем торговые риски, а рассматриваем риски отказов, сбоев,  и выхода из строя hardware. 

1. Если Вы разместили свою «железку» где-то  у кого-то, неважно Хостинг это будет или Колокация, то Персоналу совершенно наплевать, что там с ней (Вашей железкой) происходит.
Могут, например, просто перепутать Unit-ы и «потушить» Ваш сервер, вместо Сервера соседа по стойке. Швабры, Мухи, Толстый палец Персонала- это все риски для Вашей железки.

Или замутить профилактику оборудования с выключением питания, а Вам не сообщат.

Авария по питанию может случиться в стойке там где Ваш Unit, 
но Вам скажут: «Аварии не было, вот наши логи, у нас все в порядке. У Вас сервер ГЛЮЧНЫЙ.
А у нас уровень не ниже Tier III — мы никогда не падаем».

В любом из перечисленных случаев у Вас есть РИСК выхода из строя Вашего HardWare.
И Вы попадаете на ДЕНЬГИ. Ваши ДЕНЬГИ.

И Вам Персонал обязательно посочувствует: «Ну бывает иногда… C'est la vie! ».  

2. Если Вы разместили ТОЛЬКО SOFT на их оборудовании, то ситуация меняется кардинально. Оборудование ИХ, и они в соответствии со своими Служебными обязанностями обязаны за ним следить. Менять масло, менять резину летнюю на зимнию итд. То есть заботиться о нем, чтобы оно работало долго и properly.

В этом случае, что бы там у них не случилось, Вы НИКОГДА по hardware на деньги не попадете.
Если случается Авария, и у них выгорит все, то Вы спокойно, как я, «Медленно и Печально» делаете Deploy (развертывание) своего softa на новом VDS Сервере.
И ФФФсё. 

А Персоналу теперь Вы можете  просто посочувствовать: «Ну бывает иногда ... C'est la vie! » .  

Об этом пост.
avatar

теги блога _sg_

....все тэги



UPDONW
Новый дизайн