Виртуалка не вариант, много гемороя и дорого. В твоей конфигурашке, реально дорогой проц, можно купить подешевле и на производительность веб сервера не сильно повлияет. А вот sas дисков маловато, надо 4-5 для нормального рейда.
SAS это если обычные жесткие диски то только для бэкапов. ССД SAS нормально. Памяти не очень много скажем прямо (32 гб). Не знаю сколько базы смартлаба занимают, но можно думаю организовать чтобы большая часть баз лежала в оперативке, тогда будет летать всё (и не так важно ссд или не ссд там для персистентности). Процы норм, старье тоже ни к чему брать (если цена нормальная).
Все ксеоны Ivy Bridge и выше очень хорошо без нагрузки электроэнергию экономят, только вот датацентры часто просто за юнит например берут и за мощность блоков питания. Например, больше чем за 500Вт на 1 юнит запросто могут доплату протарифицировать, так что тут надо смотреть какие условия размещения.
И да, супермикро — вполне хорошая серверная марка.
Если у провайдера стоять будет, там понятно только юниты, если дома, и от провайдера оптика или уверенный провод с гигабитом, то десктоп удобней и тише и модернизацию делать проще.
Ну вы тут жесть порите. Базы хранить в оперативке, сервера дома. Разберитесь с начало в теме, а потом уже советы давайте, диванные эксперты блин.
Тимофей Мартынов, ЧИТАЙ!
Судя по статистике similarweb трафик на сайте в месяц на ~2,1млн.
Т.е в день имеем примерно 70тыс. Берем активные 15 часов.
70тыс / 15ч =~ 4667 человек в час.
Т.е. активность между часами разная, возьму коэффициент 2x, для пикового часа, т.е в пиковый час на сайт заходит 4667*2=9334 человека.
Т.е. максимальная нагрузка на сервере будет:
9334чел /3600сек = 2.59 чел
Но это только новые пришедшие пользователи, возьмем коэффициент 2,5 для тех пользователей которые уже на сайте бегают читают, комментируют. ИТОГО в секунду в пик часы нагрузка на сервер 2,59чел*2,5= 6,47=~7 человек в секунду обращаются к твоему серверу в пиковые часы.
Я не знаю кто твой админ, но тебя разводят.
Тебе не нужен сервер с процессором который набирает в CPU Mark 13998 попугаев (балов). И уж тем более 2 таких, как не которые тут «эксперты» советуют.
Под твои нужды выделенный сервер не нужен, достаточно взять VPS. К примеру на OVH.com vps с ssd c 8 гигами оперативы и 2 ядрами процессора с частотами в 2,4Gh стоит всего 13,5$ в месяц. И этого тебе хватит с головой и больше.
На том же online.net можно взять vps c 6 ядрами x86, 8 гиг оперативы и и с диском ssd 200gb за 9,99 евро в месяц.
И все эти vps в облаке.
У меня у самого и на ovh и на online.net есть сервера и vps-ы.
Поэтому я знаю о чем я говорю.
И да если у тебя на движке сайта есть кэш, то можно и на хостинге обыкновенном хоститься )))
И да ты мне не интересен, оперируй ко мне знаниями, а не поверхностным мнением.
Удачи тебе.
PS. И да почти половина трафика смартлаба (по симиларвебу) это директ траф, и директ это не тот который яндекс директ ))) Теперь свяжи это с индексацией своей.
I am GROOT, сколько человек в секунду лезет на сервер — это ни о чем не говорит. Нужно смотреть нагрузку на сервер в этот момент, т.к. напимер статику для 7 человек тебе и первопень плюнет за доли секунды, а если там навороченные выборки из разных неоптимизированных бд, да ещё и с кривым кодом, то можно поставить раком superdome:)
Иванов, Сколько человек в секунду лезет на сервер — это и есть нагрузка на сайт, это имеет критическое значение, ибо процессорное время будет делится на всех юзеров. То что там отдельные операции ресурсоемкие могут быть — это все второстепенно.
Алексей, Ну, как сказать:) По памяти обычно ресурсоемка рекурсия без TCO, и операции с утечками памяти, типа, созданиея замыканий на каждый пук, по процу там куча вариантов может быть. Сортировка массива, в принципе не обязательно столь уж ресурсоемка, если все по уму сделано:), Он же и предназначен для таких случаев, это индексированная структура с произвольным доступом. От конкретного случая зависит
Видимо, наихудшим случаем будет, если приходится на каждой итерации делать сдвиг
sortarray sortarray, это понятно, что нагрузку на сервер создают люди в единицу времени. Я к тому, что без понимания текущей конфигурации смарт лаба и понимания загрузки по процу, памяти, хдд, сети и т.д, советы в этом треде не имеют смысла :)
Алексей, само собой, особенно если сопоставить стоимость железа и человекочасов, это становится очевидно:) Но с другой стороны, любую мощность можно сожрать с таким подходом. :)
sortarray sortarray, опять не факт :) к примеру гугл пошёл по пути дешевого железа, но с продуманный софтом (gfs), а Yahoo по пути дорогого железа и в итоге проиграл гуглу.
I am GROOT, А какой смысл на хостинге хоститься, если VPS копейки стоит?
VPS всяко лучше, там безо всяких настроек тебе доступны любые возможности операционной системы, и нет никаких ограничений в технологиях.
В пользу реального сервака, кстати, говорит то, что виртуальные хозяева могут химичить с выделением мощности, заявлять одно, а предоставлять другое, если у них нагрузка будет слишком большой. Проверять все время за ними слишком гемморно
I am GROOT, спасибо по-братски.
Но нам нужен сервак
У нас на сайте одновременно могут находится 1500 человек.
И работа смартлаба — это не только отдавать страницы и отвечать на запросы.
У нас внутри постоянно вычисления идут, связанные с обработкой данных московской биржи
Тимофей Мартынов, хоть 50 тыс человек. Если на вашей cms (livestreet) нормально построен модуль кэширования, то нагрузки впс выдержит спокойно. Все сводится к оптимизации.
На моих впс сайты находятся, а на серверах боты (парсинг и вычисление).
Обработка данных с московской биржи это бот-трейдер? или просто вывод котировок на сайт?
Тимофей, а сколько места на диске сейчас занимает смарт лаб?
Вообще тут этот вопрос глупо задавать, т.к. никто не знает на чем сейчас работает смарт лаб и где у него бутылочное горло. Какой объем бд и т.д.
Надо смотреть потребление ресурсов на текущем железе и сайзить его на новые железяки. Может быть хватит одного процессора с 8 гигами, а может криворукий программист и цетырехпроцессорный сервант положить на тривиальной базе.
Тимофей, пусть человек, которому за тех.поддержку сайта платите, сам решит. В любом случае, ему потом со всем этим еб… ться. Он ведь может цену поднять либо уйти, если не по его мнению будет.
Не берите этот вопрос на себя, раз некомпетентны, и не доверяйте форуму.
Иванов, бд спокойнее держать на SAS, они сопоставимы по производительности с SSD, но обладают на порядки более высокой надежностью. SSD — для кешей и прочих временных данных, которые не жалко потерять и легко вопроизвести. Но это конечно моё консервативное мнение и личный профессиональный опыт.
Согласен, вводных мало.
Lev, чооо? 1 sas 10к даёт примерно 150 iops, 1 ssd на sata 6 гбит может дать 120 000 iops, если мы возьмём ssd на pcie, то можем получить 500 000 iops или даже 1 400 000 на каком нибудь OCZ Z-Drive R4 CloudServ.
Для надёжности можно собрать зеркало из ссд, да и бэкапы никто не отменял.
Иванов, так а что мне дают эти попугаи иопсы? БД — это не только ввод-вывод, после IO там всё упирается в другие узкие места — память, процессор итд. Имею относительно нагруженные (десятки тысяч запросов) сервера БД на оракуле, mysql и pgsql (плюс некоторый зоопарк инмемори баз). Неоднократно пробовали на SSD, но никакого прироста не давало, а вот выход из строя SSD — куда как более частое событие. На эти грабли не раз наступали уже. Поэтому проще спать спокойно с SAS-ом. Бэкап — это совсем нештатная и нетривиальная процедура, тем более когда базы занимают сотни гигабайт (и уже и единицы терабайт).
Lev, когда узким местом является память, то как раз нужны иопсы :) да и mlc ssd уже достаточно надёжны.
Бэкап базы — это нештатная и нетривиальная процедура? Это вообще lol :))
Иванов, конечно же имелась в виду процедура развёртывания из бэкапа баз на сотни гигабайт (и думаю, что вы меня поняли). Если реально сталкивались в продакшне с большими базами, то знаете сколько времени и нервов занимает это операция. Гогочите дальше, но без меня.
Lev, не понял вас ни разу.
вы базу тупо глушите и её копируете на другой носитель? Или через dump/restore ?
Но тогда да, мучительно и больно…
А сервера у вас тоже имеют память в сотни гигабайт? Раз уж иопсы не нужны? :)
Иванов, ещё раз — изначально речь шла про «восстановление из бэкапа», а не про само изначальное резервное копирование. Если доводилось когда-либо восстанавливать из бэкапа большие базы в продакшне, то вы наверное знаете, насколько это непростая задача. Да ещё и под постоянным давлением со стороны менеджмента и прочих «сочуствующих». Уж лучше по возможности избегать этой процедуры.
SAS это просто интерфейс. Сравнивать SSD с HDD для нагрузок БД не имеет смысла. Еще есть Micron p420m / FusionIO и подобные радости.
Хранить БД в базе самое то сейчас — память не столько стоит (применение найдётся начиная от старенького MemcacheD и БД/всякие Redis-ы) — я не знаю реальной нагрузки и кода (а может там без перерыва фетчатся данные для таблицы торгов и что-то в новостях анализируется), поэтому безапелляционные заявления как товарищ с впс за 9 евро в месяц не делаю. Я так понимаю 1-5-10 долларов затрат в месяц тут погоды не делают.
Hetzner — кстати да, очень нормальная тема. Самый ближний их ДЦ не в Германии, а в Эстонии, это еще ближе к РФ.
Антон, в Эстонии у них нет датацентра, не придумывайте. Строят в Финляндии, но он пока не в строю.
SAS — это не просто интерфейс.
Как раз SSD у hetzner — довольно убогие, летят только в путь. Если что, то через меня прошло примерно 200 хетцнеровских серверов, статистика накопилась довольно обширная.
Lev, да, они как раз вроде ставят ССД consumer-grade (и не только их) для экономии цены так что тут согласен с вами на 100%. Сейчас стоят заказанные серверы в Германии у них, но вроде при заказе какая-то опция про Эстонию вылазила, может конечно реселлер их какой, ну да не суть, значит нету там датацентра.
Антон, это наверное заказ через неофициального реселлера FastVPS, который возможно что-то и начал размещать в Эстонии. Раньше они тупо брали сервера у немцев и перепродавали в виде виртуалок в РФ (они с русскими корнями, из Питера). Наверное сейчас что-то стали делать сами.
У меня самого был такой бизнес в 2011-2013 годах, брал сервера и перепродавал их по знакомым, примерно 50 серверов было на пике бизнеса. Но потом забросил, маржинальность маленькая, а проблем — много.
Как показала практика, за железом не угонишься, стоимость купленного современного (на данный момент) железа очень быстро падает в цене. Так же надо брать в расчет стоимость аренды канала. Взвесив все за и против, получается денег, потраченных на покупку железа хватает на несколько лет аренды сервера, но при аренде отпадает головная боль с обслуживанием, апгрейдом, ремонтом и прочим. Поиграться с ценами на сервера или хостинг можно здесь.
1. хостер следит за нагрузкой на аппаратный сервер, которую генерирует виртуальная машина и если нагрузка выходит за допустимые пределы, то хостер тормозит машину.
2. виртуальная машина может оказаться на одном аппаратном сервере с другой машиной, генерирующей импульсную нагрузку, из-за влияния которой будут возникать импульсные провалы в доступности и/или производительности.
Другими словами, виртуальная машина — это квартира в доме с соседями-дебилами. Свой сервер — это дом с забором и пулеметами на вышках. Поэтому, сайт на виртуальной машине пусть размещают розовощекие пацаны, работающие за зарплату. А суровые пацаны, зарабатывающие на сайте, должны размещать его строго на выделенном (или своем) сервере.
В.И.Чапаев, тут от политики виртуализации зависит, есть, как правило (теоретически :) ), минимально гарантированные вещи по CPU/IOPS, есть fair-use policy, но в целом, вы написали очень правильно. Тут как бы зависит от «а насколько еще тут с нами рядом на тех же дисковых нодах ребят стоит и т.д.» и это как правило непрозрачно. +
Я примерно такой же арендую под свои алгоритмы, а если точнее 2x Intel Octa-Core Xeon E5-2620v4/64GB DDR4 выходит $150 в месяц, не так уж и дорого. Смысл покупать? Получишь поддержку 24х7, а со своим заморачиваться.
Никто не знает архитектуры движка, соответственно все советы не имеют смысла.
Дайте хотябы исходные данные — iostats в пиковой нагрузке и текущую конфигурации сервера.
По поводу процессора — берите тот в котором больше ядер и меньше частота. Бд на ssd диски или, что лучше, делайте на этом сервере две виртуалки VMware (одну под бд, вторую под движок сайта) и используйте эти ssd как flash read cache.
stitrace, прекрасный комментарий. Мы не знаем деталей, поэтому просто только угадывать. Насчет параллелизма все четко — больше ядер лучше чем меньше с более высокой частотой. +
Теперь понятно почему подтормаживает смартлаб. В эпоху облаков (AWS в частности), авто-скейлинга, хай-авейлабилити люди до сих пор мыслят конфигурациями серверов.
Дешевле купить юзаный, тут от наших алго вполне вероятно сервачок взять -)))
Все ксеоны Ivy Bridge и выше очень хорошо без нагрузки электроэнергию экономят, только вот датацентры часто просто за юнит например берут и за мощность блоков питания. Например, больше чем за 500Вт на 1 юнит запросто могут доплату протарифицировать, так что тут надо смотреть какие условия размещения.
И да, супермикро — вполне хорошая серверная марка.
Но это все вторично, главное еще не забудь куда постоянно бэкапы скидывать.
Тимофей Мартынов, ЧИТАЙ!
Судя по статистике similarweb трафик на сайте в месяц на ~2,1млн.
Т.е в день имеем примерно 70тыс. Берем активные 15 часов.
70тыс / 15ч =~ 4667 человек в час.
Т.е. активность между часами разная, возьму коэффициент 2x, для пикового часа, т.е в пиковый час на сайт заходит 4667*2=9334 человека.
Т.е. максимальная нагрузка на сервере будет:
9334чел /3600сек = 2.59 чел
Но это только новые пришедшие пользователи, возьмем коэффициент 2,5 для тех пользователей которые уже на сайте бегают читают, комментируют.
ИТОГО в секунду в пик часы нагрузка на сервер 2,59чел*2,5= 6,47=~7 человек в секунду обращаются к твоему серверу в пиковые часы.
Я не знаю кто твой админ, но тебя разводят.
Тебе не нужен сервер с процессором который набирает в CPU Mark 13998 попугаев (балов). И уж тем более 2 таких, как не которые тут «эксперты» советуют.
Под твои нужды выделенный сервер не нужен, достаточно взять VPS. К примеру на OVH.com vps с ssd c 8 гигами оперативы и 2 ядрами процессора с частотами в 2,4Gh стоит всего 13,5$ в месяц. И этого тебе хватит с головой и больше.
На том же online.net можно взять vps c 6 ядрами x86, 8 гиг оперативы и и с диском ssd 200gb за 9,99 евро в месяц.
И все эти vps в облаке.
У меня у самого и на ovh и на online.net есть сервера и vps-ы.
Поэтому я знаю о чем я говорю.
И да если у тебя на движке сайта есть кэш, то можно и на хостинге обыкновенном хоститься )))
Пиши в пм, помогу советом.
с виртуалки за десять баксов такой выгонят сразу
Хотя в рашке может быть и «выгонят» ))).
Если вы дело имели с недохоcтерами, не нужно свой опыт проецировать на крупные датакомпании такие как ovh и online.net
Я более 4 лет пользуюсь услугами данных датацентров / датакомпаний и все нормально.
А «навороченный» = плохо оптимизированный? )))
На сайте тупо даже не включен gzip или deflate сжатие. А какой блин «навороченности» идет речь?
пинги не устроят в любом случае, нужна только РФ
навороченный, значит с десятками плагинов и примочек
то америка, то либералы, теперь диванные эксперты во всем виноваты
)))
что-то новое
ping-ы не устроят )))
Леша речь идет о сайте а не высокочастотном роботе. Пинг тут не сильно важен.
И если бы ты пропинговал датаценты о которых я писал выше, ты бы приятно бы удивился.
Но кому я что тут доказываю, ведь Леша знает все и советы всем дает.
вот про важность конкретно пингов, как и для HFT
xseo.top/tools/seo-tools/index-speed/
Что вы знаете про трастовость ресурсов, и как траст влияет на индекс ?
Леша ты не эксперт ни в seo, ни в железе… можешь хоть тысячу ссылок кинуть… тебя это экспертом не сделает.
Вот на, посмотри, как сейчас smart-lab выглядит в глазах google
developers.google.com/speed/pagespeed/insights/?url=https%3A%2F%2Fsmart-lab.ru&tab=desktop
И да ты мне не интересен, оперируй ко мне знаниями, а не поверхностным мнением.
Удачи тебе.
PS. И да почти половина трафика смартлаба (по симиларвебу) это директ траф, и директ это не тот который яндекс директ ))) Теперь свяжи это с индексацией своей.
Еще раз удачки )))
wget -S -O /dev/null --header=«accept-encoding: gzip, deflate» smart-lab.ru/
...
Content-Type: text/html; charset=utf-8
Content-Encoding: gzip
Content-Length: 25761
vary: Accept-Encoding
...
и особенно ресурсоемок именно sort array
)))
Видимо, наихудшим случаем будет, если приходится на каждой итерации делать сдвиг
Вот например чтиво по этому поводу:
vc.ru/p/google-beat-yahoo
Хотя я накатил и вероятно потерял нить беседы, поэтому могу нести бред :)
Но я с Вами не спорю, согласен, что оптимизации следует уделять внимание
VPS всяко лучше, там безо всяких настроек тебе доступны любые возможности операционной системы, и нет никаких ограничений в технологиях.
В пользу реального сервака, кстати, говорит то, что виртуальные хозяева могут химичить с выделением мощности, заявлять одно, а предоставлять другое, если у них нагрузка будет слишком большой. Проверять все время за ними слишком гемморно
Но нам нужен сервак
У нас на сайте одновременно могут находится 1500 человек.
И работа смартлаба — это не только отдавать страницы и отвечать на запросы.
У нас внутри постоянно вычисления идут, связанные с обработкой данных московской биржи
что на них крутится?
На моих впс сайты находятся, а на серверах боты (парсинг и вычисление).
Обработка данных с московской биржи это бот-трейдер? или просто вывод котировок на сайт?
Вообще тут этот вопрос глупо задавать, т.к. никто не знает на чем сейчас работает смарт лаб и где у него бутылочное горло. Какой объем бд и т.д.
Надо смотреть потребление ресурсов на текущем железе и сайзить его на новые железяки. Может быть хватит одного процессора с 8 гигами, а может криворукий программист и цетырехпроцессорный сервант положить на тривиальной базе.
Текущее положение дел чем не устраивает?
Тимофей, пусть человек, которому за тех.поддержку сайта платите, сам решит. В любом случае, ему потом со всем этим еб… ться. Он ведь может цену поднять либо уйти, если не по его мнению будет.
Не берите этот вопрос на себя, раз некомпетентны, и не доверяйте форуму.
Согласен, вводных мало.
Для надёжности можно собрать зеркало из ссд, да и бэкапы никто не отменял.
Бэкап базы — это нештатная и нетривиальная процедура? Это вообще lol :))
вы базу тупо глушите и её копируете на другой носитель? Или через dump/restore ?
Но тогда да, мучительно и больно…
А сервера у вас тоже имеют память в сотни гигабайт? Раз уж иопсы не нужны? :)
ИМХО
выделенный сервер, в аренду — лучший вариант.
Из личного опыта понравился https://www.hetzner.com/dedicated-rootserver.
(можно поискать что-нибудь на распродажах)
Есть решения по бэкапу в их инфраструктуре — в план уже включен какой-то стандартный.
Можно нарастить части (RAM, HDD/SSD) — это лучше выяснять сразу для выбранного сервера.
Находятся в Германии, пинг из Россиии отличный.
Никто сайт не скопирует (как иногда бывает у российских хостеров).
Через 4-5 лет, если возрастёт нагрузка придётся переезжать и иметь гемор со старым железом.
Хранить БД в базе самое то сейчас — память не столько стоит (применение найдётся начиная от старенького MemcacheD и БД/всякие Redis-ы) — я не знаю реальной нагрузки и кода (а может там без перерыва фетчатся данные для таблицы торгов и что-то в новостях анализируется), поэтому безапелляционные заявления как товарищ с впс за 9 евро в месяц не делаю. Я так понимаю 1-5-10 долларов затрат в месяц тут погоды не делают.
Hetzner — кстати да, очень нормальная тема. Самый ближний их ДЦ не в Германии, а в Эстонии, это еще ближе к РФ.
SAS — это не просто интерфейс.
Как раз SSD у hetzner — довольно убогие, летят только в путь. Если что, то через меня прошло примерно 200 хетцнеровских серверов, статистика накопилась довольно обширная.
У меня самого был такой бизнес в 2011-2013 годах, брал сервера и перепродавал их по знакомым, примерно 50 серверов было на пике бизнеса. Но потом забросил, маржинальность маленькая, а проблем — много.
1. хостер следит за нагрузкой на аппаратный сервер, которую генерирует виртуальная машина и если нагрузка выходит за допустимые пределы, то хостер тормозит машину.
2. виртуальная машина может оказаться на одном аппаратном сервере с другой машиной, генерирующей импульсную нагрузку, из-за влияния которой будут возникать импульсные провалы в доступности и/или производительности.
Другими словами, виртуальная машина — это квартира в доме с соседями-дебилами. Свой сервер — это дом с забором и пулеметами на вышках. Поэтому, сайт на виртуальной машине пусть размещают розовощекие пацаны, работающие за зарплату. А суровые пацаны, зарабатывающие на сайте, должны размещать его строго на выделенном (или своем) сервере.
Дайте хотябы исходные данные — iostats в пиковой нагрузке и текущую конфигурации сервера.
По поводу процессора — берите тот в котором больше ядер и меньше частота. Бд на ssd диски или, что лучше, делайте на этом сервере две виртуалки VMware (одну под бд, вторую под движок сайта) и используйте эти ssd как flash read cache.