CNews: По каким критериям вы выбирали ЦОД-провайдера?

Вячеслав Журавлев: Для нас было важно, чтобы у ЦОД-оператора был серьезный опыт строительства и эксплуатации площадок, поэтому мы смотрели на количество объектов, которые есть в активе потенциального партнера. Кроме того, была важно само наличие свободных стойко-мест, так как новые мощности дата-центров быстро раскупают. Так удачно совпало, что в момент нашего поиска новой площадки для размещения, IXcellerate как раз ввел в эксплуатацию новый дата-центр MOS2 на севере Москвы. Мы съездили на экскурсию, нам все понравилось, и мы решили заключить контракт.

В Москве и Санкт-Петербурге наблюдается дефицит ресурсов дата-центров

CNews: Ощущаете ли вы дефицит свободных стойко-мест на российском рынке?

Вячеслав Журавлев: Да, действительно, в Москве и Санкт-Петербурге наблюдается дефицит ресурсов дата-центров. Каждый раз, когда мы выходим на этот рынок, чтобы расширить свои инсталляции, нам приходится тратить время на поиск свободных площадей, где мы можем разместить свое оборудование. Хотя запускается много новых проектов, спрос на услуги ЦОД тоже растет, благодаря чему в течение нескольких лет сохранялся баланс между спросом и предложением. Однако в начале 2022 г. ситуация ухудшилась, так как из-за проблем с поставками оборудования ввод новых коммерческих дата-центров задерживается, в то же время, спрос сохраняется на высоком уровне ввиду исхода из западных облаков и миграции в локальные облака из-за нехватки ИТ-оборудования.

CNews: Почему вы решили использовать коммерческий дата-центр, а не строить собственную площадку?

Вячеслав Журавлев: С помощью внешнего провайдера мы можем сконцентрироваться на том, что мы делаем хорошо, а именно на развитии платформы по поиску работы и персонала. У нас нет экспертизы по строительству ЦОД, и при наших объемах потребления, которые составляет около 30 стоек, разнесенных по разным площадкам, инвестировать в это направление экономически нецелесообразно. В одном из департаментов hh.ru есть опыт эксплуатации собственных стоек, однако обслуживание и развитие этого кластера своими силами превратилось в настоящий челлендж. Кроме того, для обеспечения необходимой отказоустойчивости нам необходимо иметь несколько географически разнесенных площадок, поэтому даже наличие одного хорошего собственного дата-центра было бы недостаточно для решения наших задач. В связи с этим мы в ИТ hh.ru приняли решение развивать ИТ-инфраструктуру на базе коммерческих ЦОД-провайдеров.

CNews: Насколько важным для вас при выборе площадки было наличие сертификатов Uptime Institute?

Вячеслав Журавлев: Конечно, мы принимали во внимание наличие подтвержденных сертификатов Tier III или Tier IV, но этот фактор не был решающим, так как наша концепция изначально базируется на том, что одна из эксплуатируемых нами площадок может «выпасть», при этом сервис продолжит работу благодаря использованию геораспределенной инфраструктуры.

CNews: В России прорабатывается возможность создания собственной классификации ЦОД и соответствующей системы сертификации, на ваш взгляд, насколько появление отечественной сертификации было бы полезно при поиске и выборе площадки?

Вячеслав Журавлев: Для нас большого значения такая система не имела бы, так как наличие сертификата в любом случае является для hh.ru второстепенным показателем при выборе ЦОД-партнера.

CNews: Вы говорите, что отказ одной из площадок заранее является допустимым. Каким образом удается обеспечить такую гибкость с точки зрения ИТ-архитектуры?

Вячеслав Журавлев: У нас большой штат разработчиков веб и мобильных платформ, и одна из команд как раз занимается архитектурой. Совместно с нашим департаментом эксплуатации они адаптировали платформу таким образом, чтобы она функционировала, используя ресурсы сразу на нескольких площадках. При этом нет деления на горячие и холодные площадки, на каждой из них развернута копия данных, а нагрузка распределяется между ними примерно в равных долях. Если один из дата-центров выходит из строя, то нагрузка просто перераспределяется между оставшимися площадками, главное, чтобы для этого было предусмотрено достаточное количество железа. При этом с точки зрения пользователя нет никакой разницы, к данным в каком именно ЦОД он обращается в той или иной момент.

Когда мы смотрим на дата-центр, нам важно присутствие телеком-провайдеров, услугами которых мы уже пользуемся

CNews: Наличие нескольких площадок предъявляет высокие требования с точки зрения каналов связи. Насколько важным показателем при выборе партнера для вас была коннективность – присутствие на площадке тех или иных телеком-провайдеров?

Вячеслав Журавлев: Когда мы смотрим на дата-центр, нам важно присутствие телеком-провайдеров, услугами которых мы уже пользуемся – в нашем случае это темное волокно от «Мастертел» и «Телеком Биржи». Однако следует отметить высокую оснащенность площадок в Москве с точки зрения коннективности — найти ЦОД, где бы отсутствовали необходимые нам провайдеры, достаточно сложная задача.

CNews: Как организовано взаимодействие hh.ru и IXcellerate и какие дополнительные сервисы вы приобретаете у ЦОД-провайдера?

Вячеслав Журавлев: Из дополнительных сервисов мы приобретаем только коммутацию до кроссовой комнаты. Для наших админов оформлены постоянные пропуски с возможностью круглосуточного доступа на площадку. Взаимодействие с персоналом дата-центра осуществляется через ticket-систему. SLA на электропитание нашего оборудования составляет пять девяток (99,999%), то есть допустимый простой не превышает 5 минут в год, при этом к настоящему моменту случаев отказа сервисов еще не было.

CNews: Насколько критичной для вас является возможность размещения высоконагруженных стоек?

Вячеслав Журавлев: Действительно, некоторые провайдеры заявляют, что готовы размещать нагрузки до 30 кВт в стойку, однако проверять на практике подобную возможность не приходилось. В настоящий момент наши потребности в высоконагруженных стойках снизились ввиду ухода от blade-систем и миграции на обычные rack-системы, благодаря чему у нас меньше проблем с распределением серверов в стойках и появилась возможность арендовать менее нагруженные стойко-места. На данный момент наша среднедневная нагрузка составляет 5-6 кВт на стойку, при этом максимум, зафиксированный в нашем договоре, это 11 кВт.

CNews: Почему вы решили отказаться от blade-серверов и перейти на менее производительные системы?

Вячеслав Журавлев: Мы перешли на более простые серверы из-за невозможности «рулить» питанием — в случае с blade-cистемами оказывалось невозможным выделить несколько серверов и перенести их в другую стойку. Кроме того, нам также хотелось избежать зависимости от вендоров (vendor-lock), так как при использовании blade существует привязка к компонентам корзины, куда выносятся общие для всех blade-cерверов компоненты (шасси, модуль управления, блоки питания, сетевые контроллеры). В третьих, blade-серверы это сами по себе более сложные системы и, как следствие, в таких решениях гораздо больше «детских» болезней, и если в случае выхода из строя обычного сервера, вы теряете только его, то при сбое blade-системы ИТ-инфраструктура теряет сразу 10-20 серверов, что гораздо чувствительнее для бизнеса.

CNews: Согласны ли вы с тем, что операторы ЦОД не успевают за серверными технологиями, и при использовании современных систем можно перегрузить стойку так, что не хватит питания?

Вячеслав Журавлев: В среднем на сегодняшний день серверы имеют энергопотребление в 500-600 Вт, если полностью «забить» ими стойку в 42 юнита, то, скорее всего, вам не хватит питания. Кроме того, на рынке сейчас популярны серверы с видеокартами для разного рода вычислений (и речь не только про майнинг), которые потребляют еще больше энергии (более 1 кВт на один сервер). При этом операторы ЦОД-ов являются заложниками капитальных затрат, и если дата-центр не заполняется клиентским оборудованием до момента появления нового поколения серверов, то это может стать проблемой. Например, насколько мне известно, новые дата-центры IXcellerate планировались исходя из максимальной нагрузки 15-20 кВт на стойку, в то время как на старых площадках этот показатель составлял 5-10 кВт.

CNews: Данные это самый ценный актив, которые имеется в распоряжении hh.ru. Расскажите, каким образом вы контролируете безопасность данных, развернутых в ЦОД?

Вячеслав Журавлев: Во-первых, еще до переезда в ЦОД мы приезжаем на площадку, чтобы посмотреть и «пощупать руками», как организовано функционирование с точки зрения защиты. Кроме того, уже после размещения нашего оборудования, мы регулярно проверяем, как работают регламенты безопасности на самом деле.

CNews: Какие проблемы возникали у вас при размещениях в коммерческих ЦОД?

Вячеслав Журавлев: Никаких существенных инцидентов не было, максимум, с чем приходилось сталкиваться, — это проблемы с оформлением документации на ввоз-вывоз оборудования, которые оперативно решались.

Наш подход заключается в том, что оборудование нужно приобретать в собственность, а не брать в аренду

CNews: Каковы планы hh.ru по развитию инфраструктурной платформы?

Вячеслав Журавлев: На данный момент у нас есть резерв на площадке IXcellerate, который мы сможем вводить в строй по мере необходимости, что закроет потребности в расширении нашего бизнеса на ближайший год. В дальнейшем, в горизонте 2-3 лет, нам потребуются новые емкости. С учетом того, что IXcellerate планирует запускать новые мощности, мы будем рады разместиться в одной из новых площадок на северном или южном кампусе, если будет такая возможность.

CNews: Расширение требует закупок ИТ-оборудования, с ввозом которого в последнее время возникли сложности из-за санкций. Как hh.ru планирует решать эту проблему?

Вячеслав Журавлев: Наш подход заключается в том, что оборудование нужно приобретать в собственность, а не брать в аренду. На конец июня 2022 г., поставщики, услугами которых мы пользуемся, уже нашли варианты для ввоза железа. Мы никогда не приобретали серверы топовых иностранных производителей, поэтому альтернативные поставщики для наших потребностей были найдены достаточно быстро. Были некоторые замедления сроков поставок, однако они решаемы.

CNews: Спасибо.