ООО "Тренд Инжиниринг" в цифрах за 2012-2016 гг. (5 лет):

Установлено климатического оборудования:
Общая мощность: более 10,0 МВт
Кол-во единиц: более 300,0 шт
Средняя мощность на ед.: 35,0 кВт


Установлено энергетического оборудования:
Общая мощность: более 7,00 МВт
Кол-во единиц: более 200,0 шт
Средняя мощность на ед.: 43,0 кВт


Выполненные ремонты, ТО (за год), монтаж, ПНР, диагностика ИБП и ДГУ:
Общая мощность: более 55,0 МВт
Кол-во единиц: более 800,0 шт
Средняя мощность на ед.: 85,00 кВт


Выполненные ремонты, ТО (за год), монтаж, ПНР, диагностика климатического оборудования:
Общая мощность: более 10,0 МВт
Кол-во единиц: более 200,0 шт
Средняя мощность на ед.: 47,00 кВт

Сервисное обслуживание ЦОД. Часть II. Способы обслуживания инженерной инфраструктуры ЦОД

Продолжаем цикл статей Сервисное обслуживание ЦОД.

сервис кондиционеров Инженерная инфраструктура ЦОД требует проведения сервисного обслуживания. В случае, когда сервисное обслуживание осуществляется путем аутсорсинга, составляется SLA. Можно выделить следующие типы SLA для инженерных систем ЦОД:

  • Критичный SLA: время реакции 24×7 (24 часа 7 дней в неделю); жестко регламентировано время прибытия обслуживающего персонала и время восстановления работоспособности обслуживаемого оборудования; ЗИП, необходимый для ремонта оборудования, включен в договор. Данный тип SLA применяется для крупных ЦОДов (с числом стоек от 60 и выше), где в результате останова даже на 1-2 часа ЦОД будет нести крупные финансовые убытки и репутационные потери.
  • Некритичный SLA: сервисные услуги предоставляются только в рабочие дни и в рабочее время (режим 5×8). При возникновении неисправности прибытие инженера предполагается на следующий рабочий день. ЗИП не включается в договор, а при необходимости оплата ЗИПа производится отдельно. Данный тип SLA применяется для слаботочных систем и некоторых единиц основного инженерного оборудования.

Задачи сервисного обслуживания инженерной инфраструктуры среднестатистического ЦОДа

Обслуживаемая система Сервисные задачи
Система бесперебойного снабжения электроэнергией (ДГУ, ИБП) Время реакции на аварию не более четырех часов в режиме 24 х 7
Система кондиционирования Достижение отказоустойчивости (длительность простоя ЦОДа не более 20 мин в год)
Система автоматического газового пожаротушения Восстановление работоспособности обслуживаемого оборудования производится не более чем за четыре часа
Система контроля и управления доступом и система видеонаблюдения Замена вышедшего из строя ЗИП
Система кабелей связи и коммутационного оборудования Регламентное ежемесячное обслуживание подсистем
Выделенная электросеть Создание, поддержание в требуемом состоянии комплекта документов, описывающих обслуживаемую подсистему
Система мониторинга окружающей среды и параметров, описывающих расходование электроэнергии серверными помещениями Наличие «горячей» линии в режиме 24 х 7
Система фальшпола серверного помещения Обеспечение доступа к системе регистрации запросов
Серверное помещение Работы от замены лампочки до настройки систем мониторинга
Вспомогательные работы Гарантия доступности любых требуемых ресурсов в любое время
Заправка ДГУ топливом Проведение экспертизы эффективности инженерных систем


Существует понятие «процент гарантированной доступности инженерной инфраструктуры ЦОД в год». Есть случаи, когда требуемая гарантированная доступность сервисов ЦОД в год составляет 99,95 %. Это требование обусловлено размером ущерба от приостановки предоставления ЦОДом сервисов. В этом случае необходимо создание 2-х дежурных смен, одну из них – непосредственно на объекте, вторую – состоящую из инженеров, готовых прибыть на объект не позднее чем через час. В обязанность дежурной смены, находящейся непосредственно на объекте, входит:

  • по показаниям систем мониторинга следить за состоянием ЦОД и состоянием окружающей среды;
  • осуществлять обход и осмотр всей обслуживаемой инженерной инфраструктуры ЦОД один раз в два часа;
  • при возникновении отказа оборудования не позже чем через пять минут проверить выполнение автоматического ввода резерва или произвести ввод в работу резервного оборудования вручную;
  • не позже чем через 30 минут с момента регистрации аварии инженерного оборудования ЦОДа выявить устройство, в котором произошел сбой, и причину отказа и при необходимости вызвать вторую дежурную смену;
  • записать все свои действия и состояние оборудования в реальном времени.



В этом случае ЗИП закупается под проект, и регулярно осуществляется регламентное обслуживание оборудования.

Уровень сервисных услуг по обслуживанию инженерной инфраструктуры ЦОД может быть различным. При невысокой критичности простоя или наличии резервирования элементов инфраструктуры (N + 1, 2(N + 1)), сервисные организации могут привлекаться для проведения регламентных работ или после выхода оборудования из строя.

Если же критичность простоя высока, то сервисное обслуживание инженерной инфраструктуры ЦОД должно проводиться постоянно высококвалифицированными специалистами, имеющими опыт эксплуатации таких объектов.

Обслуживание инженерных систем ЦОД может производиться двумя способами.

Первый способ – возложить обслуживание инженерных систем на аутсорсинг специализированной компании, предоставляющей сервисные услуги.

Требования, которым должен соответствовать аутсорсер:

  • аутсорсер должен обеспечивать конфиденциальность информации;
  • услуги должны предоставляться строго в соответствии с SLA;
  • услуги должны оказываться комплексно; желательно использование аутсорсером собственных ресурсов, т.к. в этом случае сокращается путь прохождения заявки и, соответственно, снижается время реакции.

Второй способ – обслуживание инженерной инфраструктуры ЦОДа силами собственной службы эксплуатации.

Рассмотрим особенности обоих вариантов обслуживания ЦОДа.

Собственная служба эксплуатации Аутсорсинг
Знание инженерами собственной службы эксплуатации всех недостатков своего оборудования, всех особенностей построения и функционирования, т.к. зачастую люди, строившие ЦОД, участвуют в его эксплуатации Высококвалифицированные специалисты име- ют большой опыт подобных работ на разных объектах - ЦОДах
Дополнительные расходы на содержание инженеров, не занятых на 100% Снижаются расходы на содержание собственного персонала
Расходы на переквалификацию, сертификацию и пр. Отсутствуют расходы на обучение, сертификацию специалистов
Наличие дежурной смены Наличие дежурной смены, но стоимость дежурной смены выше, чем стоимость собственной дежурной смены
Постоянное присутствие специалистов на рабочем месте гарантирует высочайшую скорость реакции на возникающие проблемы Стоимость сервисных контрактов с минимальным временем реакции может быть очень большой
Увеличиваются затраты на содержание офиса Уменьшаются затраты на содержание офиса и другие накладные расходы


Сравним расходы на создание собственной службы эксплуатации ЦОД и расходы на услуги аутсорсинга.

Рассмотрим оба варианта обслуживания инженерной инфраструктуры для малых ЦОДов (20 стоек). Если критичность простоя ЦОД высока, то требуется высокий уровень надежности и безотказности работы оборудования. В этом случае необходимо регулярное сервисное обслуживание, обязательно наличие круглосуточной дежурной смены. При данных условиях основные расходы будут складываться из оплаты труда службы эксплуатации и затрат на оплату услуг специализированных подрядных организаций. При этом оплачивать работу дежурных инженеров будет или заказчик (собственник ЦОД), или сервисная компания, обслуживающая ЦОД.

Работы, которые не может выполнить собственная служба эксплуатации ЦОДа из-за отсутствия необходимых знаний или сертификатов, выполняют специализированные сервисные организации. Например, для осуществления сервисных работ по кондиционерам или ИБП необходимы сервисные пароли, которые обычно не предоставляются производителем оборудования конечному потребителю. Работы по системе ДГУ, которые выполняются специализированной сервисной компанией, - замена масла, фильтров, проверка работы генератора, стартера, натяжения приводного ремня.

Опыт показывает, что стоимость обслуживания ЦОДа на 10-20 стоек без учета расходов на обучение, сертификацию сотрудников и закупку инструментов может достигать 3 млн. руб. в год. Передача обслуживания ЦОДа на аутсорсинг в данном случае стоит от 2,8 млн. руб и выше.

Рассмотрим небольшие и средние ЦОДы на 100 стоек. К данному виду относятся ЦОДы больших страховых, финансовых, телекоммуникационных компаний, коммерческие ЦОДы. В данном случае в службу эксплуатации помимо дежурной смены должны входить главный инженер, инженер связи, электрик, инженер по холодильному оборудованию. Наличие вышеуказанных специалистов необходимо для обеспечения надежности и безотказности работы оборудования.

Обязанности главного инженера включают в себя модернизацию инженерных систем, составление инструкций, работу с подрядными организациями. Электрик необходим для подключения к питанию электроэнергией клиентских стоек, для произведения контрольных запусков ДГУ, распределения нагрузки по фазам, наладки освещения, автоматики. Между тем, электрик, инженер по холодильному оборудованию загружены только на 40%. Поэтому возложение задач обслуживания ЦОДа на специализированные сервисные организации (на аутсорсинг) – экономически выгодно. При аутсорсинге время реакции на аварии может снизиться, т.к. если авария произойдет в выходной день, то специалисты сервисной компании вероятнее cмогут быстрее добраться до объекта, чем инженер собственной службы эксплуатации ЦОДа.

В случае наличия собственной службы эксплуатации для ЦОДов на 100 стоек расходы включают в себя: затраты на содержание службы эксплуатации, затраты на услуги подрядных организаций, затраты на обучение, сертификацию специалистов, на закупку инструментов. Стоимость обслуживания ЦОДа вместимостью не более 100 стоек составит примерно 9 млн. руб. В случае передачи обслуживания инженерной инфраструктуры ЦОДа на 100 стоек на аутсорсинг стоимость обслуживания составит 6 – 6,5 млн. руб. Таким образом, экономия от применения аутсорсинга составит не менее 25%.

Рассмотрим крупные ЦОДы вместимостью более 200 стоек. Когда количество стоек ЦОДа более 200, затраты на эксплуатацию размываются, вследствие этого увеличение обслуживающего персонала не так сильно влияет на общую стоимость обслуживания одной стойки. Для ЦОДа вместимостью более 200 стоек общие затраты на собственную службу эксплуатации составляют около 20 млн. руб. в год, в то время как передача обслуживания ЦОДа на аутсорсинг стоит около 17 млн. руб. При этом расходы на электричество ЦОДа мощностью 5000 кВт могут достигнуть 100 млн. руб. Таким образом, хотя в случае аутсорсинга существует экономия примерно в 3 млн. руб, но по сравнению с общими тратами ЦОДа это уже не так важно. Однако передача обслуживания на аутсорсинг может быть более выгодной вследствие следующих факторов: высококвалифицированные специалисты сервисной компании, надежность, минимизация рисков.

Последовательность действий для оптимизации процесса эксплуатации и снижения времени реакции на проблемы, возникающие в ЦОД:

Первый способ – это формирование центра обработки вызовов. В этот центр направляются сигналы с информацией о любых неисправностях или проблемах от дежурных инженеров, клиентов, оборудование которых находится в ЦОД. Происходит обработка этих сигналов и занесение их в общую системную базу сообщений о неисправностях. В эту же базу вносятся все контактные данные специалистов, задействованных в устранении неисправности. После введения всех данных запрос направляется инженеру, отвечающему за выполнение задач данного типа. Инженер оповещает всех остальных о возникающих проблемах через систему сообщений о неисправностях. После окончания ремонтных работ в базе делается соответствующая запись, все отчеты о работе направляются в архив. Открыв архив, можно изучить весь процесс от обнаружения неисправности до ее устранения. Для осуществления данной схемы необходимо наличие круглосуточной дежурной смены инженеров, находящейся в операторском помещении и отслеживающей данные мониторинга всех систем. Помимо этого, необходимо несколько высококвалифицированных специалистов для устранения неисправностей.

Второй способ – разделение технической поддержки на несколько уровней. Сотрудники первого уровня способны самостоятельно ликвидировать проблемы, относящиеся к их компетенции. Если возникающие проблемы выходят за рамки первого уровня, то задача направляется на второй уровень – более квалифицированным специалистам. В случае необходимости привлекаются сотрудники сервисных компаний, с которыми заключены контракты на обслуживание оборудования.

Существенным вопросом при обслуживании инженерной инфраструктуры ЦОД является формирование склада расходных материалов и запасных частей (ЗИП).

Расходные материалы – это детали инженерного оборудования, которые указываются в инструкции по его эксплуатации. Их необходимо периодически менять (например, фильтры в кондиционерах и в очистителях воды, бачки в пароувлажнителях, вентиляторы и конденсаторы в ИБП, моторное масло, фильтра и охлаждающую жидкость в ДГУ). На складе необходимо хранить расходные материалы в количестве, достаточном для замены в оборудовании в течение года.

ЗИП — это запасные части оборудования, которые являются наиболее необходимыми для обеспечения бесперебойной работы инженерного оборудования. Необходимость наличия на складе ЗИП определяется соотношением стоимости простоя ЦОД и стоимости хранения на складе запасных частей, необходимых для устранения неисправности.

Например, вероятность выхода из строя компрессора и контроллера в кондиционере одинакова. Если применяются двухконтурные кондиционеры, то при выходе из строя одного из компрессоров уменьшится надежность системы, но качество работы останется прежним. Следовательно, если мы готовы рисковать и ждать пока компрессор не будет доставлен в течение стандартного срока в один-два месяца, то нет необходимости хранить его в ЗИПе. С другой стороны, выход из строя контроллера приведет к остановке одного из кондиционеров, что недопустимо, если отсутствует резерв системы кондиционирования. Когда стоимость простоя велика, на складе необходимо хранить запасной микроконтроллер, чтобы заменить вышедший из строя контроллер в минимальные сроки.

При построении ЦОД используются различные схемы резервирования с целью сократить время простоя и сократить ущерб в результате простоя. В настоящее время чаще всего применяется схема резервирования N+1. В соответствии с этой схемой, к N рабочим единицам добавляется одна резервная. Выгоднее построить сразу N+1 систему, чем закупать ЗИП. Это обусловлено тем, что применение одной единицы резервного оборудования дешевле, чем закупать оборудование по частям (ЗИП), кроме этого, при применении N+1 системы отсутствуют убытки от простоя. Вообще лучше иметь N+1 систему и ЗИП, или систему N+2.



Сервисное обслуживание ЦОД. Часть I. Типы сервисных контрактов

Сервисное обслуживание ЦОД. Часть III. Типы контрактов на сервисное обслуживание ИБП
Кондиционирование, отопление, 
  вентиляция