Rambler's Top100
Статьи ИКС № 07-08 2016
Андрей ПАВЛОВ  Артур ОВАКИМЯН  06 сентября 2016

Затраты на эксплуатацию ЦОДа. Прогноз на 5–10 лет

Прогнозируя расходы на эксплуатацию ЦОДа, нельзя забывать о плановом ремонте инженерного оборудования.

Андрей ПАВЛОВ, генеральный директор, «ДатаДом» Артур ОВАКИМЯН, руководитель отдела сервиса, «ДатаДом» 

Известно, что средний срок жизни ЦОДа составляет порядка 10 лет, хотя за рубежом успешно функционирует множество ЦОДов-старожилов возрастом больше 15 лет. Многие крупные коммерческие дата-центры в России начали строиться в 2007–2009 гг., и можно ожидать, что в ближайшие несколько лет из-за физического износа оборудования структура их расходов на эксплуатацию существенно изменится.

Традиционно расчет стоимости эксплуатации заказчик запрашивает у поставщиков оборудования. В ответ он в лучшем случае получает стоимость периодического технического обслуживания и расходных материалов к нему. Эта цифра, в свою очередь, ложится в основу расчета совокупной стоимости владения ЦОДа в части операционных расходов. Но это не единственные расходы, которые понесет заказчик при длительной эксплуатации дата-центра. В финансовых моделях эксплуатации ЦОДа зачастую не учитывается целый ряд дополнительных затрат на проведение работ по ремонту инженерного оборудования.

Вероятные сроки ремонта/замены и стоимость
 компонентов инженерной инфраструктуры

Наименование узла

Периодичность ремонта/замены, лет

Стоимость ремонта/замены*

Система бесперебойного энергоснабжения

Аккумуляторные батареи

5–10

25–35% стоимости сис­темы ИБП (10 мин резерва)

Электролитические конденсаторы

5–10

15–18% стоимости системы ИБП

Пленочные конденсаторы

8–12

12–14% стоимости ИБП

Вентиляторы охлаждения

5–10

2–3% стоимости ИБП

Система гарантированного энергоснабжения

Шланги подогревателей и топливные

2–3

<0,1 стоимости ДГУ

Приводные ремни

3–5

<0,1 стоимости ДГУ

Аккумуляторные батареи

3–4

0,15–0,25% стоимости ДГУ

Зарядное устройство аккумуляторных батарей

3–4

0,2–0,4% стоимости ДГУ

Ролик натяжителя ремней

3–5

0,3–0,5% стоимости ДГУ

Блок управления мотора

5–6

1–2% стоимости ДГУ

Блок управления АВР

5–8

0,2–0,4% стоимости ДГУ

Демпфер крутильных колебаний

8–10

0,5–1,5% стоимости ДГУ

Контроллер панели управления

5–8

1–2% стоимости ДГУ

Водяная помпа охлаждающей жидкости

3–8

0,2–0,5% стоимости ДГУ

Система кондиционирования и вентиляции

Компрессор прецизионного кондиционера

8–10

15–25% стоимости прецизионного кондиционера

Вентиляторы конденсаторов

4–5

3–6% стоимости конденсаторного блока

Вентиляторы во внутреннем блоке кондиционера

8–10

10–15% стоимости прецизионного кондиционера

Механическое реле давления

4–5

1–2% стоимости преци­зионного кондиционера

Теплообменник конденсаторного блока (при частой или неправильной мойке/орошении конденсатора)

5–7

30–50% стоимости конденсаторного блока

Приводы воздушных клапанов

5–10

1,5–3% стоимости прецизионного кондиционера

Капиллярные трубки тепло­обменника

7–10

3–5% стоимости конденсаторного блока

Холодоноситель на основе этилен- или пропиленгликоля

4–6

Зависит от объема контура холодоснабжения

Уплотнители трубопроводной запорной и регулирующей арматуры

5–10

0,2-0,7% стоимости системы

Система газового пожаротушения, СКУД, система видеонаблюдения, охранная сигнализация

Поверка баллонов газового пожаротушения

10

Зависит от производителя

Тепловые и дымовые датчики

6–10

5–10% стоимости системы

Замена баллонов порошкового, аэрозольного пожаротушения

5–10

30–50% стоимости системы

Доводчики, замки

5–7

2–5% стоимости системы

Датчики СКУД

10

6–9% стоимости системы

Аккумуляторные батареи

3–4

2–3% стоимости системы

Мониторинг

 

 

Калибровка датчиков

4–6

Зависит от производителя

*При оценке удельной стоимости ремонта инженерного оборудования рассматривалась стоимость запасных частей для нескольких ЦОДов мощностью от 300 до 1500 кВт.

 
Естественно, предусмотреть гибель оборудования в результате пожара, удара молнии, скачка напряжения или человеческого фактора невозможно. Такие расходы можно лишь заложить в резервный фонд. Размер резерва определяется эмпирически, с учетом накопленного опыта, своего или стороннего, возможных рисков и т.д.

Однако существует и такая статья расходов, как плановые ремонты, которые предусмотреть и оценить существенно проще. Частично информацию о них можно найти в инструкциях по эксплуатации конкретного оборудования либо в менее доступной документации производителя для сервисных организаций. Плановые ремонты предусматривают замену деталей и узлов оборудования, которые с высокой долей вероятности выйдут из строя спустя определенное количество отработанных часов. В основном это движущиеся механические трущиеся узлы, изделия из пластмасс и резины, теряющие со временем свои свойства, и реже компоненты электронных схем. Собственно, это мало отличается от знакомого всем ремонта автомобиля.

Узлы, находящиеся в зоне повышенного риска выхода из строя, можно разделить на две большие группы – механические и электрические.

Механические узлы

Подшипники. Являются одним из лидеров плановых ремонтов. Они используются почти во всем перечне инженерного оборудования, начиная от вентиляторов кондиционеров и вентиляционных установок, компрессоров в холодильных контурах и заканчивая движущимися частями дизель-генераторных установок. Однако нужно понимать, что если в ДГУ нагрузка на данный узел в долгосрочном периоде незначительна, то в кондиционерах подшипники работают практически непрерывно. Также на срок жизни влияет и запас прочности, заложенный при выборе подшипников производителем оборудования. Если на крупных вентиляционных установках традиционно используются подшипники с ресурсом порядка 30 тыс. ч (около трех лет), то на прецизионных кондиционерах могут быть установлены подшипники с ресурсом в 1,5 раза больше.

Виброизоляторы. Для того чтобы вибрация от движущихся узлов инженерного оборудования не передавалась к корпусу оборудования и зданию, часто используются разнообразные демпферные вставки. На них приходится существенная нагрузка, от которой они со временем разрушаются. Яркий пример такого узла – виброопоры вентиляторов в вентиляционных установках. Неграмотное проектирование и монтаж воздуховодов, вентиляторов и виброизоляторов, а также вибрация соседних узлов и механизмов приводят к повышению нагрузки на эти узлы и их преждевременному выходу из строя.

Вентиляторы. Вентиляторы в штатном режиме работы не должны испытывать предельных нагрузок, приводящих к их преждевременному износу. Но, как и в случае с виброизоляторами, ошибки в проектировании конфигурации системы воздухораспределения, например заужение воздуховодов или подфальшпольного пространства, неправильный подбор виброизоляторов, вентиляторов, воздухораспределительных устройств, режимы работы на повышенных или слишком заниженных оборотах, создают дополнительную нагрузку на вентиляторы в осевом и радиальном направлениях, что приводит к разбалансировке вентиляторов, деформации и появлению трещин, вплоть до полного разрушения.

Капиллярные трубки теплообменников и теплообменники. По сути данные узлы не являются расходными материалами, требующими периодической замены, но на практике во многих вентиляционных установках индивидуального исполнения они выходят из строя вследствие передачи вибраций от работающего компрессора и вентиляторов на остальные части установки. Капиллярные трубки – это наиболее тонкое место соединения массивного теплообменника и компрессора, поэтому на него может приходиться основная часть нагрузки.

Кроме того, теплообменники и фреонопроводы могут преждевременно выходить из строя из-за наличия в системе посторонних предметов – окалины, грязи и т.п., а также в результате коррозии при несоблюдении условий эксплуатации и повышении закальцованности при излишнем орошении теплообменников неподготовленной водой.

Шланги для распределения технологических жидкостей и газов, уплотнители и приводные ремни. Эти компоненты изготавливаются из эластичных материалов на основе резины или пластмассы, что существенно снижает срок их использования в результате механических нагрузок и влияния окружающей среды.

Электрические узлы

Конденсаторы. Со временем внутренние химические реакции, тепло и токи утечки приводят к изменению электрических характеристик и повышают риск сбоев в работе. Более того, в процессе старения снижаются эффективность работы конденсаторов и срок их службы. Плановый ремонт источников бесперебойного питания предполагает замену блока конденсаторов постоянного и переменного тока до момента, когда их состояние может с высокой вероятностью привести к короткому замыканию. Предполагаемый срок замены конденсаторов постоянного и переменного тока – каждые шесть лет (45–50 тыс. ч).

Ухудшение состояния конденсаторов переменного и постоянного тока ведет к следующим рискам:

  • В преобразователе увеличивается количество искажений, передающихся во вспомогательные схемы ИБП, которые влияют на управление качеством питания нагрузки.
  • Изношенные конденсаторы склонны к значительному перегреву под длительной нагрузкой, что влечет за собой внезапный выход из строя и, как следствие, возникновение пожара.
  • Система перестает быть стабильной в случае создания параллельных схем подключения.

Аккумуляторные батареи. В процессе эксплуатации полезная емкость аккумулятора уменьшается. Количество циклов обычно указывается не до полной «смерти» аккумулятора, а до момента потери им 40% своей номинальной емкости. То есть, если производитель указывает 600 циклов при 50%-ном разряде, это значит, что через 600 идеальных циклов (т.е. при температуре 20°С и разряде током одной величины, обычно 0,1С) полезная емкость аккумулятора составит 60% начальной. При такой потере емкости уже рекомендуется аккумулятор заменять. Типовые сроки службы аккумуляторных батарей, которые используются в центрах обработки данных, – пять и 10 лет. На практике пятилетние батареи обычно начинают терять часть своих свойств к четвертому году службы (при соблюдении рекомендуемых параметров эксплуатации). Установив десятилетние батареи, следует рассчитывать, что вероятный срок замены комплекта батарей наступит спустя восемь-девять лет. Причем частично батареи могут начать выходить из строя гораздо раньше, финансирование этого процесса может потребоваться уже на третьем или пятом году эксплуатации дата-центра.

Аккумуляторные батареи в ЦОДе используются не только в источниках бесперебойного питания, но и в источниках аварийного освещения, блоках управления слаботочными системами и в дизель-генераторных установках.

Электрические схемы двигателей насосов и вентиляторов, приводы воздушных клапанов, зарядные устройства и блоки питания, контроллеры и блоки управления. Данные электрические схемы практически не подвержены естественному износу в рамках десятилетнего периода, но строительство – процесс далеко не идеальный, и при наличии огрехов в проектировании и монтаже инженерного оборудования, неправильной центровке валов, перенатяжении соединений и других аналогичных проблемах повышенные механические нагрузки могут отра­зиться и на электрических процессах в обмотках электродвигателей. Это может влиять как на изменение температурных характеристик работы оборудования, так и на цепи его электроснабжения и управления, вызывая преждевременный выход из строя.

Электрические контакты. Как известно, электрика – наука о контактах. Все места механических соединений электрических цепей подвержены раннему износу. И скорость выхода из строя напрямую зависит от частоты использования узлов и участков коммутации. Например, сетевые патч-корды подвержены переломам в местах сгиба и разрушению коннекторов. Поэтому, если предполагается, что оборудование будет активно перекоммутироваться, то в бюджет эксплуатации следует закладывать замену контактов с периодичностью, зависящей от качества компонентов исходной системы.

Вероятная периодичность ремонта

Не все перечисленные узлы повреждаются в ходе естественного износа, но при длительном сроке эксплуатации дата-центра вероятность их выхода из строя существенно повышается (см. таблицу).

Приведенные в таблице данные – эмпирические. Они отражают опыт, накопленный нами и нашими коллегами по цеху при эксплуатации ЦОДов. Данные не претендуют на полноту, а лишь являются ориентиром для оценки стоимости обслуживания инженерных систем дата-центров.  

_______________________________________________________________

*Эти слова основателя компании Apple Стива Джобса размещены при входе в ЦОД «Южный порт».  

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

Продолжение использования сайта пользователем интерпретируется как согласие на обработку фрагментов персональных данных (таких, как cookies) для целей корректной работы сайта.

Согласен