Когда ЦОДы становятся большими

– В мировой практике четко прослеживается тенденция повышения энергоэффективности применяемых решений и надежности источников бесперебойного и гарантированного электропитания, минимизации воздействия на окружающую среду. Вместе с тем, по мере того как онлайн-сервисы делаются неотъемлемой частью нашей жизни, ЦОДы становятся все более коммодитизированными. Проектирование и строительство ЦОДов превратилось во что-то вроде конвейера, когда многим специалистам – как проектировщикам, так и заказчикам – самым простым выходом представляется масштабирование ранее апробированных решений: то, что хорошо работает в ЦОДе на 1 МВт, пытаются применить для площадок на 10, 20 МВт и т.д. Такой подход содержит много рисков.

– За последние два года в России сразу несколько компаний начали проектировать и строить ЦОДы на тысячу и более стоек с планами масштабирования в два-три раза. ЦОД на 1 000 стоек – это инфраструктура СБГП примерно на 15 МВт.

Все большие статические ИБП, например на 1500 кВт, – это в явном или неявном виде сборные конструкции из нескольких источников меньшей мощности, поскольку их элементная база (IGBT-транзисторы) не позволяет создавать технически надежные и экономически оправданные ИБП единичной мощности свыше 600 кВт. За счет эффекта масштаба производства самый популярный «строительный блок» – это модуль ИБП на 250 кВт. Если вы видите статический ИБП на 1500 кВт, то это с большой долей вероятности комбинация 6 × 250 кВт. По этой причине решение на статических ИБП представляет собой большие массивы параллельно включенных типовых модулей по 150–600 кВт. Для экономии площади помещений, необходимой для размещения АКБ, все чаще рекомендуют использовать литий-ионные батареи.

Такой подход имеет свои недостатки: любое параллельное включение снижает надежность всей системы в целом, большое число установок требует дополнительных устройств коммутации и соединительных линий, а использование литий-ионных батарей увеличивает капитальные затраты и несет риски возможных пожаров. Предполагается, что недостаток статических ИБП, связанный с относительно низким показателем наработки на отказ (MTBF), компенсируется малым временем на их ремонт (MTTR) за счет возможности быстрой и «горячей» замены модулей ИБП. Но это спорное утверждение. Чем больше задействовано модулей, тем выше вероятность отказа и, что более важно, риск потери нагрузки в общей системе. 

Альтернативным подходом в строительстве СБГП мега- и гиперЦОДов является применение моноблочных динамических ИБП (ДИБП) большой единичной мощности. Такие ИБП разделяются на дизель-роторные (ДРИБП), у которых дизельный двигатель подключается механическим образом к вращающемуся элементу конструкции (мотор-генератору, индукционному накопителю или маховику), и на роторные, у которых источники автономии (АКБ или маховик), а также ДГУ подключаются электрическим образом. Самые мощные ДРИБП выпускаются на 2400 кВт (для сети 50 Гц) – их ограничивает доступная мощность дизельных двигателей, тогда как роторные ИБП единичной мощности доступны в исполнении до 3240 кВт (например, модуль Piller UB-V 3240). Источником длительной автономии для столь мощных моноблоков могут быть, например, параллельно включаемые ДГУ или газопоршневые установки. Высокая мощность модулей ДИБП определяет меньшее количество единиц оборудования в системе СБГП, и с этой точки зрения роторные ИБП более привлекательны для применения в энергосистемах крупных ЦОДов.

– Действительно, Piller занимает особую нишу на рынке ИБП, поскольку производит и классическую «статику», и гибриды – «статику» с маховиками, и ДРИБП, и роторные ИБП, которые могут оснащаться как АКБ, так и маховиками. Понятие оптимальности является относительным и определяется требованиями заказчиков, которые наиболее часто обращают внимание на начальную стоимость решения (CAPEX), общую стоимость владения (TCO), надежность, занимаемое пространство, а также гибкость конфигурирования.

Большое преимущество статических ИБП – низкая начальная стоимость. Они могут оптимизировать КПД за счет «умного» отключения избыточных модулей, обладают большой гибкостью конфигурирования, но требуют много места для размещения АКБ, нуждаются в поддержании жесткого температурного режима и имеют срок службы до 15 лет. Более высокие, по сравнению с ДИБП, эксплуатационные затраты обусловлены необходимостью периодически менять АКБ и выполнять дорогостоящий ремонт с заменой силовых конденсаторов.

ДИБП выигрывают у «статики» в плане существенно более низких эксплуатационных затрат – например, в установках Piller замена подшипников требуется в среднем раз в 11–12 лет и выполняется непосредственно на объекте в течение двух рабочих дней. Если говорить о наших системах, то они занимают на 30–50% меньше места (по сравнению с СБГП на базе статических ИБП), обладают более высоким КПД (до 98% в онлайн-режиме) и способны работать при температурах до +50° С. Простая и прочная конструкция, исключающая силовые конденсаторы, обеспечивает очень высокую надежность: срок их службы – 20 лет и более. К недостаткам ДИБП можно отнести их относительно высокую стоимость и меньшую гибкость из-за большой мощности единичных модулей.

Если говорить совсем обобщенно, то решения на «статике» лучше смотрятся по CAPEX, тогда как ДИБП – по TCO. В ЦОДах мощностью 3–5 МВт первая же замена АКБ через 4–8 лет (в зависимости от выбранных батарей и режима эксплуатации) приводит к тому, что по ТСО статические ИБП становятся дороже динамических. В более мощных ЦОДах, 10 МВт и выше, начальная стоимость решений на статических ИБП и ДИБП примерно одинакова, если считать всю инфраструктуру СБГП под ключ. 

– Маховики более надежны, поскольку всегда известно их состояние. Они либо работают, либо нет, в отличие от АКБ, элементы которых могут отказать буквально на следующий день после успешного прохождения батарейных тестов. Времени автономии маховика 15–30 с достаточно, чтобы «переживать» кратковременные (1–5 с) пропадания внешней сети без пуска ДГУ, а также иметь запас времени на старт дизеля с третьей попытки и обеспечить гарантированный перенос на него мощности с маховика.

Если ЦОД оснащен современным ДГУ, то нет большой разницы, на какое время автономии выбираются АКБ – на 5 или 10 мин. Свернуть вычислительные процессы на серверах коммерческих ЦОДов за указанное время точно не получится. Фокус внимания при выборе источников автономного электропитания (АКБ или маховик) должен быть перенесен с длительности автономии на надежность таких источников. Чем больше мощность ЦОДа, тем больше элементов ИБП, АКБ, их параллельных цепочек и тем ниже общая надежность.

Применению АКБ нет альтернативы, когда нет возможности применять резервные генераторы либо существуют внутренние требования иметь длительную автономность от АКБ.

– Приведу два примера. В 2016 г. нами был реализован проект ЦОДа Hana Financial Group в Южной Корее общей мощностью 12,7 МВт. Впервые в мире была создана система энергоснабжения на базе конфигурации IP BUS N + 2 c применением ДРИБП и литий-ионных АКБ в качестве источника автономии. Заказчик получил более дешевое в показателях CAPEX и TCO решение, а также сэкономил 35% площади энергоцентра по сравнению с решением на статических ИБП.

Второй проект – российский. В настоящее время компания Selectel создает новые очереди ЦОДов в Москве и Санкт-Петербурге (по 5 МВт), система энергоснабжения которых реализуется на базе гибридных установок CPM300, построенных как классические статические ИБП с двойным преобразованием, но с маховиком вместо АКБ. Выбор заказчика был обусловлен экономией занимаемого пространства – порядка 40%, что позволило разместить энергоцентры в существующих зданиях, возможностью гибко наращивать мощность систем ИБП с шагом 300 кВт, а также более низким TCO.

– В России – скорее нет, чем да. Либо операторы ЦОДов должны использовать модель зеркалирования данных и процессов, имея географически разнесенные объекты, как это делает один известный российский поисковик, либо иметь надежный резервный источник, который может быть альтернативой ДГУ. Мир не застрахован от техногенных аварий. Вспомним блэкауты в энергосистеме России в 2005 г. из-за аварии на Чагинской ПС или в декабре 2010 г. из-за ледяного дождя, когда в некоторых районах электричество отсутствовало до двух недель. В мире, в частности в США и в Германии, высока доля автономной и альтернативной генерации, которая может выступать резервной сетью, чего нельзя пока сказать про Россию.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>