Рубрикатор | ![]() |
![]() |
Статьи | ![]() |
ИКС № 1 2023 | ![]() |
![]() |
Игорь ДЕНИСОВ  | 16 января 2023 |
Критерии выбора ИБП для центров обработки данных
Самый страшный сон для инженера дата-центра – это конец света, только не солнечного, а электрического. Поэтому к выбору ИБП при создании ЦОДа нужно подходить основательно.
![](/data/2023/01/16/1238137173/Денисов-Игорь.jpg)
При отключении основного источника электроэнергии именно ИБП будут поддерживать электропитание критической нагрузки до безопасного завершения рабочих процессов или включения резервной ДГУ. В нормальном режиме работы это оборудование тоже не стоит без дела: оно защищает критическое ИТ-оборудование от негативных факторов, связанных со снижением качества электроэнергии, будь то отклонения от номинала напряжения или частоты, высокочастотные помехи от электромагнитных полей или искажения формы напряжения из-за нелинейных нагрузок.
В этой статье я опишу несколько критериев, которыми руководствуюсь при проектировании систем бесперебойного электроснабжения для дата-центров, а в качестве иллюстрации приведу примеры оборудования тайваньской компании Delta и китайской Kehua Tech. Мой выбор пал на этих вендоров не случайно: во-первых, их продукция доступна на нашем рынке, а во-вторых, в отличие от «российских» производителей, которые в лучшем случае занимаются крупноузловой сборкой ИБП из готовых компонентов, эти компании имеют собственные производства с несколькими площадками и научно-исследовательскими центрами, многолетний опыт и хорошую репутацию.
Аккумулятор или маховик?
По технологии резервирования ИБП делятся на статические и динамические. В статических ИБП функцию аккумулирования энергии выполняют устройства, не имеющие вращающихся частей. Например, аккумуляторные батареи, накапливающие и отдающие электрическую энергию за счет протекающих в них химических реакций, или супеконденсаторы (ионисторы), работающие на энергии электрического заряда.
В динамических ИБП кинетическая энергия накапливается с помощью маховика, постоянно вращающегося на одном валу с обратимой (т.е. в зависимости от режима работы выполняющей роль электродвигателя или генератора) электрической машиной. При отключении основного источника электроснабжения маховик отдает накопленную энергию, преобразуемую электрической машиной в электрическую. Это дает время для запуска дизельного генератора, обеспечивая бесперебойное электроснабжение критической нагрузки. Таким образом, дизель-роторные ИБП (ДРИБП) имеют в своем составе маховик, электрическую машину и ДГУ.
Если исходить из капитальных затрат, то при мощности ЦОДа примерно до 1 МВт динамические ИБП не будут иметь преимуществ перед комплексом статические ИБП + ДГУ. Повышение мощности потребует от статических ИБП большего массива аккумуляторных батарей: их количество будет расти пропорционально мощности, а значит, увеличится и цена. Стоимость ДРИБП в аналогичных условиях тоже будет расти, но не так быстро (рис. 1).
![Зависимость стоимости ИБП от их мощности](/data/2023/01/16/1238137263/ибп1.png)
Рис. 1. Зависимость стоимости ИБП от их мощности
Казалось бы, для крупных ЦОДов ДРИБП намного выгоднее. Однако мы не учли затраты на эксплуатацию: аккумуляторные батареи требуют замены в среднем раз в семь лет, в то время как динамическим ИБП необходимо дорогостоящее периодическое обслуживание – постоянно вращающиеся механические части нуждаются в диагностике, смазке, замене подшипников.
При низком уровне нагрузки в ЦОДе эффективность ДРИБП будет снижаться, потери составят бóльшую часть в сравнении с полезной нагрузкой. В то же время статические ИБП модульного типа могут сохранять высокий КПД при разных уровнях нагрузки за счет программного отключения отдельных силовых модулей.
Еще один важный фактор, говорящий не в пользу динамических ИБП, – они обеспечивают автономную работу от маховика не более чем 30 с. За это время дизель-генератор может не успеть запуститься, поэтому есть риск полного отключения электроснабжения критической нагрузки. Статические ИБП двойного преобразования переходят на работу от батарей мгновенно и дают ДГУ больше времени на запуск (10–20 мин).
И динамические, и статические ИБП довольно капризны и требуют определенных условий для размещения. Для статических ИБП в ЦОДе нужно предусмотреть большие площади под аккумуляторные батареи, а также систему кондиционирования для обеспечения нормативного срока их службы. ДРИБП занимает меньше места (а значит, мы получаем больше площади для полезной ИТ-нагрузки), но для них необходимы приток воздуха, отвод отработанных газов и доступ для обслуживания. Наличие в динамических ИБП системы хранения и подачи топлива также накладывает определенные ограничения.
Существуют решения, объединяющие в себе преимущества как статических, так и динамических ИБП. То есть система бесперебойного электроснабжения работает по принципу статических ИБП с двойным преобразованием, но вместо аккумуляторных батарей используется динамический модуль с постоянно вращающимся маховиком, кинетическая энергия которого преобразуется в электрическую при отключении основного источника электроснабжения. Поэтому не требуются большие площади для размещения аккумуляторных батарей и обеспечивается двойное преобразование по напряжению и частоте. Однако и основные недостатки, связанные с наличием в системе постоянного вращающегося маховика и небольшим временем автономии, сохраняются.
Таким образом, для ЦОДа мощностью менее 1 МВт предпочтительнее статические ИБП. К ним относятся, например, модели KR33 300–1000 кВА, MR33 400–1000 кВА из линейки Kehua Tech, а также Ultron серии DPS 300–1000 кВА и Modulon серии DPH 300–600 кВт из линейки Delta. Системы бесперебойного электроснабжения с кинетическим накопителем энергии мы рассматриваем, как правило, только если в проекте нет необходимых площадей с системой кондиционирования воздуха для аккумуляторных батарей. При этом нужно сравнить капитальные и эксплуатационные затраты нескольких альтернативных вариантов. Обычно производители специализируются на выпуске только статических или только динамических ИБП из-за принципиально различающейся технологии резервирования.
Основные характеристики статических ИБП
Мощность
ИБП делятся на источники малой (до 3 кВА), средней (до 20 кВА) и большой мощности (20–600 кВА и более). Последние применяются для средних и крупных ЦОДов, первые два – для микро- и мини-ЦОДов. При расчете необходимой мощности к максимальной нагрузке ЦОДа обычно добавляют 20–30%. Больший резерв не оправдан из-за бóльших капитальных затрат и меньшей эффективности, а недостаточная мощность ИБП может привести к перегрузке и отключению защищаемой нагрузки. Кроме того, в зависимости от мощности размеры ИБП значительно различаются. На рис. 2 приведены размеры и веса ИБП Kehua Tech KR33 и Delta DPS разной мощности.
![Размеры ИБП Kehua Tech KR33 и Delta DPS различной мощности, мм](/data/2023/01/16/1238137261/ибп2.png)
Рис. 2. Размеры ИБП Kehua Tech KR33 и Delta DPS различной мощности, мм
При выборе ИБП необходимо также учитывать коэффициент мощности нагрузки, т.е. проверять соответствие ИБП как полной (измеряемой в ВА), так и активной (измеряемой в Вт) мощности нагрузки. Например, если активная мощность нагрузки равна 9 кВт при коэффициенте мощности 0,8, то полная мощность нагрузки составит 11,25 кВА. Значит, ИБП на 9 кВт с коэффициентом мощности 0,9 для питания этой нагрузки не подойдет, так как полная мощность ИБП в этом случае равна 10 кВА.
Для определения мощности, потребляемой самим ИБП, обязательно учитываем:
- КПД ИБП;
- необходимость зарядки батарей;
- возможность работы при пониженном входном напряжении (для этого случая необходимо проверить потребляемый ток).
Поскольку ИБП содержит нелинейные полупроводниковые элементы, сопротивление которых зависит от напряжения и тока в их цепи, при подключении его к электрической сети генерируются дополнительные гармонические составляющие тока и напряжения: ток и напряжение на входе ИБП перестают быть строго синусоидальными. Коэффициент мощности PF при этом равен:
![](/data/2023/01/16/1238137171/ибп3.png)
где P – активная мощность, потребляемая ИБП (Вт); S – полная мощность, потребляемая ИБП (ВА); U – действующее значение напряжения на входе ИБП (В); I – действующее значение тока на входе ИБП (А); I1 – действующее значение первой гармоники тока (А); φ1 – угол сдвига фаз между напряжением и первой гармоникой тока.
Таким образом, коэффициент мощности PF меньше единицы и определяется не только значением cos(φ1), но и коэффициентом гармонических искажений тока THD – отношением среднеквадратичного значения всех высших гармоник тока к первой гармонике тока. Поэтому в случаях, когда требуется обеспечить низкий коэффициент THD (не более 3%), ИБП должен иметь схему коррекции коэффициента мощности (PFC) на входе для фильтрации высших гармоник. В технических характеристиках ИБП производители всегда указывают коэффициент мощности PF, а также коэффициент THD.
Топология
ИБП можно разделить на резервные, линейно-интерактивные, с двойным и с дельта-преобразованием. Резервные и линейно-интерактивные ИБП не защищают от всех негативных факторов, связанных со снижением качества электроэнергии основного источника электроснабжения, поэтому для питания критических нагрузок ЦОДа они не применяются и в этой статье рассматривать их не будем.
Подробнее остановлюсь на ИБП с двойным и дельта-преобразованием. Принцип работы ИБП первого типа заключается в двойном преобразовании входного тока: сначала входной переменный ток конвертируется в постоянный с помощью выпрямителя, затем в инверторе снова преобразуется в переменный (рис. 3). При этом батареи всегда подключены к схеме, и в нормальном режиме работы поддерживается их заряд, а при аварии в сети нагрузка без каких-либо переключений получает питание от батарей. Таким образом, время на переключение не затрачивается и обеспечивается непрерывность электроснабжения критических нагрузок. Благодаря чистой синусоидальной форме тока на выходе ИБП (регулируется как напряжение, так и частота) к нему можно подключать чувствительную к качеству электроэнергии нагрузку дата-центров: нагруженные серверы, высокопроизводительные рабочие станции локальных вычислительных сетей. Нагрузка полностью защищена от любых электрических помех внешней электросети, высоковольтных импульсов, колебаний входного напряжения и отклонений частоты.
![Схема ИБП с двойным преобразованием](/data/2023/01/16/1238137169/ибп4.png)
Рис. 3. Схема ИБП с двойным преобразованием
К недостаткам ИБП с двойным преобразованием относятся высокие стоимость (в два-три раза выше, чем стоимость линейно-интерактивных), тепловыделение и уровень шума (из-за наличия вентиляторов, необходимых для отвода тепла). КПД ИБП с двойным преобразованием в онлайн-режиме составляет 80–95%, однако большинство производителей предлагают различные автоматические интеллектуальные режимы работы, помогающие повысить это значение вплоть до 99%.
Например, в моделях ИБП с двойным преобразованием Kehua Tech MR33 для повышения надежности и эффективности реализованы:
- трехуровневая технология преобразования, благодаря которой улучшается качество выходного напряжения;
- цифровое управление инвертором для контроля синхронизации, выравнивания токов в параллельной системе, управления устройством с высокой точностью и скоростью;
- коррекция входного коэффициента мощности, благодаря чему входной коэффициент мощности ИБП превышает 0,99, что значительно увеличивает коэффициент использования электрической энергии, уменьшает нагрузку на энергосистему и позволяет сэкономить на затратах на электроэнергию;
- экорежим для энергосбережения, в котором ИБП при хорошем качестве входной сети работает на байпасе с КПД, достигающим 99%; когда входное напряжение или частота на входе байпаса не удовлетворяют значениям «разрешенного» диапазона, ИБП переключается на инвертор.
В ИБП Delta серии DPH для того, чтобы обеспечить КПД до 96,5 % в онлайн-режиме, а в экономичном режиме – 99%, применяются:
- IGBT-технология (выпрямитель на биполярных транзисторах с изолированным затвором) для обеспечения высококачественного, c низкими помехами, чистого и бесперебойного выходного питания для подключенных нагрузок;
- интеллектуальный экологичный режим работы, который обеспечивает агрегирование мощности всех силовых модулей, позволяя поднять КПД двойного преобразования и уменьшить потери энергии; система автоматически подсчитывает, какой процент текущая нагрузка ИБП составляет от максимально возможной, и на основании этого решает, какие силовые модули включить, а какие оставить в режиме ожидания, чтобы обеспечить максимальный КПД.
ИБП с дельта-преобразованием состоят из двунаправленных инверторов, связанных с общей батареей (рис. 4). При понижении входного напряжения первый из инверторов работает как выпрямитель, а второй – как инвертор. При повышении входного напряжения их роли меняются. Нагрузка связана с сетью через трансформатор с дополнительной обмоткой, на которую подается компенсирующее напряжение от дельта-инвертора, пропорциональное, но противоположное по фазе отклонению входного напряжения. В основном режиме эффективность этих ИБП выше, чем у ИБП двойного преобразования.
![Схема ИБП с дельта-преобразованием](/data/2023/01/16/1238137175/ибп5.png)
Рис. 4. Схема ИБП с дельта-преобразованием
Высокий КПД достигается за счет того, что преобразование электроэнергии происходит только в объеме, необходимом для поддержания заданных параметров напряжения и тока, и переход на работу от батарей переключения не требует. На практике же КПД зачастую снижается из-за недозагрузки ИБП, отклонения параметров входного напряжения от номинальных и нелинейности нагрузки. Так, если при полной нагрузке и высоком качестве входного напряжения КПД ИБП с дельта-преобразованием равен 96%, то при других условиях КПД сравним со значениями у ИБП двойного преобразования.
Из минусов таких систем отмечу более сложную схему, которая увеличивает инерционность системы и влияет на стоимость и надежность оборудования. Наличие связи между нагрузкой и сетью не позволяет полностью защитить оборудование от сетевых помех и отклонений частоты. Появляется необходимость в синхронизации инверторов с сетью, а также нескольких ИБП друг с другом при включении их в параллель.
Таким образом, наиболее надежную защиту критической нагрузки обеспечивают ИБП с двойным преобразованием. Неслучайно именно они чаще всего и используются в ЦОДах. ИБП с дельта-преобразованием менее распространены: представлены лишь у небольшого числа производителей, а их преимущества имеют значение при более высоком качестве электроэнергии основного источника.
Количество фаз на входе и выходе
В зависимости от мощности и параметров конкретной линейки оборудования ИБП имеют различные варианты подключения:
- однофазный вход (один или два входа), однофазный выход (1:1);
- трехфазный вход (один или два входа), однофазный выход (3:1);
- трехфазный вход (один или два входа), трехфазный выход (3:3).
ИБП малой мощности имеют возможность подключения только по схеме «однофазный вход, однофазный выход», большой мощности – по схеме «трехфазный вход, трехфазный выход». Самые гибкие – ИБП средней мощности, их можно подключить любым из трех способов (возможности различных линеек оборудования необходимо уточнять у производителя).
Внимание: при схеме подключения ИБП 3:1 и переключении на байпас вся нагрузка оказывается присоединенной только к одной из фаз питающей линии. При проектировании необходимо соответствующим образом выбирать сечение вводного кабеля и параметры аппарата защиты.
Конструктивное исполнение
ИБП можно разделить на моноблочные и модульные.
Модульные ИБП представляют собой унифицированный шкаф, в котором все основные компоненты сконфигурированы в отдельные модули (силовые, батарейные, модули управления, статического байпаса, распределения) и работают взаимосвязанно, что дает им много преимуществ.
Например, мощность ИБП можно увеличить, установив дополнительные силовые модули. Таким образом, на начальном этапе можно установить минимально необходимое количество модулей, а затем, при росте мощности ЦОДа, силовые модули докупить. На уровне модулей можно реализовать схему резервирования N + 1, при которой выход из строя одного из силовых модулей не окажет влияния на работоспособность всей нагрузки.
Любой из модулей можно установить, демонтировать или заменить силами персонала заказчика без отключения ИБП: на электроснабжение критической нагрузки эти действия не окажут никакого влияния. При этом замена не займет много времени.
Модульными ИБП являются, к примеру, Kehua Tech MR33 и Delta DPH-серии. Однако нужно иметь в виду, что реализация модульности компонентов ИБП может различаться от производителя к производителю. Например, у ИБП Delta DPH-серии каждый силовой модуль включает в себя собственный контроллер, в отличие от ИБП Kehua Tech MR33, где модуль управления общий на весь ИБП. Также для ИБП Delta DPH-серии существуют батарейные модули с функцией «горячей» замены, тогда как для Kehua Tech MR33 таких батарейных модулей нет.
Но если необходимости в наращивании мощности нагрузки в будущем нет, не требуется резервирование на уровне силовых модулей или оно выполнено на уровне ИБП, то вполне достаточным может быть применение моноблочных ИБП. Их стоимость на 20–50% ниже, чем модульных. Кроме того, современные моноблочные ИБП часто имеют модульную компоновку основных элементов. Они расположены в одном корпусе, а замена их возможна только силами сервисного персонала. К таким ИБП относятся, например, Delta НРН-серии, Delta DPS-серии, Kehua Tech MY, Kehua Tech KR33.
Необходимо отметить, что как моноблочные, так и модульные ИБП малой и средней мощности можно разместить в ИT-стойке с помощью комплекта специальных направляющих или установить непосредственно на полу стойки.
Тип поддерживаемых аккумуляторов
Самый распространенный тип аккумуляторов электроэнергии для ИБП – свинцово-кислотные. Технология их производства хорошо изучена, они надежны, выдерживают до 1000 циклов заряда-разряда, имеют небольшой саморазряд, работают в достаточно широком диапазоне температур, у них нет эффекта памяти. Среди недостатков – низкая удельная емкость, следствием чего являются большой вес и размеры. Срок службы также небольшой – в среднем семь лет, он зависит от условий хранения и эксплуатации, количества циклов заряда-разряда, глубины разряда в каждом случае и продолжительности разряженного состояния.
Современные технологии производства свинцово-кислотных батарей – это GEL (электролит имеет структуру геля из-за добавления в него стабилизатора – силикагеля) и AGM (электролит находится в порах специальной стеклоткани, которая расположена между свинцовыми пластинами). Преимущества этих технологий – безопасность в эксплуатации, нечувствительность к положению, низкий саморазряд.
Не все производители ИБП выпускают также и аккумуляторы. У Delta есть свои линейки батарей, широко представленные на рынке: например, к линейке Delta Xpert, разработанной специально для использования в «тяжелых» системах бесперебойного питания ЦОДов относятся и свинцово-кислотные батареи серии HRL-W. Это необслуживаемые АКБ со сроком службы 12 лет, произведенные по AGM-технологии с системой рекомбинации газов (VRLA). Они обладают повышенной токоотдачей благодаря использованию при производстве более толстых электродов, а также высокотехнологичных составов с применением структурных агентов в активной массе.
В последнее время для ЦОДов стали использовать литий-ионные АКБ. Сейчас их стоимость на 20–30% выше, чем свинцово-кислотных, но у них есть ряд неоспоримых преимуществ. Литий-ионные аккумуляторы имеют бόльшую удельную емкость, занимают на 40–60% меньше площади, их вес ниже на 60–70%. Они отличаются меньшим саморазрядом и быстрее заряжаются, а срок их службы достигает 10 и более лет. Таким образом, совокупная стоимость владения за 10 лет эксплуатации получается ниже, чем у свинцово-кислотных.
У Kehua Tech есть линейка ИБП KR-RM Li со встроенными литий-ионными аккумуляторами, а также литий-ионная аккумуляторная система S³ Smart Backup System в формате внешних батарейных шкафов, которая имеет модульную параллельную конструкцию – безопасную, технологичную и простую в использовании. Тип литий-ионных аккумуляторов – LFP. У Delta также есть батарейные шкафы серии UDL с литий-ионными аккумуляторами по технологии LFP.
Таблица. Сравнение характеристик свинцово-кислотных и литий-ионных батарей
Характеристики | Литий-ионные АКБ | Свинцово-кислотные АКБ |
Энергетическая плотность, кВт·ч/кг | 70–260 | 15–50 |
Срок службы, лет | 10–15 | 3–5/6–9 |
Количество циклов заряда/разряда | >3000 | 200–400 |
Время полного заряда, ч | 0,5–1 | 6–12 |
Система мониторинга | Поставляются с системой мониторинга | Чаще всего используются без системы мониторинга |
Работа при температурах выше 25°С | Способны работать до 40°С | Срок службы уменьшается |
Другие типы аккумуляторов для ИБП центров обработки данных не имеют широкого распространения. У никель-кадмиевых батарей, например, есть эффект памяти, из-за чего они неприменимы для работы с ИБП в режиме кратковременных неполных разрядов. Никель-металлогидридные АКБ имеют высокий уровень саморазряда, небольшую нагрузочную способность, малое количество циклов перезарядки.
Там, где неприменимы традиционные аккумуляторы (например, нет возможности обеспечить помещения системой кондиционирования для поддержания требуемого свинцово-кислотным или литий-ионным АКБ температурного режима), для электроснабжения критической нагрузки на время до 60 с, необходимое для запуска резервного генератора, можно использовать суперконденсаторы (ионисторы) – электрохимические конденсаторы, отличающиеся от традиционных значительно большей емкостью, удельной мощностью и более низкими токами потерь.
Главный параметр, определяющий емкость конденсатора – активная площадь электродов. В традиционных конденсаторах электроды выполнены из металлических лент, свернутых в цилиндр или скругленный параллелепипед, т.е. увеличение активной площади электрода влечет за собой рост размеров конденсатора. В суперконденсаторах применяются электроды из многостенных углеродных нанотрубок, благодаря чему активная площадь электродов увеличивается до 2000 кв. м на 1 г электрода. Кроме этого, к их преимуществам можно отнести:
отсутствие необходимости технического обслуживания;
- расчетный срок службы до 20 лет;
- диапазон рабочих температур от -40°С до + 65°С;
- высокую надежность;
- ненужность специальной системы охлаждения, так как при эксплуатации тепло почти не выделяется;
- возможность масштабирования для адаптации к любой мощности и времени автономии;
- малое время зарядки: около 1–2 мин от полностью разряженного состояния;
- малую временную деградацию: суперконденсаторы рассчитаны на 1 млн циклов;
- КПД до 95%;
- малую токсичность материалов, отсутствие движущихся частей и химических реакций.
Суперконденсаторы можно применять, например, вместо динамических ИБП, имеющих сравнимое с ними время резервирования и также не требующих кондиционирования воздуха. При этом необходимо рассчитать капитальные и эксплуатационные затраты при проработке сравниваемых вариантов.
На данный момент не наработан достаточный опыт использования ИБП с суперконденсаторами в качестве аккумуляторов электроэнергии, да и предложение на рынке невелико.
Время автономной работы
Требуемое время автономной работы ИБП в ЦОДе обычно составляет 10–20 мин. Этого вполне достаточно, чтобы запустить резервный источник электроснабжения (ДГУ) или безопасно завершить работу и выключить критическое оборудование. Для того чтобы обеспечить необходимое время автономии, нужно выбирать количество и емкость аккумуляторов в зависимости от величины защищаемой нагрузки.
Однако следует также учитывать, что после отключения сетевого питания и разрядки батарей их необходимо заряжать. Время зарядки тоже немаловажный фактор, особенно в случае большого времени автономии (6–12 ч) при небольшой нагрузке (до 10 кВА). В этом случае для сокращения времени зарядки большѝх массивов аккумуляторных батарей требуется выбирать ИБП на бόльшую мощность с более мощным зарядным устройством.
* * *
Естественно, я перечислил далеко не все характеристики, которые стоит принять во внимание при выборе ИБП для ЦОДа. Как минимум еще нужно учесть диапазон входного напряжения, наличие встроенного трансформатора и диспетчеризации, возможность параллельной работы, типы входных и выходных разъемов, перегрузочную способность, массу и габариты оборудования.
Игорь Денисов, руководитель группы проектирования систем электроснабжения, STEP
LOGIC
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!