Рубрикатор |
Статьи |
Александр БАРСКОВ | 12 декабря 2024 |
Надежность систем ИБП. Что выбирают ЦОДы
Как показало исследование, проведенное совместно «Парус электро» и iKS-Consulting, в российских ЦОДах для ИБП наиболее популярна схема резервирования N + 1, а возможности и вариативность схем резервирования существенно повышаются при использовании модульных ИБП.
Непрерывность функционирования критичных ИТ-сервисов в ЦОДах во многом определяется качественным бесперебойным электропитанием соответствующего ИТ-оборудования. В свою очередь, для надежного, отказоустойчивого функционирования источников бесперебойного питания (ИБП) в ЦОДах прибегают к различным вариантам их резервирования. Чтобы выяснить предпочтения российских компаний при выборе схем (топологий) резервирования, отечественный производитель ИБП компания «Парус электро» и аналитическое агентство iKS-Consulting провели совместное исследование, в ходе которого также были изучены особенности (преимущества) обеспечения отказоустойчивости при использовании модульных ИБП. Результаты исследования были представлены на совместной конференции в апреле 2024 г.
В рамках исследования было опрошено более 40 специалистов предприятий, имеющих собственные ЦОДы и серверные. На вопросы отвечали технические директора, руководители технических подразделений и ведущие эксперты, деятельность которых связана с построением и эксплуатацией систем бесперебойного питания.
Большинство участников исследования (примерно 80%) эксплуатируют комплексы ИБП общей мощностью 100 кВт и выше. На объектах 15% респондентов установлены системы бесперебойного питания общей мощностью более 10 МВт.
Подавляющее большинство респондентов эксплуатируют статические ИБП (рис. 1). Как показывает анализ данных исследования, примерно половина используют и моноблочные, и модульные устройства. Только 10% опрошенных применяют динамические ИБП, и половина из них также имеют в своем хозяйстве модульные статические аппараты. Очевидно, что статические ИБП доминируют в российских ЦОДах, причем доля модульных устройств превышает долю моноблочных.
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Рис. 1. Состав системы бесперебойного питания в компаниях – участниках исследования
По данным Uptime Institute, проблемы с электроснабжением – главная причина отказов ЦОДов, и доля соответствующих инцидентов растет: в 2020 г. она составила 37%, в 2021 г. – 43%, в 2022 г. – 44%. Причем поломка ИБП – основная причина инцидентов, связанных с электроснабжением. На нее, согласно исследованию Uptime Institute Data Center Resiliency Survey, в 2023 г. пришлось 40% таких инцидентов.
Стоимость той или иной аварии – обычно болезненная тема для респондентов, и на такие вопросы они отвечают крайне неохотно. Тем не менее в ходе опроса, проведенного «Парус электро» и iKS-Consulting, ряд специалистов оценили общую стоимость последнего связанного с ИБП инцидента (от отключения до полного восстановления) для своей организации (рис. 2). Только в трети компаний ответили, что у них не было ни одного инцидента с ИБП, приведшего к отключению критической нагрузки.
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Рис. 2. Стоимость инцидента, связанного с ИБП
Схемы резервирования
Резервирование предполагает определенную избыточность компонентов объекта, благодаря которой при отказе одного или даже нескольких компонентов можно избежать прерывания работы объекта в целом. Базовую модель резервирования описывают формулой N + R, где N (от англ. normal) – число элементов, необходимых для нормальной работы, а R (от англ. redundant) – число избыточных компонентов. Это резервирование на уровне компонентов, в нашем случае – на уровне отдельных ИБП (модулей ИБП).
Наиболее известна схема резервирования на уровне компонентов N + 1. Она же, как показало исследование, наиболее популярна в российских ЦОДах – ее используют более 60% респондентов (рис. 3).
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Рис. 3. Схемы резервирования ИБП, используемые в ЦОДах
В качестве примера рассмотрим ЦОД с ИТ-нагрузкой 200 кВт. Для ее обслуживания можно установить, скажем, два ИБП по 100 кВт (N + 0). Чтобы организовать резервирование по схеме N + 1, необходимо установить в параллель еще один такой ИБП (рис. 4).
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Рис. 4. Пример схемы резервирования N+1
На практике встречаются варианты N + 2 или даже с большим числом элементов R. Одним из важных преимуществ схемы N + 2, которую использует примерно каждый восьмой ЦОД в России, является то, что во время отказа или технического отключения одного из ИБП в системе сохранится избыточность (N + 1).
Чтобы снизить общую мощность резервируемой системы, можно пойти по пути уменьшения мощности отдельных ИБП: например, для 200-кВт нагрузки выбрать четыре ИБП по 50 кВт, а еще один такой же источник установить в параллель. Если развивать этот подход дальше, то можно рассмотреть вариант с 10 ИБП по 20 кВт плюс один резервный. В настоящее время привлекательность такого подхода повышается в связи с тем, что источники меньшей мощности зачастую более доступны, поскольку являются, например, частью складской программы поставщика. Однако при увеличении числа компонентов, включая кабельные соединения и пр., надежность может снижаться. Проектировщики нередко следуют эмпирическому правилу добавления одного резервного компонента на каждые четыре (максимум пять) необходимых.
К основным преимуществам схем N + R следует отнести относительную простоту как самой системы, ее масштабирования и эксплуатации, так и управления нагрузкой. Главный недостаток – более низкая надежность по сравнению с системами 2N (которые будут описаны ниже). Так, в системе, показанной на рис. 4, присутствует единая точка отказа в виде распределительного щита бесперебойного питания (ЩБП).
В схемах 2N резервируется система целиком, резервируемые компоненты полностью разделены (для достижения отказоустойчивости их рекомендуют размещать в разных помещениях). Поскольку системы ИБП полностью отделены друг от друга, они могут строиться на аппаратах разных моделей и даже разной мощности, хотя в последнем случае управлять нагрузкой будет сложнее. В России схему 2N используют примерно 10% компаний (см. рис. 3).
В нашем примере (рис. 5) – две независимые системы ИБП, мощности каждой достаточно для питания нагрузки. В штатном режиме каждая система ИБП обеспечивает половину необходимой мощности для нагрузки, имеющей два блока питания, каждый из которых подключен к отдельному лучу. (При наличии в серверах только одного блока питания рекомендуют устанавливать в стойку АВР.) В случае выхода из строя одной системы ИБП нагрузка автоматически переходит полностью на питание от другой.
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Рис. 5. Пример схемы резервирования 2N
Более высокий уровень резервирования может быть достигнут, если в каждой из систем организовать резервирование по схеме N + 1. В нашем примере потребуется установить в каждой системе три ИБП по 100 кВт. Это вариант 2(N + 1). Даже если одна из систем ИБП полностью выйдет из строя, необходимая мощность будет обеспечена, да еще с резервированием. Такой, наиболее дорогостоящий из рассмотренных, вариант используется в основном в финансовых учреждениях или в случаях, когда необходимо защитить критическую нагрузку.
При выборе схемы резервирования на первом месте стоит обеспечение непрерывного функционирования нагрузки. Но, конечно, важна и стоимость решения. Для ее оценки можно опираться на показатель загрузки отдельных ИБП (модулей), который оказывает прямое влияние на капитальные и эксплуатационные расходы по двум причинам:
- чем выше загрузка ИБП, тем, как правило, выше их КПД (хотя во многих устройствах последнего поколения уровень КПД примерно одинаков при загрузке 25–30% и выше);
- чем ниже загрузка, тем больше ИБП требуется, а значит, тем выше капитальные затраты.
При повышении уровня резервирования увеличивается число ИБП и, соответственно, снижается уровень их загрузки (табл. 1). Из представленных в табл. 1 решений система 2(N + 1) обеспечивает максимальную избыточность, но наименьшую загрузку ИБП – всего 33%. В нашем примере для реализации такой системы с нагрузкой 200 кВт требуется установить ИБП общей мощностью 600 кВт – в три раза больше мощности нагрузки.
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Таблица 1. Загрузка ИБП при реализации различных схем резервирования
В последние годы все больше внимания привлекают так называемые дробные, или распределенные, схемы резервирования, которые обеспечивают две независимые линии электропитания нагрузки, как в вариантах 2N и 2(N + 1), но при этом позволяют повысить загрузку отдельных ИБП и снизить расходы. Такие схемы предполагают сегментирование ИТ-нагрузки. Их обозначают (XN/Y), где X – число установленных элементов (ИБП) в системе, а Y — число групп ИТ-нагрузки, подключенных к каждому из элементов.
Пример резервирования 3N/2 для нагрузки суммарной мощностью 200 кВт приведен на рис. 6: каждая группа ИТ-нагрузки получает электропитание от двух независимых линий (ИБП), однако общая мощность системы ИБП меньше, чем в варианте 2N. При выборе схемы 3N/2 затраты на ИБП сопоставимы с затратами на схему N + 1, однако уровень отказоустойчивости выше.
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Рис. 6. Пример схемы резервирования 3N/2
Можно увеличивать дробность, скажем, делать системы 4N/3, 5N/4 и т.д., что будет повышать загрузку отдельных элементов. Но надо понимать, что при этом будет усложняться система кабельной разводки, соответственно, увеличиваться объем необходимых материалов и работ. Более того, управление нагрузкой в таких системах также будет усложняться, что повысит риск ошибок, связанных с человеческим фактором.
В результате система с большим числом компонентов может оказаться менее надежной, чем базовая система N + 1, именно потому, что имеет много компонентов, которые могут выйти из строя, и несколько точек балансировки нагрузки. По мнению ряда экспертов, 6N/5 – предельная дробность для систем резервирования. Более высокие уровни очень сложны в реализации и теряют свои экономические преимущества. Хотя в российских ЦОДах есть примеры успешного использования даже схемы 8N/7.
Особенности резервирования при использовании модульных ИБП
Возможности резервирования электропитания существенно повышаются при использовании модульных ИБП. Если в классических моноблочных ИБП выходная мощность обеспечивается одним силовым блоком, то модульный состоит из функционально независимых силовых модулей, которые можно заменять в «горячем» режиме, т.е. без отключения ИБП и нагрузки. Каждый такой модуль оснащается инвертором, выпрямителем, зарядным устройством и представляет собой полноценную силовую часть ИБП. Мощность силовых модулей разных моделей ИБП различна, например, 20, 50 или 100 кВт. Помимо силовых модулей в современных модульных ИБП может быть установлено несколько модулей управления, которые также заменяются в «горячем» режиме. Функция «горячей» замены может распространяться и на модуль байпаса.
Применение модульных ИБП дает ряд существенных преимуществ при реализации резервирования. Так, в нашем примере для поддержки ИТ-нагрузки 200 кВт систему бесперебойного питания с резервированием по схеме N + 1 можно построить на основе одного ИБП с силовыми модулями 50 кВт путем установки в него пяти таких модулей. При этом установленная мощность составит 250 кВт, а загрузка модулей – 80%. Дальнейшее масштабирование (или повышение уровня резервирования до схемы N + 2) возможно путем простого добавления модулей в установленное шасси, тогда как при использовании моноблоков потребуется установка еще одного ИБП – соответственно, дополнительное место, расходы на его оборудование, каблирование и пр. Единственный серьезный недостаток работы с одним модульным аппаратом – невозможность разнести его по разным помещениям.
Этот недостаток устраняется установкой нескольких модульных ИБП в разных помещениях. Для нашего примера схему 2(N + 1) можно реализовать, установив два таких ИБП с пятью 50-кВт модулями в каждом (рис. 7).
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Рис. 7. Пример реализации резервирования 2(N + 1) на базе модульного ИБП
Как показал проведенный опрос, из тех компаний, которые применяют модульные ИБП, примерно три четверти задействуют преимущества резервирования модулей. Причем примерно половина из них используют только резервирование модулей в самом ИБП, а еще столько же – и резервирование модулей в ИБП, и резервирование ИБП. В целом установка резервных модулей не только обеспечивает некоторую избыточность самого ИБП, повышая его надежность, но и образует некую матричную структуру в связке с другими ИБП параллельной системы, которая автоматически перераспределяет общую нагрузку среди работающих модулей.
Важное преимущество модульных ИБП – минимизация времени обслуживания и восстановления работы (уровня резервирования) благодаря «горячей» замене модулей. Это преимущество отметили 78% опрошенных (рис. 8). Запасные модули можно предусмотреть в ЗИПе на складе недалеко от объекта или на самой площадке, а их замену в случае необходимости могут выполнить сотрудники самой компании. Это позволяет существенно снизить показатель MTTR, а значит, максимально оперативно восстановить работу ИБП или вернуть устройство к заложенному в проект уровню резервирования (избыточности).
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Рис. 8. Основные преимущества модульных ИБП
Примерно 40% респондентов отметили такое преимущество модульных ИБП, как возможность простого и быстрого (при наличии на площадке) добавления силовых модулей. Это дает возможность оперативно наращивать мощность системы бесперебойного питания по мере необходимости, что, в свою очередь, означает постепенность инвестиций и сохранение высокого уровня загрузки имеющихся ресурсов (модулей).
Данные опроса показывают, что доля модульных ИБП будет увеличиваться. Так, 23% респондентов указали на то, что используют и модульные, и моноблочные ИБП и будут наращивать долю модульных. А примерно 5% планируют отказаться от моноблочных устройств в пользу модульных.
Критерии выбора
При выборе схемы резервирования для компании на первом месте стоит, конечно, надежность – гарантия того, что ни при каких обстоятельствах не произойдет отключения критической нагрузки. Но, как показал проведенный опрос, учитываются и другие показатели: расходы (CAPEX и OPEX), сложность системы и занимаемая ею площадь.
Так, усложнение системы непосредственно связано со сложностью обслуживания, а значит, с повышением рисков отказа, обусловленных человеческим фактором. Этот фактор влияет и на то, что большинство компаний выбирают схему N + 1, которая наименее сложна в реализации и обслуживании. Что касается минимизации занимаемой площади, то этот показатель наиболее важен для коммерческих ЦОДов, которые зарабатывают на продаже площадей (стойко-мест).
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Таблица 2. Экспертная оценка параметров различных схем резервирования
Экспертная оценка основных схем резервирования по рассмотренным критериям приведена в табл. 2. Как уже отмечалось, наивысший уровень надежности обеспечивает схема 2(N + 1), но она же требует наибольших расходов и наибольшей площади. Дробный вариант 3N/2 выглядит сбалансированным по всем основным показателям, но характеризуется наибольшей сложностью.
Источник: Исследование «Надежность систем ИБП», «Парус электро», iKS-Consulting, 2024 г.
Рис. 9. Планы по изменению уровня и схемы резервирования системы ИБП
Как показало исследование, в выборе схем резервирования компании крайне консервативны. Подавляющее большинство (73%) не планируют менять ни уровень, ни схему резервирования (рис. 9). Никто из респондентов не собирается снижать уровень резервирования ради снижения расходов. И примерно 10% планируют повышать уровень (и соответственно менять схему) резервирования для повышения готовности системы. Последнее обстоятельство иллюстрирует значимость надежного функционирования системы бесперебойного
питания.
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!