• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Ошибки при создании ЦОДа. Системы электроснабжения

Невозможно представить себе какую-либо инженерную систему ЦОДа, которая не была бы так или иначе связана с системой электроснабжения. Поэтому ошибки, допущенные при проектировании и реализации данных систем, могут привести к низкой доступности или даже полной неработоспособности дата-центра в целом.

Эта статья продолжает тему ошибок, совершаемых при создании ЦОДа, которая была затронута коллегами автора в предыдущем номере «ИКС».  В данной статье хотелось бы обратить внимание архитекторов и проектировщиков на типовые и повторяющиеся ошибки в системах электроснабжения дата-центров, кочующие из проекта в проект, словно переходящее знамя.

Система электроснабжения для ЦОДа – фундамент всех энергозависимых инженерных систем (системы кондиционирования, системы вентиляции, вычислительной системы и т.д.). Возможности для совершения ошибок есть на всех стадиях реализации проектов электроснабжения, но их последствия на разных стадиях различны. Рассмотрим наиболее часто встречающиеся ошибки, расположив их в порядке убывания значимости.

Предпроектное обследование

Эту стадию проекта можно по праву назвать основой проекта. Объем и качество собранных на этом этапе данных влияют на адекватность решения о целесообразности вхождения в проект или отказа от участия в нем. Правильный анализ исходных данных поможет выявить будущие сложности проекта до глубокого и безвозвратного погружения в него.

Наверное, каждый хотя бы раз видел «замороженную» или растянувшуюся на долгие годы стройку (жилые дома, телевизионные башни, заводы), ставшую памятником человеческой глупости и лености. Нередко это последствия некачественного проведения предпроектных изысканий.

Например, если заказчик, желая в кратчайшие сроки построить ЦОД, выбирает дорогостоящее модульное решение того или иного производителя, но не уделяет должного внимания своевременному обеспечению объекта внешним энергоснабжением (согласно полученным техническим условиям, внешнее электроснабжение должно появиться только годом позже планируемого окончания строительства дата-центра), то идея использования быстровозводимого модульного ЦОДа абсолютно бессмысленна!

В состав системы электроснабжения ЦОДа, как правило, входит крупногабаритное тяжелое оборудование (ДГУ, батарейные массивы ИБП), требующее самого серьезного подхода к размещению на площадке. На этапе предпроектного обследования должна быть проведена оценка всех технических и организационных возможностей размещения данного типа оборудования, а также возможности прокладки внутриплощадочных кабельных трасс.

Есть масса примеров, в которых технические решения, основанные на поверхностно оцененных на предпроектном этапе возможностях стройплощадки, терпели полный крах на этапе рабочего проектирования, а хуже того – в процессе реализации.

Главная ошибка предпроектного этапа – недостаточная глубина сбора и анализа исходных данных.

Разработка концептуальных технических решений

На этапе разработки концепции необходимо четко осознавать назначение и уровень ответственности каждого из элементов системы электроснабжения ЦОДа. Для принятия верных решений нужно руководствоваться требованиями технологических процессов, протекающих с участием подключенного к системе электроснабжения оборудования. Архитектор системы электроснабжения должен четко понимать задачи, ставящиеся перед ним смежными разделами проекта, осознавать результат применения того или иного технического решения как в рамках системы электроснабжения, так и в рамках комплекса инженерных систем.

Уровень надежности и доступности системы электроснабжения дата-центра должен соответствовать уровню надежности подключенных к ней систем.

Если же, скажем, высокорезервированная система холодоснабжения будет подключена к менее резервированной системе электроснабжения, то она не сможет в полной мере раскрыть свой потенциал. Например, проектом системы холодоснабжения ЦОДа предусмотрено два взаимно резервированных чиллера, но в проекте электроснабжения эти чиллеры подключаются к одной распределительной шине.

Главная ошибка этапа разработки концепции – недостаточный уровень обмена информацией между архитектором системы электроснабжения и архитекторами других инженерных систем.

Проектирование

Этап проектирования предоставляет проектировщику широкое поле для всевозможных ошибок, как организационно-технических, так и чисто технических.

Неверное определение энергетического баланса

Одна из типичных и в то же время дорогостоящих ошибок этапа проектирования – неверное определение энергетического баланса объекта. Результатом может быть как переразмеривание (и, следовательно, существенное удорожание) системы электроснабжения, так и ее недостаточность (т.е. частичная неработоспособность).

К примеру, переразмеривание системы гарантированного электроснабжения на основе ДГУ приводит не только к необоснованным финансовым затратам на этапе строительства ЦОДа, но и создает затруднения при эксплуатации (при нагрузках ДГУ менее 30–35% номинальной мощности его долговременная эксплуатация недопустима). Решить проблему недогруженности ДГУ можно лишь путем дополнительных финансовых затрат (приобретением/арендой балластной нагрузки).

Другая сторона медали – недостаточность системы электроснабжения, ощутить последствия которой приходится, как правило, в самый неподходящий момент (в режиме летнего максимума энергопотребления ЦОДа).

Размещение источников электроснабжения в удалении от центра нагрузок

Источники энергии должны размещаться на наименьшем удалении от центра электрических нагрузок. При игнорировании этого простого правила затраты на создание соответствующей кабельной линии могут побить все рекорды.

Например, когда в угоду красоте генплана дизель-генератор мощностью 1,2 мВт был отнесен на 300 м от главного распределительного щита здания, расчетная стоимость кабельной линии между ДГУ и ГРЩ перекрыла стоимость самого ДГУ, не говоря о технической сложности создания этой линии.

Чрезмерное укрупнение энергосистем 0,4 кВ

В проектах электроснабжения ЦОДов часто наблюдается тяготение проектировщиков к «гигантизму» – созданию систем электроснабжения напряжением 0,4 кВ и мощностью более 2500 кВА. Однако при строительстве энергосистем напряжением 0,4 кВ и мощностью более 2500 кВА мы выходим за пределы 4000 А, соответствующие массово применяемому электрооборудованию, и вынуждены использовать эксклюзивное оборудование ограниченного количества производителей.

Чего мы себя лишаем, приняв решение создавать систему электроснабжения мощностью более 2500 кВА:

Свобода выбора. В сегменте электрощитового оборудования на токи до 4000 А на российском рынке работает множество как производителей компонентов щитов, так и сборщиков, в то время как производителей электрощитового оборудования на токи свыше 4000 А – раз-два и обчелся. Например, только у компании Schneider Electric, согласно ее данным, в России насчитывается более 22 сертифицированных партнеров – сборщиков низковольтных комплектных устройств (НКУ) на токи до 4000 А и лишь три официальных сборщика НКУ на токи до 7300 А. Подобная ситуация имеет место и с другими производителями. Таким образом, сборщики НКУ на большие токи являются монополистами.

Оптимальная стоимость решения. Ни для кого не секрет, что наиболее низкие цены на рынке производители устанавливают на продукцию массового потребления. Таким образом, уходя из массового сегмента, мы гарантированно удорожаем проект.

Оптимальные сроки поставки оборудования. Стандартное электрощитовое оборудование на токи до 4000 А постоянно имеется на складах производителей и поставщиков по всему миру, что позволяет организовывать процесс поставки в наиболее комфортные для потребителя сроки.

Ремонтопригодность щитового оборудования. Стандартные компоненты щитов можно оперативно заменить в случае выхода из строя. Покупка и доставка ЗИП возможны в кратчайшие сроки с близлежащих складов.

Пренебрежение рекомендациями производителя по размещению оборудования

При компоновке оборудования на плане ЦОДа проектировщики часто сталкиваются с нехваткой свободного места для его размещения согласно рекомендациям производителя. Бывает, что принимается «единственно верное» решение – пренебречь этими «никому не нужными» рекомендациями и сделать все на свое усмотрение.

К сожалению, такой подход работает не всегда удачно, а порой приводит к плачевным результатам: перегреву электрооборудования (вследствие заужения вентиляционных зазоров) или ограничению возможности техобслуживания (вследствие заужения зон обслуживания).

Прежде чем принять решение об отступлении от рекомендаций производителя, надо сто раз подумать о возможных последствиях таких изменений.

Пренебрежение расчетами релейной защиты

При построении схем электроснабжения одна из распространенных ошибок проектировщиков – выбор количества и свойств коммутационных аппаратов схемы без их взаимной увязки по селективности. Нередко о селективности начинают задумываться на этапе пусконаладочных работ, когда все щиты установлены, а кабели подключены. Бывает, что добиться полной селективности коммутационных аппаратов электрической цепи в данных условиях можно только посредством замены части устройств, на что идут крайне редко и неохотно. В результате вновь созданная система электроснабжения так и остается полунастроенной.

Создание в схемах общих точек отказов

В стремлении снизить капитальные затраты проектировщики иногда применяют технические решения, которые, с одной стороны, казалось бы, действительно помогают сэкономить на начальном этапе проекта, но, с другой стороны, усложняют, а порой делают невозможной эксплуатацию системы электроснабжения ЦОДа.

В своей практике автор неоднократно встречал схемные проектные решения, в которых разветвленная питающая сеть объекта для конечного потребителя превращалась в однолучевую питающую схему.

Схема с единой вводно-распределительной шиной. Встречаются схемы электроснабжения ЦОДа, когда все взаимно резервированные независимые электрические вводы сводятся на одну общую распределительную шину (два ввода от трансформаторной подстанции и ввод от ДГУ). В итоге, понеся колоссальные капитальные затраты на организацию трех независимых вводов, заказчик на выходе получает малонадежную, совершенно непригодную для эксплуатации ЦОДа схему, в которой любая авария или ремонтные работы на общей шине приводят к полному обесточиванию нижележащих потребителей.

Схема с единой шиной бесперебойного питания. Встречаются схемы электроснабжения ЦОДа, в которых выходы взаимно резервированных ИБП, образующих внутри системы резервирование не ниже N + 1, сводятся на единую распределительную шину. В итоге при возникновении короткого замыкания на данной шине от нее мгновенно отключаются все взаимно резервированные ИБП и особо ответственные потребители остаются обесточенными. Ну и, конечно же, возникает классическая ситуация с отсутствием возможности обслуживания данной шины без полного отключения нижележащих потребителей.

Монтажные и пусконаладочные работы

Самая главная ошибка этого этапа – желание сэкономить на квалификации монтажников. Даже самая здравая идея или детально проработанный проект могут быть напрочь перечеркнуты безграмотностью и безответственностью монтажников. Если вам повезло встретить ответственного и грамотного монтажника, берегите и цените его!

Именно работа монтажников продемонстрирует заказчику результат работы всей команды проекта и долгие годы будет радовать или огорчать его.