| Рубрикатор |  |
 |
| Статьи |  |
ИКС № 07-08 2012 | |
|
| Петр РОНЖИН | 31 июля 2012 |
Климатические системы модульных ЦОДов. Новое или хорошо забытое старое?
Для современных модульных ЦОДов разрабатываются специальные системы холодоснабжения, однако это не исключает применения в них классических подходов к охлаждению.
В последнее время при обсуждениях технических решений, касающихся ЦОДов, очень часто употребляются слова «масштабирование», «модульность», «модульный ЦОД». Пожалуй, они отражают одну из основных современных тенденций строительства дата-центров.
В недавнем прошлом подход к проектированию ЦОДов и их инженерных систем был простым – в техническом задании определялись конечные цифры проекта: квадратные метры, киловатты, количество стоек и т. д. Сейчас специалисты, имеющие реальный опыт эксплуатации дата-центра, подтвердят, что уже на начальном этапе важно понимать, насколько быстро ЦОД наберет свою проектную мощность и каковы будут этапы этого наращивания. Кроме того, существуют проекты дата-центров с «открытой» конечной мощностью; примером может служить коммерческий ЦОД, который развивается по мере роста спроса на его услуги. Для таких центров очень важна масштабируемость решений, чтобы можно было, начав с одного действующего модуля, со временем добавить еще какое-то количество модулей, увеличив мощность в несколько раз.
Принцип модульности
При проектировании инженерных систем ЦОДов, в частности систем холодоснабжения и кондиционирования, принцип модульности соблюдался всегда, даже тогда, когда слово «модуль» еще не было в ходу. Вспомним классическую схему: чиллеры и кондиционеры, работающие на охлажденной воде. По своей сути это типичная модульная структура, где каждый чиллер и определенное количество кондиционеров формируют свой модуль (например, серверный зал). Добавляя очередной чиллер, можно увеличить производительность холодильного центра, а значит, появляется возможность подключения нескольких «прецизионников», которые будут снимать тепловую нагрузку с дополнительной партии серверных стоек. Узким местом таких систем охлаждения является их гидравлическая сеть, которая имеет ограниченную пропускную способность, определяемую диаметрами трубопроводов холодоносителя, производительностью насосов, арматурой и т. д. Кроме того, структура этого технического решения подразумевает, что на начальном этапе строительства дата-центра необходимо проложить все коммуникации и поставить всю арматуру на всех возможных ветвях системы охлаждения, что требует серьезных капитальных затрат.
По этим причинам современные ЦОДы проектируют в виде модулей, каждый из которых содержит всю необходимую инженерную инфраструктуру и независим друг от друга. Это, в свою очередь, накладывает определенные ограничения на архитектурно-строительную часть проекта дата-центра, но времена, когда под ЦОДы использовались любые здания с необходимыми электрическими мощностями, безвозвратно уходят в прошлое.
Модульный подход к проектированию не исключает применения стандартных решений, таких как чиллеры и прецизионные кондиционеры. Просто проект системы холодоснабжения ограничивается одним модулем. Однако ввиду того, что стоимость гидравлической обвязки традиционной системы охлаждения (со всей необходимой арматурой, насосами, автоматикой) вместе со стоимостью монтажных и пусконаладочных работ может достигать 70% и более от стоимости холодильных машин и прецизионных кондиционеров, сейчас часто используют альтернативные методы охлаждения дата-центров, о которых мы расскажем ниже.
Модульные системы охлаждения
Пионером в области модульных решений стала сумма технологий под общим названием KyotoCooling. Не будем останавливаться на принципе ее действия, он уже хорошо известен. На момент появления новизна технологии KyotoCooling состояла не только в способе охлаждения, заключающемся в переносе тепла с помощью роторного рекуператора и фрикулинга, а еще и в том, что система охлаждения изначально была рассчитана на использование в ячейке (cell) или модуле дата-центра. Климатические параметры в каждом модуле поддерживаются своей системой охлаждения The Kyoto Coolcell, расширение ЦОДа идет путем постройки дополнительной ячейки, оснащенной автономной системой охлаждения. Схожие технические решения используют российские компании Ayaks Engineering и Stack Labs.
Технология хорошо масштабируется, однако обладает одним недостатком – на этапе подготовки технического задания заказчику следует достаточно точно определиться с мощностью модуля. От этого зависят геометрические параметры роторного рекуператора, а после изготовления колеса рекуператора уже нельзя будет увеличить максимальную производительность системы охлаждения. Очень важно подобрать оптимальные параметры каждого модуля: если модули будут очень маленькими, это приведет к дополнительным затратам, а если очень большими, то система получится негибкой и будет длительное время работать с низкой загрузкой.
 |
 |
 |
 |
Выбирать придется из небольшого ряда установок, собранных на заводе и предварительно испытанных и настроенных на 90, 300 или 450 кВт расчетной нагрузки. Для крупных дата-центров предназначены установки на 600, 750 и 850 кВт. Воздухообрабатывающие установки большой производительности поставляются в виде нескольких отдельных секций на строительную площадку, где собираются и запускаются в работу.
Для масштабируемых ЦОДов компания Schneider Electric (APC) выпускает интересную систему EcoBreeze. Это модульная система охлаждения (рис. 1), основанная на использовании теплообменника воздух–воздух и косвенного испарения воды. EcoBreeze обладает способностью переключаться между режимами охлаждения с помощью теплообменника воздух–воздух и режимом с использованием косвенного испарения, чтобы с наибольшей эффективностью обеспечить ЦОД холодом. Конструкция EcoBreeze позволяет снизить потребление энергии за счет использования разницы температур между внешним окружающим воздухом и воздухом, возвращаемым от ИТ-оборудования (фрикулинг).
EcoBreeze не только экономит электроэнергию; модульная конструкция позволяет устройству адаптироваться к будущим потребностям ЦОДа в охлаждении. Помимо того что система предназначена для модулей дата-центра, она сама имеет модульную структуру. EcoBreeze может поставляться отдельными модулями по 50 кВт, которые можно сгруппировать в одну установку, содержащую до восьми модулей с явной холодопроизводительностью до 400 кВт. Этот модульный, масштабируемый подход позволяет заказчику покупать только то, что необходимо для удовлетворения текущих требований, увеличивая мощность охлаждения при росте нагрузки в ЦОДе. Такая модульность также обеспечивает внутреннее резервирование на уровне одной установки и обеспечивает доступность системы даже в интервалы времени, выделенные на техническое обслуживание. Электропитание, снабжение водой, воздухораспределение и коммуникационные соединения централизованы на раме одной установки, что упрощает требования к монтажу.
Интересное техническое решение для модульных ЦОДов разработано компанией Menerga – ее недавно представленная модель охлаждающего устройства под названием Adcoolair предназначена специально для дата-центров. Принцип работы этой системы (рис. 2) во многом схож с принципом работы EcoBreeze. Удаление тепла из помещений с высокой тепловой нагрузкой обеспечивается применением свободного охлаждения (фрикулинга) и работой интегрированной в установку холодильной машины с непосредственным испарением фреона, а также адиабатическим охлаждением за счет испарения воды.
Оборудование Menerga не дает возможности наращивать производительность одной установки в процессе работы. Поэтому, прежде чем выбрать типоразмер установки, необходимо рассмотреть вопрос будущего роста нагрузки в обслуживаемой зоне, так как дальнейшее увеличение холодопроизводительности будет возможно только путем добавления дополнительных установок, а они потребуют площади для размещения и наличия свободного пространства для того, чтобы соединить оборудование воздуховодами с серверным залом.
Несмотря на некоторые конструктивные различия установок EcoBreeze и Adcoolair, они обладают одним общим положительным качеством – ни та ни другая не требует для своей работы проектирования и монтажа сложных гидравлических систем, которые совершенно необходимы для работы «классической» схемы с чиллерами и прецизионными кондиционерами.
Охлаждение для модульных ЦОДов
Выше мы вели речь о модульности систем охлаждения достаточно крупных стационарных дата-центров. Но реалии нашего времени таковы, что в мире все чаще развертывают дата-центры с действительно модульным принципом строительства. Такой принцип подразумевает, что ЦОД можно построить из различных модулей-кубиков: модуль серверного помещения, модуль системы охлаждения, модуль ИБП и электропитания, модуль дизель-генератора и т. п. Развертывание модульного ЦОДа (рис. 3) начинается с размещения на площадке минимально необходимого количества технологических и инженерных модулей, обеспечивающих первоначальные запросы заказчика. Дальнейшее развитие идет за счет добавления дополнительных модулей.
Разнообразие форм-факторов модульных ЦОДов впечатляет: здесь и быстровозводимые конструкции различной степени защищенности, практически любых форм и размеров, а также уже готовые двадцати- и сорокафутовые контейнеры с разнообразной технологической начинкой.
Разнообразны и системы охлаждения модульных ЦОДов. Наверно, самая простая и потому самая распространенная – система охлаждения, состоящая из межстоечных внутрирядных DX-кондиционеров. Наружные блоки кондиционеров могут монтироваться на боковых и торцевых стенах, на крыше контейнера, а также стоять рядом с модулем. Вариант, когда кондиционеры и их наружные блоки уже смонтированы и готовы к работе, встречается реже, чем вариант, когда наружные блоки монтируются на площадке. Это объясняется тем, что конденсаторные блоки мощных кондиционеров имеют большие габариты, и транспортировка «обвешанного» контейнера представляет собой серьезную техническую и организационную задачу, а порой просто невозможна.
Среди систем охлаждения модульных ЦОДов присутствуют и чиллерные системы. Чиллеры могут как монтироваться на общей с контейнером раме, так и устанавливаться на площадке в виде отдельного блока. В качестве внутренних блоков могут служить межстоечные внутрирядные кондиционеры, работающие на холодоносителе, и специальные теплообменные аппараты, размещенные на крыше контейнера. Кроме того, в модулях используют стойки с жидкостным охлаждением. Типичным примером такого решения служит модульный дата-центр компании Cisco (рис. 4).
К контейнеру, в котором можно разместить до 16 стоек с оборудованием с жидкостным охлаждением, холодоноситель поступает по трубопроводам от чиллерной системы охлаждения, которая монтируется на крыше модуля электропитания для экономии площади.
Современные модульные ЦОДы зачастую оснащаются инновационными системами охлаждения, существенно снижающими энергопотребление и доводящими коэффициент PUE до рекордно низких значений. Так, в модулях дата-центра Capgemini используется адиабатическое охлаждение. Наружный воздух проходит через смоченный водой фильтр, охлаждается в процессе прохождения за счет испарения воды и подается на охлаждение оборудования. В модулях не используется система фальш-полов и воздуховодов. После охлаждения воздух проходит через стену из 12 вентиляторов и попадает в холодный коридор по всей длине модуля. Холодный коридор полностью изолирован, чтобы предотвратить смешивание потоков горячего и холодного воздуха. Воздух доставляется к серверам через специальные жалюзи, которые контролируют поток воздуха. Пройдя через оборудование, воздух выбрасывается в горячий коридор и удаляется из помещения. Подобная система реализована в модульном дата-центре SGI и Microsoft.
Компания SGI, поставив перед собой задачу сделать модульные дата-центры более доступными, разработала модульный дата-центр под названием Ice Cube Air, который позволяет клиенту начать с небольших капиталовложений и постепенно наращивать вычислительную мощность. Ice Cube Air использует исключительно воздушное охлаждение. Если климатические условия региона не подходят для охлаждения воздухом окружающей среды круглый год, SGI предлагает услугу установки специализированных кондиционеров. Однако компания утверждает, что практически круглый год для охлаждения можно пользоваться воздухом окружающей среды.
Окидывая взглядом все разнообразие систем охлаждения модульных ЦОДов, можно сказать, что сегодня они представляют собой сплав традиционных подходов и инноваций, и это позволяет им гибко и эффективно выполнять свои функции, обеспечивая требуемый уровень надежности и устойчивости.
Адрес: 105082, Россия, г. Москва, 2-й Ирининский пер, д. 3