• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Охлаждение ЦОДа – задача для практиков. Часть 2. Мультивендорные решения

Окончание. Начало см. «ИКС» №6’2012, с. 78. Эстафета разработки проекта создания эффективной и экономичной системы охлаждения ЦОДа в рамках тендера «ИКС» переходит к российским компаниям-интеграторам.

Внутрирядные кондиционеры и фрикулинг

Компания NVision Group отметила, что параметры помещения, в котором согласно условиям тендера создается дата-центр, сильно ограничивают выбор архитектуры системы охлаждения. Поскольку ЦОД размещается в подвале с невысоким потолком, наиболее оправдано применение внутрирядных кондиционеров и моноблочных чиллеров с функцией фрикулинга, использующих в качестве холодоносителя водный раствор этиленгликоля.

При высоких наружных температурах для адиабатического охлаждения теплообменников чиллера необходимо будет подавать на них небольшое количество воды, что позволит существенно снизить энергопотребление компрессоров и расширить диапазон работы в режиме фрикулинга. Требования к уровню шума заставляют использовать для чиллеров звукоизоляционные кожухи.

Для ЦОДа с отказоустойчивостью Tier II резервирование внутрирядных кондиционеров и чиллеров будет осуществляться по схеме N + 1, бак-аккумулятор и резервные магистральные трубопроводы холодоносителя не нужны. Однако для дата-центра Tier III упомянутые элементы необходимы. Для повышения эффективности при любой нагрузке ЦОДа следует применять кондиционеры с двухходовыми регулирующими клапанами и электронно-коммутируемыми вентиляторами с изменяемой скоростью вращения, а для циркуляции хладагента – насосы с частотным регулированием. Такая конфигурация системы охлаждения позволяет использовать хладагент в диапазоне температур 17–22°C, что открывает широкий простор для фрикулинга и, как следствие, повышает энергоэффективность охлаждения.

Принцип блочного разделения

Компания «Астерос» предложила разместить стойки тремя одинаковыми блоками, каждый из которых представляет собой два ряда по 16 серверных шкафов с изолированным горячим коридором. Установка прецизионных кондиционеров в рядах стоек обеспечит равномерную подачу охлажденного воздуха по всей высоте. Поскольку электрическая мощность, доступная для ИТ-оборудования ЦОДа, не превысит 630 кВт, от каждого блока потребуется отводить примерно по 210 кВт тепла. Соответственно, любую стойку в ряду, кроме крайних, можно нагружать вплоть до 15 кВт (стойки по краям блоков делать высоконагруженными не рекомендуется).

Были рассмотрены два варианта: установка однотипных кондиционеров большей мощности (рис. 1, а) и установка кондиционеров разных типоразмеров для более равномерного распределения охлаждающих мощностей по ряду стоек (рис. 1, б). Компьютерное моделирование показало, что эффективность обеих схем одинакова. Но наличие двух типов кондиционеров с разным диаметром входных труб и, как следствие, разными расходами жидкости потребует более сложных гидравлических расчетов и нетиповых решений в области запорно-регулирующей арматуры. Кроме того, могут возникнуть трудности при организации групповой работы кондиционеров блока. Таким образом, первый вариант более рационален.

Для поддержания относительной влажности воздуха в ЦОДе в должных пределах (40–70%) часть прецизионных кондиционеров оснащается пароувлажнителями. В качестве альтернативы можно применить ультразвуковые системы, что ощутимо снизит потребление электроэнергии.

Заполнение машинного зала стойками и вычислительным оборудованием осуществляется поэтапно, но вся инфраструктура создается сразу – для минимизации монтажных работ по подключению при последующем наращивании мощностей. Охлаждение ИБП, которое также необходимо для ЦОДа, осуществляется по аналогичной схеме.

Холодоснабжение объекта производится с помощью моноблочных чиллеров с винтовыми или спиральными компрессорами и воздушным охлаждением конденсатора. Выбираются модели с поддержкой фрикулинга и в звукоизолирующем корпусе. Чиллеры с центробежными (турбинными) компрессорами не рассматриваются из-за их относительно высокой стоимости. Холодильные агрегаты размещаются на внешней выделенной площадке. Чиллеры оснащаются встроенным гидромодулем, что позволит отказаться от лишних насосных групп.

Вместе с тем холодильный коэффициент машин такого типа невысок – около 3 (на 1 кВт электрической мощности приходится 3 кВт отведенного тепла). Энергоэффективность системы существенно повысят чиллеры с водяным охлаждением конденсаторов, но их применение потребует дополнительного технического помещения в здании.

Холодильные машины резервируются по схеме N + 1 – это удовлетворяет требованиям Tier II и Tier III одновременно. В штатном режиме работают два чиллера, третий находится в резерве. На первом этапе устанавливаются две холодильные машины, на втором – еще одна той же мощности. Также стоит предусмотреть водяные баки – аккумуляторы холода. Альтернативные решения, например льдоаккумуляторы, для ЦОДа подобного типа будут неоправданно дороги. Магистрали холодоснабжения создаются в зависимости от требуемого уровня надежности ЦОДа. Для дата-центра уровня Tier III выполняется резервирование трубопроводов, для Tier II оно не требуется.

Важный аспект – выбор оптимального температурного графика холодоснабжения. Грамотное решение этой задачи позволит довести коэффициент эффективности теплообмена почти до единицы, снизить долю скрытой теплоты конденсации, существенно уменьшить нагрузку на пароувлажнители и повысить температуру перехода чиллера в режим свободного охлаждения.

А нужен ли Tier III?

Учитывая необходимость обеспечить наращиваемое решение, а также обозначенный тренд на увеличение энергопотребления каждой стойки, компания «Комплит» разработала решение, основанное на внешних чиллерах Stulz Cyber XT CFO 4002А с функцией свободного охлаждения и внутрирядных прецизионных кондиционерах APC by Schneider Electric серии InRow RC и RP.

Для оптимального размещения всех компонентов системы охлаждения помещение потребуется преобразовать. С двух сторон от входной группы предлагается сделать два дополнительных технологических помещения и в одном из них организовать насосную станцию, в другом – установку газового пожаротушения. Снаружи на огороженной площадке размещаются холодильные машины. Расположение резервных баков с холодоносителем определяется исходя из конкретных условий площадки и требований заказчика по времени резервирования (рис. 2, а, б).

При разработке проекта предполагалось, что все стойки дата-центра могут быть нагружены на максимальную мощность одновременно, поэтому на рис. 2 шкафов меньше, чем было указано в условиях тендера (64 вместо 100). По мере появления дополнительной электрической мощности количество стоек может быть увеличено.

Поскольку высота машинного зала маловата даже для ЦОДа такой средней по современным меркам мощности, то, по мнению компании, проще и дешевле отказаться от фальшпола. В то же время надежнее, хотя дороже и сложнее в реализации будет схема с фальшполом высотой 400 мм. В этом случае все потенциально опасные жидкости будут располагаться ниже оборудования, а электрические кабели и СКС разместятся в лотках над шкафами. Такая схема повысит отказоустойчивость дата-центра, сохранив при этом удобство эксплуатации.

Электрические шкафы (PDU) предлагается разместить в одной части зала, а коммуникационные центры (MDA) – в противоположной. Таким образом, удастся избежать пересечения лотков в ограниченном пространстве над шкафами.

Так как уровень шума для заказчика важен, в проекте применяются малошумные чиллеры упомянутой выше модели, которые имеют электронный расширительный вентиль для точного регулирования параметров охлаждения. Максимальная температура окружающей среды, на которую рассчитан чиллер, – 40°С, температура хладагента – 10/15°С. Производительность одной холодильной машины составляет 345 кВт, а внутрирядного кондиционера при таких параметрах – 25 кВт (температура воздуха на входе 26°С). Функция фрикулинга позволяет экономить на энергопотреблении чиллеров уже при температуре ниже 12°С, а при 1°С – полностью переходить в режим свободного охлаждения.

Такой вариант, конечно, требует повышенных капитальных затрат (поскольку здесь используется много внутренних блоков), но существенно снижает операционные расходы. Возможно и альтернативное решение, которое при той же схемотехнике позволяет отвести столько же тепла, используя меньшее количество внутренних прецизионных кондиционеров. Достигается это понижением температуры охлажденной/нагретой воды до 7/12°С. При этом холодопроизводительность кондиционеров составит почти 40 кВт, но параметры перехода на фрикулинг станут хуже, а полная и явная мощность внутренних кондиционеров будут различаться, что, возможно, потребует использования более мощных (и дорогих) чиллеров.

На первом этапе проекта планируется установить две холодильные машины – основную и резервную. Далее будет установлен еще один чиллер, что обеспечит 690 кВт общей холодопроизводительности системы и резервирование по схеме N + 1. Внутри же помещения на первом этапе устанавливаются 56 шкафов и 16 внутрирядных кондиционеров, на втором – добавляются по четыре кондиционера в ряды шкафов, установленные на первом этапе, и восемь блоков охлаждения в новый ряд. При этом используется система изоляции горячего коридора (см. рис. 2).

Компания «Комплит» сочла, что обеспечивать в проектируемом ЦОДе уровень отказоустойчивости Tier III нерационально по соображениям стоимости. Весьма проблематично будет, например, разместить продублированные коммуникации в помещении высотой всего 3 м со стойками 42U. Тем не менее, если заказчик будет настаивать, трассы с хладагентом можно дублировать под фальшполом, а электрические и слаботочные кабели разместить в потолочных лотках сложными «восьмерками».

Охлаждение активными плитами

Один из немногих вариантов без применения внутрирядных кондиционеров предложила компания «Термокул», которая полагает, что отвод тепла от стоек лучше всего осуществлять с помощью активных охлаждающих плит фальшпола, использующих воду в качестве хладагента. Конструкция состоит из вентиляционной плиты, водяного теплообменника и вентилятора, собранных в одном корпусе. Одна такая плита устанавливается непосредственно перед стойкой с оборудованием и подает охлажденный воздух вертикально. Вторая располагается сразу за шкафом – в зоне горячего коридора, чтобы забрать теплый воздух и отвести его под фальшпол. Такая конструкция позволяет отвести 10–20 кВт тепла от каждой стойки. Температура нагретого воздуха составляет 35°С, воды на входе и выходе из теплообменника – 17 и 23°С соответственно. На второй стадии проекта для индивидуального обслуживания высоконагруженных стоек можно установить дополнительные плиты или заменить их на более мощные.

Для поддержания необходимой температуры воды используются чиллеры с водяным охлаждением конденсаторов и турбокомпрессорами, мощностью 300 кВт каждый. На первом этапе нужно установить два таких чиллера (схема резервирования 2N), на втором добавляется еще один (N + 1).

Отвод тепла осуществляется посредством промежуточных теплообменников и далее через закрытые охладители жидкости с частотным регулированием вентиляторов (драйкулеры), которых требуется по одному на каждый чиллер. Наружный контур работает на незамерзающей жидкости, а внутренний – на воде.

Все чиллеры, насосные группы и пластинчатые теплообменники размещаются внутри теплоизолированного контейнера, на площадке первого этажа. Драйкулеры, оснащенные частотным регулированием производительности для снижения энергопотребления и уменьшения уровня шума, устанавливаются на крышах контейнеров.

Общая максимальная мощность, потребляемая системой холодоснабжения, на первом этапе (по схеме 2N) составляет 100,1 кВт. Однако оба чиллера рекомендуется эксплуатировать одновременно, поскольку в режиме частичной нагрузки их энергопотребление резко уменьшается – на первом этапе почти на треть (табл. 1).

На втором этапе общая максимальная потребляемая мощность (по схеме N + 1) составляет 200,2 кВт, одновременная эксплуатация всех трех чиллеров снизит энергопотребление до 185,2 кВт (табл. 2).

Чиллеры, насосные группы и драйкулеры позволяют осуществлять энергоснабжение по двум независимым линиям. Для холодильных машин на стадии заказа можно предусмотреть дополнительное питание 24 В от ИБП для энергоснабжения контроллеров. Чиллеры и драйкулеры соединяются через коллекторы с параллельными независимыми насосными группами. Все это вместе с резервированием охлаждающих плит позволяет повысить отказоустойчивость системы кондиционирования ЦОДа и довести ее до уровня Tier III.

Отдельно стоит остановиться на целесообразности использования в данном проекте чиллеров с турбокомпрессорами. Из десяти компаний, принявших участие в нашем тендере, о таких решениях упомянули четыре. Три из них полагают, что подобные системы в данном случае по экономическим соображениям нецелесообразны. Однако компания «Термокул» занимает противоположную позицию, подтверждая ее расчетами. Так, если сравнить две системы номинальной мощностью 600 кВт с резервированием по схеме N + 1, состоящие из трех чиллеров с водяными конденсаторами, драйкулерами и промежуточными теплообменниками, но в одном случае берется система с турбокомпрессорами, а в другом – с винтовыми компрессорами, то на первом этапе их суммарные годовые затраты почти одинаковы (табл. 3–4), но на втором этапе вариант с турбокомпрессорами оказывается примерно на 20% экономичнее (табл. 5–6) – последние хотя и дороже, но потребляют меньше электроэнергии, и в многолетней перспективе этот фактор перевешивает.

Три альтернативы

Компания «Техносерв» предложила сразу три варианта решения тендерной задачи. Поскольку нагрузка в дата-центре существенно возрастет в течение относительно короткого промежутка времени, во всех трех вариантах основную часть инфраструктуры системы охлаждения необходимо заложить на первом этапе.

Первый вариант – система на водяном охлаждении с внутрирядными кондиционерами. В этом случае устанавливаются внешние чиллеры и организуется двухконтурная система холодоснабжения. Во внешнем контуре, связывающем чиллеры и промежуточные теплообменники, холодоносителем служит водный раствор этиленгликоля, а во внутреннем – между теплообменниками и рядными кондиционерами – циркулирует вода. Бесперебойное охлаждение осуществляется за счет холодной воды, запасенной в баках-аккумуляторах.

Второй вариант заключается в установке шкафных фреоновых прецизионных кондиционеров прямого испарения, подающих холодный воздух в пространство под фальшполом, с обязательной изоляцией холодного коридора (рис. 3). Этой схемы должно вполне хватить для отведения 5–15 кВт тепла от каждой стойки.

Третий вариант – смелое, но перспективное решение – fresh air cooling (прямое воздушное охлаждение наружным воздухом). В России уже есть небольшие работающие системы подобного рода, и еще несколько крупных проектов находятся на стадии реализации. Системы такого типа обеспечивают низкое годовое энергопотребление. Охлаждение оборудования происходит за счет подачи в помещение более холодного наружного воздуха. Если же погодные условия этого не позволяют, охлаждение производится с помощью холодильного контура кондиционера. Для организации системы охлаждения предполагается использовать машины обработки воздуха со спиральными компрессорами и кондиционеры типа Roof-Top.

Подача воздуха к оборудованию осуществляется воздуховодами непосредственно в холодный коридор, возвратный воздух забирается из горячих коридоров с помощью вытяжки. В составе решения есть камера смешения, что позволяет использовать уличный воздух для регулировки температуры в дата-центре. Если внешний воздух достаточно холодный, тогда работают только вентиляторы кондиционера. Их энергопотребление по сравнению с компрессорами незначительно. Когда температура наружного воздуха превышает допустимый предел, включается компрессор и охлаждение осуществляется с помощью фреонового или водяного контура.

Влажность внутри помещения может регулироваться установкой секции форсуночного распыления, также предназначенного для адиабатического увлажнения воздуха. Мелкодисперсная струя воды подается навстречу потоку воздуха. На выходе секции устанавливается пластиковый каплеуловитель. Под секцией находится поддон, в который стекает неиспарившаяся вода. Насос осуществляет циркуляцию жидкости из поддона к форсункам. Осушение происходит за счет работы испарителя.

Конечно, у всех решений есть свои преимущества и недостатки. Например, для фреоновых кондиционеров не нужно проектировать хладоцентр, насосные станции, проводить гидравлический расчет. Более выигрышными будут сроки и стоимость монтажных и пусконаладочных работ. Не нужно монтировать трубопроводы большого диаметра, производить гидравлическую увязку системы холодоснабжения, балансировку расхода циркулирующей жидкости. Однако для классических фреоновых систем необходимо обеспечить питанием комплекс целиком (при этом все компрессоры должны быть оснащены функцией «мягкого запуска»), поэтому требуются кондиционеры и ИБП более дорогой комплектации. Если сравнить капитальные (рис. 4) и операционные (рис. 5) расходы для трех рассмотренных систем охлаждения нашего ЦОДа, то минимальная стоимость по всем параметрам – у фреоновой системы. При этом снижение расходов на электроэнергию кардинально ситуацию не меняет. Фреоновые прецизионные кондиционеры прямого испарения остаются лидерами по соотношению стоимости и эффективности.

Охлаждение дата-центра – задача не из легких. На формирование оптимальной системы влияет масса разных факторов. Тем не менее грамотная проработка проекта позволяет не только существенно сэкономить на капитальных и эксплуатационных расходах, но и заложить основы безболезненного развития ЦОДа в будущем.

«ИКС» благодарит за участие в тендере на разработку проекта системы охлаждения ЦОДа Михаила Балкарова (Emerson Network Power), Алексея Карпова и Сергея Холопова («Астерос»), Федора Набокова (APC by Schneider Electric), Максима Орехова (Rittal), Александра Переведенцева («Техносерв»), Петра Ронжина (NVision Group), Андрея Селина («Термокул»), Владислава Яковенко («Комплит») и специалистов компании HTS.