• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Выбор оптимальной схемы холодоснабжения ЦОДа

При строительстве ЦОДа с мощностью серверного оборудования от 200 до 1000 кВт часто встает вопрос о выборе оптимальной схемы кондиционирования: использовать ли автономные прецизионные кондиционеры с собственными компрессорами, испарителями и конденсаторами или предпочесть решение на основе чиллеров и шкафных кондиционеров. Каковы достоинства и недостатки каждого из вариантов?

Безусловно, для поддержания параметров микроклимата в ЦОДе существуют и другие решения. Это прежде всего воздушное и воздушно-водяное охлаждение с применением различных рекуператоров, системы адиабатического охлаждения и т.д. Выпускаются шкафные кондиционеры, оснащенные инвертерными или Digital Scroll компрессорами с плавной регулировкой производительности. Однако на сегодняшний день классическими стали два схожих варианта – автономные прецизионные кондиционеры (DX-системы – кондиционеры с прямым расширением) и системы на основе чиллеров, использующих в качестве теплоносителя жидкость (CW-кондиционеры).

Попробуем оценить преимущества и недостатки каждого решения исходя из следующих критериев:

1) стоимости основного оборудования, т.е. величины первоначальных капиталовложений;

2) энергоэффективности, возможности экономии электроэнергии при эксплуатации оборудования, а также срока его окупаемости;

3) надежности, возможности наращивания и модернизации оборудования в процессе эксплуатации ЦОДа;

4) эксплуатационных ограничений.

Первоначальные капиталовложения

Первое, на что обращает внимание заказчик при оценке предложенных вариантов построения инфраструктуры ЦОДа, – это общий бюджет проекта. Конечно, если речь идет о небольшом дата-центре, то стоимость решения на базе автономных кондиционеров будет ниже, чем стоимость системы холодоснабжения с чиллерами в качестве основного оборудования. Это обусловлено прежде всего разницей в стоимости самого основного оборудования.

Проектные работы для системы автономных кондиционеров также обойдутся дешевле – не нужно проектировать хладоцентр, насосные станции, проводить гидравлический расчет. Более выигрышными будут и сроки и стоимость монтажных и пусконаладочных работ для автономной системы кондиционирования. Каждый кондиционер работает со своим наружным блоком. Не нужно монтировать трубопроводы большого диаметра, производить гидравлическую увязку системы холодоснабжения, балансировку расхода циркулирующей жидкости.

Начальные затраты на построение систем кондиционирования обоих вариантов начинают быть соизмеримыми при мощностях активного оборудования от 1000 кВт, а для ЦОДа с тепловыделением более 1500 кВт использование автономных кондиционеров становится экономически невыгодным. Вместе с тем, если основной критерий выбора типа инженерной инфраструктуры ЦОДа – максимально низкая себестоимость решения, то предпочтение зачастую отдается автономным кондиционерам.

Следует отметить, что в последние годы при выборе решения на основе автономных кондиционеров речь, как правило, идет о прецизионных кондиционерах, специально разработанных для поддержания заданных параметров микроклимата в технологических помещениях. Однако в период кризиса на некоторых ответственных объектах вновь стали появляться системы кондиционирования, предназначенные для создания комфортных условий в помещениях, где работают люди. Такие решения более характерны для конца прошлого века, когда заказчикам приходилось объяснять, в чем различие между комфортным и прецизионным кондиционерами. К счастью, экономическая ситуация начала стабилизироваться, и хочется надеяться, что это скорее исключение из правил, нежели устойчивая тенденция к снижению стоимости оборудования в ущерб надежности функционирования инженерной инфраструктуры ЦОДа в целом.

Ни для кого не секрет, что после активного оборудования основным потребителем энергии в дата-центре являются климатические системы. Каждый «лишний» ватт, потребляемый кондиционерами, – это прямые убытки, которые несет владелец ЦОДа. Автономные системы кондиционирования в классическом исполнении – это модели с выносным конденсатором воздушного охлаждения. Они не ориентированы на экономию энергии. Мощность, потребляемая подобными кондиционерами, меняется в течение года, но это связано прежде всего с особенностями холодильного цикла. В любом случае, когда температура воздуха в ЦОДе выше заданной, компрессор – основной потребитель энергии у автономных кондиционеров – работает постоянно. Регулировка производительности блока осуществляется за счет включения/выключения компрессора. Потребляемая мощность изменяется незначительно – в пределах 5–15% номинальной мощности за счет изменения давления конденсации.

Принципиально иной режим работы у системы кондиционирования воздуха, источником холодоснабжения которой является чиллер с функцией свободного охлаждения. В теплый период года незамерзающая жидкость охлаждается в испарителе холодильной машины за счет работы компрессоров, далее поступает в теплообменники шкафных кондиционеров, где нагревается, отводя тепло от серверного оборудования, и возвращается в чиллер. Когда температура наружного воздуха становится хотя бы на градус ниже температуры охлаждающей жидкости, чиллер переходит в режим свободного охлаждения. Причем в этом режиме компрессоры могут быть как полностью остановлены вследствие низкой температуры окружающей среды, так и задействованы лишь частично. В зависимости от конкретного проекта температура наружного воздуха, при которой произойдет полная остановка компрессоров, лежит в диапазоне от –5 до +5°С. Это значительно снижает расход электроэнергии, увеличивает рабочий ресурс системы в целом и соответственно ее надежность.

Оценим на конкретном примере срок окупаемости климатического оборудования в случае применения чиллеров с функцией свободного охлаждения. Предположим, что для ЦОДа с суммарным тепловыделением 300 кВт рассматриваются два варианта системы кондиционирования: первый – на базе автономных фреоновых кондиционеров с выносным конденсатором, а второй – на основе чиллеров и кондиционеров, работающих на охлажденной жидкости. Для корректности сравнения используем оборудование одного бренда.

Вариант 1. В качестве основного оборудования принимаются фреоновые шкафные кондиционеры с выносным конденсатором HРМ M50 UA, с нижней раздачей воздуха, шесть рабочих, один резервный. Шкафные кондиционеры обеспечивают подачу охлажденного воздуха под фальшпол, а также контролируют и поддерживают влажность в помещении. Общая явная холодопроизводительность рабочих шкафов составляет 300 кВт, в резерве находится один кондиционер с явной холодопроизводительностью 50 кВт.

Вариант 2. В ЦОДе используются шкафные кондиционеры, работающие на охлажденном 40%-ном растворе этиленгликоля, HРМ L90 UС, с нижней раздачей воздуха, четыре рабочих, один резервный. Общая явная холодопроизводительность рабочих шкафов – 308 кВт, в резерве – один кондиционер с явной холодопроизводительностью 77 кВт.

Для этого варианта предлагается установить два чиллера (один рабочий, один резервный) модели Superchiller SBH030 холодопроизводительностью 330 кВт каждый (параметры соответствуют наружной температуре +35°С и температуре 40%-ного раствора этиленгликоля 10/15°С). Чиллеры оснащены четырьмя спиральными компрессорами и имеют ступенчатую регулировку холодопроизводительности от 25 до 100% номинальной мощности. При наружной температуре +14°С чиллер переходит в режим естественного охлаждения, оставляя включенными часть компрессоров. Чтобы обеспечить такую возможность, расчетная температура теплоносителя принята равной 10/15°С. На работу только за счет холода наружного воздуха с полной остановкой компрессоров чиллер переходит при температуре –1°С.

Сравним два варианта, приняв за 100% стоимость оборудования, соответствующую первому из них (т.е. автономных кондиционеров), и оценим, через какое время более высокая стоимость оборудования во втором случае окупится за счет экономии электроэнергии.

Как видно из приведенных в таблице расчетов, вложения в основное оборудование окупятся через 2,1 года, далее схема с применением чиллеров начнет приносить прибыль за счет экономии энергии в холодный период года. Кроме того, энергоэффективность холодильных машин может быть повышена. Мы рассматривали чиллеры, оснащенные спиральными компрессорами с холодильным коэффициентом, равным трем, а если взять турбокомпрессоры с холодильным коэффициентом более шести, то преимущество использования чиллеров будет еще очевиднее.

Надежность работы оборудования

Один из важных критериев выбора климатической системы – надежность ее работы в течение всего срока эксплуатации вне зависимости от погодных условий и тепловой нагрузки ЦОДа. Говоря об отказоустойчивости системы кондиционирования, необходимо отметить принципиальное различие между фреоновыми шкафными кондиционерами и системами на основе чиллеров при работе в режиме охлаждения в холодный период года. При проектировании фреоновых кондиционеров подбор конденсаторов осуществляется исходя из максимально возможной для данного региона температуры наружного воздуха. При низких наружных температурах площадь теплообменной поверхности конденсатора оказывается чрезмерно большой, в результате чего давление конденсации падает. Для поддержания давления используют регуляторы скорости вращения вентиляторов, увеличенные ресиверы, клапаны поддержания давления в ресивере. Дополнительно задействуют нагреватели картера компрессора. Фактически обеспечение работоспособности кондиционера при низких наружных температурах сводится к адаптации режима работы холодильного цикла, которая позволит поддерживать примерно такое же давление конденсации, как и в теплый период года. В результате зимой возрастает вероятность аварийной остановки кондиционера по датчику низкого давления, особенно в момент запуска кондиционера. Компрессор работает в нерасчетном режиме, возможен повышенный вынос масла в систему (главным образом при коротком цикле работы), соответственно в холодный период года повышается износ компрессора.

Регулировка производительности фреоновых кондиционеров и поддержание заданной температуры в помещении осуществляются посредством пуска и остановки компрессоров. При этом холодопроизводительность одноконтурного кондиционера может составлять 0 или 100%, двухконтурного 0 – 50 – 100% номинальной. Однако следует помнить, что количество запусков компрессора в течение одного часа ограничено. Как правило, оно не должно превышать десяти. Для этого производители задают минимальное время работы и останова компрессора, время задержки перед следующим включением и т.д. Вентилятор кондиционера работает постоянно, соответственно при остановленном компрессоре кондиционер продолжает подавать нагретый воздух в зону охлаждения серверного оборудования, что значительно снижает эффективность работы системы охлаждения в целом. Особенно это критично для стоек с высоким тепловыделением, где подача необработанного воздуха к серверам приводит к образованию локальных зон перегрева.

Принципиально отличается от вышеописанного алгоритм работы чиллеров с функцией свободного охлаждения. При низких температурах останавливаются все компрессоры, и охлаждение хладоносителя осуществляется за счет низкой температуры наружного воздуха. При использовании свободного охлаждения полностью исключаются все аварийные режимы, связанные с работой фреонового холодильного контура в холодный период года. Это повышает надежность функционирования системы при критичных условиях эксплуатации. Шкафные кондиционеры, работающие на охлажденной воде, обеспечивают плавную регулировку холодопроизводительности в диапазоне от 0 до 100% номинальной, что особенно важно для точного поддержания заданной температуры при переменной тепловой нагрузке или при наличии зон с повышенным тепловыделением. Благодаря наличию встроенного регулировочного клапана кондиционеры могут точно и постоянно поддерживать заданную температуру воздуха в холодном коридоре за счет изменения расхода жидкости, протекающей через теплообменник кондиционера, или воздуха, проходящего через блок. Именно по этой причине при изоляции холодных или горячих коридоров рекомендуется применять водяные кондиционеры, так как только в этом случае имеется возможность управлять производительностью кондиционеров исходя из температуры воздуха в замкнутом объеме и при этом избежать цикличности в работе холодильного оборудования и перегрева серверов.

Эксплуатационные ограничения

Наряду с бесперебойным питанием существует и бесперебойное охлаждение. Его назначение – в случае пропадания основного электропитания обеспечить отвод тепла на время, необходимое для включения и выхода на полную мощность дизель-генератора.

Время запуска и выхода на режим дизель-генератора, а также включения кондиционера – около трех минут, если же дизель не запускается с первого раза, то время выхода на режим увеличивается еще на три минуты. Градиент изменения температуры воздуха в помещении для стоек с тепловыделением до 5 кВт со стойки составляет примерно 5–6°С в минуту, следовательно, при начальной температуре в помещении 22°С через три минуты температура возрастет до 40°С, через пять минут – примерно до 50°С.

И с точки зрения обеспечения бесперебойного охлаждения фреоновые кондиционеры имеют серьезные рабочие ограничения. А именно, предельно допустимая температура воздуха на входе в испаритель не должна превышать 32–35°С. При более высокой температуре велика вероятность того, что после возобновления подачи питания у кондиционеров сработает защита и они не запустятся. Поэтому после пропадания основного электропитания и выхода дизель-генератора на режим велика вероятность аварийной остановки всех фреоновых кондиционеров, что неизбежно приведет к продолжению роста температуры в помещении и, как следствие, к аварийной остановке всего ЦОДа. Вот почему спецификации третьего и четвертого уровня надежности по стандарту TIA-942 (Tier 3 и Tier 4) предусматривают обязательное наличие системы бесперебойного охлаждения на время запуска и выхода на режим дизель-генератора. Для того чтобы обеспечить выполнение этих требований, автономные кондиционеры необходимо подключить к источникам бесперебойного питания, соответственно увеличить их мощность как минимум на 30–35%, закупить дополнительные аккумуляторные батареи, кондиционеры укомплектовать устройствами плавного запуска компрессоров. Это увеличивает стоимость решения в целом, а также подразумевает выделение площадей для установки дополнительного оборудования.

Гораздо проще выполнить требования по бесперебойному охлаждению в случае применения чиллеров в качестве основного источника холодоснабжения. Для обеспечения работы оборудования после пропадания электропитания при отключенных холодильных машинах в гидравлическом контуре системы бесперебойного холодоснабжения используются тепло-изолированные баки-аккумуляторы. В баках находится охлажденный раствор гликоля. Контроллеры и вентиляторы кондиционеров, а также контроллеры и насосы чиллера подключены к источникам бесперебойного питания. Насосы поддерживают циркуляцию жидкости между баком-аккумулятором и кондиционерами, компрессоры чиллеров останавливаются. Таким образом обеспечивается бесперебойное охлаждение и плавное восстановление работоспособности системы после возобновления подачи электроэнергии.

Используя чиллерную систему охлаждения, можно гибко реагировать на изменение инфраструктуры серверного оборудования. При появлении в ЦОДе высоконагруженных стоек с тепловыделением от 10 до 30 кВт всегда есть возможность установить дополнительный модуль, перейти от охлаждения стоек на уровне всего зала к охлаждению на уровне стойки. Для этого существуют различные решения, позволяющие без остановки системы кондиционирования модернизировать систему охлаждения с учетом изменившихся нагрузок.

У фреоновой системы есть еще одно ограничение – на длину трубопровода и перепад высот между внутренними и наружными блоками. Как правило, эквивалентная длина трассы фреонопровода не должна превышать 50 м, рекомендуемый перепад по высоте – не более 30 м. В случаях, когда не выполнено хотя бы одно из этих требований, необходимо применять кондиционеры с жидкостным охлаждением конденсатора, устанавливать циркуляционные насосы, расширительные баки. Система усложняется и приближается по стоимости к чиллерной системе. Водяная система подобных ограничений не имеет, ее можно приспособить практически к любым конфигурациям, обусловленным проектом здания и прилегающей территории.

Безусловно, чиллерные системы имеют свои ограничения, и связаны они прежде всего с массогабаритными характеристиками холодильных машин. Например, нужно учитывать максимально допустимую нагрузку на кровлю или наличие/отсутствие места рядом со зданием.

Каждая из рассмотренных систем холодоснабжения ЦОДа имеет право на существование и при грамотном подходе обеспечит безотказную работу оборудования в течение всего периода эксплуатации. Основная задача проведенного сравнения – показать характерные особенности работы климатического оборудования, возможности регулировки параметров микроклимата и ограничения, с которыми может столкнуться владелец ЦОДа.

На климатическом рынке присутствует много брендов, предлагающих различные решения, но основные принципы работы оборудования одинаковы. Если заказчик осознанно делает выбор в пользу того или иного решения и понимает, чего от него ожидать, то можно быть уверенным в том, что уровень надежности ЦОДа будет отвечать поставленной задаче.