• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Что нам стоит ЦОД построить? Нарисуем – будем жить

Выбирая подход к построению инженерной инфраструктуры нового ЦОДа, следует провести комплексное сравнение подходящих решений, основанное на технико-экономическом анализе. Не уделяя этому внимания, заказчик строительства существенно ограничивает свои возможности.

Любое строительство невозможно без проекта, а строительство ЦОДа требует особого внимания. Но прежде чем приступить к проектированию, необходимо определиться с концепцией построения инженерной инфраструктуры дата-центра. От выбранного решения будет зависеть архитектура здания, энергетическая эффективность, эксплуатационные расходы.

К сожалению, разработке и сравнению различных подходов и вариантов построения систем холодо­снабжения и энергетики не уделяется должного внимания. За основу выполнения проектных работ берутся данные из технического задания, сформированного на основании представления заказчика о будущем ЦОДе. Отдельные конкурсы – на разработку решений, техническое обоснование и защиту концепции – в России не распространены. Как правило, при объявлении конкурса на проектирование инженерное решение уже предопределено или указан тип оборудования, на базе которого будет разработан проект.

Считаю, что не уделяя должного внимания сравнению различных подходов к поставленной задаче, заказчик в значительной степени ограничивает свои возможности, что может вылиться в дополнительные затраты как на строительство здания и закупку оборудования, так и на последующую эксплуатацию инженерных систем. Далеко не всегда кажущиеся очевидными решения оказываются оптимальными для конкретного проекта. Необходимы комплексные сравнения возможных решений, основанные на тех­ни­ко-экономическом анализе. К тому же далеко не всегда можно говорить о масштабируемости решений применительно к выбранной концепции. Так, вариант для ЦОДа, рассчитанного на 1 мВт, может оказаться абсолютно неэффективным для ЦОДа мощностью 5 мВт.

Далее в качестве модельного примера мы будем рассматривать систему охлаждения для дата-центра с расчетной мощностью серверного оборудования 1 мВт. Серверные стойки размещаются в четырех машинных залах, по 250 кВт в каждом.

Выбор концепции

При подборе вариантов за основу мы принимаем требование заказчика вводить ЦОД в эксплуатацию поэтапно. На первом этапе тепловыделение машинного зала составит 250 кВт. Проверим целесообразность использования фреоновых шкафных кондиционеров. Зададимся холодопроизводительностью одного блока примерно 65 кВт.

Вариант №1 – фреоновые шкафы с выносными конденсаторами. Для более точного поддержания параметров микроклимата можно применить кондиционеры с инверторными или digital scroll-ком­прес­со­рами, но это приведет к удорожанию системы не менее чем на 20% по сравнению со стандартными моделями. Большого смысла в этом нет, экономия затрат на электроэнергию позволит окупить вложения в плавную регулировку производительности климатического оборудования не ранее чем через пять лет. Для оптимизации затрат достаточно использовать двухконтурные шкафные кондиционеры со ступенчатой регулировкой производительности 0–50–100%.

Итак, применяем двухконтурные шкафы, холодопроизводительность NET каждого шкафа составляет 65 кВт. В каждом машинном зале устанавливаем четыре рабочих и один резервный кондиционер. Расчет стоимости оборудования приведен в таблице. Как видно, на первом этапе система кондиционирования, включая монтажные работы (стоимость которых равномерно распределяется на все этапы), обойдется в 173 075.

Система кондиционирования для всего ЦОДа на 1 мВт (четыре зала по пять кондиционеров в каждом) с учетом стоимости оборудования, материалов, монтажных и пусконаладочных работ будет стоить 692 300.

Преимущество этого варианта – низкая стоимость, минимальные расходы на закупку оборудования на первом этапе. Недостаток – отсутствие свободного охлаждения.

Вариант №2 – шкафные кондиционеры с прямым гликолевым охлаждением. В качестве источника холодоснабжения используем моноблочные чиллеры со встроенной функцией свободного охлаждения. В данном случае отталкиваемся от общей нагрузки на ЦОД: оптимально будет установить три рабочих чиллера по 350 кВт каждый и один резервный.

На первом этапе устанавливаем две холодильные машины и выполняем всю гидравлическую разводку. Если увеличивать количество чиллеров, получаем увеличение стоимости решения на последнем этапе. Для того чтобы повысить энергетическую эффективность системы холодоснабжения за счет раннего перехода в режим свободного охлаждения, выбираем холодильные машины, способные работать на высокопотенциальном теплоносителе с температурой 21–15°C.

Затраты на оборудование на первом этапе (пять шкафных кондиционеров и два чиллера для одного машинного зала) составят 228 632 (см. таблицу). Принимаем, что на монтажные работы на первом этапе (прокладка магистральных трубопроводов и воздуходувов) приходится 65% их общей стоимости. Стоимость основного оборудования системы кондиционирования для всего ЦОДа на 1 мВт (четыре зала по пять кондиционеров в каждом плюс четыре чиллера) – 580 864. С учетом монтажных материалов и работ полная стоимость системы кондиционирования – 873 864. Разница в цене между этим и первым вариантом составляет 181 564. Срок окупаемости дополнительных затрат на покупку оборудования и его монтаж (по сравнению с 1-м вариантом) за счет снижения потребляемой мощности системы холодоснабжения в холодный период составит 4,1 года.

Преимущества данного подхода – наличие функции свободного охлаждения, возможность обеспечить бесперебойное охлаждение на необходимое время автономной работы за счет установки баков аккумуляторов, переход на 100%-ное свободное охлаждение при температуре на улице ниже 4°C. Недостаток – высокие капиталовложения на первом этапе.

Вариант №3 – применение установок, работающих основную часть года на наружном воздухе. Подбираем приточно-вытяжные установки с роторным рекуператором. Чтобы избежать проблем с контролем относительной влажности в машинных залах, а также проблем, связанных с загрязнением и загазованностью наружного воздуха, роторный рекуператор используем для разделения потоков наружного и рециркуляционного воздуха. Таких установок потребуется пять – четыре рабочие и одна резервная. Для работы установок в теплый период года при температуре наружного воздуха выше 24°C применяем компрессорно-конденсаторные агрегаты (ККБ).

Стоимость основного оборудования для первого этапа (приточно-вытяжная установка, два комплекта, плюс два ККБ) составит 333 192 (см. таблицу) – это самый высокий показатель из всех вариантов. На монтажные работы на первом этапе приходится 70% их общей стоимости. Для всего ЦОДа на 1 мВт (четыре зала) потребуется пять воздухообрабатывающих установок и пять ККБ. Итого стоимость основного оборудования системы кондиционирования – 832 980. С учетом монтажных материалов и работ получаем полную стоимость системы кондиционирования в 1159 980.

Разница по сравнению с первым вариантом составляет 467 680, срок окупаемости дополнительных затрат – 7,3 года. Разница по сравнению со вторым вариантом – 286 116, срок окупаемости 2,8 года.

Преимущества третьего варианта – работа в режиме свободного охлаждения порядка 8000 часов в году. Дополнительно возможно адиабатическое охлаждение при наличии необходимого количества воды на объекте. В этом случае работа компрессорно-конденсаторного агрегата сводится к минимуму. Недостатки – высокие капиталовложения, уникальная система автоматики, разработанная под конкретную задачу, нестабильная работа на начальном этапе, при низкой загрузке ЦОДа.

Выбор оборудования

После выбора и согласования концепции начинается не менее ответственный этап: нужно определиться с оборудованием, которое будет применено в проекте. О том, какие факторы нужно учесть при подборе конкретной модели, довольно подробно рассказано в статье «Выбор климатического оборудования для энергоэффективного ЦОДа», ИКС №3-4’2016. Отметим лишь, что особое внимание нужно уделять рабочим ограничениям, которые указывают производители оборудования. Например, для того, чтобы получить максимальную энергоэффективность системы холодоснабжения, необходимо применять чиллеры, работающие на высокопотенциальном теплоносителе. Температура в контуре холодоснабжения в 26–20°C давно перестала быть экзотикой, в гамме продукции у ведущих производителей чиллеров есть серии холодильных машин, предназначенных для работы в подобных условиях. Это специально разработанные машины, отличающиеся от стандартных расчетом испарителя и конденсатора, а также типом применяемых компрессоров. К сожалению, на фоне падающего рынка и обострения конкуренции зачастую заказчикам в качестве альтернативного, более дешевого варианта предлагают стандартные холодильные машины, предназначенные для работы с теплоносителем 7–12 или 10–15°C.

Разобраться в нюансах работы холодильного оборудования заказчику порой просто невозможно, а по большому счету и не нужно. По существу, вся ответственность за выбор того или иного оборудования должна лежать на проектной организации, которая и принимает решение о возможности использования оборудования в проекте. Европейский и американский рынок проектирования и строительства ЦОДов именно так и работает. Но Россия имеет свои особенности. Зачастую оборудование выбирается не только на основании его технических характеристик, но и с учетом хороших отношений заказчика с тем или иным вендором и настоятельными рекомендациями применить его технику.

Думаю, всем известны случаи, когда работоспособность оборудования подтверждается не технической документацией производителя, а письмом вендора о том, что модель в стандартном исполнении отвечает требованиям проекта, вендор подтверждает гарантийную поддержку. Проблема заключается в том, что какое бы не было замечательное оборудование и какие бы умные контроллеры в нем не стояли, оборудование не умеет читать вендорские письма, а также не догадывается о том, что ему предписано работать даже за пределами расчетного диапазона. Аварийные ситуации возникают далеко не сразу, как правило, ЦОД никогда не запускается на 100%-ную нагрузку, да еще и при максимальных температурах наружного воздуха. На расчетный режим работы он может выйти через два-три года эксплуатации, а к тому времени гарантия на поставляемое оборудование уже заканчивается. Однако некорректный выбор оборудования может привести к аварийной остановке системы, по аналогии с эффектом домино. При высокой температуре наружного воздуха и загрузке ЦОДа, близкой к 100%, возможна аварийная остановка климатического оборудования, а резервные чиллеры в этом случае не спасут, так как их рабочий диапазон такой же, что и у основных холодильных машин.

Самое неприятное здесь то, что заказчик в этом случае остается один на один со своими проблемами. Проектная организация «прикрыта» письмом от вендора. У поставщика закончилась гарантия на оборудование, а сервисный департамент производителя заявляет, что письмо, подтверждающее работоспособность оборудования, подписано руководителем отдела продаж, который не имеет ни малейшего отношения к сервису. И описанный случай, к сожалению, далеко не единичный. Даже если проект проходит экспертизу, то эксперты, как правило, не обращают внимания на ограничения рабочих характеристик оборудования. И только если проект будет проходить сертификацию в Uptime Institute, заказчику обязательно выдадут замечание о несоответствии заявленных параметров.

По мнению автора, ответственность за принятые решения и выбор оборудования всецело должна лежать на проектной организации. Задача проектировщиков, помимо всего прочего, заключается в том, чтобы убедить заказчика в необходимости принимать правильные решения, исключающие риски аварийной остановки ЦОДа при эксплуатации, в том числе при критических нагрузках.

Выбор параметров

Отдельно следует поговорить о расчетных параметрах воздуха, подаваемого в машинные залы для охлаждения серверного оборудования. Безусловно, с точки зрения энергетической эффективности в зонах холодного коридора выгодно поддерживать температуру на уровне +27 или даже +32°C. В зависимости от того, в каком регионе расположен ЦОД, в ряде случаев можно совсем отказаться от использования холодильных машин. Однако при составлении технического задания на разработку проектной документации в первую очередь следует руководствоваться назначением ЦОДа, а также типом и техническими параметрами применяемого серверного оборудования. Если речь идет о строительстве корпоративного ЦОДа и есть понимание, что устанавливаемое серверное оборудование может беспрепятственно эксплуатироваться в указанном диапазоне температур, то можно смело руководствоваться принципами, позволяющими увеличить энергетическую эффективность системы кондиционирования и снизить потребление энергии.

Особое внимание следует уделять проблеме поддержания относительной влажности в помещении машинного зала. Даже если руководствоваться требованиями ASHRAE по допустимому диапазону относительной влажности от 20 до 80%, то довольно часто служба эксплуатации ЦОДа сталкивается с проблемой соответствия параметров микроклимата указанным требованиям. Распространенная проблема – превышение максимально допустимого значения относительной влажности. Дело в том, что увлажнение воздуха, как правило, предусматривается на стадии проектирования: это может быть установка пароувлажнителей в кондиционеры или установка систем адиабатического увлажнения в приточно-вытяжные установки. О режиме осушения воздуха, как правило, забывают. Между тем, если не предусмотреть возможность и алгоритм работы оборудования в режиме осушения, то можно столкнуться с проблемой поддержания заданных параметров. Дело в том, что кондиционеры, работающие на  высокопотенциальном теплоносителе, просто не способны осушать воздух, так как температура на поверхности воздухо­охладителя всегда выше точки росы и конденсат на теплообменниках попросту не образуется.

Аналогичная ситуация возникает при использовании приточно-вытяжных установок. Необходимо предусматривать либо возможность автоматического изменения уставки температуры жидкости на чиллере при переходе работы кондиционеров в режим осушения, либо включение компрессорно-конденсаторного агрегата в приточной установке в случае превышения требуемой влажности в машинном зале. Возможна также установка автономных осушителей воздуха, работающих на каждый машинный зал.

Гораздо более сложная задача связана с проектированием коммерческих ЦОДов. Даже если предположить, что все современное серверное оборудование рассчитано на работу при температурах воздуха в холодном коридоре до 27°C, вполне могут найтись клиенты, у которых по внутренним корпоративным стандартам температура воздуха на входе в серверы не должна превышать 22–24°C. Поэтому при проектировании коммерческих дата-центров следует руководствоваться оптимальным соотношением между надежностью, энергоэффективностью и возможностью продажи своих услуг.

Климатическая система должна быть максимально гибкой, способной обеспечить необходимые параметры воздуха в зависимости от требований клиента. При строительстве коммерческого ЦОДа скорее всего не удастся полностью отказаться от использования холодильных машин. Система холодоснабжения должна быть просчитана для двух режимов работы: поддержания температуры воздуха в холодных коридорах +27°C, с возможностью, если потребуется, понизить ее до 24°C. При этом производительности системы должно хватать для ассимиляции теплопритоков от серверного оборудования, вне зависимости от режима работы.

Фактически в случае необходимости (по тем или иным причинам) использовать холодильные машины энергетическая эффективность работы системы кондиционирования будет зависеть только от температуры перехода чиллеров в режим свободного охлаждения. Соответственно, мы имеем возможность еще раз оценить и проанализировать, что будет приоритетом – капитальные затраты на закупаемое оборудование или снижение затрат на дальнейшую эксплуатацию. Иными словами, мы снова возвращаемся к сравнению различных концепций и технико-экономическому анализу, необходимому для выбора решения.

* * *

В основе строительства любого ЦОДа лежит сравнение и анализ различных вариантов, выбор оборудования, полностью отвечающего принятому решению, тесное взаимодействие между проектной командой, заказчиком и производителями оборудования, сведение всех разделов проекта в единую модель. Если пренебрегать изложенными выше рекомендациями, есть вероятность, что вместо полноценной проектной документации мы получим на выходе имеющий слабое отношение к делу рисунок. Как говорится, нарисуем – будем жить.