Круглогодичный фрикулинг в России, или Готовых рецептов нет

Поступив в 2002 г. в Билефельдский университет в Германии, я на первых же каникулах проходила практику в компании Schüco, в подразделении, которое занималось солнечными батареями. В начале 2000-х Schüco считалась самым современным и прогрессивным предприятием в Германии в области гелиоэнергетики. Оно и было таковым, за исключением, как ни странно, отдела ИТ. Здесь трудились специалисты, получившие образование в конце 80-х. Они обслуживали компьютеры, работающие под DOS, но не разбирались в более современной Windows и ее приложениях. Вместо того чтобы учиться, программисты старой школы, назовем их так, скупали по всей Германии старые компьютеры, разбирали их на запасные части и ремонтировали устаревшую технику. Сочетание было гротескным: ультрасовременные солнечные батареи и морально устаревшие компьютеры.

Вспомнила об этой истории, столкнувшись недавно с тем, что некоторые «современные» ЦОДы в России до сих пор проектируются на прецизионных кондиционерах без разделения коридоров. Не хочу рассуждать о многочисленных недостатках таких систем, об этом сказано и написано достаточно. Мне, как, надеюсь, и вам, интересны более современные и прогрессивные модели. Их на сегодняшний день много, но в рамках данной статьи хочу остановиться на ЦОДах, в которых снятие тепловыделений от ИТ-оборудования происходит за счет использования систем вентиляции. Точнее, прямоточных систем вентиляции.

Эти системы обладают рядом важных преимуществ: 

Здесь стоит добавить – «при прочих равных условиях». Что я имею в виду?

Натолкнулась недавно в немецкой прессе на кричащую статью о суперсовременном «зеленом» ЦОДе Centron в городе Бамберг. Страница рекламных слоганов о сравнении различных систем и о том, что выбранная ими вентиляционная прямоточная система обеспечивает в течение 95% времени в году бескомпрессорную работу ЦОДа при сохранении температуры в машзале не выше +24°C. Ура! Найдена, наконец, идеальная дешевая система охлаждения дата-центра, и ее можно тиражировать. Увы и ах. Прямоточная система отлично работает в ЦОДе Centron по одной простой причине: максимальная температура воздуха в Бамберге составляет 25,7°C, и наблюдается она всего лишь несколько часов в одном месяце в году, в июле. Все остальное время года температура воздуха в этом славном городе колеблется в интервале от –2,5 до +24°C при среднегодовой температуре +9,5°C (табл. 1).

Здесь мы подошли к первой проблеме использования прямоточной вентиляционной системы в ЦОДе: температуре. В Москве, например, температура ниже +24°C бывает около 93% времени – 11 месяцев в году (табл. 2). Для обеспечения микроклимата в дата-центре в оставшиеся 7% времени, когда температура выше +24°C, нужно либо доукомплектовывать систему дополнительным охлаждением, либо поднимать температуру в маш­зале, если позволяет ИТ-оборудование.

На территории Российской Федерации почти нет мест, обладающих столь же гомогенным климатом, каким обладает добрая половина городов в Германии, включая вышеупомянутый Бамберг. А за Уралом климат и вовсе резко континентальный. Для него характерны большие амплитуды колебаний температур – как годовых, так и суточных (табл. 3). 

Относительно невысокая влажность в холодное время года – вторая большая проблема при использовании прямоточной вентиляционной системы в ЦОДах.

Не буду подробно останавливаться на том, почему именно влагосодержание в ЦОДе может стать большой проблемой – об этом писала отдельную статью. Суть в том, что если это не корпоративный ЦОД с серверами, сделанными «под вас», то вам сложно будет игнорировать температуру и влажность в ЦОДе. Так что стоит задуматься о том, как решить температурно-влажностную проблему.

Итак, что делать, когда для охлаждения используется система прямоточной вентиляции, а температура на улице выше допустимой в ЦОДе? Или, наоборот, температура очень низкая, и воздух для ЦОДа слишком сухой? Ответ, казалось бы, лежит на поверхности: применить адиабатическое увлажнение. Взять готовую систему от любого производителя или создать свою, доморощенную, и вперед. Но все не так просто.

К сожалению, не всякая адиабатическая система даст ожидаемый результат. Сделаем небольшой экскурс в мир адиабатических систем.

На первый взгляд, все замечательно: устанавливаем маты, поливаем их водой, которую якобы даже не нужно подготавливать, и получаем необходимый эффект охлаждения (рис. 1). При этом еще и экономим электроэнергию.

Сегодня на рынке представлено большое количество подобных систем, включая отечественные, и приобрести их совсем не сложно.

Только вот неподготовленная вода содержит большое количество примесей, которые не оседают на стенках мата. А те, что оседают, забивают и без того небольшие отверстия для прохождения воздуха.

Для достижения эффекта охлаждения в 10 К необходим мат толщиной не менее 300 мм, который создает сопротивление по воздуху не менее 200 Па. Это сопротивление вентиляторы установки должны будут преодолевать, причем круглогодично, что нисколько не уменьшит, а, наоборот, увеличит энергопотребление. Затем, как вы помните, на матах осел известковый налет, и сечение отверстий для прохода воздуха уменьшилось вдвое, а то и втрое. До каких величин возрастет сопротивление? Как часто службе эксплуатации придется заниматься заменой матов? 

А еще резервирование: придется либо обеспечить второй источник воды, либо предусмотреть баки с необходимым объемом воды на орошение. И не забыть систему обеззараживания воды... И запас матов.... Стоимость такой системы достаточно велика даже без учета частой замены матов.

Что мы там говорили о прецизионниках?

Для такой системы мы подготавливаем воду, но надеемся получить необходимый эффект охлаждения, используя форсунки различной конфигурации (рис. 2). 

На рынке огромное количество вариантов, и все обещают необыкновенный эффект. Советую выбирать тех производителей, которые проводят точный доказательный расчет нужного количества форсунок/необходимой воды на орошение.

Кто встречал такие системы в кафе, наверняка отметил, что под ними по ощущениям действительно холоднее. Используя форсуночную адиабатику без испарения с поверхности, можно снизить температуру на 5 К. И встречаются системы, где как раз этих 5 К бывает достаточно. Но, к сожалению, в большинстве случаев 5 К не хватает.

Не говоря уже о том же резервировании, что и в случае адиабатических матов.

У подобных систем есть только одно преимущество: отсутствие дополнительного сопротивления воздухообмену.

Мы берем теплообменный блок, с его поверхности испаряем воду и достигаем эффекта понижения температуры на 10 К (рис. 3). Так же, как и в предыдущем варианте, нам нужна водоподготовка, пусть и самая простая. Плюс точный расчет требуемой площади поверхности/количества форсунок/необходимой воды на орошение.

В отличие от предыдущего варианта, возникает небольшое сопротивление по воздуху, от 35 Па. Но, в отличие от варианта адиабатических матов, в этих системах сопротивление не увеличивается с количеством часов работы. Да и нагрузка на вентиляторы в пять-шесть раз ниже.

Явное преимущество такой системы – двойная возможность резервирования. Можно, как и в предыдущих вариантах, делать резервирование по воде. А можно организовать систему резервного охлаждения посредством дополнительного замкнутого холодильного контура. 

«Снова холодильный контур? – скажете вы. – Может, сразу прецизионники?» Не важно, что они занимают место в машзале, которое можно было бы заполнить стойками, и потребуют коммуникаций, и энергопотребление вырастет, и есть ограничения по температурам. Но ведь привычно? И не так уж плохо?

Например, для Москвы максимальная температура влажного термометра, согласно 2017 ASHRAE Handbook – Fundamentals (мы же строим надежный ЦОД!), за последние 20 лет составляет twb max = 24,5°C. Тот же источник требует расчетов на максимальную температуру воздуха летом (tair), равную 36,8°C. Целевая температура в холодном коридоре составляет + 24°C.

При использовании фреоновой системы с прецизионными кондиционерами инвестиционные затраты будут относительно невелики, эксплуатация – относительно простой и привычной. И, если у вас достаточно электроэнергии и стоимость ее находится в пределах 1,5–2 руб./кВт, можно остановиться на этой системе и не углубляться в «зеленые» технологии. Главное, не забудьте предусмотреть увлажнение в ЦОДе.

Если же ваша ситуация, как и в большинстве российских ЦОДов, не такова, имеет смысл рассматривать другие системы. Например, все еще оставаясь на прецизионных кондиционерах, предусмотреть фрикулинг. 

Самые современные, и уже довольно дорогие, системы дадут вам фрикулинг максимум от +10°C. Все остальное – пока – находится за пределами разумной экономики. 

В климате Москвы фрикулинг будет уверенно работать порядка 5 тыс. ч в году, что само по себе очень хорошо. В этот период не работают компрессоры, лишь вентиляторы драйкулеров вашей установки. Потребление электроэнергии минимальное, и можно получить довольно неплохие среднегодовые показатели PUE, но все же далеко не такие красивые, как при использовании прямоточной вентиляции с адиабатической системой.

В этом случае работа в режиме фрикулинга может продолжаться до +24°C наружного воздуха, т.е. примерно 8250 ч в год. Задумайтесь: работа во фрикулинге почти круглый год, малые инвестиционные затраты, дополнительное место в машзале. Электроэнергия расходуется только на работу вентиляторов. Сложности в климате Москвы возникают лишь в оставшиеся 510 ч.

Решение довольно простое, комбинация адиабатики и компрессорного доохлаждения. Почему нельзя использовать только адиабатику?

100%-ное насыщение воздуха невозможно. Иными словами, мы не сможем получить адиабатический эффект при tair = twb max = 24,5°C. Как бы нам ни хотелось, эффект орошения проявится не ранее, чем twb max + сопротивление теплообмену = 24,5°C + 2°C (минимум) = 26,5°C.

Назовем эту температуру нижним порогом орошения. 

Здесь можно пойти несколькими путями: 

Именно последний вариант я бы рекомендовала для исключительно надежной работы ЦОДа.

Компрессорная система, работающая на «дожим», будет потреблять гораздо меньше электроэнергии, чем система на прецизионных кондиционерах. 

Верхний порог орошения определяется максимальной температурой воздуха и предельными возможностями оросительной системы. Для Москвы при максимальной температуре воздуха 36,8°C возможны следующие комбинации адиабатики и компрессорной системы в прямоточной системе вентиляции:

Таким образом, изо всех систем адиабатического орошения в прямоточной вентиляции для данной задачи самым эффективным оказывается испарение с поверхности. В том случае, если вы остановили свой выбор на прямоточной вентиляции с адиабатической системой.

Нужно отметить, что в реальном ЦОДе на выбор системы охлаждения влияет гораздо большее количество факторов, чем можно было рассмотреть в рамках этой статьи: геометрия ЦОДа, бюджет, наличие отдельных ресурсов и пр. Их нельзя недооценивать, и каждый вносит свои коррективы в выбор решения. Именно поэтому я не устаю подчеркивать: готовых рецептов климатизации ЦОДа нет. Вам придется заказать индивидуальный костюм. Да, это означает примерки, притирки, разработку индивидуальной концепции, крой, снова примерки. Гораздо сложнее и кропотливее, чем просто использовать готовое стандартное изделие. Со стандартным проще: один раз сходил на рынок, примерил несколько готовых моделей, выбрал наиболее подходящий костюм. И все. Неважно, что там чуть тянет, тут слегка длинноват, тут недоразмерен и не подчеркивает всех ваших достоинств. Главное – быстро.

Но представьте, как будет хорош в эксплуатации индивидуальный, именно по вашему ЦОДу скроенный костюм. Как замечательно будет себя чувствовать ЦОД после того, как костюм будет готов, как комфортно будет в нем и с ним работать. И как привлекательно вы будете выглядеть в глазах клиентов. Поверьте, вам не будет жаль потраченного на индивидуальное решение времени.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>