Охлаждение для ЦОДа: обойдемся без компрессоров?

Прекращение большинством мировых производителей поставок в Россию компрессорных систем охлаждения – серьезная проблема при создании инженерной инфраструктуры отечественных ЦОДов. Один из путей ее решения – переход на компрессорную технику других производителей, прежде всего российских и китайских. Еще один путь – применение технологий охлаждения, которые либо вообще не подразумевают использования компрессоров, либо существенно снижают требования к ним. Оба пути активно обсуждались на организованной «ИКС-Медиа» конференции DCDE-2022.

Самый простой вариант – прямой фрикулинг с помощью внешнего воздуха. В этом случае наружный воздух через специальную камеру, в которой производятся его фильтрация и смешивание с теплым воздухом (когда температура на улице слишком низкая), попадает непосредственно в машзал ЦОДа. Но трудность в том, что такие системы охлаждения применимы лишь тогда, когда ИТ-оборудование может штатно работать при температурах, превышающих максимальную температуру внешнего воздуха в месте расположения ЦОДа. Поэтому к подобным решениям прибегают в основном гиперскейлеры, которые устанавливают специальные серверы, способные работать при высокой температуре (например, оборудование класса А4, допускающее работу при 45°С).

Для «обычных» ЦОДов системы фрикулинга оснащаются средствами дооохлаждения, например адиабатическими системами, которые сегодня более доступны, чем, например, мощные чиллеры. По мнению Виктора Гаврилова, технического директора компании «АМДтехнологии», адиабатическое охлаждение можно применять без дополнительного компрессорного охлаждения, если в регионе строительства ЦОДа относительная влажность в теплый период не превышает 30% или предполагается использовать серверное оборудование, способное штатно работать при температуре воздуха на входе более +30°С. «Однако в Центральном регионе России со среднегодовой относительной влажностью более 50% задействовать в ЦОДе адиабатическую систему без компрессорной рискованно», – считает эксперт.

Еще одна проблема прямого фрикулинга – наличие загрязнений в поступающем с улицы воздухе. Пыль и пыльца растений, смог и копоть от машин, различные выбросы предприятий в большом количестве присутствуют в атмосфере крупных городов, таких как Москва. Поэтому необходимы несколько ступеней очистки воздуха с использованием фильтров высокой степени очистки. Но даже их применение не гарантирует 100%-ной защиты дорогостоящего ИТ-оборудования от грязи.

Устранить этот недостаток прямого фрикулинга можно, установив дополнительный воздушный теплообменник. При этом формируются два изолированных воздушных контура (с уличным воздухом и воздухом, циркулирующим непосредственно в ЦОДе) с обменом тепла/холода между ними. Изоляция исключает перемешивание потоков, а значит, и попадание примесей извне в серверные помещения. Между двумя воздушными контурами могут устанавливаться теплообменники различных типов. Наибольшее распространение получили пластинчатые рекуператоры и роторные регенераторы (их еще называют тепловыми колесами). В России, по словам В. Гаврилова, производятся достаточно качественные теплообменники обоих типов. Например, пластинчатые теплообменники выпускают Ижевский завод тепловой техники, «Завод ВКО» (г. Киржач) и «Техногрупп» (г. Дзержинский). А роторные – компания «Шегран» (г. Казань).

Свое решение на основе инновационного теплообменника представил на DCDE-2022 санкт-петербургский завод Antarctis, российский разработчик и производитель промышленного климатического оборудования, имеющий почти четвертьвековой опыт работы. Его экономайзер ERA – это композитный трубчатый теплообменник на основе графена. Над созданием этого теплообменника инженеры компании трудились три года, и, как считает генеральный директор Antarctis Виктор Гагуа, это «самая энергоэффективная система охлаждения в мире». В отличие от пластмассовых трубок, которые используются в большинстве систем охлаждения, на графеновые трубки можно подавать воду любого качества, даже морскую. При этом трубки не окисляются, не корродируют и не закупориваются, на них не осаждаются соли и минералы.

Экономайзер Antarctis ЕRA можно назвать системой косвенного адиабатического охлаждения. Он имеет два герметично изолированных друг от друга воздушных контура. Воздух внутреннего контура циркулирует между машзалом ЦОДа и самим экономайзером, удаляя теплопритоки, выделяемые серверами. Внешний воздушный контур использует наружный воздух для отведения тепла от наружной части трубчатого теплообменника.

 

В режиме фрикулинга система Antarctis ЕRA эффективно работает при температурах от -45°С до +24°С. При температуре наружного воздуха выше +10°С на теплообменник начинает подаваться вода под низким давлением. В режиме адиабатического охлаждения система эффективно отводит тепло до +21°С по мокрому термометру. Если климат в месте установки системы не позволяет круглогодично обходиться фрикулингом с адиабатикой, в системе может быть установлен доохладитель с испарителем и конденсаторным блоком. Это позволит поддерживать требуемую температуру в холодном коридоре в любое время года. В. Гагуа также отмечает, что в отличие от большинства систем, в которых отбор теплого воздуха из машзала осуществляется, как правило, сверху, а выдача холодного воздуха – снизу, к системе ERA холодные и горячие воздуховоды можно подключать с любой стороны: сверху, снизу, с торцов.

При всех достоинствах адиабатики эффективность ее применения сильно зависит от климата в месте расположения ЦОДа. Кроме того, существенный расход воды ограничивает использование таких систем в тех местах, где этого ресурса недостаточно. Какие возможны варианты без адиабатики?

В. Гаврилов предлагает дополнить систему прямого фрикулинга чиллерной системой на основе простого чиллера для комфортного охлаждения (рис. 2). Такие чиллеры не поддерживают функцию фрикулинга и рассчитаны на работу не более 60 дней в году, но они гораздо более доступны (и по цене, и по наличию, поскольку выпускаются гораздо большим числом производителей), чем используемые в традиционных системах охлаждения ЦОДов чиллеры, рассчитанные на постоянную работу.

В качестве еще одного варианта системы охлаждения, который не требует дефицитных мощных чиллеров В. Гаврилов предлагает рассмотреть системы LSV (Low Speed Ventilation), известные также как холодные стены. Подобные системы выпускают, в частности, компании «Рефкул» и Lu-Ve, да и сама «АМДтехнологии» является разработчиком таких решений. Системы LSV можно совмещать со схемой прямого фрикулинга (рис. 3) и при необходимости дополнять недорогими чиллерами. 

 

Наконец, в новых условиях второй шанс получают системы погружного охлаждения. Их предлагает ряд российских производителей, в том числе «Инпро Технолоджис», ТК «Связь», DTL (DTL – специальный проект компании «Термосистемы», российского производителя промышленного холодильного оборудования) (рис. 4). В погружных системах задействуются лишь насосы и драйкулеры – оборудование, выпуск которого хорошо освоен российскими предприятиями. Раньше внедрению таких систем препятствовало то обстоятельство, что при погружении серверов в охлаждающую жидкость они тут же лишались гарантии производителя. Но в условиях параллельного импорта официальная гарантия уже не столь важна.

 

В такой консервативной отрасли, как цодостроение, далеко не все заказчики готовы к инновациям, поэтому традиционные решения, по всей видимости, еще долго будут доминировать на рынке. Обычно в системе охлаждения ЦОДа применяются внутрирядные и/или шкафные кондиционеры, а также чиллеры – если кондиционеры работают не на фреоне, а на воде. На DCDE-2022 такое оборудование представили несколько российских производителей.

Один из них – завод «Рефкул» (рис. 5), открытый в 2019 г. в особой экономической зоне в Калужской области. Предприятие выпускает широкий спектр оборудования: шкафные прецизионные кондиционеры (от небольших устройств до аппаратов мощностью 300 кВт), межрядные фреоновые и водяные кондиционеры, чиллеры с фрикулингом (от 5 до 1500 кВт). Этот завод входит в группу компаний «Термокул», которая свой первый чиллер произвела еще в конце прошлого века.

 

Продукция «Рефкул» востребована на российском рынке цодостроения. Так, в 2021 г. компания поставила в ЦОДы Selectel шесть чиллеров-моноблоков с фрикулингом, а также 26 прецизионных кондиционеров (с выдувом под фальшпол) общей холодопроизводительностью 3 МВт. Другой крупный оператор ЦОДов DataPro в том же 2021 г. получил от «Рефкул» 20 чиллеров-моноблоков с фрикулингом и 20 прецизионных кондиционеров с вентиляторами под фальшполом суммарной холодопроизводительностью 2,5 МВт. В портфеле заказов «Рефкул» более 120 чиллеров общей мощностью около 30 МВт, а также более 80 прецизионных кондиционеров на 7,5 МВт.

Как и большинство производителей климатической техники (в том числе основные мировые вендоры), «Рефкул» традиционно ориентировался на европейские комплектующие, в частности компрессоры Bitzer и Danfoss, а также на вентиляторы ebm-papst. Однако эти компании прекратили работу в России, что значительно усложнило получение их продукции. В результате, по словам генерального директора «Рефкул» Алексея Морозова, сроки изготовления оборудования увеличились до 20–24 недель. Однако сейчас завод переориентируется на комплектующие других поставщиков (из России, КНР, Сербии и Турции), что позволит уже к ноябрю вернуть «уехавшие вправо» сроки к 12 неделям. При этом руководитель «Рефкул» уверен в том, что удастся сохранить высокое качество выпускаемой продукции.

Другой российский производитель – «КБ Борей» – начал в 2016 г. с создания прототипа внутрирядного кондиционера, а через три года поставил такие кондиционеры (модель ВРК-30) для тестовой площадки компании «ЯдроЛабс». Сегодня производитель выпускает две модели «внутрирядников»: ВРК-30 (ширина 300 мм, теплоотвод до 33 кВт) и ВРК-60 (ширина 600 мм, теплоотвод до 58 кВт). Эти продукты могут использоваться как в схемах с горячим/холодным коридорами, так и для охлаждения отдельно стоящего оборудования. Внутрирядные кондиционеры «КБ Борей» оснащены ЕС-вентиляторами с регулируемой скоростью вращения, имеют два ввода питания для обеспечения резервирования и возможность замены вентиляторов в «горячем» режиме (для модели ВРК-30). Два выносных датчика позволяют контролировать температуру воздуха на входе в стойке с ИТ-оборудованием с точностью до 0,1°С. Следует отметить применение в кондиционерах контроллеров собственной разработки. Они обеспечивают мониторинг и удаленное управление основными рабочими параметрами в зависимости от динамического изменения тепловой нагрузки, а также ведение журнала событий. Собственные контроллеры применяются и в холодильных машинах (чиллерах) BOREY ХМ-ХХ-Ф с функцией фрикулинга. В линейке шесть моделей чиллеров мощностью от 4 до 250 кВт. Одним из крупных ЦОДов, использующих решения «КБ Борей», является дата-центр DataPro – в 2022 г. компания поставила ему чиллер BOREY ХМ-125Ф с фрикулингом и шкафный кондиционер ШК-125Д.

Изделия компании, по словам Ратмира Трошина, директора по развитию бизнеса «КБ Борей», отличаются термостойкостью (работают без сбоев при температуре наружного воздуха от -50 до +40°С, что позволяет использовать их в большинстве климатических поясов РФ) и долговечностью: гарантийный срок три года, общий эксплуатационный срок до 20 лет. Как сообщил Р. Трошин, благодаря собственным мощностям и наличию всех комплектующих изготовление кондиционера занимает всего четыре недели, что по сегодняшним меркам чрезвычайно быстро.

Еще один российский производитель, который выпускает весь спектр традиционных систем охлаждения, – компания «Веза», которая представила свои решения на выставке в рамках DCDE-2022. В ее портфеле продуктов – шкафные прецизионные кондиционеры (от 6 до 208 кВт), внутрирядные кондиционеры (от 20 до 58 кВт), а также моноблочные кондиционеры и чиллеры.

Китайская Kehua, известный производитель ИБП, на DCDE-2022 анонсировала и свои системы охлаждения. Компания представила прецизионные кондиционеры шкафного (холодопроизводительность от 7,5 до 100кВт), внутрирядного (5–50кВт) и внутристоечного (4 и 8 кВт) типов. Шкафные и внутрирядные кондиционеры доступны в версиях на фреоне (DX) и на воде (CW). Внутристоечный – только в версии DX. Кроме того, компания анонсировала конденсатор с фреоновым насосом, который опционально может комплектоваться адиабатической системой охлаждения, что делает это решение очень энергоэффективным.

Несмотря на непростую ситуацию на рынке, находятся энтузиасты, которые предлагают инновационные решения. К ним можно отнести компанию Termo-Industry, которая представила на DCDE-2022 системы охлаждения для ЦОДов на базе природных хладагентов (CO2). Эти системы основаны на продуктах европейских производителей – KOBOL и Emex.

Двуокись углерода используется в качестве хладагента еще с 1850 г. и имеет богатую историю применения в холодильной технике. Сегодняшнее более сознательное отношение к окружающей среде и связанные с этим бережное обращение с природными ресурсами и защита природной среды обитания привели к повторному открытию положительных качеств так называемых природных хладагентов. CO2 благодаря своему низкому потенциалу с точки зрения создания парникового эффекта считается более экологически безопасной, чем искусственно созданные хладагенты.

«Неоспоримые достоинства систем на CO2 – высокая энергоэффективность и быстрый рост EER (Energy Efficiency Ratio – холодильный коэффициент, отношение мощности охлаждения к полной потребляемой мощности. – Прим. ред.) при снижении температуры окружающего воздуха, – подчеркнул Денис Белоусов, генеральный директор компании Termo-Industry. – У традиционных систем на фреонах при низкой температуре воздуха EER чиллера составляет 6–6,5, в то время как у чиллеров на CO2 этот показатель может достигать 10. Это дает возможность сократить затраты на охлаждение ЦОДа на 40–60% в годовом пересчете».

Кроме того, в холодильных установках на основе CO2 могут применяться менее объемные компоненты. Высокая холодопроизводительность по объемному расходу (в 5–7 раз выше, чем у аммиака), по словам регионального менеджера компании KOBOL Андрея Обтовки, позволяет использовать меньшие по размеру компрессоры, а также трубопроводы и арматуру минимальных размеров.

В целом, как показал форум DCDE-2022, с прекращением поставок в Россию оборудования ведущих мировых вендоров для создания систем охлаждения в ЦОДах вполне могут использоваться как традиционные решения от альтернативных поставщиков, так и альтернативные технические решения, построенные на базе широкодоступных компонентов.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>