Рубрикатор |
Статьи | ИКС № 3 2018 |
Александра ЭРЛИХ   | 12 ноября 2018 |
Кругом вода, или Соблюдение коридора влажности в системах круглогодичного фрикулинга
Какие нюансы нужно принять во внимание при проектировании системы круглогодичного фрикулинга, чтобы оптимизировать энергопотребление и в то же время создать комфортные условия для работы как ИТ-оборудования, так и персонала?
До поры до времени ЦОДы работали в определенном режиме влажности и температуры и чувствовали себя в нем довольно комфортно. Но Американская ассоциация инженеров по отоплению, охлаждению и кондиционированию воздуха (American Society of Heating, Refrigerating and Air-Conditioning Engineers, ASHRAE) провела ряд исследований, позволивших -- ура! -- снова повысить температуру в ЦОДах.А тут еще выход на рынок систем охлаждения Kyoto Cooling, которые так замечательно работают в ряде стран северо-запада Европы. Возникло понятное желание применить подобные системы в России. Появились первые аналоги, а вместе с ними и первые проблемы.
С Kyoto Cooling у меня особые отношения. Я как раз заканчивала Одесскую академию холода, когда общество всколыхнул феномен так называемой озоновой дыры. Тогда, в 1995--1997 гг., мир науки и техники тоже жил относительно уравновешенно, без революционных скачков и резкого роста выпуска холодильного и климатического оборудования. Киотский протокол буквально взорвал привычный порядок и на долгие десятилетия дал повод менять отличную технику на более современные, но менее совершенные аналоги. Было проведено огромное количество исследований, защищены десятки тысяч диссертаций и обеспечены сотни тысяч рабочих мест в производстве холодильного и климатического оборудования.
Когда в 2010 г. началось массированное продвижение новой технологии фрикулинга -- Kyoto Cooling, -- понятно, что первой реакцией у меня, как, возможно, и у вас, был скепсис.
Тем не менее технология живет, развивается и довольно успешно применяется, например, в Риге, в ЦОДе Lattelecom. Особенности местного климата в виде постоянных ветров усиливают энергосберегающий эффект такого вида охлаждения -- большую часть времени года вентиляторы вращаются естественным путем, не потребляя электричества.
За последние годы технологию развили и адаптировали под разные климатические зоны и требования. Например, в Мюнхене, где температуру воздуха летом можно сравнить с температурами на российском Черноморском побережье, фрикулинг работает 90% времени в году без применения дополнительного компрессорного охлаждения. Снижаются затраты на эксплуатацию ЦОДа, улучшаются показатели PUE, можно красиво рекламировать себя и радовать клиентов ощутимо низкими ценами предоставляемых услуг.
Но у таких систем есть одна проблема -- влажность. Этот параметр для дата-центра не менее важен, чем температура.
Какая влажность должна быть в ЦОДе
Если влажность слишком низкая, возникает опасность накопления статического электричества. Считается, что в момент разряда оно может повредить электронные компоненты серверов. Последние исследования ASHRAE доказали, что нижний порог влажности можно снизить до 15% при условии соблюдения элементарных правил безопасности, таких как специальное покрытие пола, обувь, антистатические браслеты и соблюдение температурных норм, рекомендованных той же ASHRAE.
Правда, встает вопрос, насколько вы хотите заниматься соблюдением всех предписанных мер предосторожности, рискуя сбоем самого ненадежного звена любой технологии – пресловутого человеческого фактора.
Однако тема этой статьи не пониженная влажность, которую в худшем случае можно повысить с помощью обычных увлажнителей. Сегодня мы поговорим о верхнем пороге влажности, а именно о том, как соблюсти его в условиях круглогодичного фрикулинга.
Повышенная влажность чревата выпадением конденсата, формированием дождевых облаков, как однажды произошло в ЦОДе Facebook (согласно данным The Register, инцидент имел место в ЦОДе в Прайнвилле (шт. Орегон, США) летом 2011 г.), в экстремальных случаях -- коротким замыканием. В Германии при применении свободного охлаждения вместе с влажностью в ЦОДы пришла еще одна проблема, типичная для развитого капитализма, -- плесень. Запад загнивает, причем в буквальном смысле.
Не забудьте также ограничения, в том числе по влажности, которые накладывают на рабочие режимы серверов их производители. И, конечно, коррозию металлов никто не отменял.
Но даже если вы используете материалы, устойчивые к плесени и коррозии, работаете на серверном оборудовании, спроектированном специально для вас, не боитесь короткого замыкания, то вам все равно важно энергопотребление ЦОДа. Иначе вы не затевали бы круглогодичный фрикулинг, верно? А вот как раз этот показатель при повышенной влажности сильно возрастает, поскольку аппаратное обеспечение, пытаясь регулировать конденсацию, серьезно увеличивает потребление электроэнергии по сравнению с «нормальным» режимом.
Речь идет не о кратковременных скачках влажности, а о постоянном ее повышении в машинном зале. В 99% случаев причиной является не сам круглогодичный фрикулинг как способ охлаждения, а ошибки, допущенные при проектировании такой системы. Все-таки системы круглогодичного фрикулинга -- явление в мире ЦОДов относительно новое, количество подобных систем и, следовательно, накопленный опыт невелики.
А как в Германии?
Возможно, в такой ситуации проще отказаться от идеи и применить традиционную схему. А можно воспользоваться опытом зарубежных коллег, например, из Германии. Почему именно из Германии? В данном случае не столько потому, что я здесь живу и имею возможность общаться с практиками лично, сколько потому, что именно в этой, самой консервативной и задавленной нормами и законами по строительству и проектированию ЦОДов (их тут более 20) стране Западной Европы, стране с совсем не северным климатом, системы круглогодичного фрикулинга получили широкое распространение.
Посмотрим, на какие аспекты при проектировании обращают внимание немецкие коллеги. Для примера возьмем климатическую зону Мюнхена и принятый в Германии диапазон влажности 25--60%. Имеет значение каждая мелочь, включая количество процессоров с малой / большой тепловой нагрузкой, верхний температурный порог их работы, воздушные потоки в серверном шкафу и в машинном зале, достижимую степень изоляции помещения и отдельных его участков, экстремально возможные значения температуры и влажности наружного воздуха, невозможность полностью избежать подмешивания наружного воздуха, теплопритоки, в том числе и от самого климатического оборудования, и многое, многое другое.
Разработка концепции
Проще всего было бы спроектировать систему со стабильным воздушным потоком, подобрать и настроить технику один раз и больше не менять настройки. Но снова вмешивается человеческий фактор: люди, находяшиеся в серверной комнате, затрудняют оптимизацию системы, направленную на значительное снижение потребности в энергии для кондиционирования воздуха посредством фрикулинга. Людям нужно дышать, они выделяют определенное количество тепла и углекислого газа, температурно-влажностный режим в машинном зале должен быть для них комфортным, они могут задержаться в дверях дольше, чем считается нужным, забыть что-то и вернуться. Да и количество посещений машзала точно предсказать невозможно.
Кроме того, зачастую в разных частях зала необходимо поддерживать разные температурно-влажностные режимы, определяемые непосредственно ИТ-оборудованием (например, в коммерческом ЦОДе). С этой целью в Германии создают систему так называемого двойного фрикулинга.
Суть заключается в следующем: для каждого ЦОДа создается индивидуальная система plug-and-play, способная работать как в режимах прямого и непрямого фрикулинга, так и в режиме компрессорного охлаждения. Она включает в себя системы увлажнения и осушения и способна одинаково хорошо функционировать в режиме и частичной, и полной нагрузки. При этом система обеспечивает значение PUE = 1,2 и ниже.
Вводные для проектирования установки
Самое важное -- правильно определить разность между температурой на выходе из горячего коридора и температурой на входе в холодный коридор (Δt). В случае, когда нужно перейти на компрессорное охлаждение, Δt выбирается равной 12 K. При фрикулинге Δt можно и нужно взять больше (но не более 20 К), чтобы сократить объем требуемого воздуха и, как следствие, энергопотребление системы. И конечно, совершенно необходимо собственно разделение коридоров.
Система вентиляции должна быть спланирована таким образом, чтобы, используя различные пути воздушного потока, направлять воздух только туда, где он в настоящее время нужен, и уменьшать за счет этого внутреннее сопротивление потока. Благодаря как минимум двум параллельным воздушным потокам можно, например, создать различные воздушные смеси с различными температурно-влажностными режимами. Обязательно нужно предусмотреть возможность работы установок в режиме частичной загрузки. По возможности задействовать бОльшее количество малых установок.
Важно: системы прямого фрикулинга могут обеспечивать те же показатели при более высоких температурах наружного воздуха, чем системы непрямого фрикулинга.
Требования к геометрии зала
Как уже говорилось ранее, разделение коридоров является абсолютной необходимостью для создания подобного рода систем. В настоящее время уже следует идти дальше и разграничивать не только коридоры, но и зоны с разными температурно-влажностными режимами.
Второе необходимое условие -- переход от фальшпола к фальшпотолку. Вспомним школьную физику: теплый воздух поднимается вверх сам по себе, не требуя дополнительных энергетических затрат. Поэтому выдуваем холодный воздух непосредственно в холодный коридор, позволяем ему подниматься вверх и регулируем воздушные потоки системой клапанов и воздуховодов. Подобное решение круглогодичного фрикулинга уже несколько лет успешно применяется, в частности, в центрах обработки данных одной из крупнейших российских интернет-компаний.
В Германии поток воздуха регулируют не только с помощью механических систем, но и изменяя Δt в соответствии с изменением холодильной нагрузки.
От стандартной установки – к «индпошиву»
Если внимательно изучить требования к системе, становится понятным, что ни одна стандартная установка таким требованиям полностью соответствовать не может. Поэтому не жалеем денег на CAPEX, понимая, что получим замечательно низкий OPEX, и разрабатываем индивидуальную установку. Тем более что даже индивидуальная установка для системы круглогодичного фрикулинга обойдется дешевле, чем стандартный набор, включающий в себя чиллеры, прецизионные кондиционеры, драйкулеры и вспомогательное оборудование.
Возьмем в качестве примера относительно простую установку, например, для ЦОДа общественной организации с гомогенным ИТ-оборудованием.
Для круглогодичной работы установки определяют восемь различных штатных режимов и маркируют в h,x-диаграмме. Для каждого из штатных режимов рассчитываются оптимальные параметры, которые учитываются при разработке установки и вносятся в программное обеспечение автоматики. Вентиляторы, теплообменники и клапаны для каждого из этих режимов регулируются отдельно, с акцентом на минимизацию энергопотребления, причем для снижения энергопотребления вентиляторов проводят смешение различных параллельных воздушных потоков.
В качестве штатных режимов могут быть выбраны, например, следующие:
Непрямой фрикулинг. Этот режим (рис. 1) хорош при низких температурах наружного воздуха и соответственно низкой абсолютной влажности. Весь объем воздуха проходит через рекуператор, отбирая через стенку тепло у внутреннего воздуха машзала и отводя его на улицу. Небольшое количество наружного воздуха подмешивается к внутреннему. В таком режиме практически не нужно увлажнение либо осушение.
Прямой фрикулинг. Этот режим применяется при средних температурах наружного воздуха и абсолютной влажности не более 10 г/кг. В климатических условиях Мюнхена в режиме прямого фрикулинга работают примерно полгода. При разработке климатической установки под этот режим нужно учитывать потери давления потока и стараться сделать их минимальными. Наружный воздух в этом режиме не проходит через рекуператор, а параллельным путем через систему фильтров К7 заходит в машинный зал.
Прямой фрикулинг с увлажнением. В случае, когда абсолютная влажность падает ниже 4 г/кг, наружный воздух дополнительно увлажняется (рис. 2).
Адиабатическое увлажнение. Как только температура наружного воздуха становится выше допустимой температуры входящего воздуха, включается режим адиабатического увлажнения, позволяющий дополнительно снизить температуру на 5К.
Испарительное увлажнение. В последнее время вместо адиабатического увлажнения все шире используют непосредственное испарение на рекуператоре специальной конструкции, позволяющее сбить температуру наружного воздуха на 10--12 К. Системы с сотовыми увлажнителями из-за возникновения больших потерь в воздушном потоке (и, как следствие, высокого энергопотребления), а также из-за необходимости частой замены получили менее широкое распространение.
Компрессорное (до)охлаждение. Когда температура наружного воздуха даже после испарения поднимается выше допустимой температуры входящего воздуха, возникает необходимость в компрессорном (до)охлаждении. При этом воздух охлаждается до температуры ниже необходимой, проходя через встроенный конденсатор, охлаждает теплообменный аппарат и параллельно «подсушивается».
Полное компрессорное охлаждение. Если температура воздуха на улице поднялась выше температуры в горячем коридоре, подача наружного воздуха перекрывается, и внутренний воздух охлаждается исключительно встроенной холодильной машиной.
Осушение. В случае, когда содержание водяных паров в воздухе превышает 12 г/кг, наружный воздух принудительно осушается. Для осушения можно задействовать разные системы, начиная с применяемых в бассейнах и заканчивая приборами, разработанными для специальных лабораторий. Но самый простой и дешевый способ – использовать в качестве осушителя встроенную в установку холодильную машину.
Александра Эрлих, сеньор-консультант, CABERO
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!