• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Двадцать тысяч лет под водой, или Особенности погружных систем

Реализованные в разных странах проекты подтверждают состоятельность и конкурентноспособность погружных технологий на рынке охлаждения высокопроизводительных ИТ-систем.

«Еще немного, и майнинг начнет потреблять столько же электроэнергии, сколько вся промышленность Германии вместе взятая!» – писал в панике Manager Magazin в январе 2018 г. Журнал оценивал потребление майнинговых ферм в 22,5 ТВт/ч и отмечал, что одна из самых развитых в промышленном отношении стран Европы – Дания – потребляет сейчас всего лишь на 0,5 ТВт/ч больше.

Немецкий Spiegel, австрийский Der Standard, The Guardian, Digiconomist – мировые СМИ нагнетают панические настроения, оставляя за кадром тот факт, что даже эти колоссальные цифры меркнут перед потреблением классических дата-центров, не включающих в себя майнинговые фермы. В 2017 г. на их долю, по оценкам международных экспертов, пришлось от 1,5 до 2,5% общемирового энергопотребления. И весьма значительную часть этой энергии, как известно, «съедают» системы охлаждения.

Меня как производителя системных решений в области охлаждения не может не радовать старательно раздуваемый ажиотаж вокруг майнинга. Паника, пусть и искусственная, заставляет ИТ-сообщество вернуться к несправедливо забытой в кризисные времена теме: альтернативным системам охлаждения ЦОДов. А именно, к той их разновидности, которую принято называть погружными системами.

Тема погружных систем настолько стара, что заслуживает небольшого экскурса в историю.

Трансформаторное наследство

Открытое в 1831 г. английским физиком Майклом Фарадеем явление электромагнитной индукции привело к рождению трансформатора: 30 ноября 1876 г. российскому ученому Павлу Николаевичу Яблочкову был выдан патент на изобретение замечательного устройства, которым мы пользуемся до сих пор.

Обмотка тогдашних трансформаторов не выдерживала высоких температур, и практически сразу возникла новая задача: охлаждение этих устройств. Результатом многих изысканий стала система охлаждения трансформаторов погружением их в масло, впервые примененная Свинберном уже в конце 1880-х гг. Именно эта система явилась прообразом современных погружных систем, устанавливаемых в ЦОДах.

Начиная со второй половины прошлого века и до наших дней для охлаждения ИТ-обо­рудо­вания в ЦОДах в таких системах использовались различные жидкости. Ученые продолжают экспериментировать с теплоносителями, и сейчас существует уже множество интересных решений, но начать хочется все-таки с классики. С масла.

Масляные системы охлаждения

Первые серверные погружные ванны, хладоносителем в которых являлось масло, пришли на рынок в начале 2000-х и предназначались они для графических ускорителей. Начиная с 2010‑х гг. такими системами вплотную занялись японские производители.

Производительность суперкомпьютера Vienna Scientific Claster 3 достигает 600 Тфлопс. При этом его энергопотребление составляет всего лишь 540 кВт, т.е. по 0,8 кВт на 1 Тфлопс. В ванны системы охлаждения этого суперкомпьютера залито 35 т парафинового масла с высоким коэффициентом теплопроводности.

Преимуществом систем на основе масла являются его диэлектрические свойства и более высокий по сравнению с воздухом коэффициент теплопередачи, позволяющий значительно уменьшить занимаемое серверной место – с одной стороны, и убрать холодильную машину из системы климатизации – с другой. По заверениям экспертов, уменьшение потребления электроэнергии в такой системе достигает 90%. Если принять во внимание факт вязкости масла и б'ольшую нагрузку на насосы, становится понятно, что цифры несколько оптимистичнее реальных. Тем не менее экономия электроэнергии в любой бесчиллерной системе по сравнению с системой, использующей холодильную машину, существенна.

В Европе ЦОДы с масляными системами охлаждения появились относительно недавно. В 2014 г. был официально открыт австрийский Vienna Scientific Cluster 3 (VSC3), новый суперкомпьютер научно-исследовательского центра Венского технического университета.

Несмотря на явный успех и бесспорную энергоэффективность VSC3, даже спустя четыре года системы погружного масляного охлаждения не получили широкого распространения на европейском рынке из-за целого ряда недостатков.

Самый существенный из них – воспламеняемость масла, значительно усложняющая меры обеспечения пожаробезопасности в ЦОДе. Ученые и промышленники не прекращают изыскания, и линейка масел с точкой воспламенения 200°C и выше сегодня довольно велика, но эти масла весьма дороги. Стоимость масла – второй немаловажный фактор, негативно влияющий на популярность таких систем на рынке. Сложность проведения ремонтных и профилактических работ, связанная с необходимостью очистки рэков от масла перед осмотром, не вызывает энтузиазма у службы эксплуатации и является еще одним тормозящим фактором. И, наконец, для установки такой системы необходимо изменить сам привычный серверный рэк, как минимум удалить из него вентиляторы. Иными словами, потерять гарантию производителя.

Погружные системы на специальных жидкостях

Запущенный в эксплуатацию в 1976 г. суперкомпьютер Cray‑1 имел невиданную тогда производительность – 133 Мфлопс. С тепловыделением такой системы не справлялась ни одна из стандартных систем охлаждения, что заставило разработчиков обратить внимание на погружные состемы. В качестве теплоносителя был выбран жидкий фреон.

Несмотря на то что основная идея погружать в жидкость выделяющие много тепла электрические части оборудования уходит корнями в масляное охлаждение трансформаторов, недостатки масла все время заставляют ученых обращать внимание на другие теплоносители. Здесь стоит снова сделать экскурс в историю.

Самым громким суперкомпьютерным проектом прошлого века стал Cray-1, названный по имени своего создателя, Сеймура Крэя.

Компьютер такой производительности считался революционным и пользовался колоссальным успехом. Одним из основных заказчиков стал Пентагон. Cray-1 заслужил признание даже в развитых странах Западной Европы. Выста­вочный экземпляр этого суперкомпьютера является одним из экспонатов Deutsches Museum в Мюнхене.

Однако в конце прошлого века компьютер перестал пользоваться популярностью, в основном из-за многочисленных недостатков фреонов – их токсичности и влияния на озоновый слой. Вниманием инженерного сообщества завладели более современные системы охлаждения, а именно такие, в которых охлаждение осуществляется за счет испарения жидкости с теплообменной поверхности.

Испарительные системы

Эффект испарения делает теплообмен еще более интенсивным, значительно сокращая размеры серверных. Кроме того, по заявлениям производителей, жидкости нового поколения не воспламеняются – как минимум в рабочем диапа­зоне температур сервера, а также обладают относительно низкой вязкостью, что является огромным преимуществом по сравнению с большинством масел. Кроме того, эти жидкости, по заверениям тех же производителей, безо­пасны для людей, выгодно отличаясь от фреонов. В испарительных системах тепло забирается за счет перехода вещества из жидкого состояния в газообразное. По утверждению одного из производителей, при использовании таких систем возможен отвод до 20 кВт тепла от оборудования высотой 1U. Получается, что мощность одной стойки с оборудованием может достигать сотен киловатт.

В испарительных системах тепло забирается за счет перехода вещества из жидкого состояния в газообразное. По утверждению одного из производителей, при использовании таких систем возможен отвод до 20 кВт тепла от оборудования высотой 1U. Получается, что мощность одной стойки с оборудованием может достигать сотен киловатт.

У любой медали две стороны. Избавившись от воспламеняемости и токсичности, такая система приобрела другой существенный недостаток: упомянутые рабочие жидкости труднодоступны. Их можно купить исключительно у производителя или авторизованных дилеров. Помимо этого жидкости активно абсорбируются материалом теплообменников, что вынуждает пользователя постоянно пополнять объем жидкости в системе.

В итоге решение получается достаточно дорогим, и не только на стадии строительства, но и на протяжении всего срока эксплуатации. ROI таких систем оставляет желать лучшего. Поэтому испарительные системы пока не получили широкого распространения.

Водяное охлаждение серверов

Вода – практически идеальный, к тому же легкодоступный хладагент. Высокий коэффициент теплопередачи, более чем в тысячу раз превышающий коэффициент теплопередачи воздуха, дешевизна и шаговая доступность делают ее желанной рабочей жидкостью для любой системы охлаждения. Если для наружных систем существенным недостатком является ее замерзание при температурах ниже 0°C, то для использования во внутренних отапливаемых помещениях это не играет никакой роли. Здесь на первый план выходит другой недостаток воды: в отличие от масла и специальных жидкостей, вода не является диэлектриком. А значит, прямой ее контакт с платой не допускается.

Несмотря на это, системы водяного охлаждения серверов применяются все шире.

В Германии сегодня очень известен проект суперкомпьютера Научно-исследовательского центра в Гархинге под Мюнхеном. Этот суперкомпьютер производительностью 3 Пфлопс получил название SuperMUC. Его идея уже не нова: на процессор «сажается» специальный водяной теплообменник, на который подается вода с температурой +40°C. Отработанная вода с температурой +70°C либо идет на отопление, либо охлаждается в климатической системе, построенной по принципу круглогодичного фрикулинга. Таким образом, холодильная машина в системе полностью отсутствует. Эта система охлаждения позволила снизить общее энергопотребление ЦОДа на 40%, а выброс углекислого газа в атмосферу на 85%. До недавнего времени SuperMUC находился на девятом месте в топ-500 суперкомпьютеров.

Пиковая производительность суперкомпьютера НИВЦ МГУ превышает 420 Тфлопс, при этом процессоры охлаждаются водой с температурой +45°C.

В России также есть замечательный проект – суперкомпьютер Научно-исследовательского вычислительного центра МГУ, построенный на аналогичной системе водяного охлаждения с круглогодичным фрикулингом. В 2015 г. компания-разработчик заслуженно получила премию Russian Data Center Awards в номинации «Ком­плексное решение ИT + инженерная инфраструктура». По словам разработчиков системы, ее PUE низок до неприличия.

Несмотря на очевидные преимущества таких систем и их широкое распространение, они не лишены целого ряда существенных недостатков. Как и погружные системы, они требуют специальной доработки плат. Помимо потери гарантии производителя из-за модернизации плат, сама конструкция в силу электропроводности воды весьма сложна. А именно, в ней большое количество соединительных узлов, которые непросто контролировать на предмет протечек. Это увеличивает как риск попадания воды на плату, так и эксплуатационные расходы. Затраты на создание таких систем также все еще слишком высоки – как в России, так и в Германии.

Дальнейшее развитие водяных систем – «холодные двери»: в дверь серверной стойки монтируется водяной теплообменник, функция которого – охлаждение проходящего через него воздуха. Все перечисленные водяные системы хороши и, безусловно, имеют будущее, но ни одна из них не является погружной, а именно они – тема данной статьи.

Условно-погружные системы

Погружать электрические части в воду без риска короткого замыкания пока не получается. Даже дистиллированная вода с высокой степенью очистки является диэлектриком лишь условно. При попадании в нее примесей (а этого в системе избежать нельзя) она с высокой сте­пенью вероятности мгновенно начнет проводить электричество.

Именно этот факт тормозит создание полностью погружных систем на воде. Однако существуют так называемые условно-погружные водяные системы. В частности, я с 2013 г. работаю над созданием такой системы, и уже два года на базе кафедры информатики университета FH Bielefeld успешно функционирует прототип будущей системы, охлаждающий платы с графическими ускорителями.

Суть системы в следующем: платы помещают в специальные кассеты, погруженные в ванну с водой. В системе отсутствует холодильная машина, вода напрямую охлаждается самосливным драйкулером, оснащенным дополнительно системой испарительного охлаждения. Единственные потребители электроэнергии в системе – это вентиляторы драйкулера, вентиляторы рэков и небольшой насос. Ванна с кассетами герметична и изо­лирована от окружающей среды, что снижает требования к чистоте и влажности помещения серверной до минимума. Иными словами, систему можно располагать где угодно: от специализированного ЦОДа до гаража на даче. Рэки стандартные, не требуют никакой доработки или модернизации. Вентиляторы рэков, наоборот, являются частью системы охлаждения. Потребитель может использовать любые платы, не рискуя гарантией.

Рынок не останавливается на достигнутом, и наверняка скоро появятся еще более совершенные системы с еще меньшим энергопотреблением. Там, где классическая технология охлаждения воздухом вот-вот достигнет физических пределов, именно альтернативные системы, в частности погружные, позволят вычислительной технике развиваться дальше.