ЦОД-прогнозы 2024. Окончание

Все больше операторов ЦОДов и поставщиков оборудования считают, что в ближайшие несколько лет системы прямого жидкостного охлаждения (Direct Liquid Cooling, DLC) получат широкое распространение. Недавно поставщики ИТ- и инженерного оборудования совместно с рядом крупных операторов занялись развитием коммерческих систем DLC в ответ на растущие требования к охлаждению серверных чипов.

Основным преимуществом технологии DLC ее адепты называют повышение энергоэффективности ЦОДов. В частности, тепловые характеристики жидкостей, гораздо более привлекательные по сравнению с воздухом, позволят снизить потребление электроэнергии и воды в системах охлаждения, а также увеличить возможности круглогодичного естественного охлаждения (фрикулинга) в некоторых климатических условиях. Это, в свою очередь, даст возможность повысить эксплуатационную устойчивость ЦОДа.

Однако многие операторы, планирующие в ближайшие несколько лет внедрять системы DLC, в первую очередь, скорее всего, будут уделять внимание быстроте и простоте их установки, интеграции в существующую инфраструктуру и поддержанию ее отказоустойчивости, а не достижению максимальной энергоэффективности.

Использование DLC в критически важных инфраструктурах потребует серьезного изменения подходов к проектированию систем охлаждения и их эксплуатации, а отраслевые практики еще только предстоит наработать. Многие операторы ЦОДов сочтут существующие системы DLC неэкономичными для своих задач, что замедлит их внедрение в отрасли в целом.

Операторам ЦОДов придется в течение длительного времени совмещать на своих объектах системы с жидкостным и воздушным охлаждением. Во многих случаях это будет означать, что инфраструктура охлаждения будет использоваться такими системами совместно. Но DLC будет внедряться не только в ЦОДах, в которых установлены чиллеры, но и на других объектах, где жидкость для охлаждения не применяется.

В гибридных средах энергоэффективность DLC будет ограничена требованиями к температуре приточного воздуха (для оборудования воздушного охлаждения), что ограничит работу при более высоких температурах – а значит, снизит эффективность использования электроэнергии и капитальных затрат на системы DLC.

DLC позволяет отказаться от большей части серверных вентиляторов и снижает требования к характеристикам охлаждающего воздушного потока, но вклад этого в повышение общей энергоэффективности инфраструктуры трудно оценить количественно, поскольку мощность ИТ-вентиляторов обычно не отслеживается – она скрыта в показателях общей ИТ-нагрузки.

Потребуются годы, чтобы установки DLC достигли таких масштабов, при которых их использование в качестве стандартного подхода к охлаждению в ЦОДах станет оправданным.

Те же тепловые свойства жидкостей, которые позволяют снизить энергозатраты, могут послужить повышению производительности систем охлаждения. Даже если есть возможность выбора, некоторые операторы предпочитают подавать в системы DLC жидкость более низкой температуры.

Низкая температура жидкости в установке позволяет уменьшить ее расход для обеспечения той же холодопроизводительности, что снижает нагрузку на трубопроводы и насосы, включая узлы распределения охлаждающей жидкости в системах DLC. Использование более холодной жидкости также упрощает планирование и проектирование ЦОДов, гарантируя возможность удовлетворения будущих потребностей серверной техники. Требования к температуре охлаждающей жидкости будут только ужесточаться по мере прогресса в микросхемах серверов.

ИТ-оборудованию тоже «выгодны» более низкие температуры. У процессоров, например, при более низких температурах уменьшаются потери из-за накопления статического электричества, и сэкономленную энергию можно направить на другие цели. Это особенно ценно, когда оператор хочет добиться максимальной производительности при минимальных затратах, что часто важно при высокопроизводительных вычислениях, в частности, при обучении систем ИИ. Работа серверов при более низкой температуре также уменьшает частоту отказов компонентов в целом.

Преимущества низких температур для инженерных и ИТ-систем часто перевешивают преимущества более «бережливой» инфраструктуры охлаждения. Внедрение DLC, скорее всего, будет связано по большей части с инвестициями в повышение производительности охлаждения и ИТ, а не в повышение эффективности.

При всех потенциальных преимуществах переход на DLC создает проблемы при проектировании, обслуживании и эксплуатации систем обеспечения отказоустойчивости. Сохранение возможности обслуживания без прерывания работы или поддержание отказоустойчивости в некоторых системах DLC может оказаться непрактичным. Кроме того, в системе DLC время работы охлаждающих пластин в случае сбоя, как правило, не превышает минуты (из-за небольшого объема охлаждающей жидкости), а при высоких температурах перегрев серверов может произойти всего за несколько секунд. В результате переход на DLC может потребовать пересмотра схем обеспечения отказоустойчивости инфраструктуры дата-центров.

Необходимо будет пересмотреть процедуры закупок, ввода в эксплуатацию, технического обслуживания и эксплуатации ЦОДов, поскольку DLC нарушает существующее сегодня разделение функций инженерной и ИТ-инфраструктуры. При использовании воздушного охлаждения оборудование четко разделено между инженерами и айтишниками. Для жидкостного охлаждения такой четкой границы нет. Перераспределение обязанностей заставит инженерные и ИТ-команды сотрудничать гораздо более тесно. Все это потребует значительных усилий и времени.

В долгосрочной перспективе (10 лет и более) системы DLC, скорее всего, возьмут на себя обслуживание большей части ИТ-нагрузки – по мере того, как работы по стандартизации, реальный опыт использования систем DLC и продуманные рекомендации будут воплощаться в новых, более надежных продуктах и передовых практиках.

В ближайшей перспективе при разработке бизнес-плана для внедрения DLC приоритетное внимание, скорее всего, будет уделяться повышению производительности ИТ-оборудования и простоте внедрения с использованием общей инфраструктуры охлаждения. Важно отметить, что более низкие температуры подаваемой жидкости и использование чиллеров упростят задачу обеспечения отказоустойчивости. Поскольку многие операторы ЦОДов считают, что повышение производительности и использование гибридных сред эксплуатации сегодня более актуальны для бизнеса, чем задачи перехода на фрикулинг и повышения экологичности, решение последних, видимо, придется немного отложить.

Несмотря на свою роль движущей силы технического прогресса, операторы ЦОДов не спешат использовать преимущества разработок в области ПО и средств сбора данных, которые могут помочь оптимизировать и автоматизировать работу критически важной инфраструктуры.

Большинство владельцев и операторов ЦОДов в настоящее время используют системы управления зданиями (BMS) и/или ПО для управления инфраструктурой дата-центров (DCIM) в качестве основных инструментов для управления объектами. Эти инструменты важны, но обладают ограниченными аналитическими средствами и возможностями автоматизации, поэтому мало что дают для повышения эффективности работы инженерной инфраструктуры.

Специалисты Uptime Intelligence давно утверждают, что системы управления ЦОДами должны развиваться в направлении обеспечения большей автономии. Впервые модель зрелости управления ЦОДами была предложена нами в 2019 г. Сегодня наметился выход на уровни 4 и даже 5 (табл. 1), хотя с оговоркой: одной системы DCIM, скорее всего, недостаточно для полноценной реализации соответствующих возможностей. Ее нужно объединить с новым поколением инструментов, ориентированных на работу с данными.

Сегодня формируется новое направление в области ПО управления ЦОДами, предложенное специалистами в области обработки данных. С их точки зрения, ЦОД – это не набор физических компонентов, а сложная система шаблонов данных.

Многие из новых компаний, работающих в этой области, имеют тесные связи с исследовательским сообществом и/или с крупными операторами (такими, как Google). Компании, деятельность которых отслеживает Uptime Institute, сотрудничают с академическими учреждениями Калифорнии, Великобритании, Испании и Голландии. Их разработки помогут создать ультрасовременный, ориентированный на данные подход к ПО управления, который отличается от предыдущих подходов.

Дата-центричное ПО управления способно:

ЦОДы полны различных датчиков, которые могут служить источником ценной оперативной информации. Однако данные, которые они собирают, редко анализируются. В большинстве случаев их применение ограничивается мониторингом в режиме реального времени и базовым прогнозированием.

Эти же данные могут быть использованы для обучения моделей искусственного интеллекта (ИИ) с целью автоматизации все увеличивающегося числа задач в ЦОДах. При объединении собираемых датчиками данных с появляющейся категорией инструментов оптимизации, многие из которых основаны на машинном обучении, операторы ЦОДов могут существенно повысить эффективность своей инфраструктуры, добиться более высокой степени автоматизации и снизить риск человеческих ошибок.

За последние несколько лет появились новые платформы, которые упрощают обработку и анализ данных. Это позволяет крупным организациям разрабатывать собственные приложения, включая модели машинного обучения, использующие данные об оборудовании.

Не все модели машинного обучения требуют больших вычислительных ресурсов, обширных наборов данных и длительного времени обучения. На самом деле многие модели, применяемые сегодня в ЦОДах, невелики и относительно просты. Как обучение, так и использование его результатов, могут выполняться на серверах общего назначения, и не всегда требуется объединять данные с нескольких площадок – обученной локально модели часто бывает достаточно для получения необходимых результатов.

Внедрение дата-центричных инструментов управления инфраструктурой заставит ее владельцев и операторов осознать важность качества данных. Нельзя доверять выводам моделей машинного обучения, если нет доверия исходным данным. Поэтому потребуется дополнительная работа по стандартизации и очистке хранилищ оперативных данных. В некоторых случаях операторам ЦОДов придется нанимать аналитиков и специалистов по обработке данных для совместной работы со службой эксплуатации инженерной и ИТ-инфраструктуры.

Сбор данных в больших масштабах неизбежно потребует расширения сетей их получения внутри ЦОДов, в том числе беспроводной сети. Это даст киберпреступникам потенциально более широкие возможности для атак. Таким образом, кибербезопасность станет важным фактором при любом оперативном внедрении ИИ и ключевым риском, которым необходимо будет постоянно управлять.

В настоящее время инновациями в области ИИ и аналитики управления ЦОДами занимаются в основном стартапы и не очень известные поставщики ПО. Лишь немногие разработчики BMS и DCIM интегрировали машинное обучение в свои основные продукты, и, хотя некоторые компании разрабатывают соответствующие функции, им потребуется время, чтобы вывести их на рынок.

Uptime Intelligence отслеживает шесть стартапов, которые используют данные от инженерной инфраструктуры для создания моделей машинного обучения и уже вывели соответствующие продукты на рынок. Эти компании создают новую категорию ПО и сервисов, которые потребуют новых типов взаимодействия со всеми элементами ЦОДа, а также новых бизнес-стратегий и новых методов оценки отдачи от инвестиций.

Скорость массового внедрения подобных инструментов будет зависеть от того, насколько это внедрение будет простым. В конечном счете отрасль придет к определенному набору процессов и политик, направленных на извлечение пользы из данных, которые получают от оборудования.

В ответ на растущий спрос на вычислительные ресурсы и хранилища данных в разных частях света создаются масштабные кампусы гиперЦОДов. Хотя большинство таких проектов имеют мощность ниже 1 ГВт, некоторые рассчитаны на гигаваттную мощность. (Эксперты Uptime считают, что приставка «гипер» применима к объектам мощностью от 100 МВт и выше.) Эти цодовские города огромных размеров предназначены в основном для предоставления услуг colocation, их не надо путать с гигантскими объектами гиперскейлеров. 

Анализ 35 недавних проектов создания кампусов гиперЦОДов для colocation по всему миру дает среднюю планируемую мощность более 400 МВт. Но эта цифра зависит от региона: в Азиатско-Тихоокеанском регионе количество проектов наибольшее, но средняя мощность одного кампуса – менее 200 МВт, в то время как в Северной Америке она превышает 600 МВт (табл. 2). 

 

Если бы все эти проекты были построены и работали хотя бы на половину проектной мощности, на их долю приходилось бы около 51 ТВт*ч потребленной энергии в год. По текущим оценкам, ежегодное потребление энергии ЦОДами составляет 200–400 ТВт*ч.

Согласно опубликованным на данный момент планам, такие кампусы будут состоять из гиперЦОДов, расположенных на одном участке площадью в миллионы квадратных метров. В одном кампусе в зависимости от его размера и масштабируемости могут размещаться несколько поставщиков услуг colocation.

Дорогостоящая инфраструктура – широкополосные оптические подключения, электрические трансформаторные подстанции, системы генерации и хранения возобновляемой энергии – может использоваться несколькими арендаторами ЦОДов совместно.

Объем инвестиций в проекты такого масштаба часто требует создания консорциума инвесторов, в который могут входить заинтересованные стороны всей экосистемы, связанной с ЦОДами. Здесь ключевую роль призваны сыграть гиперскейлеры: их участие стимулирует и гарантирует спрос, а также обеспечивает доверие, финансирование, подключение и экспертные знания.

В большинстве случаев в проект вовлечены один или два ведущих оператора, оптовые colocation-компании или гиперскейлеры. При этом ожидается, что более мелкие операторы также будут использовать ресурсы кампуса. 

Кампусы гиперЦОДов будут обеспечены резервируемыми высокоскоростными оптическими соединениями с другими крупными агломерациями ЦОДов. Их будут стараться размещать там, где негативное влияние на окружающую среду будет минимальным.

Подобные проекты, разработанные с учетом целей низкоуглеродной или безуглеродной энергетики, могут предусматривать заключение контрактов на закупку электроэнергии из возобновляемых источников, а также установку собственных средств такой генерации. Это может быть солнечная, ветровая, геотермальная и даже ядерная энергия. Кроме того, в таких проектах часто предусматривается использование микросетей для управления ресурсами генерации как на самой площадке, так и за ее пределами.

Вот некоторые характеристики и возможности кампусов гиперЦОДов:

В наибольшей степени распространение кампусов гиперЦОДов затронет четыре области:

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!