Rambler's Top100
Статьи ИКС № 01-02 2014
Мэтью МЕССКОЛ  27 января 2014

Киловатты на стойку: реальные потребности много ниже прогнозов

Зоны с высокой удельной потребляемой мощностью в дата-центрах встречаются, но они не доминируют.

Ч т о   и   к а к   и з у ч а л и

В опросах изучалось расхождение между расчетной (прогнозируемой) удельной мощностью и фактическим значением этого показателя. Расчетная удельная мощность отражает точку зрения поставщиков оборудования, консультантов и других внешних игроков на инвестиции, в то время как фактическая удельная мощность отражает реакцию операторов ЦОДов на реальные потребности бизнеса.

Опрос 2011 г. охватил 59 ЦОДов (46 из Северной Америки и 13 из Европы) площадью от 223 до 17 930 кв. м (медиана* – 2694 кв. м, средние 50% значений** лежали в диапазоне 1264–3707 кв. м). Суммарная площадь ЦОДов составила 177 536 кв. м, суммарное потребление электроэнергии – 70,9 МВт. По отраслям ЦОДы распределились следующим образом: 23 принадлежали компаниям, оказывающим финансовые услуги, 11 – ИТ-компаниям, 5 – сектору здравоохранения и розничной торговли, 4 – сектору энергетики, 3 ЦОДа предоставляли услуги colocation, оставшиеся 4 – из прочих отраслей.

В опросе 2012 г. участвовали 53 ЦОДа (42 из Северной Америки и 11 из Европы) площадью от 420 до 7 300 кв. м (медиана – 2694 кв. м, средние 50% значений лежали в диапазоне 1380–3670 кв. м). Суммарная площадь ЦОДов – 139 900 кв. м, суммарное потребление электроэнергии – 62,6 МВт. Отраслевая структура: 22 ЦОДа принадлежали компаниям, оказывающим финансовые услуги, 9 – ИТ-компаниям, 8 ЦОДов предоставляли услуги colocation, 5 – относились к сектору здравоохранения и оставшиеся 4 – к прочим отраслям.

В исследовании-2012 участвовали меньше четверти респондентов 2011 г. Но наличие такого пересечения совокупностей обследованных объектов позволяет считать тенденции, выявленные путем сравнения выборок 2011 и 2012 гг., подтвержденными.

При определении удельной потребляемой мощности в расчете на 1 кв. м площади в площадь пола (фальшпола) машинного зала включалась площадь, занимаемая ИT-оборудованием, системами подготовки воздуха и электрораспределительным оборудованием, которые находятся в этом пространстве. Некоторые ЦОДы представили информацию с разбивкой по площадям конкретного назначения (машинные залы, модульные ЦОДы), что сделало исследование более детальным. Однако, поскольку методики измерения площади у разных компаний различаются в зависимости от принятых определений и конструктивных особенностей (например, оборудование воздухоподготовки может находиться за стенами машинного зала), в опросах Uptime Institute использовалась также мощность в расчете на одну стойку. Для ее определения респондентов просили четко описать компонентный состав своих ЦОДов с разбивкой по типам оборудования (серверные стойки, мейнфреймы, дисковые и ленточные накопители, сетевое оборудование).

В общее количество стоек включались заполненные серверные стойки, мейнфреймы и отдельно стоящие дисковые накопители. Например, шкаф управления массивом дисковой памяти и четыре относящиеся к нему шкафа с дисковыми накопителями считались как пять стоек. Из расчета было исключено оборудование со сравнительно низким энергопотреблением – ленточные библиотеки, разрозненные хранилища данных и пустые стойки, а также стойки, в которых находятся только сетевые соединительные панели. Дополнительно респондентам предлагалось выделить стойку с самым высоким энергопотреблением.

________

*Медиана – значение признака, которое делит ранжированную совокупность на две равные части: 50% «нижних» единиц ряда данных будут иметь значение признака не больше, чем медиана, а «верхние» 50% – значения признака не меньше, чем медиана.

**Средние 50% значений (межквартильный размах) – центральная часть распределения. В этом диапазоне лежит примерно половина набора нормально распределенных данных, вне его с каждой стороны находится примерно по четверти наблюдений.  

Поставщики оборудования, консультанты и аналитики, работающие в сфере ЦОДов, давно и настойчиво предупреждают их владельцев о «неминуемом и разрушительном» росте удельной мощности вычислительного оборудования. Эксплуатация же стоек с удельной мощностью, доходящей до 30 кВт, потребует сложной и дорогостоящей инфраструктуры энергоснабжения и охлаждения. Однако, по опыту Uptime Institute, высоконагруженные стойки и шкафы имеют весьма ограниченное распространение.

Для того чтобы прояснить ситуацию, Uptime Institute провел ряд опросов операторов ЦОДов с высоким коэффициентом готовности. Два первых таких опроса (в 2011 и 2012 гг.) затронули дата-центры Северной Америки и региона EMEA.

Удельная мощность

У задействованных в опросе ЦОДов площади и удельные мощности варьировались произвольным образом. При этом 44 из 53 ЦОДов (83%) имели площадь менее 4600 кв. м и удельную мощность ниже 1600 Вт/кв. м. Отметим интересную тенденцию: ЦОДы, спроектированные на более высокую удельную мощность, как правило, имеют меньшую площадь по сравнению с ЦОДами, рассчитанными на меньшую удельную плотность (рис. 1, наиболее отчетливо это видно в верхней части диаграммы).

 В 2012 г. медиана расчетной удельной мощности составила 840 Вт/кв. м, увеличившись по сравнению с 2011 г. на 108 Вт/кв. м. При этом средние 50% значений этого параметра укладывались в диапазон 630–1120 Вт/кв. м. Медиана фактической удельной мощности составила 450 Вт/кв. м (рост по сравнению с 2011 г. – 11 Вт/кв. м), а средняя половина ее значений находилась в диапазоне 330–580 Вт/кв. м. (рис. 2). Несколько небольших по масштабу ЦОДов были специально спроектированы в расчете на высоконагруженные стойки, у них расчетная удельная мощность превышала 1600 Вт/кв. м. Охваченные опросом  ЦОДы используют 59% доступной им мощности, причем средние 50% ЦОДов потребляют 42–73% доступной мощности (рост по сравнению с 2011 г. – 5%).

Мощность в расчете на стойку

Этот показатель определяли двумя способами. Первый предусматривал осреднение мощности, потребляемой ИT-устройствами в стойках, по машинным залам и по ЦОДам в целом и давал среднюю мощность стойки. Второй предполагал выявление в ЦОДе одной стойки с наибольшей потребляемой мощностью.

В пуле ЦОДов, включенных в опрос в 2012 г., максимальное значение средней мощности стойки составило 5,9 кВт. По сравнению с данными 2011 г. (9,2 кВт на стойку) этот показатель уменьшился на 36%. Максимум 2012 г. был выявлен в относительно небольшом ЦОДе (1330 кв. м), и это не тот ЦОД, где максимум был выявлен годом ранее. Средние 50% значений средней мощности стойки в 2012 г. находились в диапазоне 1,3–3,0 кВт, а медиана составляла 1,9 кВт (рис. 3). При включении в расчет модулей-контейнеров средние 50% значений средней мощности стойки попадают в диапазон 1,9–3,4 кВт, а медиана равняется 2,7 кВт.

Максимальное значение наибольшей мощности, потребляемой одной стойкой, оказалось равным 25,9 кВт. Такое значение было достигнуто в большом по площади (5300 кв. м) и среднем по удельной мощности (расчетная – 870 Вт/кв. м; фактическая – 450 Вт/кв. м) ЦОДе, который занимается обслуживанием внешней клиентуры. Медиана равнялась 10,6 кВт, а средняя половина находилась в диапазоне 9,4–12,0 кВт (см. рис. 3).

Корреляция с типами пользователей и длительностью эксплуатации

На основе полученных в ходе опросов данных Uptime Institute попытался выявить связи между удельной потребляемой мощностью и типами пользователей, обслуживаемых ЦОДом, – внутренними или внешними. Внутренние пользователи – это одно или несколько подразделений компании-цодовладельца; внешние пользователи не являются частью компании-владельца. Оказалось, что в 64% ЦОДов, работающих только с внутренними пользователями, средняя мощность в расчете на стойку не превышает 2 кВт, а у 61% ЦОДов, имеющих дело только с внешними пользователями, средняя мощность в расчете на стойку составляет 2 кВт и выше. В ЦОДах смешанного типа данный показатель находится в диапазоне 2–3 кВт (рис. 4).

По показателю «стойка с наиболее высокой потребляемой мощностью» распределение сходное. У 66% ЦОДов с исключительно внутренними пользователями наиболее высоконагруженная стойка потребляет менее 10 кВт. Представители 69% ЦОДов, обслуживающих только внешних пользователей, сообщили, что их наиболее энергоемкая стойка потребляет 10 кВт и больше (рис. 5).

В 2012 г. изучались также типы системы охлаждения ЦОДа и продолжительность его эксплуатации. Согласно полученным ответам, в 81% машинных залов ЦОДов в качестве основных средств охлаждения используются блоки CRAC (Computer Room Air Conditioner – блок кондиционирования воздуха) и CRAH (Computer Room Air Handler – блок подготовки воздуха). В двух машинных залах одного ЦОДа задействовано междурядное охлаждение, а еще в одном ЦОДе применяется схема косвенного адиабатического охлаждения. В остальных ЦОДах используются блоки захолаживания воздуха, расположенные на крышах, или централизованные устройства воздухоподготовки.

Относительно корреляции длительности эксплуатации ЦОДа с удельной мощностью выяснилось следующее: ЦОДы с расчетной удельной мощностью более 1080 Вт/кв. м были сданы в эксплуатацию или прошли капитальную реконструкцию в 2005 г. и позже. В эти же сроки были построены или прошли капитальную реконструкцию все ЦОДы с фактической удельной мощностью выше 650 Вт/кв. м. Все ЦОДы, построенные или прошедшие капитальную реконструкцию до 2006 г., характеризуются средней мощностью 3,0 кВт на стойку или меньше.

Дополнительно в ходе опросов собирались данные об использовании стоечного пространства. Мерой служило количество занятых стойкомест. По данным обоих опросов, 87% респондентов задействуют более половины имеющихся стойкомест. При этом средние 50% ЦОДов используют 56–92% стойкомест.

Высоконагруженные стойки пока исключение

Одной из ключевых целей опросов было предоставление владельцам и операторам ЦОДов информации о реальной ситуации и тенденциях, которую они могли бы использовать при планировании инфраструктуры дата-центров, удовлетворяющей растущим требованиям ИT-оборудования к мощности и охлаждению.

Хотя данных за два года недостаточно, чтобы говорить о тенденциях, тем не менее мы видим, что в 2012 г. расчетная удельная мощность, фактическая удельная мощность и среднее потребление электроэнергии в расчете на одну стойку по сравнению с 2011 г. увеличились совсем ненамного. Эти показатели значительно ниже, чем предсказывали поставщики, консультанты и аналитики. Подтверждая быстрое развитие индустрии ЦОДов, опрос 2012 г. показал, что для многих дата-центров 20-киловаттные стойки – это реальность, но их распространение еще далеко от прогнозируемого. Такая высокая мощность – исключение, а не правило. Фактически средняя мощность, потребляемая стойкой, составляет сейчас 2,7 кВт, и стойки с мощностью 20 кВт пока далеки от повсеместного распространения. При этом высоконагруженные стойки значительно чаще встречаются в ЦОДах, которые работают на внешних пользователей, чем в тех, которые обслуживают только внутренних пользователей.

Несмотря на то что сейчас стоечное пространство используется, по-видимому, достаточно хорошо, в ЦОДах еще немало места для установки нового оборудования. По мере заполнения свободных стойкомест, мощность, потребляемая стойками (и, следовательно, удельная мощность), будет возрастать. Учитывая тенденцию к заполнению стойкомест более энергоемкими серверами, с более высокими коэффициентами загрузки, Uptime Institute прогнозирует, что исследование, намеченное на следующий год, покажет увеличение мощности, потребляемой стойкой.

В планах на 2013 г. более подробное изучение типов схемы охлаждения и их корреляции с мощностью, потребляемой стойками, а также расширение пула обследуемых ЦОДов за счет привлечения респондентов из Южной Америки и Азиатско-Тихоокеанского региона.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!