PFM задают тренд

Неудивительно, что именно решения PFM (pre-fabricated modules) оказались в центре внимания конференции Data Center Design and Engineering – 2019, организованной «ИКС-Медиа».

Продукт PFM может представлять собой полностью готовый ЦОД, например, на одну или несколько стоек, с предустановленными на заводе инженерными системами (ИБП, кондиционером, PDU, средствами пожарной безопасности и пр.). В некоторых вариантах модули-ЦОДы стыкуются друг с другом, формируя объекты с десятками, сотнями и даже тысячами стоек. В крупных дата-центрах часто используют модули PFM, реализующие одну из основных инженерных систем, скажем, электропитания или охлаждения. Такие модули подсоединяются к ЦОДу (традиционному или модульному), добавляя необходимые ему ресурсы: электропитания, охлаждения, площади для размещения оборудования.

Согласно данным 451 Research, в 2018 г. объем мирового рынка PFM-решений превысил $3 млрд (рис. 1). К 2021 г. он увеличится до $4,4 млрд, а средний ежегодный темп роста в 2015–2021 гг. составит 14,4%. Рынок этот, как считают аналитики, характеризуется значительным конкурентным давлением.

Рынок модульных решений для ЦОДов стал настолько заметным, что эксперты Uptime Institute даже разработали специальную программу Tier Ready для упрощения сертификации объектов, построенных на базе таких решений.

Ряд производителей уже получили сертификат Tier Ready. Так, Huawei предложила модульный ЦОД Fusionmodule2000 (рис. 2), который стал первым в мире продуктом, имеющим сертификат Tier IV Ready. Это комплексное решение представляет собой оснащенный всеми необходимыми инженерными системами модуль для размещения ИТ-нагрузки мощностью до 128 кВт (в варианте с интегрированным ИБП). При размещении ИБП снаружи модуля мощность ИТ-нагрузки можно увеличить до 145 кВт, а при выносе и блока распределения – до 235 кВт. Для создания серверных и небольших ЦОДов компания выпускает модули меньших размеров – Fusionmodule800 – на 1–8 стоек.

Решение с сертификатом Tier IV Ready есть и у компании Vertiv, но оно пока не поставляется в регион EMEA, к которому относится Россия. В целом компания предлагает, пожалуй, один из наиболее полных наборов модульных ЦОДов. Он начинается с продукта Vertiv Smart Cabinet (рис. 3). Этот ЦОД размером со стойку оснащен средствами Trellis Critical Insight для мониторинга и удаленного управления, что особенно важно для заказчиков, эксплуатирующих распределенную сеть edge-ЦОДов. 

В диапазоне от двух до 12 стоек Vertiv выпускает 11 типовых решений SmartMod. Как отмечает Евгений Журавлев, отвечающий в московском офисе Vertiv за решения для коммерческих ЦОДов (Colo & Cloud), наличие массовых однотипных решений обеспечивает доступные цены, а широкий ассортимент – возможность подбора под особенности конкретного проекта.

При потребности в большем числе стоек Vertiv предлагает объединять модули SmartMod (решение SmartMod MAX), а также выносить модуль электропитания. Такой подход дает возможность разместить уже до 26 стоек. Наконец, для совсем больших объектов, включая гиперЦОДы, имеется вариант SmartMod Hybrid Solution, который позволяет использовать любое оборудование Vertiv и делать инвестиции поэтапно вместе с ростом нагрузки ЦОДа.

Модульные ЦОДы выпускают все основные поставщики комплексных решений для инженерной инфраструктуры ЦОДов. Пожалуй, наибольший опыт в этой области имеет компания Schneider Electric. В частности, для реализации edge-узлов она предлагает не только микро­ЦОДы размером в одну стойку, но и совсем крохотные наноЦОДы. И в то, и в другое семейство входят решения как для офисной инсталляции, так и для размещения в жестких промышленных условиях (рис. 4).

Подход Rittal – разработка edge-ЦОДов с учетом специфики конкретных отраслей и применений. Так, решения для здравоохранения и финансового сектора отличаются усиленной защитой персональных данных и физической защитой, для индустриальных ЦОДов обеспечена возможность размещения «в любом месте, где необходимо», вариант для ритейла предусматривает легкое структурирование и работу с различными удельными нагрузками и т.п.

Модульные ЦОДы предлагает и ряд отечественных компаний. На DCDE-2019 такие решения представили, в частности, C3 Solutions и «Импульс». МикроЦОДы DC Box от C3 Solutions могут быть реализованы на базе одного шкафа или в виде модульной конструкции со стыкующимися шкафами. При выполнении микроЦОДа в одном шкафу он оснащается внутренним блоком кондиционера, в качестве альтернативного варианта можно использовать боковые кондиционеры. Для обеспечения бесперебойного электропитания размещенной в микроЦОДе ИТ-нагрузки устанавливаются два ИБП мощностью 10 кВА. Предлагаемые компанией «Импульс» ЦОДы «Итегра» состоят из силового кабинета и необходимого числа ИТ-кабинетов и рядных кондиционеров (рис. 5).

Производители инженерных систем от продвижения отдельных продуктов все чаще переходят к комплексному анализу всех возможных вариантов, дабы заказчик мог получить действительно оптимальное для своего проекта решение. Так, компания Rittal проанализировала восемь наиболее популярных вариантов систем охлаждения:

Анализ проводился в предположении, что ЦОД с инфраструктурой, отвечающей требованиям Tier III, расположен в Москве и имеет ИТ-нагрузку 250 кВт (32 шкафа с удельной нагрузкой 7,81 кВт на шкаф). Для расчетов стоимость 1 кВт*ч электроэнергии принималась равной 4,36 руб. (примерно 0,06 евро).

По капитальным затратам самым выгодным предсказуемо оказалось решение на базе шкафных кондиционеров (рис. 6). Самым дорогим – чиллеры с турбокомпрессорами и внутрирядные кондиционеры. Наиболее энергоэффективное решение (c pPUE в районе 1,05) – система на основе адиабатики, самое неэффективное (pPUE равно 1,2 и более), оно же самое дешевое – шкафные кондиционеры.

Что касается операционных расходов, рассчитанных на 10 лет, то здесь различия не столь велики, как в показателе pPUE. Наименьшие расходы понесут владельцы систем на основе адиабатики и чиллеров с турбокомпрессорами (рис. 7). Наибольшие – те, кто решит сэкономить на покупке и приобрести фреоновые решения. При этом и pPUE, и OPEX, и TCO зависят от уровня загрузки: эксперты Rittal проанализировали три основных уровня – 50, 75 и 100%.

А вот по общей стоимости владения за 10 лет именно фреоновый вариант – на базе шкафных кондиционеров – оказался самым выгодным (при типичной ИТ-нагрузке 50%). Самый же высокий TCO при указанном уровне нагрузки – у решения на базе чиллеров с турбокомпрессорами и внутрирядных кондиционеров (рис. 8). Интересно, что при эксплуатации со 100%-ной ИТ-нагрузкой один из наименьших TCO оказался у адиабатического решения, которое при 50%-ной нагрузке далеко не самое выгодное.

Разброс значений TCO для большинства рассмотренных вариантов не очень велик. Поэтому при других начальных условиях (специфика проекта, регион строительства, стоимость ресурсов и пр.) места в этом своеобразном рейтинге могут поменяться. Важно также, подчеркивает Кирилл Дмитриев, ведущий менеджер по продукции «Системы контроля микроклимата» компании Rittal, что ни капитальные, ни эксплуатационные расходы по отдельности не характеризуют систему в целом. На оправданность применения энергоэффективных систем во многом влияют проектная и фактическая ИТ-нагрузки и стоимость ресурсов в регионе.

Выбор системы охлаждения, конечно, зависит еще и от размера объекта. То, что оптимально для ЦОДа на несколько десятков стоек, может плохо подходить для площадки на тысячи стоек. Так, по словам Тобиаса Фокке, директора по продажам в Азиатско-Тихоокеанском регионе компании Stulz, спецификой гиперЦОДов является высокая тепловая нагрузка, нередко уникальная конструкция стоек, отсутствие фальш­пола, высокие требования к отказоустойчивости и масштабируемости. Традиционные системы охлаждения для таких объектов далеко не оптимальны, а поставщикам часто приходится подгонять свои решения под конкретный объект/заказчика. 

Наилучшим решением для гиперЦОДов специалист Stulz считает кастомизированные блоки охлаждения воздуха (AHU), которые, как большие кубики, формируют единую стену охлаждения внутри ЦОДа (рис. 9). Такое решение обеспечивает максимальную плотность охлаждения и позволяет также по максимуму использовать пространство в ЦОДе для размещения ИТ-оборудования. 

При этом для охлаждения потоков воздуха, проходящих через блоки AHU, могут использоваться различные технологии, уже рассмотренные выше: охлажденная чиллерами вода, прямое и непрямое испарительное охлаждение, а также фреоновые решения, в том числе в комбинации с системами фрикулинга. Предлагаемые Stulz блоки AHU имеют типовые размеры, что сокращает время изготовления и доставки, а индивидуальные особенности ЦОДа учитываются благодаря возможности выбора варианта компоновки кубиков в единую систему. Такое решение, помимо прочего, отличается низким уровнем шума и удобством обслуживания, а поскольку располагается вдоль стены серверного зала, то отлично подходит, даже если в зале установлены стойки нестандартных размеров.

Задачи, стоящие перед системами охлаждения, будут только усложняться по мере повышения плотности размещения ИТ-нагрузки. А это практически неизбежно с учетом желания заказчиков максимально эффективно использовать дорогостоящие площади серверных залов, а также очень ограниченное пространство edge-ЦОДов. Именно поэтому Ральф Пленес, вице-президент по продажам и операционной деятельности Raritan и Servertech в странах Европы, Ближнего Востока и Африки (ГК Legrand), предлагает для повышения плотности мощности постепенно увеличивать высоту серверных стоек с 41 до 52U. Следующий шаг, по его мнению, – переход на новые конструктивы высотой 62U. 

В таких стойках будут предусмотрены более удобные средства для организации кабельного хозяйства, а вверху – специальное место для установки коммутаторов ToR (рис. 10). Для подобных стоек будут выпускаться и новые интеллектуальные блоки PDU длиной до 2,5 м.

Если для организации охлаждения ИТ-нагрузки существует множество разнообразных технологий, то для обеспечения бесперебойного гарантированного электропитания выбор существенно меньше. Многие годы, даже десятилетия, основным для ЦОДов являлся вариант на базе статических ИБП и дизель-генераторных установок. Лет пять-семь назад в ЦОДах стали активно применяться динамические ИБП, однако задействовать их целесообразно начиная с мегаваттных мощностей. Но ситуация меняется.

Например, компания Piller предлагает ДИБП CPM300, один модуль которого рассчитан на 300 кВт. Это безбатарейные ИБП, в которых в качестве источника автономной электроэнергии используется маховик Powerbridge PB6, способный «держать» нагрузку 300 кВт в течение 20 с. В параллель можно устанавливать до восьми модулей CPM300, что позволяет формировать систему мощностью до 2,4 МВт. Как утверждает Владислав Ротань, директор по развитию бизнеса компании Piller в России, замена подшипников в CPM300 осуществляется один раз в 11 лет, а стоимость такой замены – 7 тыс. евро.

В CPM300 применяется относительно небольшой маховик, но в арсенале Piller есть и гигант – PB60+, способный целую минуту питать нагрузку в 1 МВт. Интересно и предлагаемое Piller решение IP-Bus, которое позволяет строить ЦОДы Tier IV по схеме резервирования не 2N, а N + 1, что сокращает число необходимых элементов, а значит, и расходы заказчика (подробнее см. «ИКС» № 3’2019, с. 62). Всего в мире компанией установлено более 45 систем IP-Bus, есть ЦОД, сертифицированный на Tier IV. В России соответствующий вариант прорабатывается с одним из заказчиков. 

Если говорить об экономическом сравнении двух основных вариантов (динамические и статические ИБП), то, как признает В. Ротань, «в пересчете на 1 кВт наши динамические решения на 15–20% дороже обычных статических». Но в таких сравнениях не учитывают полную стоимость энергоцентра, включая стоимость самого помещения необходимой площади, питающих трансформаторов и ВРУ, распределительной системы, систем кондиционирования и вентиляции. «Просчитав более 100 проектов, могу сказать, что при мощности 3–4 МВт полная стоимость энергоцентра с ДИБП не превысит стоимость решения на базе статических ИБП, – заявляет В. Ротань. – Требуется примерно на 50% меньше площади, не нужно кондиционирования, на 30–40% ниже стоимость распределительной системы и соответствующих монтажных работ». 

Что касается эксплуатационных расходов, то здесь динамические ИБП, как считает их поставщик, однозначно выигрывают – в первую очередь благодаря снижению потребления электроэнергии и отсутствию необходимости замены АКБ (ввиду их отсутствия как таковых). «К сожалению, только 5% российских заказчиков выбирают решение с учетом TCO», – посетовал представитель Piller.

Если раньше поставщики статических ИБП, похоже, не воспринимали ДИБП всерьез, то сейчас они все чаще отвечают на «угрозы» со стороны конкурентов. Например, таким ответом со стороны компании Vertiv стала разработка продуктов Trinergy Cube и Liebert EXL S1. Как утверждает Е. Журавлев, эти решения сравнимы с ДИБП по стоимости обслуживания и имеют меньшую стоимость владения (за счет существенной экономии на потерях электроэнергии). При использовании литий-ионных АКБ площадь, занимаемая решениями на базе этих ИБП, сравнима с площадью ДИБП, а при использовании АКБ VRLA (7–8 мин автономии) – всего на 10–15% больше. КПД новых ИБП, подчеркивает Е. Журавлев, в режиме VFI выше 96,3% в диапазоне нагрузки от 25 до 100%; а в стандартном для ДИБП режиме VI – превышает 98% в диапазоне нагрузки 20–100%. Наконец, новинки совместимы с маховиками (Vycon).

Существенно снизить OPEX можно и за счет использования в качестве источников электричества и холода турбодетандерных установок, которые на DCDE-2019 представили специалисты компании «Пульсар». Суть технологии – получение энергии и холода при сбросе давления магистрального газа (для доставки его потребителям) на газовых редукционных станциях и пунктах. Поступающий под высоким давлением из магистрали газ вращает турбину, которая, в свою очередь, раскручивает вал ротора генератора – вырабатываемая генератором электроэнергия направляется потребителям. При расширении газа его температура снижается, «бросовый» холод можно утилизировать по традиционным схемам, применяемым в ЦОДах.

Когда говорят о простоях ЦОДов в связи с электропитанием, то, как правило, рассматривают перебои во внешней электросети. Однако и внутри электросистемы ЦОДов есть немало опасностей. Одна из них – возникновение электродуги, которая может приводить не только к разрушению распределительного щита, но и к повреждениям другого оборудования, травмам и даже гибели сотрудников дата-центра. Причин возникновения электродуги множество: это и ошибки во время переключений либо ремонтных работ, перенапряжения, возникающие при коммутационном процессе, грозовые перенапряжения, попадание инородных тел в изоляционные промежутки, плохие контактные соединения.

Сложность борьбы с электродугой, как отмечает Михаил Саликов, директор по продажам в России и Казахстане компании Eaton, заключается в том, что она развивается очень быстро, защитный автомат не успевает сработать. Для защиты от возникновения электродуги компания Eaton разработала комплекс ARCON, состоящий из датчиков и короткозамыкателя. Электродуга характеризуется интенсивным испусканием света и изменением силы тока. Датчики распознают эти признаки, а короткозамыкатель быстро «гасит» дугу, затем происходит отключение с помощью автоматов. При этом сохраняется все оборудование щита, заменить надо будет только короткозамыкатель.

Другая опасность, на которую обращает внимание М. Саликов, связана с перегревом щитового оборудования. Контроль температуры в щите вручную требует значительных трудозатрат, при этом создаются дополнительные риски для безопасности персонала и надежной работы оборудования. Кроме того, при открытии крышки щита (для измерения) туда попадает внешний воздух, изменяется тепловая картина, поэтому можно пропустить начальную стадию повышения температуры. 

Решать задачу эксперт Eaton рекомендует с помощью системы мониторинга температуры Eaton Diagnose System. Система использует беспроводные самозапитывающиеся датчики, которые можно установить там, куда трудно получить доступ при работающей электро­установке. Информация с датчиков собирается коллектором, а оттуда может направляться в используемую ЦОДом систему SCADA или DCIM. Данные о температуре медных проводников и внутри низковольтных комплектных устройств собираются в режиме реального времени, что позволяет зафиксировать начальный этап повышения температуры.

Сегодня заказчики предъявляют все более профессиональные и жесткие требования к характеристикам инженерной инфраструктуры ЦОДов. При этом повышение требований к качеству и надежности зачастую сочетается с необходимостью сокращения сроков реализации проекта. Современные технологии и решения, в первую очередь модульные системы PFM, позволяют удовлетворить этим в чем-то противоречащим друг другу требованиям, т.е. строить ЦОДы быстро и качественно. 

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>