• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

На чем можно и нельзя экономить при строительстве ЦОДа

Любой дата-центр – объект весьма недешевый, и стремление уменьшить затраты при его создании вполне понятно. Однако экономия должна быть грамотной, тем более что простор для действий здесь действительно есть.

Говорят, что правила техники безопасности написаны кровью тех, кто их не соблюдал. Нарушение правил экономии при строительстве дата-центра не столь опасно для физического здоровья заказчика, но может иметь негативные и даже катастрофические последствия для его финансового благополучия.

Практически все поставщики оборудования для ЦОДов делают акцент на характеристиках своих продуктов, которые имеют отношение к повышению энергоэффективности и, соответственно, к сокращению затрат на их эксплуатацию. Но заказчик должен понимать, что дата-центр – это сложная система, компоненты которой друг от друга сильно зависят, поэтому нужно тщательно взвешивать влияние тех или иных технических решений на результирующую стоимость создания объекта и владения им.

Все приведенные ниже данные были получены при анализе семи проектов строительства ЦОДов (выполнявшихся исходя из требований Tier III), в которых автор принимал участие. Выборка вроде бы небольшая, тем более что проекты были разной степени сложности и комплексности. Однако, несмотря на разнородность проектов, вклады различных компонентов инженерной инфраструктуры дата-центра в общий бюджет проекта получились примерно одинаковыми (табл. 1). Поэтому даже такие ограниченные статистические данные, на мой взгляд, позволяют делать выводы о направлениях разумной экономии и о том, на чем экономить не стоит.

Как мы видим, на архитектурную часть, системы электроснабжения и кондиционирования приходится почти 80% затрат на проект, т.е. именно за счет них можно получить наиболее заметную экономию, а поиск способов снижения затрат в системах пожаротушения, диспетчерского управления и безопасности – занятие куда менее благодарное, которое по его эффективности можно отнести к экономии на спичках.

Рассмотрим ситуацию с каждым компонентом инженерной инфраструктуры ЦОДа в отдельности.

Экономия электрическая...

Именно система бесперебойного и гарантированного энергоснабжения должна обеспечивать электричеством все системы дата-центра. Для определения ее мощности и, следовательно, цены нужно корректно подсчитать энергопотребление всех компонентов. А вот с этим, как показывает практика, бывают проблемы, потому что каждый специалист, ответственный за составление задания на проектирование того или иного компонента ЦОДа, обычно запрашивает электрическую мощность с запасом (далеко не всегда обоснованным). Так что в итоге закладываемая в проект мощность системы энергоснабжения может вдвое превысить реальные потребности – с очевидными последствиями для стоимости.

Свой вклад в удорожание системы энергоснабжения вносит взаимное расположение систем  в ЦОДе. Очевидно, что чем ближе ДГУ и ИБП находятся к полезной нагрузке, тем короче трассы для силовых кабелей и, соответственно, меньше затраты на их прокладку. Однако не все знают, насколько сильно цена таких систем зависит от протяженности кабельных трасс (если бы знали, то ставили бы дизели в непосредственной близости от серверов). Например, в одном из проектов мы рассчитали стоимость построения трассы длиной 120 м от восьми трансформаторов мощностью 2,5 МВт каждый. Она оказалась равной почти $1,5 млн! Практически тот же эффект можно получить при размещении ИБП в одном помещении с главным распределительным щитом (ГРЩ), что не только дает экономию на длине питающих линий, но и позволяет обойтись без промежуточных щитов и соответствующих затрат на них.

Большое влияние на стоимость системы энергоснабжения оказывают схемы резервирования систем ИБП. Сравним два решения, которые соответствуют одному и тому же уровню надежности ЦОДа – Tier III–IV (см. рисунок). В первом решении используется схема резервирования N + 1 (три ИБП мощностью 100 кВА каждый), во втором – 2N (два ИБП по 200 кВА). Конечно, стоимость ИБП в первой схеме будет меньше, чем во второй. Но если рассмотреть всю систему в комплексе с учетом затрат на щиты гарантированного и бесперебойного питания, а также на систему распределения электропитания, то окажется, что стоить они будут практически одинаково. Дополнительным доводом в пользу «более дорогой» схемы резервирования 2N является простота системы распределения, очевидная даже неспециалисту.

Еще один параметр, влияющий на стоимость законченного решения, – запрашиваемое заказчиком время автономной работы ИБП. До сих пор можно встретить требование обеспечить работу ИБП от батарей в течение 45 мин, и лишь самые смелые соглашаются ограничиться 10 мин. Что заставляет вписывать такие требования в ТЗ? Судя по всему, только генетическая память энергетика, запускавшего судовой дизельный генератор. Три (!) запуска ДГУ в соответствии со всеми регламентными правилами занимают не более 2 мин, а в реальных условиях при отключении питания дизель стартует в течение максимум 5 с. И даже если произойдет осечка, то по схеме резервирования включится второй дизель. Так что затраты на лишние батареи не имеют никакого смысла. Аналогичная ситуация с обходными схемами электропитания (байпасами), которые проектировщики, похоже, составляют уже просто по привычке. При резервировании по схеме 2N они тоже не нужны. Отказ от этих избыточных резервов позволит заметно уменьшить капитальные затраты.

Ну а операционные расходы на систему электропитания сильно зависят от ее энергопотребления. Производители ИБП неустанно твердят заказчикам о высоком КПД своих изделий, которому до заветных 100% осталась самая малость. Однако следует помнить, что речь при этом обычно идет о КПД при полной или близкой к таковой нагрузке. А, скажем, при схеме резервирования 2N даже при полной загрузке дата-центра нагрузка на ИБП, как правило, не превышает 40%, и лишь в пике она может достигать 50%. Например, для нас в свое время неприятным сюрпризом стал тот факт, что при нагрузке меньше 10% КПД трансформаторных ИБП не превышал 50%. При нынешних мощностях дата-центров это означает, что при оплате электроэнергии немалые суммы выбрасываются на ветер. Так что более полезным параметром ИБП является его КПД при неполной нагрузке и именно на него надо обращать внимание в первую очередь, коль стоит задача экономии.

...кондиционерная и...

Если при создании систем энергоснабжения заказчики и проектировщики, как правило, завышают потребности ЦОДа в электричестве, то при проектировании системы кондиционирования типичен некорректный подбор технологий охлаждения и оборудования, следствием чего являются локальные перегревы оборудования, нехватка мощностей охлаждения при полной загрузке и т.п. В этом случае заказчикам можно посоветовать только одно – выбрать правильного подрядчика, и лучше всего такого, который будет отвечать не за отдельную систему кондиционирования, а за функционирование ЦОДа в целом. ASHRAE рекомендует для увеличения энергоэффективности поднять температуру воздуха на входе серверов, и это действительно позволяет сэкономить на системе охлаждения. Но вот на чем не стоит экономить – так это на изоляции холодных и горячих коридоров. Кроме сокращения эксплуатационных расходов, она позволит получить прогнозируемую картину распределения воздушных потоков внутри дата-центра.

Делая принципиальный выбор технологий охлаждения, нужно учитывать влияние разных систем ЦОДа друг на друга, в частности, системы кондиционирования на систему энергоснабжения. Например, в одном из наших проектов мы провели расчет затрат на организацию разных вариантов системы кондиционирования: с использованием чиллерных систем с компрессорами Turbocor и мокрыми градирнями, воздушного и адиабатического охлаждения (табл. 2).

КПД чиллерной системы был заметно ниже, чем у систем воздушного охлаждения на базе роторных теплообменников KyotoCooling и адиабатического охлаждения на базе системы EcoBreeze: среднегодовой холодильный коэффициент у чиллеров в данном случае составил около 7, и это хороший показатель для данного вида оборудования, а у альтернативных вариантов он достигал 10. Но общие затраты на реализацию чиллерной системы оказались меньше. Дело в том, что чиллерная система на базе  компрессоров Turbocor требует меньшей подводимой электрической мощности, чем системы KyotoCooling и EcoBreeze (1,3 МВт против 1,5 МВт), и объясняется это более высокой эффективностью компрессоров Turbocor при работе под нагрузкой, чем компрессоров, применяющихся в обоих экологичных решениях. Подключение же дополнительных 200 кВт по расценкам энергосбытовых компаний обойдется в $400 тыс. ($2 тыс. за 1 кВт подключаемой мощности). Конечно, энергоэффективные решения на основе KyotoCooling или EcoBreeze имеют хороший PUE, который можно с гордостью анонсировать на публике, но получение финансового выигрыша от их внедрения вместо традиционной чиллерной системы в российских условиях растянется на 10 лет, а это устроит далеко не каждого заказчика.

Гораздо продуктивнее выглядит утилизация тепла, выделяемого ЦОДом. Нельзя сказать, что технологии в этой области сильно развиты (ЦОД выделяет много тепла, но оно низкопотенциальное). Тем не менее использование тепловых насосов для отопления здания дает ощутимую экономию на эксплуатации.

...архитектурная и пожарная

Архитектурная часть проекта создания ЦОДа, в которую входит строительство здания, защищенных и подсобных помещений, а также устройство фальшполов, занимает в структуре затрат второе место (см. табл. 1). Безусловно, ее финансоемкость будет зависеть от того, какой проект выбирает заказчик, планирует ли он строить для дата-центра специальное здание или будет вписывать ЦОД в имеющееся и какой реконструкции оно для этого потребует. Конечно же, на цену здания повлияет его конструктив – бетонные панели обойдутся дороже, чем быстровозводимые конструкции. Но в любом случае при выборе и выполнении строительного проекта надо помнить, что грамотная компоновка систем энергоснабжения и кондиционирования существенно уменьшает требуемые для их размещения площади. А это позволяет сократить затраты не только при строительстве, но и при дальнейшей эксплуатации дата-центра. В частности, для снижения капитальных затрат весьма полезны уже упомянутое объединение в одном помещении ГРЩ и ИБП, максимальное приближение холодильного центра и электропитания к нагрузке (это полезно и с точки зрения эксплуатационных расходов), а также многоуровневая компоновка систем инженерной инфраструктуры ЦОДа. Эксплуатационные расходы также можно снизить за счет грамотной организации и уменьшения длины подъездных путей к дата-центру и путей транспортировки оборудования и материалов внутри него. Кроме того, серьезно сокращает эксплуатационные расходы отсутствие пересечений кабелепроводов, трубопроводов, вентиляционных коробов и прочих труб, что требует соответствующего проектирования.

Завершить обзор наиболее «влиятельных» систем ЦОДа правильнее всего системой пожаротушения, несмотря на то что ее среднестатистический вклад в бюджет проекта совсем невелик (3,6%). Объясняется это тем, что от ее конфигурации, определяемой квалификацией проектировщика, зависит общая компоновка дата-центра. Например, как-то пришлось встретиться с оригинальной командой, которая запроектировала в каждом помещении ЦОДа отдельную систему пожаротушения, и для реализации такой схемы нужно было установить 180 баллонов с газом. А для централизованной системы пожаротушения их потребовалось бы порядка 70–80. Так что для минимизации затрат на систему пожаротушения можно посоветовать обращаться к грамотным проектировщикам.

Резервы СКС

Список менее финансово весомых систем дата-центра возглавляет структурированная кабельная система. На ее долю в среднем приходится 6,6% затрат на проект. Но это в среднем. Как показывает практика, в некоторых проектах она может достигать 13%. Цена СКС сильно зависит от выбора категории оптических или медных компонентов. Заказчикам следует обратить особое внимание на их характеристики (табл. 3) и соотнести их с текущими и перспективными требованиями активного оборудования к пропускной способности каналов.

Пропускная способность 10 Гбит/с может быть достигнута как с использованием медного кабеля категории 6 (при длине последнего не более 37 м), так и с помощью оптического кабеля категории ОМ3 (длина до 300 м). Но при этом надо помнить, что средняя длина канала в ЦОДе – порядка 20 м, а на таких расстояниях при скоростях до 10 Гбит/с включительно нормально работает и более дешевая медь. Поэтому если на данном участке не планируется проводить в дальнейшем модернизацию с увеличением пропускной способности, то разумнее применять оптические и медные кабели более низкой категории. Еще одна возможность сэкономить – отказаться от использования более дорогих претерминированных кабельных решений и дать возможность заработать отечественным монтажникам (если, конечно, сроки не сильно поджимают).

Экономия, которая выйдет боком

На шкафной инфраструктуре, на долю которой приходится в среднем 6,5% затрат, экономить я не рекомендовал бы вообще. Шкафы – это фактически лицо ЦОДа. Именно их в первую очередь видят посетители и потенциальные заказчики. Крупные операторы дата-центров на них никогда не экономят. Кроме того, это граница между серверным оборудованием и инженерной инфраструктурой. Поэтому лучше выбрать качественные шкафы известного производителя, который гарантирует совместимость своих изделий с серверами и другим ИТ-оборудованием, с системами электропитания, охлаждения и мониторинга, с конструкцией системы изоляции горячих и холодных коридоров, а также обеспечивает удобство монтажа и последующей эксплуатации всего устанавливаемого в них оборудования.

Точно так же бессмысленно экономить на автоматизированной системе диспетчерского управления. Она с лихвой отрабатывает свои 2,3% бюджета. Это ваши глаза и уши в ЦОДе, которые контролируют работу всего инженерного оборудования, выполняют мониторинг параметров энергопотребления и климатических условий функционирования ИТ-оборудования в каждой стойке и выводят всю информацию через общий интерфейс системы диспетчеризации. Но при этом можно вполне обойтись без огромных видеостен, которые с практической точки зрения представляют собой явное излишество.

И уж совсем неразумно пытаться сэкономить на системе безопасности – на нее приходится всего 1,3% затрат. По статистике, причина 60% сбоев в дата-центре – человеческий фактор, а правильно организованная система безопасности может существенно сократить количество этих ошибок. Так что ее можно считать выгодным вложением средств.

При строительстве дата-центра любого размера, конфигурации и уровня надежности можно и нужно экономить. Но стремление к экономии не должно превращаться в самоцель. Она должна быть разумной и эффективной, т.е. построенной на грамотных расчетах и учитывающей зависимость всех систем ЦОДа друг от друга и реальный финансовый вес каждой из них.