• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Высоконагруженные системы в ЦОДе. Нюансы проектирования

Установка в дата-центре оборудования высокой вычислительной плотности может потребоваться в целях антикризисного снижения энергопотребления либо из-за внедрения новых бизнес-приложений. Что нужно принять во внимание, прежде чем перейти к действиям?

Прежде всего следует учитывать, что высокое энергопотребление стоек зачастую заявляется, но не достигается. Такая перестраховка приводит к избыточной сложности инфраструктуры, лишним капитальным затратам и увеличению срока окупаемости проектов. И если для корпоративных ЦОДов это может быть не столь критично, то для коммерческих площадок повышается риск неокупаемости вложений и блокировки дальнейшего инвестирования в развитие проекта. Основываясь на своем опыте, могу сказать: при планировании ЦОДа не стоит рассчитывать, что стоек с энергопотреблением выше 10 кВт окажется более 10%.

Отмечу также, что дата-центры, спроектированные в последние годы под размещение стандартных стоек, легко адаптируются к установке стоек с энергопотреблением до 7 кВт без каких-либо изменений в исходном дизайне. Если же встает вопрос о стойках с плотностью мощности 7–11 кВт, то, вероятно, понадобятся ограничения на стойки, расположенные рядом с энергоемкими.

Кроме того, не следует забывать, что за полтора года, пока строящийся ЦОД готовят к установке оборудования, сменится как минимум два поколения этого оборудования. Может смениться платформа, архитектура и т.д. В результате параметры построенной площадки могут оказаться не теми, что требуются. Поэтому при планировании и строительстве ЦОДа целесообразно придерживаться принципа максимальной гибкости и универсальности.

Как вписать высоконагруженные стойки в базовый дизайн

Во-первых, нужно быть готовым поставить стойки высокой плотности в машинный зал. Такая потребность на том или ином этапе жизни ЦОДа, скорее всего, возникнет. А значит, нужно иметь готовое решение, как это делать, куда ставить, как подключать и охлаждать. Должно быть понятно, как это повлияет на стойки, находящиеся рядом. И повлияет ли вообще. Ведь уже более пяти лет существуют системы, позволяющие устанавливать стойки высокой плотности посреди зала без какого-либо влияния на окружающую среду. С этой задачей уверенно справляется охлаждение замкнутого цикла внутри стойки. Резервирование холодильных модулей там можно организовать штатным образом. Подчеркну, что речь идет о серийно выпускаемых решениях с гарантированным качеством и уровнем надежности, причем эти решения в зависимости от ситуации можно либо подключить к существующим системам холодоснабжения, либо организовать собственный источник холода. Однако о возможности установки высокоплотных стоек в машинный зал следует позаботиться на этапе разработки концепции ЦОДа.

Возможен и второй сценарий – создание выделенных зон под стойки высокой плотности. Этот подход отлично работает, когда заказчику нужно вписать в выбранный ЦОД стандартную ИТ-архитектуру. В этом случае стойки высокой плотности являются известной постоянной, которую вполне реально аккуратно подставить в уравнение и решить его. Понимая, как спроектирован зал и какие есть возможности изоляции источников тепла, можно разработать решение под известные параметры потребления, габариты и тепловыделение. В идеале следует выполнить CFD-мо­делирование, по-разному располагая оборудование в виртуальной среде машинного зала и определяя, каким образом это расположение влияет на охлаждение стоек в зале.

В случае коммерческого ЦОДа ситуация осложняется, поскольку число и тепловыделение «других» стоек становятся величинами неизвестными и переменными. И то, как именно оператор услуг ЦОДа организует всю площадку, какие инвестиционные риски он готов принять на себя, – вопрос стратегической важности.

Велика вероятность, что для выравнивания температурно-влажностного режима рядом с высокоплотными стойками нужно будет ограничивать мощность энергопотребления. Иначе говоря, соседи десятикиловаттной стойки должны требовать существенно меньше холодного воздуха. При этом обязательно пол­ностью изолировать холодный воздух от горячего. Это намного повышает эффективность работы систем охлаждения и теплоотвод от установленного в стойках оборудования. В то же время изоляция воздушных потоков защищает оборудование, установленное в верхних юнитах стойки, от перегрева вследствие перетекания горячего воздуха через стойку.

Организация охлаждения и электропитания

Универсального рецепта организации изоляции нет. Нельзя однозначно рекомендовать изолировать холодный или горячий коридор. Решения обоих типов распространены в отрасли примерно одинаково, и у каждого есть свои плюсы и минусы. Надо исходить из ситуации (это правило незыблемо для всех вопросов, связанных с ЦОДами), здесь не существует стандартных вариантов.

Мнение о том, что высокоплотные стойки нельзя устанавливать без межрядных кондиционеров, – миф, равно как и мнение о необходимости создания в машинных залах фальшпола. Охлаждение стоек можно организовать и с фальшполом, и без него. Можно охлаждать стойки с межрядными кондиционерами и без них. Наверное, одними из самых часто упоминаемых ЦОДов без фальшполов в международной практике являются SwitchNAP в Лас-Вегасе и дата-центр Facebook. В них холодный воздух подается сверху вниз, а горячий полностью изолирован и забирается в пленум. Подобные решения компания «Аякс инжиниринг» на основе своей системы FFC применила в ЦОДе «Яндекса». Отсутствует фальшпол и в схожих по концепции дата-центрах SDN в Санкт-Петербурге и «Стек24» в Казани.

Решения, как правило, привязываются к конкретным ограничениям или целям проекта. Если высота помещения не позволяет организовать выдув из-под фальш­пола для подачи воздуха к стойкам, то инженер-проектировщик будет искать иные подходы.

Нельзя забывать и об электропитании. Если электрораспределение спроектировано под стандартные стойки с потреблением 5 кВт, то ЭРС подлежит доделке или переделке. Это важно понимать на этапе планирования установки высокоплотных стоек. Отсюда же следует вывод: если нужно иметь возможность ставить подобные стойки в любом месте зала, то системы электрораспределения в нем либо не должно быть вообще, либо она должна быть рассчитана на такие нагрузки в любом месте машинного зала. Это существенно увеличит бюджет проекта, что вряд ли желательно.

Очевидно, что на этапе постановки задачи создания ЦОДа заказчик должен определить рамки для возможных отклонений. И проектировщик должен поставить заказчика в известность о том, к чему приведет то или иное решение с технической и финансовой точек зрения. Тогда финальный выбор заказчика будет взвешенным и появятся осмысленные и финансово оправданные требования в отношении высоконагруженных стоек. А если разработчик покажет, что предлагаемое им решение даст заказчику возможность устанавливать «горячие» стойки и в ходе эксплуатации, предоставив для этого инструмент, то проект будет двигаться гораздо быстрее.

  

За последние годы отечественная индустрия цодостроения сделала огромный шаг вперед. Отечественные инженеры на практике доказали, что способны работать на уровне лучших мировых стандартов как по сложности, так и по качеству проектов. Примеры красивых инженерных решений появляются не только в столицах, но и в регионах. Предметом особой гордости можно считать спецпроекты, основанные на эксплуатации стоек с энергопотреблением выше 70 кВт. Это говорит о том, что любые задачи могут быть решены. Надо только правильно их сформулировать и адекватно сопоставить со спецификой потребителей сервисов..