• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Создание ЦОДов. Как разумно потратить деньги

Получение инвестиций и их возврат – одна из основных болевых точек практически любого проекта ЦОДа, претендующего на уровень надежности Tier II и выше. Проекты эти изначально ресурсоемки, а процесс возврата инвестиций долог и трудно поддается прогнозированию – с каждым годом все быстрее идет моральное устаревание ИКТ-оборудования, а значит, инженерной инфраструктуры для поддержания оптимальных параметров эксплуатации. Где же выход?

Эволюция ЦОДов

Развитие международного рынка дата-центров, как всякая эволюция, идет по спирали. Десять лет назад на Западе – и лет семь назад у нас – основная задача специалистов состояла в том, чтобы обеспечить надежность и прогнозируемую отказоустойчивость инженерной инфраструктуры дата-центров. Тогда же появились, в том числе в России, первые стандарты, регламентирующие требования к инженерной инфраструктуре и выбору площадок для ЦОДов.

Спустя несколько (от трех до пяти) лет самой злободневной темой стало все, что связано с блейд-серверами и, как следствие, с поиском оптимальных решений управления климатом в серверных, предназначенных для их размещения. Резко возросла актуальность услуг по составлению и оптимизации температурно-климатической модели ЦОДа. Первые вычислительные системы класса blade за короткий промежуток времени обозначили потенциальную угрозу колоссального роста энергопотребления ИТ-оборудования в ЦОДах, что подстегнуло – в первую очередь американские власти – стимулировать разработчиков и производителей высокотехнологичного оборудования заниматься вопросами управления энергопотреблением и повышения энергоэффективности. А производители систем охлаждения ответили на спрос на высокоплотные стойки межрядными системами охлаждения и внутристоечными решениями для изоляции хот-спотов. Вопрос был поставлен, ответ дан.

Примерно полтора-два года назад в мире были на пике дискуссии вокруг проблемы энергосбережения в ЦОДах: у кого PUE меньше, какой ЦОД лучше... В разных странах, на разных отраслевых конференциях эксперты пытались и пытаются разобраться в том, в каких случаях инвестиции в энергоэффективные решения с минимальным PUE оправданы, а в каких – лишены практического смысла. И хотя экологическая значимость этого движения очевидна и его сторонникам, и противникам, охотников поступиться ради всеобщего блага интересами бизнеса немного. Хотя технологические лидеры активно инвестируют в разработку новых энергоэффективных решений, достигая все меньших значений PUE. Так или иначе, поиск оптимально сбалансированных решений ведется, и это направление успешно развивается.

Сегодня и, вероятнее всего, в ближайшие несколько лет основное внимание специалистов по дата-центрам разного профиля будет обращено к уже известным техническим решениям, продуктам, реализованным проектам и специалистам, имеющим опыт успешной их реализации. Эта позиция вполне логична, потому что за последнее десятилетие наработан такой объем решений, что варианты их комбинирования еще многие годы позволят повышать эффективность уже существующих площадок и строить все более эффективные новые. И это, в частности, отмечали в своих выступлениях на весеннем симпозиуме Uptime Institute отец-основатель этой организации Кеннет Брилл и профессор Стэнфордского университета Джон Комей.

Фактически мы сегодня знаем и можем гораздо больше, чем делаем. И в этом плане у нас есть огромный потенциал развития и комбинирования различных элементов архитектуры, инфраструктуры и технологий. Самое время преобразовать имеющиеся знания в новое качество — качество разумно потраченных на ЦОД денег.

С позиций сегодняшнего дня наиболее перспективными путями решения задачи эффективного управления инвестициями и техническим «совершенством» представляются два направления: модульный подход к строительству дата-центров и нахождение оптимального соотношения между инвестициями и PUE. Отметим, что модульность может выражаться в разработке типового модуля/зала типовой площадки, типового блока инженерной инфраструктуры, типового решения/подхода, типового изделия/контейнера.

Модульный подход: что нового

За последние 10 лет международная индустрия цодостроения сделала большой шаг вперед, особенно в области проектирования и моделирования. Поэтому все предлагаемые сегодня решения основаны на идеях, использующих потенциал и возможности уже накопленного опыта. В этом плане довольно показательны prefabricated-решения, так как они позволяют создать конфигурацию, наиболее точно соответствующую ожиданиям и потребностям будущего владельца.

Эти решения представляют собой быстровозводимые модульные конструкции ЦОДов, которые позволяют в сжатые сроки гибко наращивать площадь дата-центра с гарантированным качеством, ожидаемыми функционалом и техническими параметрами. ЦОД такого типа полностью собирается на заводе компании-производителя, там же налаживается, затем разделяется на несколько частей, пригодных для транспортировки, и доставляется на площадку заказчика, где части снова соединяются. Речь при таком подходе идет уже не о строительстве, а именно о соединении нескольких блоков, исходно созданных как единое целое. В принципе их можно отнести к разряду элементов модульного дата-центра с той разницей, что в данном случае заказчику решение поставляется в виде готовых к сборке, заранее сконфигурированных модулей, тогда как модульные дата-центры собираются из стандартизованных компонентов на месте.

В России из поставщиков prefabricated-решений известны такие бренды, как BladeRoom, Colt, HP, AST-modular, несколько меньше – SunGard, I/O, Digital Realty. Особо стоит подчеркнуть, что три последние компании сами являются крупными владельцами коммерческих дата-центров и необходимость в подобных разработках была продиктована потребностями их клиентов.

Разработка модуля – процесс технически сложный и занимает время, сопоставимое (или даже большее) со временем проектирования любого ЦОДа. Важнейший момент здесь – детализация проработки отдельных узлов и элементов, а также их взаимного расположения и соединения. Ошибка при разработке модуля будет повторяться при каждой новой реализации, выполненной на базе типового модуля. Поэтому типовой проект должен быть выверен «до винтика».

Если проект не разрабатывается, а покупается, то даже с учетом возможных изменений много времени подготовка к запуску не займет. А необходимые изменения после проработки производителем модульного ЦОДа будут также типизированы, и все выпускаемые по данному заказу ЦОДы будут совершенно одинаковы.

Ключевые преимущества модульного подхода при создании ЦОДа – это сокращение времени проектирования, стандартизация решений, уменьшение расходов на поддержку, ускорение реализации проекта на каждой площадке в рамках типовой архитектуры. Однако за все это приходится платить. Как правило, prefabricated-ЦОДы дороже своих аналогов, собираемых традиционным образом, если взять прямую калькуляцию в расчете на квадратный метр машинного зала. Но для корректного сравнения необходимо учитывать также стоимость привлеченных средств для финансирования строительства, время неоказания услуг на срок строительства площадки, потери от всей программы строительства, если речь идет не об одной площадке, а о нескольких по типовому проекту. Оценка ключевых параметров для каждого проекта своя. И там, где время дороже всяких денег, подобный подход – это единственный способ быстро получить продукт отличного качества. Иными словами, КПД, или «качество потраченных денег», в любом варианте возрастает.

Это особенно важно, когда речь идет о больших технологических площадках – о мегаЦОДах. Причем о мегаЦОДах не по российским представлениям, т. е. больше 2 МВт, а действительно об огромных, порядка 50 тыс. кв.м фальшполов, территориях, отведенных под дата-центры. Именно такие были представлены на выставке, прошедшей в рамках Uptime Institute Symposium. Вот для примера выборочные параметры нескольких таких площадок:

Общая мощность, подведенная к ИТ-оборудованию, – 85 МВт (18 МВт – 1-я фаза проекта); подведенная мощность площадки – 200 МВт. Площадь фальшполов – 50 000 кв. м (18 300 кв. м – 1-я фаза проекта). PUE = 1,4.

Общая мощность, подведенная к ИТ-оборудованию, – 120 МВт. Площадь фальшполов – 50 000 кв. м (32 000 кв. м – 1-я фаза проекта). PUE = 1,4. Сертификат LEED.

Кампус дата-центра общей площадью 260 Га. Три линии по 230 кВ, два ввода оптики – с каналами от четырех операторов связи на каждом, подключение к магистральному газу с неограниченным потреблением, водяные скважины, распределительная подстанция на 300 МВт, плюс 200 МВт газогенерации, плюс солнечные батареи на 30 МВт, плюс альтернативный источник энергии на топливных ячейках в процессе проектирования.

Это мегаЦОДы по американским меркам. В Европе масштабы несколько скромнее – порядка нескольких десятков мегаватт. Но это все равно не те ЦОДы мощностью 2–3 МВт, которые у нас сегодня принято относить к разряду очень крупных проектов.

Все это говорится не для того, чтобы умалить значение процессов, происходящих на отечественном ИТ-рынке, или спровоцировать всплеск гигантомании, а для того, чтобы попытаться скорректировать сложившуюся у нас систему ориентиров и привязанную к ней терминологию. Я считаю, что отечественный заказчик уже достаточно повзрослел для того, чтобы адекватно оценивать свои потребности – без оглядки на «соседа» – и ставить перед проектировщиками задачи, исходя не из призрачных амбиций, а с обоснованным представлением о потребностях будущей целевой аудитории ЦОДа.

Обоснование инвестиций

Не берусь утверждать наверняка, но вряд ли ошибусь, предположив, что наиболее успешные проекты строительства ЦОДов в России начинались с инвестиционно привлекательного бизнес-плана, основанного на хорошо проведенном маркетинговом исследовании и, как следствие, на правильно выстроенной стратегии подготовки и запуска ЦОДа – от этапа basis of design до организации эксплуатации. Хотя с точки зрения заказчика эта работа (маркетинговое исследование), скорее всего, носила неявный характер и называлась по-другому – у нас почему-то обычно недооценивают этот достаточно важный стратегический инструмент. Да и специалистов в данной сфере явный дефицит. Возможно, поэтому у нас все еще есть новые ЦОДы, страдающие от отсутствия клиентов. А аналитики, в свою очередь, не утруждая себя изучением причинно-следственных связей, уже который год говорят о мнимом снижении спроса на услуги коммерческих ЦОДов. Вот и получается замкнутый круг.

Кстати, в отличие от отечественных заказчиков и исполнителей проекта, инвесторы гораздо более внимательно относятся к прогнозированию спроса на услуги будущего ЦОДа, так как исходя из этого они оценивают собственные бизнес-риски и вероятность выхода на нужный показатель качества потраченных денег. Поэтому так важно найти правильные аргументы и доказать способность владельца ЦОДа обеспечить его квалифицированную эксплуатацию, построенную на разумном балансе между организацией внутренних операционных процессов и адаптацией возможностей ЦОДа под изменяющиеся запросы потребителей услуг.

Технология. Прежде всего необходимо правильно выбрать технологию реализации проекта. На современном этапе развития международной индустрии ЦОДов это вполне реально. Но однозначной рекомендации, позволяющей сделать такой выбор, нет и быть не может. На какой технологии остановиться – традиционной, контейнерной, модульной или основанной на prefabricated-решениях, – зависит от назначения будущего ЦОДа, его стартовых масштабов и ожидаемых темпов развития. В любом случае важно применять максимально гибкие и поддающиеся масштабированию решения. Любые узкие технологические подходы либо вводимые при строительстве ограничения будут сокращать варианты применения ЦОДа и, как следствие, срок его эффективной жизни.

Коэффициент PUE. Еще один важный момент, влияющий на ход проекта и дальнейшую эксплуатацию ЦОДа, – это определение оптимального PUE. Он не обязательно должен быть максимально приближен к идеальному, отнюдь нет. Задача здесь – найти разумный баланс между приемлемой величиной бюджета на проект и качеством дата-центра. Иначе говоря, мы опять возвращаемся к оптимальному для данного проекта качеству потраченных денег. Чем меньше PUE, тем выше стоимость строительства, но тем меньше операционные расходы. Самое важное в данном вопросе – точный и полный расчет экономики проекта. Возможно, стоимость подключения к сетям электроснабжения и тарифы на электроэнергию таковы, что позволяют не возводить требования к энергоэффективности в абсолют. И экономия на потребляемой электроэнергии никогда не оправдает слишком больших затрат на сложные инженерные решения.

В качестве оптимальных на сегодняшний день значений PUE можно обозначить интервал от 1,4 до 1,8. Первое значение характерно для большинства новых площадок, вводимых сегодня в эксплуатацию в США и Европе. Второе – результат оптимизации действующих ЦОДов, построенных по традиционным технологиям 5–10 и более лет назад (до оптимизации PUE в них был на уровне 2,3). Достигается это простыми, но действенными мерами –полной или частичной заменой морально устаревших элементов действующей инфраструктуры, а также соблюдением других простых правил эксплуатации ЦОДов.

Вычислительное оборудование. Какая доля ИТ-оборудования работает вхолостую в сегодняшних ЦОДах и серверных? Десятки процентов, зачастую 50% и более. Это так называемое коматозное оборудование уже не выполняет первоначального объема обработки данных, но исправно потребляет электричество и греет воздух. К тому же «железо» морально устарело и с точки зрения производительности в расчете на 1 кВт заметно уступает современным аналогам. Другая существенная часть ИТ-оборудования в ЦОДах, проблемного с точки зрения продуктивности, – отдельные серверы, работающие на одну задачу, с нелинейной нагрузкой и стабильным энергопотреблением. Выявление, демонтаж и замена и той и другой категории серверов, наряду с применением решений для виртуализации и повышением плотности вычислений, позволит освободить большую часть стоек в машинных залах и оптимизировать их загрузку, дав время на детальную проработку проекта нового ЦОДа.

Говоря о грамотных современных подходах к вычислительному оборудованию, нельзя не отметить новый тренд, который сегодня набирает популярность на Западе. Речь о решениях класса proprietary-сервер – уникальных, разработанных специально для заказчика серверных архитектурах, позволяющих существенно сэкономить и на стоимости «железа», и на эксплуатационных затратах в процессе их обслуживания. Достигается эта экономия, во-первых, благодаря отсутствию наценки brand-name на стоимость самих серверов, во-вторых, за счет централизации потребления энергии блоками питания, вынесенными в отдельную стойку, в-третьих, за счет того, что ряд таких решений выполнены без использования вентиляторов. Более детальное описание данного класса решений и примеров их реализации заслуживает отдельной статьи. Мы упоминаем их здесь просто с целью показать, что эволюция не стоит на месте. Потенциал современных ноу-хау еще не исчерпан. 

Эксплуатация инженерных систем и технологических помещений. Давняя «головная боль» владельцев российских ЦОДов и инвесторов. В ситуации острого кадрового голода вопрос качественной эксплуатации успешно построенного ЦОДа зачастую приобретает статус архиважного. Как ни удивительно (и ни обидно), до сих пор в дата-центрах даже солидных компаний приходится сталкиваться с ошибками, о которых многократно сказано и написано: перекрытые новыми проводами пути подачи/отвода воздуха, нерационально распределенное по машинному залу оборудование с разным энергопотреблением и т.д., и т.п. Наверное, уже пора понять, что без хорошо спланированных инвестиций в подготовку персонала, отвечающего за работу ЦОДа и поддержание требуемых процедур внутреннего регламента, обеспечить должное качество потраченных денег невозможно.

Думается, вышеперечисленные факторы – правильный выбор технологии, выход на оптимальные показатели энергопотребления и налаженные процессы эксплуатации ЦОДа – и есть непременные составляющие успеха, способные обеспечить то качество потраченных денег, которое устроит и владельцев ЦОДа, и их инвесторов.