Экономика проектов выходит на первое место

– Один из основных новых трендов – появление запросов на комбинированный (гибридный) подход к обеспечению надежности. Речь идет о том, чтобы в рамках одного ЦОДа реализовать разные уровни надежности, задействуя разные архитектуры и технические решения. Правда, подобные запросы пока поступают только от корпоративных клиентов.

Такие клиенты делят ЦОД на несколько зон в зависимости от требований к непрерывности работы ИТ-инфраструктуры. Например, одна зона выделяется для критичных для бизнеса решений – там полноценный Tier III, стандартные системы кондиционирования, бесперебойного питания (с батарейной поддержкой в течение 15 мин) и т.д. 

Но всегда есть некритичные приложения. Если они занимают достаточно большой объем (в стойках), то есть смысл создать для них зону с не столь высокими требованиями к надежности. Это могут быть машзалы без чиллерной поддержки: просто фрикулинг (в том числе прямой) с каким-либо вариантом доохлаждения, например, с помощью адиабатики. Для таких зон характерен более широкий диапазон температуры и влажности, зачастую туда устанавливаются более «теплолюбивые» серверы. Все понимают, что в случае экстремально высокой температуры на улице есть риск отключения оборудования в этих зонах. И клиенты к этому готовы. Раньше такого не было.

Также все чаще выделяют зоны коммутации – для подключения к операторам связи, организации соединений между узлами сети ЦОДов и т.д. Такие зоны становятся все обширнее, поскольку растет важность коннективности, в том числе для геораспределенного резервирования.

Подобный комбинированный подход с разделением на зоны разного уровня надежности намного снижает затраты. Система холодоснабжения – это примерно 35% бюджета ЦОДа. Если ее упростить, перейдя к фрикулингу, возможно, с частичной адиабатикой, но без сложной чиллерной системы, можно существенно сэкономить.

– Да, и это еще одна важная тенденция. У нас сейчас в работе несколько проектов – опять-таки корпоративные объекты, – когда за счет резервирования в сети ЦОДов требования к надежности инженерной инфраструктуры отдельных объектов снижаются.

В качестве примера приведу проект, который предусматривает реализацию трех абсолютно одинаковых ЦОДов. Расстояния между ними таковы, что возможна синхронная репликация данных. Получается, что на всех трех площадках одинаковое не только оборудование, но и данные приложений. Таким образом, три площадки уровня не ниже, чем Tier II, дают в целом систему с уровнем надежности выше, чем Tier III.

В таких проектах очень важна коннективность, каналы связи. Поэтому в них существенное число стоек – десятки – отводится для установки коммуникационного оборудования. Кроме того, в отличие от классических коммерческих ЦОДов, где обычно делают только «инженерку», это комплексные проекты, в которых повышение надежности обеспечивается на уровне ИТ-систем.

– Запросы есть. Несколько проектов ЦОДов уровня Tier IV в Москве находятся сейчас в стадии проработки, проектируем ЦОД Tier IV в Казахстане. Но надо понимать, что Tier IV – не такая простая история, как некоторые пытаются представить. 

Tier IV налагает серьезные ограничения на архитектурные решения, и далеко не на всех площадках можно выполнить соответствующие требования без существенного удорожания. Даже если это возможно технически, то неясно, будет ли целесообразно экономически. В среднем ЦОД уровня Tier IV на 15–20% дороже, чем Tier III. 

Когда заказчик просит Tier IV, важно понимать, для чего, есть ли в этих инвестициях экономическая целесообразность (ибо на проекты коммерческих ЦОДов мы всегда смотрим с точки зрения их окупаемости). Документально подтвердить 20%-ное повышение стоимости услуг на базе Tier IV мы пока не можем. Конечно, наличие ЦОДа Tier IV позволит его владельцу или оператору дистанцироваться от конкурентов. Но вопрос окупаемости остается.

– Если говорить о корпоративных ЦОДах, то все запросы сегодня начинаются от 10 кВт на стойку. Например, один заказчик планирует устанавливать в своем ЦОДе стойки двух типов: на 12 кВт (для систем хранения) и на 18 кВт (для серверов). Другой планирует все стойки – а их больше тысячи – по 11 кВт. Но запросы на стойки более 20 кВт практически отсутствуют. Был один запрос на стойки по 50 кВт, но не из России. Никакого резона в размещении таких стоек на данный момент я не вижу, постараюсь убедить в этом заказчика.

Коммерческие ЦОДы проектируем в среднем на 7,5–10 кВт на стойку, пятикиловаттных проектов сейчас уже нет. Есть один уникальный проект, где рассматриваются стойки 22 кВт, но не для colocation. Локация этого ЦОДа не дает возможности выезда туда заказчиков, поэтому единственный вариант продажи услуг – сдача в аренду вычислительных мощностей, причем с дисконтом: там дешевое электричество. Мы помогаем заказчику проработать финансовую модель, составить бизнес-план.

В целом подавляющее большинство проектов реализуются на базе классического воздушного охлаждения. На данный момент в проработке только один проект с жидкостным охлаждением – как раз со стойками на 22 кВт. 

Тенденция высоконагруженных стоек на 50 кВт до нас пока не дошла. Возможно, это обусловлено тем, что нам из-за санкций недоступны самые современные GPU, на базе которых как раз и реализуются такие стойки.

– Масштаб проектов сильно вырос. В 2004 г. мы построили один из первых ЦОДов в России – на 80 стоек, по тем временам очень большой. Еще через 10 лет одна из крупнейших федеральных розничных сетей искала площадку для размещения клона своего европейского ЦОДа, общий объем – 24 стойки на всю федеральную сеть. И это был большой запрос для рынка.

Сегодня же ввод коммерческого ЦОДа на 4000 стойко-мест в Москве не оказывает практически никакого влияния на стоимость стоек на рынке. У нас в работе проекты коммерческих ЦОДов на 4000, 5000, 8000 стойко-мест. Вот такие сейчас масштабы. Это десятки мегаватт мощности, что сильно усложняет подбор площадки, поскольку получить эти мощности очень непросто.

Размеры корпоративных ЦОДов тоже увеличиваются. Но тут я вижу любопытное двунаправленное движение. Компании, которые исторически начинали с постройки своих ЦОДов, сейчас активно арендуют стойко-места в коммерческих ЦОДах, перераспределяя ИТ-ресурсы между собственными и арендными площадями. У этих компаний свои площадки, как правило, небольшие, а вот арендуют они много. С другой стороны, компании, которые всегда арендовали площади в коммерческих ЦОДах (и у которых изначально своих ЦОДов не было), сейчас начинают строить собственные. У них требования к размерам и инфраструктуре совсем другие, они строят ЦОДы намного более крупные, чем те, которые арендовали.

– Обманывать не буду: сроки увеличились. Реальные сроки постройки ЦОДа на 1000 стоек примерно таковы: 6–9 месяцев проектирование, 15–18 месяцев строительство. С пусконаладкой и сертификацией, как правило, все же 18 месяцев. Получается 2–2,5 года. 

Можем ли мы строить быстрее? Конечно. Но для этого должно сойтись много факторов. У заказчика должно быть четкое понимание, чего он хочет. Это понимание должно быть сформулировано, и заказчик не должен его менять. У него должно быть непрерывное финансирование. Должна быть площадка со всеми документами для оперативного получения разрешения на строительство и прохождение коммерческой экспертизы (без обязательного требования гос­экспертизы). Должно быть подходящее и устраивающее всех оборудование. Наконец, у исполнителя должны быть ресурсы для выполнения монтажа с той скоростью, которая требуется. Тогда можно уложиться в 12 месяцев, но без предсертификационного тестирования и собственно сертификации. А это еще месяца три.

Последние из названных этапов чрезвычайно важны, ведь наша цель – получить объект, который после подписания актов ввода в эксплуатацию будет готов именно к эксплуатации, а не к доделке, переделке, пусконаладке и доработке. К моменту, когда мы начинаем сертификацию, все работы должны быть завершены. Потом мы запускаем системы и проверяем их функционирование во всех режимах. В рамках commissioning проводим нагрузочные испытания – запускаем системы на сутки на полную нагрузку. За сутки выявляются все элементы, которые имеют заводской брак. Их надо изолировать, заменить. Потом заново протестировать. Примерно две недели только тесты – на тысячнике. Потом сертификация – еще дней 10. И после сертификации мы подписываем акт ввода объекта в эксплуатацию, будучи уверенными, что все проверили, все работает.

– Да, девелоперы активны, по вопросам цодостроения встречался с представителями десятка компаний, всех основных застройщиков. Они очень эффективны в плане получения энергетики, капитального строительства. Но их задача – построить объект и продать его оператору ЦОДа. Важно качество объекта, насколько он будет ликвиден. А это зависит от того, с какой профессиональной командой они будут сотрудничать. Чтобы команда смотрела на ЦОД как на объект бизнеса.

Лет 10–15 назад о том, как построить ЦОД, я думал прежде всего с инженерной точки зрения. Сейчас, прежде чем переходить к проработке технических решений, мы занимаемся бизнес-вопросами. Если проект не окупится, то проекта не будет. Мы начинаем с заказчиком прорабатывать варианты услуг, формируем воронку продаж, график заполнения ЦОДа, обсуждаем денежный поток, организацию службы продаж. Только потом переходим к технике, позволяющей реализовать проект, который окупится. Идем не от технических решений, а от бизнес-задачи. Это, пожалуй, самое существенное изменение в нашей работе.

Глядя назад, можно с уверенностью сказать, что российские цодостроители прошли большой путь, научились проектировать и строить большие надежные объекты с гарантированным качеством, решать сложные инженерные задачи. Выросли экспертиза, размеры проектов, их сложность… И процесс разгоняется. Дальше будет только сложнее, а значит, интереснее!

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!