Rambler's Top100
Статьи ИКС № 11 2013
Андрей ПАВЛОВ  Дмитрий БАСИСТЫЙ  11 ноября 2013

Выбираем площадку для ЦОДа. Правила и риски. Часть 1

Правильный выбор площадки для дата-центра может заложить основу его коммерческого успеха. Неправильный – создать постоянные проблемы в ходе эксплуатации, не говоря уж о финансовых потерях. На какие факторы обратить внимание заказчикам, впервые вовлеченным в процесс выбора? Как, учитывая опыт предшественников, не упустить важные мелочи?

Андрей ПАВЛОВ, генеральный директор, «Датадом»  Дмитрий БАСИСТЫЙ, независимый консультант 

В поисках стандартов и лучших практик

За годы практики в отрасли строительства ЦОДов авторы много раз сталкивались с задачей выбора и оценки площадок, на которых планируется строительство дата-центров. Заказчики, приступая к строительству, задают специалистам одни и те же вопросы (но, заметим, почти всегда – несмотря на полученные рекомендации – делают одни и те же ошибки). Эти вопросы в первую очередь вызваны отсутствием более или менее формализованной методики выбора подходящей площадки, общепринятой и признанной экспертным сообществом.

Есть общеизвестные документы, в которых принято искать правила или требования к площадкам и зданиям для размещения ЦОДов. Из них можно назвать следующие:

• Uptime Institute Data Center Site Infrastructure Tier Standard: Topology (Стандарт топологии инженерной инфраструктуры ЦОД Uptime Institute);

• Uptime Institute Data Center Site Infrastructure Tier Standard: Operational Sustainability (Стандарт операционной устойчивости ЦОД Uptime Institute);

• TIA-942. Telecommunications Infrastructure Standard for Data Centers (TIA-942. Стандарт телекоммуникационной инфраструктуры ЦОД);

• ANSI/BICSI 002-2001 Data Center Design and Implementation Best Practices (ANSI/BICSI 002-2001. Лучшие практики проектирования и строительства ЦОД).

Стандарт топологии Uptime Institute в текущей версии от 2012 г. не содержит ни одного требования к зданию или площадке. В ранних версиях, когда стандарт еще назывался классификацией, в приложении к нему была информационная таблица с основными характеристиками ЦОДов, которые отвечали требованиям Tier, но не являлись обязательными. В этой таблице единственным параметром здания был его тип – отдельное или разделяемое с другими арендаторами.

Стандарт операционной устойчивости Uptime Institute в текущей версии от 2013 г. содержит раздел 2.2 «Характеристики здания» и раздел 2.3 «Расположение площадки». Из раздела 2.2 ограниченно полезными для задачи выбора площадки могут быть требования достаточности площадей и наличия специальных зон в офисном блоке ЦОДа и свободных зон вокруг здания, а также требования выделенного здания для ЦОДа. А вот в разделе 2.3 присутствуют более конкретные требования: риски наводнения, ураганов, торнадо, сейсмической активности и вулканической деятельности, близости к аэропортам и военным авиабазам, воздействия прилегающих территорий, риски транспортных коридоров.

Стоит обратить внимание на то, что все эти параметры площадки в стандарте зафиксированы как риски, с указанием значений, которые позволяют отнести каждый из названных типов к категории «высокого риска» или «низкого риска». Теоретически, если предположить, что заказчику при выборе необходимо учитывать только те риски, которые перечислены в стандарте Uptime Institute, то задачу можно решить в рамках данного стандарта. Но не стоит забывать, что эти требования служат для определения уровня операционной устойчивости функционирования ЦОДа, а никак не для выбора площадки под строительство.

Известный и широко используемый стандарт TIA-942 содержит раздел 5.3.4 «Архитектурный проект», в котором перечислены требования к архитектурно-планировочным решениям машинных залов и несущим способностям перекрытий. Кроме этого, в таблице 8 приложения G собраны требования к конструктиву здания, к удаленности его от опасных объектов и активностей, к элементам территории ЦОДа, сейсмические требования и др. Все они подразделяются по Tier, т. е. имеют различные значения в зависимости от уровня Tier.

Известный документ класса «лучшие практики» ANSI/BICSI 002-2001 Data Center Design and Implementation Best Practices не содержит ни единого прямого требования, которое можно было бы использовать при формировании методики выбора здания или площадки для строительства дата-центра. Это неудивительно: в документе собраны наставления по проектированию и строительству, задача выбора – вне сферы его применения.

Все перечисленные выше документы (стандарты и лучшие практики) ни по отдельности, ни в совокупности не позволяют, по нашему мнению, сформировать детальный перечень требований и рекомендаций, следование которым позволило бы решить поставленную задачу – выбрать площадку для ЦОДа, проанализировав все важные элементы (не только технической природы). Получается, что каждый раз заказчику (или для заказчика) приходится придумывать новую процедуру выбора, основываясь на информации из открытых источников, предполагаемых параметрах объекта, консультациях с экспертами отрасли, а также на собственном опыте.

К сожалению, именно на финальных этапах создания объекта – стадиях строительства и передачи в эксплуатацию – становятся очевидны все проблемы, связанные с неверным выбором площадки, но очень часто оказывается, что решать их уже поздно, а если не поздно, то дорого или очень дорого.

В этой статье мы попытались декомпозировать процесс выбора здания/площадки под строительство дата-центра, а также привлечь внимание к особо важным деталям и параметрам оценки потенциальных объектов для размещения. Мы надеемся, что эта статья поможет создать формальный каркас, на основе которого можно будет строить любую заказную, нестандартную методику выбора площадки для строительства ЦОДа, просто собрав нужные кирпичики-элементы в конструкцию-последовательность, которая в наибольшей степени отвечает первоначальным задачам и ожидаемым результатам.

Подготовка: бизнес-требования

Первым шагом в поиске площадки под дата-центр должна стать формализация бизнес-идеи будущего дата-центра. От заказчика требуется ответить на ряд ключевых при создании бизнес-плана вопросов: например, какие услуги ЦОДа он будет предоставлять рынку и в каком объеме? Каков целевой сегмент клиентов? Какие каналы сбыта будут наиболее эффективными? Какую схему ценообразования предполагается использовать? И наконец, какие объемы инвестиций может себе позволить заказчик?

Ответы на эти вопросы позволят определить основные технико-экономические и географические характеристики будущего ЦОДа (см. табл. 1). Необходимо также учесть возможность долгосрочной аренды либо полного выкупа площадки, в зависимости от выбранной бизнес-модели. 

Определив характеристики будущего ЦОДа (в зависимости от предполагаемой бизнес-модели, от структуры услуг и клиентов), заказчик может в большой степени формализовать техническое задание на поиск подходящей площадки, которое уже можно будет разослать специализированным агентствам недвижимости без дополнительных пояснений. Это значительно упростит процедуру поиска площадки, поможет избежать лишних визитов на не отвечающие требованиям объекты.

Далее, после подбора конкретных площадок, удовлетворяющих первичным требованиям технического задания, необходимо будет провести обследование каждого объекта с целью детальной проверки их технико-экономических характеристик и оценки возможности размещения на них оборудования дата-центра.

Выбор площадки: требования к зданию

Особенности здания

Первоочередным вопросом при выборе площадки будет следующий: что за здание, собственно, мы имеем, и какой объект можно в нем разместить? Попытаемся декомпозировать эти вопросы в ряд существенных для строительства дата-центра элементов.

Наличие площадей под технологические системы и офисные помещения. Потребность в дополнительных площадях офисного и технологического назначения может различаться в зависимости от выбранной бизнес-модели и уровня надежности дата-центра. Например, в дата-центре высшего уровня отказоустойчивости требуется существенно больше технического персонала, чем в ЦОДе с более слабыми характеристиками. Больший штат инженерной службы потянет за собой потребность в большем количестве офисных помещений, мест для отдыха и т. д. Работа в сегменте крупнооптовых продаж, скорее всего, выльется в необходимость создания офисов для дежурных служб клиентов, а мелкооптовый и розничный бизнес потребует увеличения штата службы безопасности и числа дежурных инженеров для сопровождения клиентов в машинных залах.

На потребность в площадях влияют и выбранные технологические решения. Например, если планируется использовать в ЦОДе систему холодоснабжения на жидкостном хладагенте, это потребует устройства отдельного помещения под хладоцентр, в то время как для фреоновых машин подойдет и более компактное здание.

Возможность размещения энергоэффективного оборудования. Отдельно хочется выделить тему использования энергоэффективных решений для системы холодоснабжения. По сути это подзадача оценки наличия необходимых площадей, но ее решение может составлять отдельную проблему.

Заказчики, которые ставят перед собой цель создания высокоэнергоэффективного ЦОДа, должны отдавать себе отчет в том, что практически любое подобное решение строится в рамках тренда отказа от фреонового или жидкостного хладоагента (не включая системы чиллерного фрикулинга) в пользу теплообмена воздуха в дата-центре с наружным воздухом. Решений такого плана достаточно много, но их основная особенность – существенные габаритные размеры. Теплоемкость воздуха существенно меньше, чем у типовых хладоносителей, а скорости подачи воздуха в ЦОД имеют вполне конкретные ограничения, и получается, что размеры теплообменников и воздушных коробов могут быть сравнимы с размерами машинных залов. Поэтому если за основу приняты значения показателя PUE ниже 1,3, требуемые площади под дата-центр могут удвоиться, что, соответственно, повлечет за собой большие капитальные и операционные расходы. При этом вписать подобную систему удается далеко не в каждое здание.

Нагрузка на перекрытия. Эта характеристика может на корню загубить идею организации ЦОДа во многих зданиях. Дело в том, что распределенная нагрузка на перекрытия в типовом дата-центре составляет порядка 1 т/кв. м, а сосредоточенная нагрузка от шкафов аккумуляторных батарей и иного оборудования может достигать и 1,5 т/кв. м. С другой стороны, современные офисные здания рассчитываются на нагрузку в среднем до 300 кг/кв. м, а жилые здания – и того меньше. Именно поэтому все инвесторы стараются заполучить под дата-центр бывшие здания производственного назначения – фабрики, заводы и АТС. Помимо приемлемых проектных показателей нагрузочной способности такие здания могут иметь и большой энергетический потенциал.

Но с проектными параметрами нужно быть осторожным, так как существует эмпирическое правило: каждый год жизни здания отнимает до 1% первоначальной нагрузочной характеристики. Поэтому подобранное здание семидесятых годов с начальной нагрузочной способностью 1500 кг/кв. м к текущему моменту может потерять до 40% своей надежности и иметь реальное значение этого параметра в 900 кг/кв. м. Это означает, что обязательным требованием при выборе здания должна быть инструментальная проверка данного параметра, с последующей оценкой стоимости работ по усилению, либо получение достоверной информации от собственника здания. Таким образом удастся избежать существенных непредвиденных расходов на поздних этапах строительства либо рисков полного отказа от строительства объекта.

Нагрузка на кровлю. Данный вопрос становится особенно существенным, когда заказчик планирует размещать на крыше здания внешние блоки системы кондиционирования. Большинство построенных в советское время зданий не предназначалось для установки на кровле значительного количества технологического оборудования, и типовая нагрузочная способность выбиралась из расчета от 100 до 200 кг/кв. м – этого было вполне достаточно для размещения маломощного вентиляционного оборудования.

Внешние блоки системы холодоснабжения, в зависимости от выбранной технологии охлаждения, создают нагрузку от 50 кг/кв. м для фреоновых систем и до 500 кг/кв. м для чиллеров, что существенно превосходит среднюю нагрузочную способность кровли зданий старой постройки. Исходя из этого правила, мы рекомендуем, как и в случае с перекрытиями, заказать инструментальное обследование и на основании его результатов принимать решение о целесообразности строительства ЦОДа в таком здании.

Необходимость выноса имеющихся коммуникаций. При обследовании здания важно не упустить из виду, что при устройстве машинных залов и прочих технологических помещений все транзитные коммуникации, которые не относятся к инженерии ЦОДа (вода, электроснабжение, канализация и пр.), должны быть вынесены за пределы этих помещений. Таким образом снижаются риски прорыва коммуникаций в помещениях дата-центра, с нарушением работоспособности оборудования, а также риски, связанные с проведением профилактических работ на коммуникациях, что потребует допуска в помещения посторонних лиц.

На этапе обследования следует уточнить наличие транзитных коммуникаций, необходимость и технологическую возможность их переноса, что позволит учесть данную статью в расходах на капитальное строительство и уберечь себя от финансовых и технологических рисков.

Пути проноса оборудования. В нашей практике были случаи, когда неопытные заказчики, выбирая помещения под дата-центр, невнимательно изучали габариты путей проноса оборудования, а впоследствии оказывалось, что пронести в ЦОД крупногабаритное оборудование, такое как блоки системы кондиционирования и ИБП, просто невозможно. Или же приходилось разбирать стены, поднимать оборудование не на грузовом лифте, а через оконные проемы и т. д, что делало весь процесс существенно дороже.

Мы рекомендуем во время обследования здания, предварительно оценив максимальные массогабаритные характеристики серверного и инженерного оборудования, пригласить на объект компании, профессионально занимающиеся такелажными работами, и совместно с их специалистами оценить как возможность, так и сложность и стоимость работ по проносу оборудования на места установки. Это позволит детализировать бюджет строительства и избежать ситуации, когда придется полностью отказаться от проекта.

Арендаторы/совладельцы по соседству. При выборе помещения под ЦОД особое внимание необходимо уделить соседям-арендаторам или совладельцам здания. Если по соседству располагаются опасные производства или над будущим дата-центром находятся помещения с мокрыми процессами, следует предусмотреть организацию защиты от их негативных влияний, а при невозможности ее организовать – совсем отказаться от данного помещения. Следует также помнить, что арендаторы не вечны, и на место нынешних соседей может прийти компания с иным бизнес-профилем, поэтому имеет смысл на начальных этапах переговоров с арендодателем выяснить его арендную политику и проговорить условия и ограничения на сдачу в аренду соседних помещений.

Возможность создания внутренних периметров безопасности. Риски соседства могут быть сопряжены не только с технологическими опасностями, но и с организационными. Заказчик изначально должен оценить возможность создания периметров безопасности дата-центра и организации маршрутов движения сотрудников и клиентов. Если планировка здания не позволяет сделать обособленный вход в помещение машинного зала и иные помещения ЦОДа, обеспечить охраняемые проходы в данные помещения, это существенно повышает риски внешнего вторжения, а значит, уменьшает маркетинговую привлекательность объекта для потенциальных клиентов.

Мы неоднократно, к примеру, сталкивались с ситуацией, когда вход в машинный зал был организован со стороны коридора, находящегося в общем пользовании, либо через офисные помещения ЦОДа был организован проход в общие с соседями туалетные комнаты. На этапе выбора помещения следует детально выяснить, можно ли исключить подобные ситуации, путем изучения планировочных решений и переговоров с арендодателями.

Расположение здания

Расположение здания – немаловажный фактор успешности и финансовой целесообразности проекта ЦОДа, оно в большой степени формирует маркетинговую привлекательность будущего объекта. Обсудим детально, какие элементы этой характеристики следует учитывать.

Пути подъезда и подвоза оборудования. Ситуация в российском бизнесе ЦОДов такова, что клиенты все еще предпочитают иметь отдельный, по возможности не затрудненный проезд к зданию на общественном либо личном транспорте. Как известно, дорожная ситуация у нас способна сильно осложнить жизнь, и привлекательность той или иной площадки дата-центра для клиентов при прочих равных условиях может существенно зависеть от транспортной составляющей. Поэтому необходимо стремиться, чтобы площадка располагалась недалеко от основных транспортных магистралей и в пешей доступности от остановок общественного транспорта. Конечно, требование близости к магистралям существенно лишь для ЦОДов с преобладанием розничного бизнеса, но помимо удобства клиентов следует учитывать наличие путей подвоза резервного топлива в случае аварийных ситуаций.

Как и в случае с путями проноса оборудования в помещение ЦОДа, важно помнить о путях подвоза оборудования к самому зданию дата-центра. Случалось, невнимательный заказчик обнаруживал, что грузовой автомобиль с контейнером ДГУ не в состоянии заехать на объект, когда тот уже стоял перед въездными воротами на территорию.

Каналы связи и связная канализация. Наличие в здании каналов связи не всегда является серьезным критерием при выборе объекта. Операторы связи с удовольствием подведут свои линии к новому ЦОДу, который является для них генератором трафика, – но так дела обстоят в густонаселенных районах с хорошо развитой связной инфраструктурой. Если здание под ЦОД расположено в удалении от магистральных каналов связи, их прокладка станет дополнительной статьей расходов в бюджете строительства.

Аналогично кабельной канализации под электролинии, прокладка линий связи обойдется существенно дешевле при наличии кабельных каналов, поэтому при обследовании желательно также получить сведения об этих коммуникациях.

Надежность площадки как резервной. Если речь идет о создании резервного ЦОДа, местоположение площадки под строительство следует оценивать и с точки зрения отказоустойчивости. Эта комплексная характеристика складывается из рисков одновременного возникновения аварийных ситуаций на основной и резервной площадке, вызванных общими причинами. Например, не стоит рассматривать ЦОДы, где энергоснабжение основной и резервной площадки организовано от одного источника генерации либо для обеих площадок используется единый магистральный канал связи.

Возможность создания внешних периметров безопасности. При обустройстве внешних периметров для начала необходимо создать условия для контроля допуска лиц на территории внешних площадок инженерных систем. Площадки ДГУ и внешних блоков системы кондиционирования должны быть защищены от несанкционированного проникновения. Кроме того, было бы нелишним не размещать такие площадки вблизи дорог внутреннего пользования, поскольку случаи наезда транспорта на оборудование исключить нельзя.

Зачастую наиболее эффективный способ минимизировать данные риски – это полностью отгородить внешние площадки ЦОДа, в том числе парковочные места клиентов и сотрудников, от зон, доступных другим арендаторам здания. Поэтому заблаговременное обсуждение возможного планирования территории может существенно повысить защищенность дата-центра от внешнего физического воздействия.

Окружение. Опасным может быть соседство не только внутри здания ЦОДа, но и вне этих площадей. Высотные здания по соседству могут стать источником потенциальных рисков для оборудования. Еще не забыта история с одним из московских дата-центров, который был вынужден временно приостановить оказание услуг после того, как во время урагана на внешние блоки системы кондиционирования упал рекламный щит с соседнего, более высокого здания.

Не забудем и такое частое в России явление, как тополиные рощи, которые в период цветения могут стать постоянной головной болью эксплуатационных подразделений дата-центра...

Сейсмоактивность и подтопление. Возможно, сейсмоактивность – не столь существенный фактор при выборе помещения под строительство в рамках одного города или области, но при создании резервного ЦОДа на значительном удалении от основного он может стать достаточно весомым. Например, при выборе между несколькими равноценными площадками предпочтение, естественно, стоит отдать тем, которые находятся вне сейсмоопасных зон. Помимо более высоких рисков разрушения дата-центра под воздействием стихийных сил это обусловлено и существенным увеличением затрат на строительство объекта, поскольку приходится применять дорогостоящие сейсмоустойчивые технические решения.

Более очевидный и распространенный риск – подтопление ЦОДа. Различного типа водоемы – распространенное явление в российской действительности, и при изучении той или иной площадки под строительство необходимо получить информацию о максимальном уровне воды в ближайших водоемах. Необходимо также оценить риски попадания дождевых и сточных вод в помещения и на территорию ЦОДа, если он находится в низине.  

О прочих важных факторах при выборе площадки для ЦОДа, а также о том, как выявить связанные с ними риски и управлять ими, читайте в следующем номере «ИКС».

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!